KR102433930B1

KR102433930B1 - Method for adjustment of credit to map based on tracking each segment and apparatus for performing the method

Info

Publication number: KR102433930B1
Application number: KR1020210180626A
Authority: KR
Inventors: 강정석
Original assignee: 주식회사 에이젠글로벌
Priority date: 2021-12-16
Filing date: 2021-12-16
Publication date: 2022-08-19
Also published as: KR20230091762A

Abstract

The present invention relates to a method for adjusting a credit to map based on segment-by-segment tracking, and an apparatus for performing the method. The method for adjusting a credit to map based on segment-by-segment tracking includes the steps of: allowing a segment sensor determination unit to determine a segment sensor corresponding to a segment; allowing a sensing value setting unit to determine a sensing value to be sensed in the segment sensor; allowing a segment sensor prediction accuracy determining unit to determine the prediction accuracy of the segment sensor; allowing a segment sensor layer management unit to manage a layer for the segment sensor; and allowing a credit to map result value transfer unit to transmit a result value generated by the segment sensor to generate a credit to map. The credit to map is a graph which quantifies the difference between the prediction and the result by providing a prediction value and a result value according to time for a segment. The present invention is to adaptively determine the state of a segment according to changes in circumstances and environment.

Description

METHOD FOR ADJUSTMENT OF CREDIT TO MAP BASED ON TRACKING EACH SEGMENT AND APPARATUS FOR PERFORMING THE METHOD

본 발명은 세그먼트별 트래킹을 기반으로 크레딧 투 맵을 조정하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 보다 상세하게는 금융 서비스에 적용되어 세그먼트별 금융 예측을 수행하기 위해 세그먼트별 트래킹을 기반으로 크레딧 투 맵을 조정하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다.The present invention relates to a method for adjusting a credit-to-map based on segment-by-segment tracking and an apparatus for performing such a method. More particularly, it relates to a method for adjusting a credit-to-map based on segment-by-segment tracking to perform segment-by-segment financial forecasting applied to financial services, and to an apparatus for performing such a method.

4차 산업혁명에 의해 촉발된 지능 정보 사회로 진입하면서 데이터의 무한한 활용 가능성이 데이터 산업의 변화를 초래하고 있다. 데이터 시대가 도래함에 따라 향후 데이터 산업의 수준이 국가 사이에 경쟁력의 차이를 결정하게 될 것이다. As we enter the intelligent information society triggered by the 4th industrial revolution, the infinite possibility of using data is causing changes in the data industry. With the advent of the data era, the level of the future data industry will determine the difference in competitiveness between countries.

특히 금융 시장에서의 빅데이터 인프라 구축은 매우 시급할 뿐만 아니라, 머지 않아 국가의 데이터 산업의 향방을 좌우할만큼 중요한 자산이 되었다. 금융 빅데이터 인프라는 빅데이터 개방 시스템, 데이터 거래소, 데이터 전문기관 등으로 구성된다. In particular, the construction of big data infrastructure in the financial market is not only urgent, but also has become an important asset enough to influence the direction of the country's data industry in the near future. The financial big data infrastructure consists of big data open systems, data exchanges, and data specialized institutions.

이러한 빅데이터 기반의 사용자 금융 데이터를 기반으로 한 새로운 금융 상품에 대한 연구가 필요하다. 사용자 금융 상품에 대한 인공 지능 기반의 학습을 통해 다양한 리스크 분석이 가능하고, 리스크 분석을 기반으로 현재까지 없었던 새로운 금융 서비스를 사용자들에게 제공할 수 있다. It is necessary to study new financial products based on such big data-based user financial data. Various risk analysis is possible through artificial intelligence-based learning of user financial products, and new financial services that have not been available before can be provided to users based on risk analysis.

따라서, 사용자의 금융 데이터를 활용하고 사용자의 금융 데이터를 기반으로 다양한 금융 서비스를 제공하기 위한 구체적인 방법에 대한 연구가 필요하다.Therefore, it is necessary to study a specific method for utilizing the user's financial data and providing various financial services based on the user's financial data.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.An object of the present invention is to solve all of the above problems.

또한, 본 발명은, 세그먼트별 트래킹을 통해 크레딧 투 맵을 조정하여 상황 및 환경 변화에 따라 적응적으로 세그먼트의 상태를 판단하는 것을 목적으로 한다.Another object of the present invention is to adaptively determine the state of a segment according to a change in circumstances and environment by adjusting the credit-to-map through segment-by-segment tracking.

또한, 본 발명은, 세그먼트별 관계 설정 및 세그먼트 센서의 다양화를 통해 세그먼트별로 보다 정확한 결과값을 생성하여 세그먼트 상태를 판단하는 것을 목적으로 한다. Another object of the present invention is to determine a segment state by generating a more accurate result value for each segment by establishing a relationship for each segment and diversifying a segment sensor.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.A representative configuration of the present invention for achieving the above object is as follows.

본 발명의 일 실시예에 따르면, 세그먼트별 트래킹을 기반으로 크레딧 투 맵을 조정하는 방법은 세그먼트 센서 결정부가 세그먼트에 대응되는 세그먼트 센서를 결정하는 단계, 센싱값 설정부가 상기 세그먼트 센서에서 센싱할 센싱값을 결정하는 단계, 세그먼트 센서 예측 정확도 결정부가 상기 세그먼트 센서의 예측 정확도를 결정하는 단계, 세그먼트 센서 계층 관리부는 상기 세그먼트 센서에 대한 계층을 관리하는 단계와 크레딧 투 맵 결과값 전달부는 상기 세그먼트 센서에 의해 생성된 결과값을 상기 크레딧 투 맵의 생성을 위해 전달하는 단계를 포함할 수 있되, 상기 크레딧 투 맵은 상기 세그먼트에 대한 시간에 따른 예측값과 상기 결과값을 제공하여 예측 대비 결과의 차이를 수치화한 그래프일 수 있다. According to an embodiment of the present invention, the method of adjusting the credit-to-map based on tracking for each segment includes determining a segment sensor corresponding to a segment by a segment sensor determining unit, and a sensing value to be sensed by the segment sensor by a sensing value setting unit. Determining the step, the segment sensor prediction accuracy determining unit determining the prediction accuracy of the segment sensor, the segment sensor layer management unit managing the layer for the segment sensor, and the credit-to-map result transfer unit using the segment sensor The method may include transmitting the generated result value to generate the credit to map, wherein the credit to map quantifies the difference between the prediction and the result by providing the predicted value over time for the segment and the result value. It can be a graph.

한편, 상기 세그먼트 센서는 싱글 세그먼트 센서와 멀티 세그먼트 센서를 포함하고, 상기 싱글 세그먼트 센서는 하나의 센싱값으로 하나의 결과값을 생성하는 센서이고, 상기 멀티 세그먼트 센서는 복수의 센싱값을 기반으로 하나의 결과값을 생성하는 센서이고, 상기 멀티 세그먼트 센서에 의해 센싱되는 상기 복수의 센싱값은 인공 지능 모델의 결과값에 임계값 이상의 영향을 끼치는 변수로서 설정된 복수의 타겟 변수에 대한 센싱값이고, 상기 타겟 변수는 변수별 피처 스파이크값이 양수로 나온 것 중 절대값이 임계값 이상일 수 있다.On the other hand, the segment sensor includes a single segment sensor and a multi-segment sensor, the single segment sensor is a sensor that generates one result value with one sensing value, and the multi-segment sensor is one based on a plurality of sensing values. is a sensor that generates a result value of , and the plurality of sensing values sensed by the multi-segment sensor is a sensing value for a plurality of target variables set as variables that affect the result value of the artificial intelligence model by more than a threshold value, and the As for the target variable, an absolute value of which feature spike values for each variable are positive may be greater than or equal to a threshold value.

또한, 상기 멀티 세그먼트 센서는 1차 멀티 세그먼트 센서, 2차 멀티 세그먼트 센서 및 3차 멀티 세그먼트 센서를 포함하고, 상기 1차 멀티 세그먼트 센서는 외부 소스를 통해 센싱값을 직접 생성하여 결과값을 생성하고, 상기 2차 멀티 세그먼트 센서는 다른 세그먼트 센서의 결과값을 센싱값으로서 수신하여 결과값을 생성하고, 상기 3차 멀티 세그먼트 센서는 상기 외부 소스를 통한 센싱값과 상기 다른 세그먼트 센서의 결과값을 모두 센싱값으로 사용하여 결과값을 생성하고, 상기 2차 세그먼트 센서, 상기 3차 세그먼트 센서는 하위 세그먼트 센서의 결과값을 센싱값으로 활용하되, 상기 하위 세그먼트 센서의 예측 정확도를 고려하여 상기 하위 세그먼트 센서의 결과값에 가중치를 부여하고, 상기 하위 세그먼트 센서의 결과값 중 일부의 결과값을 필터링하여 결과값을 생성할 수 있다.In addition, the multi-segment sensor includes a first multi-segment sensor, a second multi-segment sensor, and a third multi-segment sensor, and the first multi-segment sensor generates a result value by directly generating a sensed value through an external source, , the secondary multi-segment sensor receives the result value of the other segment sensor as a sensing value to generate a result value, and the tertiary multi-segment sensor receives both the sensing value through the external source and the result value of the other segment sensor The second segment sensor and the third segment sensor use the result value of the sub-segment sensor as a sensing value to generate a result value using the sensing value, but consider the prediction accuracy of the sub-segment sensor and the sub-segment sensor A weight may be given to the result value of , and a result value may be generated by filtering some result values among the result values of the sub-segment sensor.

본 발명의 다른 실시예에 따르면, 세그먼트별 트래킹을 기반으로 크레딧 투 맵을 조정하는 세그먼트 센서 관리 장치는 세그먼트에 대응되는 세그먼트 센서를 결정하도록 구현되는 세그먼트 센서 결정부, 상기 세그먼트 센서에서 센싱할 센싱값을 결정하도록 구현되는 센싱값 설정부, 상기 세그먼트 센서의 예측 정확도를 결정하도록 구현되는 세그먼트 센서 예측 정확도 결정부, 상기 세그먼트 센서에 대한 계층을 관리하도록 구현되는 세그먼트 센서 계층 관리부와 상기 세그먼트 센서에 의해 생성된 결과값을 상기 크레딧 투 맵의 생성을 위해 전달하도록 구현되는 크레딧 투 맵 결과값 전달부를 포함하되, 상기 크레딧 투 맵은 상기 세그먼트에 대한 시간에 따른 예측값과 상기 결과값을 제공하여 예측 대비 결과의 차이를 수치화한 그래프일 수 있다.According to another embodiment of the present invention, a segment sensor management apparatus for adjusting a credit-to-map based on tracking for each segment includes a segment sensor determiner configured to determine a segment sensor corresponding to a segment, and a sensing value to be sensed by the segment sensor A sensing value setting unit configured to determine the prediction accuracy of the segment sensor, a segment sensor prediction accuracy determining unit configured to determine the prediction accuracy of the segment sensor, a segment sensor layer management unit configured to manage the layer for the segment sensor and the segment sensor and a credit-to-map result transfer unit configured to transmit the obtained result value for the generation of the credit-to-map, wherein the credit-to-map provides the predicted value and the result value according to time for the segment to compare the prediction versus result. It may be a graph quantifying the difference.

본 발명에 의하면, 세그먼트별 트래킹을 통해 크레딧 투 맵을 조정하여 상황 및 환경 변화에 따라 적응적으로 세그먼트의 상태가 판단될 수 있다.According to the present invention, the status of a segment can be adaptively determined according to a change in circumstances and environment by adjusting the credit-to-map through segment-by-segment tracking.

또한, 본 발명에 의하면, 세그먼트별 관계 설정 및 세그먼트 센서의 다양화를 통해 세그먼트 별로 보다 정확한 결과값을 생성하여 세그먼트 상태가 판단될 수 있다.In addition, according to the present invention, a segment state can be determined by generating a more accurate result value for each segment by establishing a relationship for each segment and diversifying a segment sensor.

도 1은 본 발명의 실시예에 따른 세그먼트별 예측 모델 생성 시스템을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 피처 엔지니어링 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 타겟 인공 지능 모델을 결정하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 인공 지능 모델의 재학습 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 예측 서버에서 파생 변수 생성 모듈의 동작을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 변수별 중요도를 결정하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 크레딧 투 맵의 생성 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 크레딧 투 맵 생성 장치를 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 크레딧 투 맵 생성 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 세그먼트 계층을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 세그먼트 트래킹 방법을 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따른 세그먼트 계측별 세그먼트 센서의 설정을 나타낸 개념도이다.
도 13은 본 발명의 실시예에 따른 세그먼트 센서의 결과값 생성을 나타낸 개념도이다.
도 14는 본 발명의 실시예에 따른 세그먼트 센서 관리 장치를 나타낸 개념도이다.1 is a conceptual diagram illustrating a system for generating a prediction model for each segment according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a feature engineering method according to an embodiment of the present invention.
3 is a conceptual diagram illustrating a method of determining a target artificial intelligence model according to an embodiment of the present invention.
4 is a conceptual diagram illustrating a re-learning method of an artificial intelligence model according to an embodiment of the present invention.
5 is a conceptual diagram illustrating an operation of a derived variable generating module in a prediction server according to an embodiment of the present invention.
6 is a conceptual diagram illustrating a method of determining the importance of each variable according to an embodiment of the present invention.
7 is a conceptual diagram illustrating a method of generating a credit-to-map according to an embodiment of the present invention.
8 is a conceptual diagram illustrating an apparatus for generating a credit-to-map according to an embodiment of the present invention.
9 is a conceptual diagram illustrating a method for generating a credit-to-map according to an embodiment of the present invention.
10 is a conceptual diagram illustrating a segment hierarchy according to an embodiment of the present invention.
11 is a conceptual diagram illustrating a segment tracking method according to an embodiment of the present invention.
12 is a conceptual diagram illustrating a setting of a segment sensor for each segment measurement according to an embodiment of the present invention.
13 is a conceptual diagram illustrating generation of a result value of a segment sensor according to an embodiment of the present invention.
14 is a conceptual diagram illustrating an apparatus for managing a segment sensor according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0012] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0014] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0016] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be implemented with changes from one embodiment to another without departing from the spirit and scope of the present invention. In addition, it should be understood that the location or arrangement of individual components within each embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description given below is not to be taken in a limiting sense, and the scope of the present invention should be taken as encompassing the scope of the claims and all equivalents thereto. In the drawings, like reference numerals refer to the same or similar elements throughout the various aspects.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those of ordinary skill in the art to easily practice the present invention.

이하, 본 발명의 실시예에서는 설명의 편의상 금융 관련된 세그먼트에 대한 예측 방법이 개시되나, 금융 외에 다른 다양한 영역에 관련된 세그먼트에 대한 예측 모델 생성 및 예측도 가능하고, 이러한 실시예 또한 본 발명의 권리 범위에 포함될 수 있다. Hereinafter, a prediction method for a segment related to finance is disclosed for convenience of explanation in an embodiment of the present invention, but it is also possible to generate and predict a prediction model for a segment related to various other areas other than finance, and this embodiment is also the scope of the present invention can be included in

또한, 이하 본 발명의 실시예에서 사용되는 '학습'은 인공지능 기반의 학습을 의미하는 용어로 사용된다.In addition, 'learning' used in the following embodiments of the present invention is used as a term meaning artificial intelligence-based learning.

도 1은 본 발명의 실시예에 따른 세그먼트별 예측 모델 생성 시스템을 나타낸 개념도이다. 1 is a conceptual diagram illustrating a system for generating a prediction model for each segment according to an embodiment of the present invention.

도 1에서는 세그먼트별 예측 모델을 생성하기 위한 세그먼트 예측 모델 생성 시스템이 개시된다. 1 discloses a segment prediction model generation system for generating a prediction model for each segment.

도 1을 참조하면, 세그먼트 예측 모델 시스템은 데이터베이스(100), 학습 서버(120), 예측 서버(140), 운영 서버(160)를 포함할 수 있다.Referring to FIG. 1 , the segment prediction model system may include a database 100 , a learning server 120 , a prediction server 140 , and an operation server 160 .

데이터베이스(100)는 학습을 위한 데이터, 재학습을 위한 데이터를 저장하고 학습 서버(120)로 전달하기 위해 구현될 수 있다.The database 100 may be implemented to store data for learning and data for re-learning and to deliver it to the learning server 120 .

학습 서버(120)는 데이터베이스(100)에 의해 전송된 학습 데이터를 기반으로 학습을 수행하기 위해 구현될 수 있다. 학습 서버(120)는 복수의 세그먼트 각각에 대한 복수의 인공 지능 모델을 포함할 수 있다. 세그먼트는 예측 수행 대상이 되는 하나의 단위일 수 있다. 예를 들어, 판매자를 기준으로 한 세그먼트는 판매자가 판매하는 상품, 판매자가 상품을 판매하는 온라인 몰 등이 하나의 세그먼트로 설정될 수 있다.The learning server 120 may be implemented to perform learning based on the learning data transmitted by the database 100 . The learning server 120 may include a plurality of artificial intelligence models for each of a plurality of segments. A segment may be one unit to be predicted. For example, as a segment based on the seller, a product sold by the seller, an online mall in which the seller sells a product, etc. may be set as one segment.

학습 서버(120) 상에서 1차적으로 학습된 인공 지능 모델 중 임계 성능 이상을 가지는 모델은 예측 서버(140)로 전달될 수 있다. 학습 서버(120) 상의 인공 지능 모델은 후보 인공 지능 모델이라는 용어로 표현되고, 예측 서버(140)로 전송되어 예측값을 생성하는 인공 지능 모델은 타겟 인공 지능 모델이라는 용어로 표현될 수 있다.Among the artificial intelligence models primarily learned on the learning server 120 , a model having a threshold performance or higher may be transmitted to the prediction server 140 . An artificial intelligence model on the learning server 120 may be expressed in terms of a candidate artificial intelligence model, and an artificial intelligence model transmitted to the prediction server 140 to generate a prediction value may be expressed in terms of a target artificial intelligence model.

예측 서버(140)는 타겟 인공 지능 모델을 기반으로 운영 서버(160)의 요청에 따른 예측값을 생성하여 운영 서버(160)로 전달할 수 있다. 예측 서버(140)는 복수의 세그먼트 각각에 대해 적어도 하나의 타겟 인공 지능 모델을 포함할 수 있다.The prediction server 140 may generate a prediction value according to the request of the operation server 160 based on the target artificial intelligence model and transmit it to the operation server 160 . The prediction server 140 may include at least one target AI model for each of the plurality of segments.

예를 들어, 운영 서버(160)에서 특정 판매자의 신용에 관련된 예측값을 요청하는 경우, 예측 서버(140) 상의 타겟 인공 지능 모델 중 특정 판매자의 신용에 관련된 적어도 하나의 타겟 인공 지능 모델 상에서 신용과 관련된 예측값을 생성하여 운영 서버(160)로 전송할 수 있다. 예측값은 스코어와 같이 수치화된 값일 수 있다.For example, when the operation server 160 requests a prediction value related to the credit of a specific seller, at least one target AI model related to the credit of a specific merchant among the target AI models on the prediction server 140 is credit related. A predicted value may be generated and transmitted to the operation server 160 . The predicted value may be a numerical value such as a score.

예측 서버(140) 상에는 파생 변수 생성 모듈이 포함될 수 있다. 파생 변수 생성 모듈은 변수를 파생 변수로 생성하고, 파생 변수는 타겟 인공 지능 모델의 추가적인 학습을 위해 활용되어 타겟 인공 지능 모델의 성능을 높일 수 있다.A derived variable generating module may be included on the prediction server 140 . The derived variable generation module creates a variable as a derived variable, and the derived variable is utilized for additional learning of the target AI model to increase the performance of the target AI model.

학습 서버(120) 상의 후보 인공 지능 모델 및/또는 예측 서버(140) 상의 타겟 인공 지능 모델은 피처 엔지니어링(feature engineering)(데이터 전처리 및 변수 선택)을 기반으로 한 변수 변경, 변수 추가를 통해 다양한 인공 지능 학습이 수행될 수 있다.The candidate artificial intelligence model on the learning server 120 and/or the target artificial intelligence model on the prediction server 140 are various artificial intelligence models through variable change and variable addition based on feature engineering (data preprocessing and variable selection). Intelligent learning may be performed.

운영 서버(160)는 예측 서버(140) 상으로 예측값을 요청하고, 운영 서버(160)로부터 예측값을 수신할 수 있다. 예측 서버(140)와 운영 서버(160)는 스위치를 통해 연결될 수 있다. 전술한 바와 같이 운영 서버(160)는 특정 판매자의 신용에 관련된 예측값을 요청할 수 있고, 예측 서버(140)는 운영 서버(160)의 요청에 따른 예측값을 전송할 수 있다. The operation server 160 may request a prediction value on the prediction server 140 and receive the prediction value from the operation server 160 . The prediction server 140 and the operation server 160 may be connected through a switch. As described above, the operation server 160 may request a prediction value related to the credit of a specific seller, and the prediction server 140 may transmit a prediction value according to the request of the operation server 160 .

운영 서버(160)는 예측값을 기준으로 한 결과값에 대한 정보를 다시 학습 서버(120) 및/또는 예측 서버(140)로 전송할 수 있다. 학습 서버(120) 및/또는 예측 서버(140)는 결과값을 기반으로 생성된 재학습 데이터를 통해 재학습을 수행할 수 있다. The operation server 160 may transmit information on the result value based on the prediction value back to the learning server 120 and/or the prediction server 140 . The learning server 120 and/or the prediction server 140 may perform re-learning through re-learning data generated based on the result value.

도 2는 본 발명의 실시예에 따른 피처 엔지니어링 방법을 나타낸 개념도이다.2 is a conceptual diagram illustrating a feature engineering method according to an embodiment of the present invention.

도 2에서는 적응적인 변수 선택을 통해 인공 지능 모델의 성능을 향상시키는 피처 엔지니어링 방법이 개시된다.2 discloses a feature engineering method for improving the performance of an artificial intelligence model through adaptive variable selection.

도 2를 참조하면, 피처 엔지니어링을 통해 현재의 인공 지능 모델의 성능에 큰 영향을 주는 변수가 아니더라도 추가적으로 반영하여 새로운 유형 및 예측 환경 변화에 대응할 수 있다. 또한, 재학습을 실행하였음에도 인공 지능 모델의 성능이 지속적으로 감소할 경우 새로운 변수를 추가하여 인공 지능 모델의 성능을 개선할 수 있다.Referring to FIG. 2 , through feature engineering, even if it is not a variable that significantly affects the performance of the current artificial intelligence model, it can be additionally reflected to respond to new types and changes in the prediction environment. In addition, if the performance of the AI model continues to decrease even after re-learning, it is possible to improve the performance of the AI model by adding a new variable.

피처 엔지니어링은 데이터 전처리 과정(200) 및 변수 선택 과정(220)을 포함할 수 있다.Feature engineering may include a data preprocessing process 200 and a variable selection process 220 .

데이터 전처리 과정(200)에서 중복값이 제거되고, 결측값 분석을 통해 변수를 제거하거나 결측값에 대한 변환이 수행될 수 있다.In the data preprocessing process 200 , duplicate values may be removed, and variables may be removed or converted to missing values through missing value analysis.

변수 선택 과정(220)을 통해 우수한 성능을 가지는 타겟 변수가 적응적으로 선택될 수 있다. 타겟 변수의 적응적 선택을 위해 상관 관계 분석, PCA(principle component analysis) 분석, lasso regression/ridge regression(라쏘 회귀/릿지 회귀)을 통해 유효 변수 선정이 수행될 수 있다. 또한, 타겟 변수의 적응적 선택을 위해 도메인 지식(knowledge), 피처 엔지니어링을 이용한 파생 변수 생성이 수행될 수 있다. 또한, 타겟 변수의 적응적 선택을 위해 인공 지능 모델의 학습 과정에서 변수 중요도(feature importance)를 통한 유의미한 변수 선별 및 입력 항목 생성이 수행될 수 있다. 변수 중요도는 변수의 피처 스파이크(feature spike)를 고려하여 결정될 수 있다. 피처 스파이크는 예측값(스코어)를 생성하기 위해 해당 피처(변수)가 영향을 끼친 정도를 기반으로 결정된다.A target variable having excellent performance may be adaptively selected through the variable selection process 220 . For adaptive selection of target variables, effective variable selection may be performed through correlation analysis, principal component analysis (PCA) analysis, and lasso regression/ridge regression. In addition, for adaptive selection of a target variable, a derived variable generation using domain knowledge and feature engineering may be performed. In addition, for adaptive selection of target variables, meaningful variable selection and input item generation through feature importance in the learning process of an artificial intelligence model may be performed. The variable importance may be determined in consideration of a feature spike of the variable. The feature spike is determined based on the degree to which the feature (variable) has an influence to generate the predicted value (score).

인공 지능 모델의 성능을 높여줄 수 있다고 판단된 타겟 변수를 기반으로 학습을 수행한 후, 기존 변수만을 사용한 인공 지능 모델과 오분류율, AUC(area under the curve) 등으로 성능 비교를 하여 지속적인 인공 지능 모델의 강화가 이루어질 수 있다.After learning is performed based on the target variable determined to improve the performance of the artificial intelligence model, performance is compared with the artificial intelligence model using only the existing variables with the misclassification rate, area under the curve (AUC), etc. Reinforcement of the intelligence model can be achieved.

예를 들어, 변수 A(250)는 하위 변수 a₁~a_n을 포함하고, 변수 B(260)는 하위 변수 b₁~b_n을 포함하고, 변수 C(270)는 하위 변수 c₁~c_n을 포함할 수 있다. For example, variable A(250) contains subvariables a ₁ ~a _n , variable B(260) contains subvariables b ₁ ~b _n , and variable C(270) contains subvariables c ₁ ~c _n may be included.

인공 지능 모델X는 하위 변수 a₁~a_n 중 일부, 하위 변수 b₁~b_n 중 일부, 하위 변수 c₁~c_n 중 일부를 기반으로 학습을 수행할 수 있다. 이후, 타겟 변수가 새롭게 설정되는 경우, 인공 지능 모델X는 하위 변수 a₁~a_n 에서 타겟 변수를 추가하고, 하위 변수 b₁~b_n 에서 타겟 변수를 추가하고, 하위 변수 c₁~c_n 에서 타겟 변수를 추가하여 학습을 수행할 수 있다.Artificial intelligence model X can perform learning based on some of sub-variables a ₁ ~a _n , some of sub-variables b ₁ ~b _n , and some of sub-variables c ₁ ~c _n . Thereafter, when the target variable is newly set, the artificial intelligence model X adds the target variable from the sub-variables a ₁ to a _n , the target variable is added from the sub-variables b ₁ to b _n , and the sub-variable c ₁ to c _n Learning can be performed by adding a target variable in .

도 3은 본 발명의 실시예에 따른 타겟 인공 지능 모델을 결정하는 방법을 나타낸 개념도이다.3 is a conceptual diagram illustrating a method of determining a target artificial intelligence model according to an embodiment of the present invention.

도 3에서는 학습 서버 상의 인공 지능 모델인 후보 인공 지능 모델 중 타겟 인공 지능 모델을 결정하기 위한 방법이 개시된다.3 discloses a method for determining a target artificial intelligence model among candidate artificial intelligence models that are artificial intelligence models on a learning server.

도 3을 참조하면, 세그먼트별 변수가 정의되고, 세그먼트별 변수들은 다양한 변수 집합으로 정의되어 세그먼트별로 다양한 학습을 위해 사용될 수 있다.Referring to FIG. 3 , variables for each segment are defined, and variables for each segment are defined as a set of various variables to be used for various learning for each segment.

예를 들어, 세그먼트A를 위한 변수 집합a 내지 변수 집합z가 존재하고, 변수 집합a 내지 변수 집합z는 학습 서버 상의 복수의 서로 다른 인공 지능 모델 상에 입력되어 인공 지능 모델을 학습시킬 수 있다.For example, the variable set a to the variable set z for the segment A exist, and the variable set a to the variable set z may be input to a plurality of different artificial intelligence models on the learning server to train the artificial intelligence model.

예를 들어, 인공 지능 모델은 학습시키는 알고리즘은 Imbalanced(IMB) DNN(deep neural network), XGBoost, RNN(recurrent neural network), LSTM(long short term memory) 등 다양한 학습 알고리즘일 수 있다.For example, the algorithm for training the artificial intelligence model may be various learning algorithms, such as an Imbalanced (IMB) deep neural network (DNN), XGBoost, a recurrent neural network (RNN), or a long short term memory (LSTM).

복수의 인공 지능 학습 알고리즘에 대한 검증을 통해 특정 변수 집합에 대해 최적의 학습 알고리즘이 결정되고, 최적의 학습 알고리즘으로 학습된 후보 인공 지능 모델 중에서 타겟 인공 지능 모델이 결정될 수 있다. 최적의 학습 알고리즘은 다양한 성능 지표(예를 들어, 신뢰도)를 기반으로 결정될 수 있다. 타겟 인공 지능 모델은 학습 서버에서 예측 서버로 이동되어 운영 서버의 요청에 따라 예측값을 생성하기 위해 사용될 수 있다.An optimal learning algorithm may be determined for a specific set of variables through verification of a plurality of artificial intelligence learning algorithms, and a target artificial intelligence model may be determined from among candidate AI models trained by the optimal learning algorithm. An optimal learning algorithm may be determined based on various performance indicators (eg, reliability). The target AI model is moved from the training server to the prediction server and can be used to generate predictions according to the request of the production server.

도 4는 본 발명의 실시예에 따른 인공 지능 모델의 재학습 방법을 나타낸 개념도이다.4 is a conceptual diagram illustrating a re-learning method of an artificial intelligence model according to an embodiment of the present invention.

도 4에서는 인공 지능 모델을 재학습시켜서 인공 지능 모델을 교체하기 위한 방법이 개시된다.4 discloses a method for replacing an artificial intelligence model by retraining the artificial intelligence model.

도 4를 참조하면, 운영 서버는 예측값에 대한 결과값을 재학습 데이터로서 학습 서버 및 예측 서버로 전송할 수 있다. 재학습 데이터가 전송되는 경우, 재학습 데이터를 기반으로 새로운 재학습 데이터 집합이 설정되고, 재학습 데이터 집합을 기반으로 후보 인공 지능 모델 및/또는 타겟 인공 지능 모델에 대한 재학습이 수행될 수 있다.Referring to FIG. 4 , the operation server may transmit the result value for the prediction value to the learning server and the prediction server as re-learning data. When re-learning data is transmitted, a new re-learning data set is set based on the re-learning data, and re-learning may be performed on the candidate artificial intelligence model and/or the target artificial intelligence model based on the re-learning data set. .

재학습 결과를 기반으로 다시 성능 지표를 기반으로 최적의 학습 알고리즘이 재결정되고, 타겟 인공 지능 모델도 재결정될 수 있다. 예측에 대한 결과값을 기반으로 재학습된 후보 인공 지능 모델, 타겟 후보 인공 지능 모델은 재학습 인공 지능 모델로서 후보 인공 지능 모델(결과값)(400), 타겟 후보 인공 지능 모델(결과값)(420)이라는 용어로 표현될 수 있다.Based on the re-learning result, the optimal learning algorithm may be re-determined based on the performance index, and the target AI model may also be re-determined. The candidate artificial intelligence model retrained based on the result value for prediction, the target candidate artificial intelligence model is a retraining artificial intelligence model, the candidate artificial intelligence model (result value) 400, the target candidate artificial intelligence model (result value) ( 420).

또한, 인공 지능 모델은 시간에 따른 변수 확장을 통한 재학습 데이터 집합을 새롭게 정의하여 학습될 수도 있다. 예를 들어, 환경 변화에 따라 학습을 위한 신규 변수가 추가될 수 있고, 추가 변수에 따른 재학습을 통해 후보 인공 지능 모델이 새롭게 생성될 수 있다. 추가 변수 확장을 통해 재학습된 후보 인공 지능 모델, 타겟 후보 인공 지능 모델은 재학습 인공 지능 모델로서 후보 인공 지능 모델(추가 변수)(450), 타겟 후보 인공 지능 모델(추가 변수)(470)라는 용어로 표현될 수 있다. 재학습 이후, 다시 성능 지표를 기반으로 최적의 학습 알고리즘이 재결정되고, 타겟 인공 지능 모델도 재결정될 수 있다.In addition, the artificial intelligence model may be learned by newly defining a re-learning data set through variable expansion over time. For example, a new variable for learning may be added according to a change in the environment, and a candidate artificial intelligence model may be newly created through re-learning according to the additional variable. Candidate artificial intelligence model retrained through additional variable expansion, target candidate artificial intelligence model is a retrained artificial intelligence model called candidate artificial intelligence model (additional variable) (450), target candidate artificial intelligence model (additional variable) (470). can be expressed in terms. After re-learning, the optimal learning algorithm may be re-determined based on the performance index, and the target AI model may also be re-determined.

본 발명에서는 학습 알고리즘별, 변수별, 학습 시기별로 서로 다른 주기로 재학습 인공 지능 모델의 성능 비교가 수행되고, 실시간으로 인공 지능 학습 모델의 교체가 이루어질 수 있다.In the present invention, the performance comparison of the re-learning artificial intelligence model is performed at different cycles for each learning algorithm, each variable, and each learning period, and the artificial intelligence learning model can be replaced in real time.

학습 알고리즘별, 변수별, 학습 시기별로 서로 다르게 설정되는 재학습 인공 지능 모델과의 비교를 위한 주기는 인공 지능 학습 모델 교체 주기라는 용어로 표현될 수 있다. A period for comparison with a re-learning artificial intelligence model that is set differently for each learning algorithm, each variable, and each learning period may be expressed in terms of an artificial intelligence learning model replacement period.

인공 지능 학습 모델 교체 주기는 룰 모델과 같은 시간에 따라 변화되는 기준 모델을 기반으로 결정될 수 있다. 룰 모델은 인공 지능 모델의 성능을 비교하기 위한 기준이 되는 모델로서 예측 환경의 변화에 따라 정의되는 모델이고, 실제 현실에서 발생된 결과 데이터를 기반으로 생성되는 모델일 수 있다. 예를 들어, 현실의 금융 서비스에서 특정 사용자에 대한 대출 서비스를 제공시 대출 금리, 대출 금액과 그에 따른 연체율의 결과를 기준으로 룰 모델이 정의될 수 있다. 룰 모델은 금융 서비스 환경의 변화에 따라 새롭게 정의될 수 있고, 시간의 흐름(t1, t2, t3)에 따라 제1 룰 모델(R1), 제2 룰 모델(R2), 제3 룰 모델(R3)로서 정의될 수 있다.The artificial intelligence learning model replacement cycle may be determined based on a time-varying reference model, such as a rule model. The rule model is a model that is a standard for comparing the performance of artificial intelligence models, and is a model defined according to changes in the prediction environment, and may be a model generated based on result data generated in reality. For example, when providing a loan service to a specific user in a real financial service, a rule model may be defined based on a result of a loan interest rate, a loan amount, and a delinquency rate. The rule model may be newly defined according to a change in the financial service environment, and according to the passage of time (t1, t2, t3), the first rule model (R1), the second rule model (R2), and the third rule model (R3) ) can be defined as

타겟 인공 지능 모델의 교체 주기는 이전 시점의 모든 룰 모델보다 높은 성능을 보이는 시점을 기준으로 결정될 수 있다. 예를 들어, 금융 서비스 환경의 변화에 따라 특정 세그먼트에 대해 제1 룰 모델(R1)이 예측하지 못한 연체 가능성으로 인해 제2 룰 모델(R2)가 생성될 수 있다. 인공 지능 모델(M1)에서 변수 확장을 통해 생성된 인공 지능 모델(M2)이 제1 룰 모델(R1)이 예측하지 못한 연체 가능성을 예측하고, 제2 룰 모델(R2) 대비 임계 성능 이상을 보이는 경우, 인공 지능 모델(M1)은 인공 지능 모델(M2)로 교체되고, 해당 시점이 특정 세그먼트에 대응되는 인공 지능 모델의 교체 주기로 설정될 수 있다.The replacement cycle of the target AI model may be determined based on a point in time when performance is higher than that of all rule models at a previous point in time. For example, the second rule model R2 may be generated due to the possibility of delinquency that the first rule model R1 did not predict for a specific segment according to a change in the financial service environment. The artificial intelligence model (M2) generated through variable expansion in the artificial intelligence model (M1) predicts the possibility of delinquency not predicted by the first rule model (R1), and shows more than the critical performance compared to the second rule model (R2) In this case, the artificial intelligence model M1 may be replaced with the artificial intelligence model M2 , and a corresponding point in time may be set as a replacement cycle of the artificial intelligence model corresponding to a specific segment.

이러한 기존 모든 룰 모델과의 비교를 통해 인공 지능 모델의 기존 룰에 대한 검증 및 새로운 룰에 대한 검증이 될 수 있고, 인공 지능 모델 간의 비교가 아닌 룰 모델 간의 비교를 통해 보다 신뢰도 높은 인공 지능 모델로서 사용될 수 있다.Through comparison with all of these existing rule models, the verification of the existing rule and the verification of the new rule of the artificial intelligence model can be made, and the comparison between the rule models rather than the comparison between the artificial intelligence models makes it a more reliable artificial intelligence model. can be used

도 5는 본 발명의 실시예에 따른 예측 서버에서 파생 변수 생성 모듈의 동작을 나타낸 개념도이다.5 is a conceptual diagram illustrating an operation of a derived variable generating module in a prediction server according to an embodiment of the present invention.

도 5에서는 파생 변수 생성 모듈에서 파생 변수를 생성하여 타겟 인공 지능 모델의 학습을 수행하기 위한 방법이 개시된다.In FIG. 5 , a method for learning a target artificial intelligence model by generating a derived variable in a derived variable generating module is disclosed.

도 5를 참조하면, 파생 변수 생성 모듈(520)은 컬럼 기반 분석(column oriented analytic) 파생 변수 생성 모듈(520)로서 인메모리 상에서 고속으로 파생 변수를 생성할 수 있다.Referring to FIG. 5 , the derived variable generating module 520 is a column oriented analytic derived variable generating module 520 and may generate a derived variable in-memory at high speed.

파생 변수 생성 모듈(520)은 대량으로 전달되는 트랜잭션을 실시간으로 집계하여 다양한 관점의 파생 변수들을 실시간으로 생성하여 모델을 학습하기 위한 변수로 활용할 수 있다.The derived variable generation module 520 may aggregate transactions delivered in large quantities in real time to generate derived variables from various viewpoints in real time and use them as variables for learning a model.

예를 들어, 여신 정보를 가정하면, 파생 변수 생성 모듈(520)은 컬럼 기반으로 정리된 여신 정보 프로파일(500)에 대한 정보를 입력받고, 신규 파생 변수(540)를 생성할 수 있다. For example, assuming credit information, the derived variable generation module 520 may receive information about the credit information profile 500 arranged on a column basis, and may generate a new derived variable 540 .

파생 변수 생성 모듈(520)은 여신 정보 프로파일을 기준으로 한 여신 정보에 대한 승인 정보를 고려하여 아래와 같은 신규 파생 변수(540)를 생성할 수 있다. 신규 파생 변수(540)는 기업의 안정성, 수익성, 성장성, 유동성, 활동성, 변동성, 현금흐름, 생산성, 금융비용 부담 정도 등 재무 데이터, 기업체 개황, 금융거래현황 및 거래신뢰도, 재무제표 신뢰도, 자금흐름 추이 등 비재무적 항목일 수 있다.The derived variable generation module 520 may generate the following new derived variable 540 in consideration of approval information for credit information based on the credit information profile. The new derived variable 540 includes financial data such as company stability, profitability, growth potential, liquidity, activity, volatility, cash flow, productivity, financial cost burden, company overview, financial transaction status and transaction reliability, financial statement reliability, and fund flow. It may be non-financial items such as trends.

이러한 신규 파생 변수(540)는 타겟 인공 지능 모델에 적용하여 예측값의 생성을 위해 활용될 수 있다. These new derived variables 540 may be applied to the target artificial intelligence model and utilized to generate a predicted value.

도 6은 본 발명의 실시예에 따른 변수별 중요도를 결정하는 방법을 나타낸 개념도이다.6 is a conceptual diagram illustrating a method of determining the importance of each variable according to an embodiment of the present invention.

도 6에서는 인공 지능 모델에서 결과값을 추출시 결과값을 결정한 변수별 중요도를 제공하기 위한 방법이 개시된다.6 discloses a method for providing the importance of each variable that determines the result value when extracting the result value from the artificial intelligence model.

도 6을 참조하면, 변수별 중요도는 인공 지능 모델의 결과값을 설명하기 위해 활용될 수 있다. 기존의 인공 지능 모델의 경우, 결과값만을 제공할뿐 결과값에 대한 설명이 불가능하였다. 본 발명에서는 변수별 중요도를 추출하여 결과값을 결정하기 위해 영향을 끼친 변수에 대한 정보를 제공함으로써 결과값에 대한 설명이 가능하도록 한다.Referring to FIG. 6 , the importance of each variable may be utilized to explain the result value of the artificial intelligence model. In the case of the existing artificial intelligence model, it was impossible to explain the result value only by providing the result value. The present invention extracts the importance of each variable and provides information on the variable that has influenced the determination of the result value, thereby enabling the explanation of the result value.

변수 중요도의 결정을 위해 변수 데이터 집합이 정의될 수 있다(단계 S600). A variable data set may be defined for the determination of variable importance (step S600 ).

변수 데이터 집합의 모든 변수가 사유 코드로 변환될 수 있다. Any variable in the variable data set can be converted to a reason code.

변수 데이터 집합은 매핑 테이블로 변환될 수 있다(단계 S610). The variable data set may be converted into a mapping table (step S610).

매핑 테이블은 사유 코드를 기반으로 생성된 테이블일 수 있다. 매핑 테이블은 36개의 기호(0~9, A~Z)를 기반으로 1296개의 사유코드를 기반으로 생성될 수 있다.The mapping table may be a table generated based on a reason code. The mapping table may be generated based on 1296 reason codes based on 36 symbols (0 to 9, A to Z).

매핑 테이블 상에서 변수의 카테고리화가 수행될 수 있다(단계 S620).Categorization of variables may be performed on the mapping table (step S620).

학습 데이터를 이용하여 복수의 변수 각각에 대한 카테고리가 설정될 수 있다. 예를 들어, 신용 등급이라는 변수에 대해서 하나의 사유 코드로 정의되고, 하나의 사유코드로 정의된 신용 등급에 대응되는 1등급 내지 10등급은 제1 카테고리 내지 제10 카테고리로 분류될 수 있다.A category for each of a plurality of variables may be set using the learning data. For example, a variable called credit rating is defined as one reason code, and grades 1 to 10 corresponding to a credit rating defined as a single reason code may be classified into a first category to a tenth category.

변수별 카테고리화를 수행한 후, 카테고리별로 인공 지능 모델에 끼치는 영향을 점수화하여 카테고리별 스코어를 결정할 수 있다(단계 S630). After performing the categorization for each variable, it is possible to determine the score for each category by scoring the effect on the artificial intelligence model for each category (step S630).

카테고리별 스코어는 카테고리별 예측값일 수 있다. 예를 들어, 인공 지능 모델의 결과값이 대출 연체율에 관련된 연체 스코어인 경우, 제1 카테고리의 신용 등급인 경우, 제1 연체 스코어, 제2 카테고리의 신용 등급인 경우, 연체 스코어,??, 제10 카테고리의 신용 등급인 경우, 제10 연체 스코어가 결정될 수 있다.The score for each category may be a predicted value for each category. For example, if the result of the artificial intelligence model is a delinquency score related to the loan delinquency rate, if the credit rating is in the first category, the first delinquency score, if the credit rating in the second category, the delinquency score,??, In the case of a credit rating of 10 categories, a tenth delinquency score may be determined.

본 발명에서는 카테고리별 스코어의 결정 이후, 스코어에 대한 실시간 사유 코드가 제공될 수 있다(단계 S640). In the present invention, after determining the score for each category, a real-time reason code for the score may be provided (step S640).

구체적으로 변수별 피처 스파이크값이 양수로 나온 것 중 절대값이 임계값 이상인 사유 코드를 나열하여 실시간 사유 코드로서 제공함으로써 어떠한 변수가 카테고리별 스코어에 영향을 끼쳤는지에 대한 정보가 실시간으로 제공될 수 있다. 변수별 피처 스파이크는 결과에 끼친 변수의 영향력에 대한 값일 수 있다.Specifically, by providing a real-time reason code by listing the reason codes whose absolute value is greater than or equal to the threshold among those with positive feature spike values for each variable, information on which variables affected the scores for each category can be provided in real time. . The feature spike for each variable may be a value for the influence of a variable on a result.

예를 들어, 제1 카테고리의 신용 등급인 경우, 제1 연체 스코어를 결정하기 위해 영향을 끼친 n개의 사유코드가 결정될 수 있고, n개의 사유코드는 n개의 변수에 대응될 수 있다. n개의 변수는 나이, 직장 소득, 자산 등일 수 있고, 이러한 변수들이 제1 신용 등급의 연체율을 결정하는데 크게 영향을 끼친 변수라는 것을 알 수 있다.For example, in the case of the credit rating of the first category, n reason codes that have an influence to determine the first delinquency score may be determined, and the n reason codes may correspond to n variables. The n variables may be age, work income, assets, etc., and it can be seen that these variables are variables that have a great influence on determining the delinquency rate of the first credit rating.

도 7은 본 발명의 실시예에 따른 크레딧 투 맵의 생성 방법을 나타낸 개념도이다.7 is a conceptual diagram illustrating a method of generating a credit-to-map according to an embodiment of the present invention.

도 7에서는 세그먼트에 대한 크레딧 투 맵(credit to map)을 생성하는 방법이 개시된다.7 discloses a method of generating a credit to map for a segment.

도 7을 참조하면, 크레딧 투 맵(700)은 시간에 따른 예측값(710)과 결과값(720)을 제공하여 예측 대비 결과의 차이를 수치화한 그래프일 수 있다. 크레딧 투 맵(700)은 서비스에 따라 다른 변수로 정의될 수 있다. 예를 들어, 금융 서비스에 대한 크레딧 투 맵(700)은 세그먼트별 금융 리스크와 같은 인공 지능 모델로 예측된 금융 리스크를 기준으로 시간에 따른 세그먼트의 금융 리스크의 예측값(710)과 결과값(720)의 변화에 대한 정보를 포함할 수 있다.Referring to FIG. 7 , the credit to map 700 may be a graph in which the difference between the prediction and the result is digitized by providing the prediction value 710 and the result value 720 according to time. The credit to map 700 may be defined as a different variable according to a service. For example, the credit to map 700 for financial services is the predicted value 710 and the result value 720 of the financial risk of the segment over time based on the financial risk predicted by the artificial intelligence model, such as the financial risk by segment. may include information about changes in

크레딧 투 맵(700) 상에서는 시간에 따른 예측값(710)의 변화, 시간에 따른 결과값(720)의 변화가 표현될 수 있다. 이뿐만 아니라, 세그먼트별 관계를 고려하여 세그먼트별 참조값(730)도 크레딧 투 맵(700) 상에 표현될 수 있다.On the credit to map 700 , a change in the predicted value 710 over time and a change in the result 720 over time may be expressed. In addition to this, a reference value 730 for each segment may also be expressed on the credit to map 700 in consideration of the relationship for each segment.

크레딧 투 맵(700)의 생성을 위해 시간에 따른 예측값(710)이 주기적 또는 비주기적으로 생성되어 전달될 수 있다. 예를 들어, 특정 세그먼트의 금융 리스크에 대한 예측값(710)은 재학습 데이터, 변수 변화, 타겟 인공 지능 모델의 변화 등으로 인해 변화될 수 있고, 변화된 예측값(710)은 크레딧 투 맵(700) 상에 반영될 수 있다. 금융 서비스를 위해 초기에 결정된 예측값(710)은 기준 예측값(715)으로 정의되고, 기준 예측값(715)을 기초로 예측값(710)의 변화가 발생시 크레딧 투 맵(700) 상에 기록될 수 있다. 예를 들어, 특정 세그먼트의 금융 리스크를 기반으로 대출 서비스를 제공할 경우, 대출 서비스를 제공시 기초가 되는 금융 리스크의 예측값이 기준 예측값일 수 있다.In order to generate the credit-to-map 700 , the prediction value 710 according to time may be periodically or aperiodically generated and transmitted. For example, the predicted value 710 for the financial risk of a specific segment may change due to retraining data, variable changes, changes in the target artificial intelligence model, etc., and the changed predicted value 710 is on the credit to map 700 can be reflected in The predicted value 710 initially determined for the financial service is defined as the reference predicted value 715 , and when a change in the predicted value 710 based on the reference predicted value 715 occurs, it may be recorded on the credit to map 700 . For example, when a loan service is provided based on a financial risk of a specific segment, a prediction value of a financial risk that is a basis for providing a loan service may be a reference prediction value.

또한, 크레딧 투 맵(700)의 생성을 위해 시간에 따른 결과값(720)이 주기적으로 생성되어 전달될 수 있다. 세그먼트별 결과값을 센싱하기 위한 세그먼트 센서가 세그먼트 별로 할당될 수 있고, 세그먼트 센서는 결과값이 발생되는 경우, 크레딧 투 맵(700)의 생성을 위해 결과값(720)을 전송할 수 있다.In addition, for generating the credit to map 700 , a result value 720 according to time may be periodically generated and transmitted. A segment sensor for sensing the result value for each segment may be allocated to each segment, and when the result value is generated, the segment sensor may transmit the result value 720 to generate the credit to map 700 .

이뿐만 아니라, 크레딧 투 맵(700)의 생성을 위해 시간에 따른 참조값(730)이 주기적으로 생성되어 전달될 수 있다. 참조값(730)은 세그먼트를 기준으로 참조할 수 있는 다른 세그먼트의 예측값(710) 및 결과값(720)으로서 크레딧 투 맵(700)에서 세그먼트의 현재 상황의 해석을 위해 참조될 수 있는 값일 수 있다.In addition to this, a reference value 730 according to time may be periodically generated and transmitted to generate the credit to map 700 . The reference value 730 may be a predicted value 710 and a result value 720 of another segment that can be referenced based on the segment, which may be referenced for interpretation of the current situation of the segment in the credit to map 700 .

복수의 세그먼트 각각에 대한 크레딧 투 맵(700)을 통해 세그먼트가 예측값(710)에 대응되는 결과값(720)을 생성하고 있는지에 대한 관리가 가능하다. 크레딧 투 맵(700)의 경우, 세그먼트별 특성을 고려하여 주기적 및 비주기적으로 예측값(710), 결과값(720) 및 참조값(730)을 생성하여 크레딧 투 맵(700)이 업데이트될 수 있다.Through the credit to map 700 for each of the plurality of segments, it is possible to manage whether the segment is generating the result value 720 corresponding to the prediction value 710 . In the case of the credit to map 700 , the credit to map 700 may be updated by periodically and aperiodically generating the predicted value 710 , the result value 720 , and the reference value 730 in consideration of the characteristics of each segment.

크레딧 투 맵(700) 상에서 범위가 설정되어 예를 들어, 정상 상태(760), 이상 상태(750)와 같은 세그먼트 상태 정보가 제공될 수 있다. 세그먼트 별로 정상 상태(760), 이상 상태(750)가 설정될 수 있고, 결과값(720)이나 예측값(710)이 이상 상태(750)이거나 참조값(730)이 이상 상태(750)인 경우, 크레딧 투 맵(700) 상에서 이상 상태(750)에 대한 알람이 생성될 수 있다.A range is set on the credit to map 700 , and segment state information such as a normal state 760 and an abnormal state 750 may be provided. A normal state 760 and an abnormal state 750 may be set for each segment, and when the result value 720 or the predicted value 710 is the abnormal state 750 or the reference value 730 is the abnormal state 750, credit An alarm for the abnormal state 750 may be generated on the two map 700 .

도 8은 본 발명의 실시예에 따른 크레딧 투 맵 생성 장치를 나타낸 개념도이다.8 is a conceptual diagram illustrating an apparatus for generating a credit-to-map according to an embodiment of the present invention.

도 8에서는 크레딧 투 맵 생성 장치의 구성이 구체적으로 개시된다.In FIG. 8 , the configuration of the device for generating a credit to map is specifically disclosed.

도 8을 참조하면, 크레딧 투 맵 생성 장치는 세그먼트 설정부(810), 크레딧 투 맵 생성부(820), 크레딧 투 맵 관리부(830) 및 프로세서(840)를 포함할 수 있다.Referring to FIG. 8 , the apparatus for generating a credit to map may include a segment setting unit 810 , a credit to map generating unit 820 , a credit to map managing unit 830 , and a processor 840 .

세그먼트 설정부(810)는 크레딧 투 맵을 생성하기 위한 세그먼트에 대한 설정을 위해 구현될 수 있다. 세그먼트 설정부(810)는 크레딧 투 맵에 대한 생성이 가능한 세그먼트를 탐색하고, 크레딧 투 맵의 생성을 위한 세그먼트 별 관계를 설정하기 위해 구현될 수 있다.The segment setting unit 810 may be implemented to set a segment for generating a credit to map. The segment setting unit 810 may be implemented to search for segments that can be created for the credit-to-map and to set a relationship for each segment for generating the credit-to-map.

크레딧 투 맵 생성부(820)는 크레딧 투 맵의 생성을 위해 구현될 수 있다. 크레딧 투 맵 생성부(820)는 예측값 결정부(822), 결과값 결정부(824), 참조값 결정부(826), 세그먼트 관리부(828)를 포함할 수 있다.The credit to map generator 820 may be implemented to generate the credit to map. The credit to map generator 820 may include a predicted value determiner 822 , a result determiner 824 , a reference value determiner 826 , and a segment manager 828 .

예측값 결정부(822)는 세그먼트에 대한 예측값을 결정하기 위해 구현될 수 있다. 인공 지능 모델은 세그먼트에 대한 예측값을 생성하여 크레딧 투 맵 생성부(820)로 전송할 수 있다.The prediction value determiner 822 may be implemented to determine a prediction value for a segment. The artificial intelligence model may generate a prediction value for a segment and transmit it to the credit-to-map generator 820 .

결과값 결정부(824)는 세그먼트에 대한 결과값을 결정하기 위해 구현될 수 있다. 세그먼트 센서를 기반으로 결과값이 결정되고, 결과값은 크레딧 투 맵 생성부(820)로 전송될 수 있다.The result determination unit 824 may be implemented to determine a result value for the segment. A result value may be determined based on the segment sensor, and the result value may be transmitted to the credit-to-map generator 820 .

참조값 결정부(826)는 세그먼트에 대한 예측값, 결과값의 참조가 될 수 있는 참조값을 결정하기 위해 구현될 수 있다. 참조값의 결정을 위해서는 세그먼트에 참조가 되는 참조 세그먼트가 결정될 수 있고, 참조 세그먼트의 예측값과 결과값에 대한 정보를 기반으로 한 참조값이 생성될 수 있다.The reference value determiner 826 may be implemented to determine a reference value that can be a reference for a prediction value for a segment and a result value. In order to determine the reference value, a reference segment that is a reference to the segment may be determined, and a reference value may be generated based on information about a predicted value and a result value of the reference segment.

세그먼트 관리부(828)는 세그먼트에 대한 참조 세그먼트 관리를 위해 구현될 수 있다. 세그먼트 관리부(828)는 세그먼트 별 관계(예를 들어, 계층 관계)를 기반으로 참조 세그먼트를 설정할 수 있다.The segment manager 828 may be implemented to manage a reference segment for a segment. The segment manager 828 may set a reference segment based on a relationship for each segment (eg, a hierarchical relationship).

크레딧 투 맵 관리부(830)는 크레딧 투 맵의 관리를 위해 구현될 수 있다. 크레딧 투 맵 관리부(830)는 크레딧 투 맵의 예측값, 결과값, 참조값의 생성에 대한 관리를 수행할 수 있다. 또한, 크레딧 투 맵 관리부(830)는 세그먼트 특성을 고려하여 예측값, 결과값, 참조값 각각의 정상 범위와 이상 범위를 설정하기 위해 구현될 수 있다.The credit to map management unit 830 may be implemented to manage the credit to map. The credit to map management unit 830 may manage generation of a credit to map prediction value, a result value, and a reference value. Also, the credit to map management unit 830 may be implemented to set a normal range and an abnormal range of each of a predicted value, a result value, and a reference value in consideration of segment characteristics.

프로세서(840)는 세그먼트 분류부(810), 크레딧 투 맵 생성부(820), 크레딧 투 맵 관리부(830)의 동작을 제어하기 위해 구현될 수 있다.The processor 840 may be implemented to control operations of the segment classifier 810 , the credit to map generator 820 , and the credit to map manager 830 .

도 9는 본 발명의 실시예에 따른 크레딧 투 맵 생성 방법을 나타낸 개념도이다.9 is a conceptual diagram illustrating a method for generating a credit-to-map according to an embodiment of the present invention.

도 9에서는 크레딧 투 맵 상에서 정상 범위와 이상 범위를 설정하기 위한 방법이 개시된다.9 discloses a method for setting a normal range and an abnormal range on a credit to map.

도 9를 참조하면, 세그먼트 별로 예측값(910)과 결과값(920)의 차이값이 결정되고, 예측값(910)과 결과값(920)의 차이가 제1 부정 방향(940)으로 부정 임계값(950) 이상 커지는 경우, 이상 범위로 설정될 수 있다. 제1 부정 방향(940)과 제1 긍정 방향(945)은 예측값(910)에 따라 다르게 설정될 수 있다. 예를 들어, 예측값(910)이 금융 리스크인 경우, 결과값(920)이 예측값(910)보다 커지는 방향이 제1 부정 방향(940)이고, 결과값(920)이 예측값(910)보다 작아지는 방향이 제1 긍정 방향(945)일 수 있다.Referring to FIG. 9 , a difference value between a predicted value 910 and a result value 920 is determined for each segment, and the difference between the predicted value 910 and the result value 920 is a negative threshold value ( 950), it may be set to an abnormal range when it becomes larger. The first negative direction 940 and the first positive direction 945 may be set differently according to the prediction value 910 . For example, when the predicted value 910 is a financial risk, the direction in which the result value 920 becomes larger than the predicted value 910 is the first negative direction 940 , and the result value 920 is smaller than the predicted value 910 . The direction may be the first positive direction 945 .

부정 임계값(950)은 시간에 따라 변화될 수 있고, 이상 상황(960)는 부정 임계값(950)을 고려하여 결정될 수 있다.The negative threshold 950 may change with time, and the abnormal situation 960 may be determined in consideration of the negative threshold 950 .

부정 임계값(950)은 세그먼트의 특성을 고려하여 설정될 수 있고, 시간에 따라 변화되는 예측값(910), 예측값(910)과 결과값(920)의 차이에 따라서도 다르게 설정될 수 있다.The negative threshold 950 may be set in consideration of segment characteristics, and may be set differently according to the time-varying predicted value 910 and the difference between the predicted value 910 and the result value 920 .

우선, 부정 임계값(950)은 세그먼트별 센싱 민감도에 따라 다르게 설정되고, 센싱 민감도가 상대적으로 높을 경우, 부정 임계값(950)은 상대적으로 작게 설정될 수 있다. 세그먼트별 센싱 민감도는 별도로 설정 가능하고, 예측 대상이 가지는 중요도에 따라서도 다르게 설정될 수 있다. 또한, 세그먼트별 센싱 민감도는 개별적으로 설정될 수도 있으나, 세그먼트의 관계에 따라서도 적응적으로 변화되어 설정될 수도 있다. 세그먼트별 계층적인 관계가 존재할 수 있고, 계층적인 관계를 고려하여 상위 세그먼트 또는 하위 세그먼트의 센싱 민감도의 변화에 따라 적응적으로 세그먼트의 센싱 민감도가 변화될 수도 있다.First, the negative threshold 950 is set differently according to the sensing sensitivity for each segment, and when the sensing sensitivity is relatively high, the negative threshold 950 may be set relatively small. The sensing sensitivity for each segment can be set separately, and can be set differently according to the importance of the prediction target. In addition, the sensing sensitivity for each segment may be individually set, or may be adaptively changed and set according to a relationship between segments. A hierarchical relationship for each segment may exist, and the sensing sensitivity of a segment may be adaptively changed according to a change in the sensing sensitivity of an upper segment or a lower segment in consideration of the hierarchical relationship.

또한, 부정 임계값(950)은 예측값(910)의 변화에 따라서 다르게 설정될 수 있다. 새로운 예측값(910)이 기준 예측값(915) 기준으로 제2 부정 방향(970)으로 증가하는 경우, 부정 임계값(910)은 상대적으로 작아질 수 있다. 제2 부정 방향(970)은 변수의 성격이 서비스에 부정적인 영향을 끼치는지 여부를 고려하여 결정될 수 있다. 예를 들어, 예측값(910)이 금융 리스크인 경우, 증가하는 방향이 제2 부정 방향(970)이고, 감소하는 방향이 제2 긍정 방향(975)이다. 예측값(910)이 신용도인 경우, 증가하는 방향이 제2 긍정 방향(975)이고, 감소하는 방향이 제2 부정 방향(970)이다. Also, the negative threshold 950 may be set differently according to a change in the predicted value 910 . When the new prediction value 910 increases in the second negative direction 970 based on the reference prediction value 915 , the negative threshold value 910 may be relatively small. The second negative direction 970 may be determined in consideration of whether the nature of the variable has a negative influence on the service. For example, when the predicted value 910 is a financial risk, the increasing direction is the second negative direction 970 , and the decreasing direction is the second positive direction 975 . When the predicted value 910 is creditworthiness, the increasing direction is the second positive direction 975 , and the decreasing direction is the second negative direction 970 .

부정 임계값(950)이 상대적으로 작아진다는 의미는 이상 상황(960)이라고 판단하는 범위가 상대적으로 넓게 설정되어 이상 상황(960)이라고 판단하는 민감도가 높아지는 것이다. 즉, 처음 예측과 다른 예측값(910)이 제2 부정 방향(970)쪽으로 발생하는 경우, 이상 상황(960)이라고 판단되는 범위를 상대적으로 넓게 설정하여 상대적으로 높은 민감도로 이상 상황(960)이 탐지될 수 있고, 반대로, 처음 예측과 다른 예측값(910)이 제2 긍정 방향(975)쪽으로 발생하는 경우, 이상 상황(960)으로 판단되는 범위가 상대적으로 좁게 설정되어 상대적으로 낮은 민감도로 이상 상황이 탐지될 수 있다.The meaning that the negative threshold value 950 is relatively small means that the range for determining the abnormal situation 960 is set to be relatively wide, so that the sensitivity for determining the abnormal situation 960 is increased. That is, when the predicted value 910 different from the initial prediction occurs in the second negative direction 970 , the abnormal situation 960 is detected with a relatively high sensitivity by setting the range determined as the abnormal situation 960 relatively wide. Conversely, when the predicted value 910 different from the initial prediction occurs in the second positive direction 975, the range determined as the abnormal situation 960 is set relatively narrowly, so that the abnormal situation is relatively low in sensitivity. can be detected.

이뿐만 아니라, 부정 임계값(950)은 예측값(910)과 결과값(920)의 차이를 고려하여 설정될 수 있다. 예측값과 유사한 방식으로 예측값(910)과 결과값(920)의 차이가 제1 부정 방향(940)으로 커지는 경우, 부정 임계값(950)이 상대적으로 작게 설정될 수 있다. 반대로 예측값(910)과 결과값(920)의 차이가 제1 긍정 방향(945)으로 커지는 경우, 부정 임계값(950)이 상대적으로 크게 설정될 수 있다.In addition to this, the negative threshold 950 may be set in consideration of the difference between the predicted value 910 and the result value 920 . When the difference between the prediction value 910 and the result value 920 increases in the first negative direction 940 in a manner similar to the prediction value, the negative threshold value 950 may be set relatively small. Conversely, when the difference between the predicted value 910 and the result value 920 increases in the first positive direction 945 , the negative threshold 950 may be set to be relatively large.

도 10은 본 발명의 실시예에 따른 세그먼트 계층을 나타낸 개념도이다.10 is a conceptual diagram illustrating a segment hierarchy according to an embodiment of the present invention.

도 10을 참조하면, 금융 서비스 관련된 금융 세그먼트가 계층을 이룬다고 가정할 경우, 계층1 내지 계층n으로 분화되어 상위 금융 세그먼트와 하위 금융 세그먼트가 설정될 수 있다.Referring to FIG. 10 , if it is assumed that financial segments related to financial services form hierarchies, they may be divided into layers 1 to n, and an upper financial segment and a lower financial segment may be set.

하위 금융 세그먼트 상에서 금융 세그먼트 데이터로서 부정 임계값 변화 데이터가 발생하는 경우, 설정된 조건에 따라 상위 금융 세그먼트 상에서도 금융 세그먼트 데이터로서 부정 임계값 변화 데이터가 발생될 수 있다.When negative threshold change data is generated as financial segment data on a lower financial segment, negative threshold change data may also be generated as financial segment data on an upper financial segment according to a set condition.

예를 들어, 계층5의 금융 세그먼트x(1000) 상에서 부정 임계값 변화 데이터1(1005)가 발생될 수 있다. 예를 들어, 금융 세그먼트x(1000)에 대응되는 특정 셀러의 예측값의 변화, 세그먼트별 센싱 민감도의 변화로 인해 부정 임계값이 변화 되는 경우, 금융 세그먼트x(1000)는 부정 임계값 변화 데이터1(1005)을 생성하여 데이터 수집부로 전송할 수 있다.For example, negative threshold change data 1 ( 1005 ) may be generated on the financial segment x ( 1000 ) of layer 5 . For example, when the negative threshold value is changed due to a change in the predicted value of a specific seller corresponding to the financial segment x 1000 or a change in the sensing sensitivity for each segment, the financial segment x 1000 is the negative threshold change data 1 ( 1005) can be generated and transmitted to the data collection unit.

금융 세그먼트x(1000)의 부정 임계값 변화 데이터1(1005)이 발생되는 경우, 우선, 금융 세그먼트x(1000)의 상위 계층인 계층4의 금융 세그먼트y(1010)로 부정 임계값 변화 데이터1(1005)가 전송될 수 있다.When the negative threshold change data 1 1005 of the financial segment x (1000) is generated, first, the negative threshold change data 1 ( 1005) may be transmitted.

금융 세그먼트y(1010)는 부정 임계값 변화 데이터1(1005)을 기반으로 별도의 부정 임계값 변화 데이터의 생성 여부에 대해 결정할 수 있다. 부정 임계값 변화 데이터1(1005)이 계층4에 대응되는 금융 세그먼트y(1010)에서 별도의 금융 정보의 변화를 발생시키지 못하는 경우, 계층4에서 금융 세그먼트 데이터를 생성하지 않고, 수신한 부정 임계값 변화 데이터1(1005)은 저장되고, 추후 발생된 다른 부정 임계값 변화 데이터와 결합하여 금융 세그먼트y(1010)에서 별도의 부정 임계값 변화를 발생시키는지 여부를 판단할 수 있다.The financial segment y 1010 may determine whether to generate separate negative threshold change data based on the negative threshold change data 1 1005 . When the negative threshold change data 1 1005 does not generate a separate financial information change in the financial segment y 1010 corresponding to the layer 4, the negative threshold value received without generating the financial segment data in the layer 4 Change data 1 1005 may be stored and combined with other negative threshold change data generated later to determine whether to generate a separate negative threshold change in financial segment y 1010 .

반대로 부정 임계값 변화 데이터1(1005)이 계층4에 대응되는 금융 세그먼트y(1010)에서 별도의 금융 정보의 변화를 발생시키는 경우, 계층4에서 부정 임계값 변화 데이터2(1015)를 생성할 수 있다. 마찬가지 방식으로 부정 임계값 변화 데이터2(1015)는 금융 세그먼트y(1010)의 상위 계층인 금융 세그먼트z(1020)로 전송될 수 있다. 유사하게 금융 세그먼트z(1020)는 부정 임계값 변화 데이터2(1015)을 기반으로 별도의 부정 임계값 변화 데이터의 생성 여부에 대해 결정할 수 있다. 부정 임계값 변화 데이터2(1015)가 계층5에 대응되는 금융 세그먼트z(1020)에서 별도의 부정 임계값 변화를 발생시키지 못하는 경우, 계층5에서 부정 임계값 변화 데이터를 생성하지 않고, 수신한 부정 임계값 변화 데이터2(1015)는 저장되고, 추후 발생된 다른 부정 임계값 변화 데이터와 결합하여 금융 세그먼트z(1020)에서 별도의 부정 임계값의 변화를 발생시키는지 여부가 판단될 수 있다. 반대로 부정 임계값 변화 데이터2(1005)가 계층3에 대응되는 금융 세그먼트z(1020)에서 별도의 부정 임계값의 변화를 발생시킬 수 있다.Conversely, when negative threshold change data 1 1005 generates a separate financial information change in financial segment y 1010 corresponding to layer 4, negative threshold change data 2 1015 can be generated in layer 4 have. In the same way, the negative threshold change data 2 1015 may be transmitted to the financial segment z 1020 which is an upper layer of the financial segment y 1010 . Similarly, the financial segment z 1020 may determine whether to generate separate negative threshold change data based on the negative threshold change data 2 1015 . When the negative threshold change data 2 1015 does not generate a separate negative threshold change in the financial segment z 1020 corresponding to the layer 5, the negative threshold value change data is not generated in the layer 5 and received negative Threshold change data 2 1015 is stored, and it may be determined whether or not to generate a separate negative threshold change in the financial segment z 1020 by combining with other negative threshold change data generated later. Conversely, the negative threshold change data 2 1005 may generate a separate negative threshold change in the financial segment z 1020 corresponding to the layer 3 .

도 11은 본 발명의 실시예에 따른 세그먼트 트래킹 방법을 나타낸 개념도이다.11 is a conceptual diagram illustrating a segment tracking method according to an embodiment of the present invention.

도 11에서는 세그먼트를 트래킹하여 결과값을 생성하기 위한 방법이 개시된다.11 discloses a method for generating a result by tracking a segment.

도 11을 참조하면, 세그먼트별 세그먼트 센서(1100)가 할당될 수 있고, 세그먼트 센서(1100) 각각을 기반으로 세그먼트 결과값이 수집될 수 있다., Referring to FIG. 11 , a segment sensor 1100 for each segment may be allocated, and segment result values may be collected based on each of the segment sensors 1100 .

예를 들어, 하나의 세그먼트에 특정 판매자가 대응되고, 예측값은 대출에 대한 연체 확률일 수 있다. 이러한 경우, 세그먼트 센서(1100)는 세그먼트의 대출금 상황 기간에 센싱을 수행하여 세그먼트가 대출금 상환을 하였는지 여부에 대해 판단할 수 있다.For example, a specific seller may correspond to one segment, and the predicted value may be a delinquency probability for a loan. In this case, the segment sensor 1100 may perform sensing during the loan condition period of the segment to determine whether the segment has repaid the loan.

세그먼트 센서(1100)는 물리적인 센서가 아닌 세그먼트별 예측값에 따른 결과값을 수집하기 위한 소프트웨어 센서이다. 세그먼트 센서(1100)는 결과값이 생성되는 시점인 결과값 생성 시점 정보를 고려하여 결과값 생성 시점에 발생된 결과값을 수집하여 크레딧 투 맵 생성부로 전달할 수 있다.The segment sensor 1100 is not a physical sensor, but a software sensor for collecting result values according to prediction values for each segment. The segment sensor 1100 may collect the result value generated at the result value generation time in consideration of the result value generation time information, which is the result value generation time point, and transmit it to the credit to map generating unit.

이러한 세그먼트 센서(1100)는 세그먼트에 대한 하나의 결과값을 생성하기 위해 다양한 정보를 센싱할 수도 있다. 예를 들어, 세그먼트 센서(1100)의 결과값이 금융 리스크인 경우, 대출금 상환 여부, 직장 재직 여부, 자가 여부, 카드값 등 다양한 정보를 센싱하여 결과값을 종합하여 생성할 수 있다.The segment sensor 1100 may sense various pieces of information to generate one result value for a segment. For example, when the result value of the segment sensor 1100 is a financial risk, various information such as whether a loan is repaid, whether or not to have a job, whether or not a person is employed, a card value, etc. may be sensed and the result value may be synthesized and generated.

세그먼트 센서(1100)는 하나의 센싱값으로 하나의 결과값을 생성하는 센서와 복수의 센싱값을 기반으로 하나의 결과값을 생성하는 센서로 구분될 수 있다. 하나의 센싱값으로 하나의 결과값을 생성하는 센서는 싱글 세그먼트 센서(1120)라는 용어로 표현되고, 복수의 센싱값으로 하나의 결과값을 생성하는 센서는 멀티 세그먼트 센서(1140)라는 용어로 표현될 수 있다. The segment sensor 1100 may be divided into a sensor that generates one result value based on one sensing value and a sensor that generates one result value based on a plurality of sensing values. A sensor that generates one result value with one sensing value is expressed as a single segment sensor 1120, and a sensor that generates one result value with a plurality of sensing values is expressed as a multi-segment sensor 1140 term. can be

싱글 세그먼트 센서(1120)는 세그먼트별 별도의 조정없이 세그먼트에 대한 결과값을 생성할 수 있다. The single segment sensor 1120 may generate a result value for a segment without separate adjustment for each segment.

멀티 세그먼트 센서(1140)는 세그먼트 특성을 반영한 결과값을 생성하기 위해 세그먼트 특성을 반영한 조정이 수행될 수 있다. The multi-segment sensor 1140 may be adjusted to reflect the segment characteristics in order to generate a result value reflecting the segment characteristics.

멀티 세그먼트 센서(1140)는 복수의 센싱값을 기초로 결과값을 생성하기 때문에 세그먼트, 세그먼트 그룹별 조정이 이루어질 수 있다. 예를 들어, 세그먼트의 특성 중에 대출금 상환 여부, 직장 재직 여부, 자가 여부, 카드값 중 어떠한 특성을 금융 리스크를 결정하기 위해 가중치를 주어 판단하는지에 대한 것도 세그먼트의 특성을 반영하여 조정될 수 있고, 어떠한 센싱값을 사용할지도 세그먼트별로 조정되어 멀티 세그먼트 센서(1140)가 결과값을 생성할 수 있다.Since the multi-segment sensor 1140 generates a result value based on a plurality of sensed values, adjustment can be made for each segment and segment group. For example, among the characteristics of the segment, which characteristics of loan repayment, employment, self-employment, and card value are weighted to determine financial risk can also be adjusted by reflecting the characteristics of the segment. The use of the sensed value is also adjusted for each segment, so that the multi-segment sensor 1140 may generate a result value.

세그먼트 특성 정보, 센싱값 정보를 기반으로 가장 정확한 예측을 수행할 수 있는 멀티 세그먼트 센서(1140)가 결정될 수 있다. 멀티 세그먼트 센서(1140)는 복수의 센싱값을 기반으로 하나의 결과값을 생성하는 알고리즘으로 정의될 수 있다. 또한, 멀티 세그먼트 센서(1140)는 학습된 인공 지능 모델이고, 학습된 인공 지능 모델은 복수의 센싱값을 입력값으로 받아서 결과값을 생성하여 전달할 수 있다. A multi-segment sensor 1140 capable of performing the most accurate prediction based on segment characteristic information and sensing value information may be determined. The multi-segment sensor 1140 may be defined as an algorithm that generates one result value based on a plurality of sensed values. In addition, the multi-segment sensor 1140 is a learned artificial intelligence model, and the learned artificial intelligence model may receive a plurality of sensing values as input values and generate and transmit result values.

세그먼트에 맞는 멀티 세그먼트 센서(1140)를 결정하기 위해 멀티 세그먼트 센서(1140)가 센싱하는 복수의 센싱값은 도 6에서 전술한 변수별 피처 스파이크값이 양수로 나온 것 중 절대값이 임계값 이상인 것일 수 있다.The plurality of sensing values sensed by the multi-segment sensor 1140 in order to determine the multi-segment sensor 1140 suitable for the segment is that the absolute value is greater than or equal to the threshold value among the positive values of the feature spike values for each variable described above in FIG. 6 . can

즉, 인공 지능 모델의 특정 결과값에 임계값 이상의 영향을 끼치는 변수가 타겟 변수로 설정되고, 복수의 타겟 변수에 대한 센싱값이 멀티 세그먼트 센서(1140)에 의해 센싱되어 최종적인 결과값이 생성될 수 있다.That is, a variable that affects a specific result value of the artificial intelligence model by more than a threshold value is set as a target variable, and the sensed values for a plurality of target variables are sensed by the multi-segment sensor 1140 to generate a final result value. can

도 12는 본 발명의 실시예에 따른 세그먼트 계측별 세그먼트 센서의 설정을 나타낸 개념도이다.12 is a conceptual diagram illustrating a setting of a segment sensor for each segment measurement according to an embodiment of the present invention.

도 12에서는 세그먼트 계층을 고려한 센싱값 생성 방법이 개시된다. 12 discloses a method for generating a sensed value in consideration of a segment layer.

도 12를 참조하면, 세그먼트의 성격에 따라서 다른 세그먼트의 결과값을 센싱값으로서 받아들여 결과값을 생성할 수도 있다.Referring to FIG. 12 , a result value may be generated by accepting a result value of another segment as a sensing value according to the nature of the segment.

멀티 세그먼트 센서는 외부의 소스를 기반으로 센싱값을 직접 생성하여 결과값을 생성할 수도 있고, 다른 세그먼트 센서의 결과값을 센싱값으로 수신하여 결과값을 생성할 수도 있고, 외부 소스 기반의 센싱값과 다른 세그먼트 센서의 결과값을 모두 센싱값으로 사용할 수도 있다.A multi-segment sensor may generate a result value by directly generating a sensing value based on an external source, or may generate a result value by receiving a result value of another segment sensor as a sensing value, or a sensing value based on an external source. and the result values of other segment sensors may all be used as sensing values.

외부의 소스를 통해 센싱값을 직접 생성하여 결과값을 생성하는 멀티 세그먼트 센서는 1차 멀티 세그먼트 센서(1210)라는 용어로 표현되고, 다른 세그먼트 센서의 결과값을 센싱값으로서 수신하여 결과값을 생성하는 세그먼트 센서는 2차 멀티 세그먼트 센서(1220)라는 용어로 표현되고, 외부 소스를 통한 센싱값과 다른 세그먼트 센서의 결과값을 모두 센싱값으로 사용하는 세그먼트 센서는 3차 멀티 세그먼트 센서(1230)라는 용어로 표현될 수 있다.A multi-segment sensor that directly generates a sensing value through an external source and generates a result value is expressed in terms of the primary multi-segment sensor 1210, and receives the result value of another segment sensor as a sensing value to generate a result value A segment sensor that uses both the sensing value through an external source and the result value of another segment sensor as the sensing value is expressed in terms of the secondary multi-segment sensor 1220, and the third multi-segment sensor 1230 is can be expressed in terms.

1차 세그먼트 센서(1210)의 경우, 전술한 변수 스파이크를 기준으로 변수 영향력을 고려하여 센싱값이 결정될 수 있다.In the case of the primary segment sensor 1210, a sensing value may be determined in consideration of the variable influence based on the aforementioned variable spike.

2차 세그먼트 센서(1220), 3차 세그먼트 센서(1230)의 경우, 하위 계층 세그먼트의 하위 세그먼트 센서로부터 결과값을 수신하여 센싱값으로 사용하기 때문에 하위 계층 세그먼트의 하위 세그먼트 센서의 결과값 중 일부를 선택적으로 센싱값으로 설정하여 사용할 수 있다. 센싱값으로 선택 가능한 하위 세그먼트 센서의 결과값은 하위 센싱값이라는 용어로 표현될 수 있다.In the case of the secondary segment sensor 1220 and the tertiary segment sensor 1230, since the result value is received from the lower segment sensor of the lower layer segment and used as a sensing value, some of the result value of the lower segment sensor of the lower layer segment is used as a sensing value. Optionally, it can be used by setting it as a sensing value. A result value of a sub-segment sensor selectable as a sensing value may be expressed in terms of a sub-segment value.

하위 세그먼트 센서의 예측 정확도를 고려하여 하위 센싱값 중 일부만이 상위 계층 세그먼트의 상위 세그먼트 센서의 센싱값으로서 활용될 수 있다.In consideration of the prediction accuracy of the lower segment sensor, only a portion of the lower sensed values may be utilized as the sensing values of the upper segment sensor of the upper layer segment.

하위 세그먼트 센서의 예측 정확도는 전술한 크레딧 투 맵의 예측값과 결과값의 차이를 고려하여 결정될 수 있다. 예측값과 결과값의 차이가 상대적으로 작을수록 하위 세그먼트 센서는 상대적으로 높은 예측 정확도를 가지는 것으로 판단될 수 있다.The prediction accuracy of the sub-segment sensor may be determined in consideration of the difference between the prediction value and the result value of the aforementioned credit-to-map. As the difference between the prediction value and the result value is relatively small, it may be determined that the sub-segment sensor has relatively high prediction accuracy.

예측 정확도를 고려하여 복수의 하위 세그먼트 센서의 복수의 하위 센싱값 각각에는 가중치가 부여될 수 있고, 임계값 이상의 예측값과 결과값의 차이를 가지는 경우, 해당 하위 세그먼트 센서의 하위 센싱값은 상위 세그먼트 센서의 센싱값에서 제외될 수 있다.In consideration of the prediction accuracy, each of the plurality of lower sensed values of the plurality of lower segment sensors may be given a weight, and when there is a difference between the predicted value and the result value equal to or greater than a threshold value, the lower sensed value of the corresponding lower segment sensor is the upper segment sensor may be excluded from the sensing value of

위와 같은 방식으로 하위 세그먼트 센서의 결과값은 상위 세그먼트 센서의 센싱값으로 활용되되, 하위 세그먼트 센서의 예측 정확도를 고려하여 하위 세그먼트 센서의 결과값에 가중치를 부여하고, 하위 세그먼트 센서의 결과값 중 일부의 결과값을 필터링함으로써 센싱 오류가 계속적으로 상위 세그먼트 센서로 전달되지 않도록 할 수 있다.In the same way as above, the result value of the lower segment sensor is used as the sensing value of the upper segment sensor, but a weight is given to the result value of the lower segment sensor in consideration of the prediction accuracy of the lower segment sensor, and some of the result value of the lower segment sensor is used. By filtering the result value of , it is possible to prevent the sensing error from being continuously transmitted to the upper segment sensor.

도 13은 본 발명의 실시예에 따른 세그먼트 센서의 결과값 생성을 나타낸 개념도이다.13 is a conceptual diagram illustrating generation of a result value of a segment sensor according to an embodiment of the present invention.

도 13에서는 세그먼트 센서의 결과값 생성 주기를 결정하는 방법이 개시된다. 13 discloses a method of determining a result value generation period of a segment sensor.

도 13을 참조하면, 세그먼트 센서의 결과값은 제1 결과값(1310)과 제2 결과값(1320)으로 구분될 수 있다.Referring to FIG. 13 , the result value of the segment sensor may be divided into a first result value 1310 and a second result value 1320 .

제1 결과값(1310)은 특정 시기에 명확하게 발생되어 세그먼트 센서에 의해 센싱 가능한 결과값으로서 대출 상황 기간에 상환된 상환 금액과 같은 결과값일 수 있다.The first result value 1310 is a result value that is clearly generated at a specific time and can be sensed by the segment sensor, and may be the same as the repayment amount repaid during the loan situation period.

제2 결과값(1320)은 결과값의 생성 시기가 명확하게 정해지지 않은 결과값일 수 있다.The second result value 1320 may be a result value for which the generation time of the result value is not clearly determined.

제2 결과값(1320)은 생성 주기가 세그먼트 센서별로 적응적으로 결정될 수 있다. 예를 들어, 제2 결과값(1320)은 생성 조건으로 아래와 같은 조건이 설정될 수 있다.The generation period of the second result value 1320 may be adaptively determined for each segment sensor. For example, the following conditions may be set as the second result value 1320 as a generation condition.

1) 결과값을 위한 모든 센싱값이 세그먼트 센서로 입력된 경우1) When all the sensing values for the result values are input to the segment sensor

2) 센싱값 집합이 임계 횟수 이상 전송되어 임계 결과값 이상의 결과값이 발생된 경우2) When the set of sensing values is transmitted more than a threshold number of times and a result value exceeding the threshold result value is generated

3) 피드백 결과 결과값의 세그먼트의 임계 신뢰도 주기 이상을 넘어간 경우3) In case of exceeding the critical reliability period of the segment of the feedback result result value

임계 신뢰도 주기는 특정 주기 이후의 결과값의 신뢰도에 대한 피드백을 통해 설정된 주기이다. 세그먼트 센서별로 임계 신뢰도 주기를 넘긴 경우에만 생성된 결과값을 신뢰할만한 값으로 판단하여 결과값을 전송할 수 있다. The critical reliability period is a period set through feedback on the reliability of the result value after a specific period. Only when the threshold reliability period is exceeded for each segment sensor, the generated result value can be determined as a reliable value and the result value can be transmitted.

도 14는 본 발명의 실시예에 따른 세그먼트 센서 관리 장치를 나타낸 개념도이다.14 is a conceptual diagram illustrating an apparatus for managing a segment sensor according to an embodiment of the present invention.

도 14에서는 세그먼트 센서 관리 장치에서 세그먼트별 세그먼트 센서를 결정하고 관리하는 방법이 개시된다.14 discloses a method for determining and managing segment sensors for each segment in a segment sensor management apparatus.

도 14를 참조하면, 세그먼트 센서 관리 장치는 세그먼트 센서 결정부(1410), 센싱값 설정부(1420), 세그먼트 센서 예측 정확도 결정부(1430), 세그먼트 센서 계층 관리부(1440), 크레딧 투 맵 결과값 전달부(1450), 세그먼트 센서 결과 생성 관리부(1460) 및 프로세서(1470)를 포함할 수 있다.Referring to FIG. 14 , the segment sensor management apparatus includes a segment sensor determination unit 1410 , a sensing value setting unit 1420 , a segment sensor prediction accuracy determination unit 1430 , a segment sensor layer management unit 1440 , and a credit to map result value. It may include a transmission unit 1450 , a segment sensor result generation management unit 1460 , and a processor 1470 .

세그먼트 센서 결정부(1410)는 세그먼트에 대응되는 세그먼트 센서를 결정하기 위해 구현될 수 있다. 세그먼트 센서는 필요한 센싱값에 따라 다양한 종류(싱글 세그먼트 센서, 멀티 세그먼트 센서, 1차 세그먼트 센서, 2차 세그먼트 센서, 3차 세그먼트 센서)로 분류될 수 있다. The segment sensor determiner 1410 may be implemented to determine a segment sensor corresponding to a segment. The segment sensor may be classified into various types (single segment sensor, multi-segment sensor, primary segment sensor, secondary segment sensor, and tertiary segment sensor) according to a required sensing value.

센싱값 설정부(1420)는 세그먼트 센서에서 센싱할 센싱값을 결정하기 위해 구현될 수 있다. 세그먼트 센서별로 정확한 결과값을 얻기 위한 센싱값이 서로 다르게 설정될 수 있고, 센싱값 설정부(1420)는 세그먼트 센서별 센싱값을 설정할 수 있다.The sensing value setting unit 1420 may be implemented to determine a sensing value to be sensed by the segment sensor. A sensing value for obtaining an accurate result value for each segment sensor may be set differently, and the sensing value setting unit 1420 may set a sensing value for each segment sensor.

세그먼트 센서 예측 정확도 결정부(1430)는 세그먼트 센서의 예측 정확도를 결정하기 위해 구현될 수 있다. 1차 세그먼트 센서가 아닌 경우, 결과값에 대한 오차가 존재할 수 있다. 따라서, 결과값에 대한 피드백을 통해 세그먼트 센서 예측 정확도가 결정될 수 있다.The segment sensor prediction accuracy determiner 1430 may be implemented to determine the prediction accuracy of the segment sensor. If it is not the primary segment sensor, there may be an error in the result value. Accordingly, segment sensor prediction accuracy may be determined through feedback on the result value.

세그먼트 센서 계층 관리부(1440)는 세그먼트 센서에 대한 계층을 관리하기 위해 구현될 수 있다. 세그먼트 계층과 세그먼트 센서 계층은 동일하게 설정될 수도 있고 결과값의 예측 정확도에 따라 서로 다르게 설정될 수도 있다. The segment sensor layer manager 1440 may be implemented to manage a layer for the segment sensor. The segment layer and the segment sensor layer may be set identically or may be set differently according to the prediction accuracy of the result value.

크레딧 투 맵 결과값 전달부(1450)는 세그먼트 센서에 의해 생성된 결과값을 크레딧 투 맵의 생성을 위해 전달하기 위해 구현될 수 있다.The credit to map result transfer unit 1450 may be implemented to transfer the result value generated by the segment sensor to generate the credit to map.

세그먼트 센서 결과 생성 관리부(1460)는 세그먼트 센서 결과값 중 제1 결과값과 제2 결과값의 생성을 관리하기 위해 구현될 수 있다.The segment sensor result generation management unit 1460 may be implemented to manage generation of a first result value and a second result value among the segment sensor result values.

프로세서(1470)는 세그먼트 센서 결정부(1410), 센싱값 설정부(1420), 세그먼트 센서 예측 정확도 결정부(1430), 세그먼트 센서 계층 관리부(1440), 크레딧 투 맵 결과값 전달부(1450), 세그먼트 센서 결과 생성 관리부(1460)의 동작을 제어하기 위해 구현될 수 있다.The processor 1470 includes a segment sensor determining unit 1410, a sensing value setting unit 1420, a segment sensor prediction accuracy determining unit 1430, a segment sensor layer management unit 1440, a credit to map result value transmitting unit 1450, It may be implemented to control the operation of the segment sensor result generation manager 1460 .

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. A hardware device may be converted into one or more software modules to perform processing in accordance with the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.In the above, the present invention has been described with reference to specific matters, such as specific components, and limited embodiments and drawings, but these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. Those of ordinary skill in the art to which the invention pertains can make various modifications and changes from these descriptions.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the spirit of the present invention is not limited to the scope of the scope of the present invention. will be said to belong to

Claims

How to adjust credit to map based on segment-by-segment tracking:
determining, by a segment sensor determining unit of the credit-to-map generating apparatus, a segment sensor corresponding to the segment;
determining, by a sensing value setting unit of the credit-to-map generating apparatus, a sensing value to be sensed by the segment sensor;
determining, by a segment sensor prediction accuracy determining unit of the credit-to-map generating apparatus, prediction accuracy of the segment sensor;
managing a layer for the segment sensor by a segment sensor layer management unit of the credit-to-map generating device; and
The credit-to-map result transfer unit of the credit-to-map generating apparatus includes the step of transferring the result value generated by the segment sensor to generate the credit-to-map,
The credit to map is a graph in which the difference between the prediction and the result is digitized by providing the predicted value and the result value according to time for the segment,
A normal range and an abnormal range are set on the credit to map,
A difference between the predicted value and the result is determined on the credit to map, and when the difference is greater than or equal to a negative threshold in a first negative direction, it is set to the abnormal range;
The first negative direction is set differently according to the characteristics of the predicted value,
The negative threshold is set differently for each time according to the characteristics of the segment and the predicted value that changes with time, and a difference between the predicted value and the result value,
The negative threshold is set differently according to the sensing sensitivity for each segment,
The sensing sensitivity for each segment is set differently according to the importance of the prediction target,
The sensing sensitivity for each segment is adaptively changed and set according to the segment relationship,
The segment relationship is a hierarchical relationship implemented with an upper segment and a lower segment,
The sensing sensitivity for each segment is adaptively changed according to a change in the sensing sensitivity of the upper segment or the lower segment in consideration of the hierarchical relationship.

According to claim 1,
The negative threshold is determined in consideration of the hierarchical relationship,
When the negative threshold change data 1 is generated due to the change in the negative threshold on the lower segment, it is transmitted to the upper segment,
The upper segment determines whether to generate separate negative threshold change data based on the negative threshold change data 1,
The upper segment stores the negative threshold change data 1 when the negative threshold change data 1 does not change the negative threshold value of the upper segment, and combines it with other negative threshold change data generated later to generate the negative threshold value change data 1 to determine whether to change the threshold,
In the upper segment, when the negative threshold change data 1 changes the negative threshold of the upper segment, the negative threshold change data 2 for the negative threshold changed based on the negative threshold change data 1 is the A method characterized in that transmitting to the upper segment of the upper segment.

3. The method of claim 2,
The segment sensor includes a single segment sensor and a multi-segment sensor,
The single segment sensor is a sensor that generates one result value with one sensing value,
The multi-segment sensor is a sensor that generates one result value based on a plurality of sensing values,
The plurality of sensed values sensed by the multi-segment sensor are sensed values for a plurality of target variables set as variables that affect the result value of the artificial intelligence model more than a threshold value,
The target variable has an absolute value greater than or equal to a threshold value among which feature spike values for each variable are positive;
The multi-segment sensor includes a first multi-segment sensor, a second multi-segment sensor, and a third multi-segment sensor,
The first multi-segment sensor generates a result value by directly generating a sensed value through an external source,
The secondary multi-segment sensor receives the result value of the other segment sensor as a sensing value and generates a result value,
The tertiary multi-segment sensor generates a result value by using both the sensing value through the external source and the result value of the other segment sensor as sensing values,
The secondary multi-segment sensor and the tertiary multi-segment sensor use the result value of the sub-segment sensor as a sensing value, and weight the result value of the sub-segment sensor in consideration of the prediction accuracy of the sub-segment sensor, A method, characterized in that by filtering some result values of the result values of the sub-segment sensor to generate a result value.

The segment sensor management device that adjusts credit-to-map based on segment-by-segment tracking,
a segment sensor determining unit configured to determine a segment sensor corresponding to the segment;
a sensing value setting unit configured to determine a sensing value to be sensed by the segment sensor;
a segment sensor prediction accuracy determining unit configured to determine the prediction accuracy of the segment sensor;
a segment sensor layer manager implemented to manage a layer for the segment sensor; and
A credit-to-map result transfer unit configured to transmit the result value generated by the segment sensor for generating the credit-to-map,
The credit to map is a graph in which the difference between the prediction and the result is digitized by providing the predicted value and the result value according to time for the segment,
A normal range and an abnormal range are set on the credit to map,
A difference between the predicted value and the result is determined on the credit to map, and when the difference is greater than or equal to a negative threshold in a first negative direction, it is set to the abnormal range;
The first negative direction is set differently according to the characteristics of the predicted value,
The negative threshold is set differently for each time according to the characteristics of the segment and the predicted value that changes with time, and a difference between the predicted value and the result value,
The negative threshold is set differently according to the sensing sensitivity for each segment,
The sensing sensitivity for each segment is set differently according to the importance of the prediction target,
The sensing sensitivity for each segment is adaptively changed and set according to the segment relationship,
The segment relationship is a hierarchical relationship implemented with an upper segment and a lower segment,
The segment sensor management apparatus, characterized in that the sensing sensitivity for each segment is adaptively changed according to a change in the sensing sensitivity of the upper segment or the lower segment in consideration of the hierarchical relationship.

5. The method of claim 4,
The negative threshold is determined in consideration of the hierarchical relationship,
When the negative threshold change data 1 is generated due to the change in the negative threshold on the lower segment, it is transmitted to the upper segment,
The upper segment determines whether to generate separate negative threshold change data based on the negative threshold change data 1,
The upper segment stores the negative threshold change data 1 when the negative threshold change data 1 does not change the negative threshold value of the upper segment, and combines it with other negative threshold change data generated later to generate the negative threshold value change data 1 to determine whether to change the threshold,
In the upper segment, when the negative threshold change data 1 changes the negative threshold of the upper segment, the negative threshold change data 2 for the negative threshold changed based on the negative threshold change data 1 is the Segment sensor management device, characterized in that it is transmitted to the upper segment of the upper segment.

6. The method of claim 5,
The segment sensor includes a single segment sensor and a multi-segment sensor,
The single segment sensor is a sensor that generates one result value with one sensing value,
The multi-segment sensor is a sensor that generates one result value based on a plurality of sensing values,
The plurality of sensed values sensed by the multi-segment sensor are sensed values for a plurality of target variables set as variables that affect the result value of the artificial intelligence model more than a threshold value,
The target variable has an absolute value greater than or equal to a threshold value among which feature spike values for each variable are positive;
The multi-segment sensor includes a first multi-segment sensor, a second multi-segment sensor, and a third multi-segment sensor,
The first multi-segment sensor generates a result value by directly generating a sensed value through an external source,
The secondary multi-segment sensor receives the result value of the other segment sensor as a sensing value and generates a result value,
The tertiary multi-segment sensor generates a result value by using both the sensing value through the external source and the result value of the other segment sensor as sensing values,
The secondary multi-segment sensor and the tertiary multi-segment sensor use the result value of the sub-segment sensor as a sensing value, and weight the result value of the sub-segment sensor in consideration of the prediction accuracy of the sub-segment sensor, Segment sensor management apparatus, characterized in that for generating a result value by filtering some result values among the result values of the sub-segment sensor.