KR20190032495A - 평가 모델에 대한 모델링 방법 및 디바이스 - Google Patents

평가 모델에 대한 모델링 방법 및 디바이스 Download PDF

Info

Publication number
KR20190032495A
KR20190032495A KR1020197005189A KR20197005189A KR20190032495A KR 20190032495 A KR20190032495 A KR 20190032495A KR 1020197005189 A KR1020197005189 A KR 1020197005189A KR 20197005189 A KR20197005189 A KR 20197005189A KR 20190032495 A KR20190032495 A KR 20190032495A
Authority
KR
South Korea
Prior art keywords
modeling
scenario
evaluation model
model
service
Prior art date
Application number
KR1020197005189A
Other languages
English (en)
Other versions
KR102233589B1 (ko
Inventor
싱 쟈오
웨이 두
Original Assignee
알리바바 그룹 홀딩 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알리바바 그룹 홀딩 리미티드 filed Critical 알리바바 그룹 홀딩 리미티드
Publication of KR20190032495A publication Critical patent/KR20190032495A/ko
Application granted granted Critical
Publication of KR102233589B1 publication Critical patent/KR102233589B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Technology Law (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)
  • Stored Programmes (AREA)

Abstract

본 출원은 평가 모델에 대한 모델링 방법 및 디바이스를 제공한다. 방법은, 복수의 모델링 시나리오로부터 모델링 샘플을 개별적으로 수집하는 단계로서, 상기 모델링 샘플은 시나리오 변수 및 몇몇의 기본 변수를 포함하고, 상기 시나리오 변수는 상기 모델링 샘플이 속하는 모델링 시나리오를 나타내는 것인, 상기 수집하는 단계; 상기 복수의 모델링 시나리오로부터 수집된 모델링 샘플에 기초하여 모델링 샘플 세트를 생성하는 단계; 및 상기 모델링 샘플 세트에서의 모델링 샘플에 기초하여 평가 모델을 트레이닝하는 단계로서, 상기 평가 모델은 가산 모델이고, 상기 평가 모델은 기본 변수에 의해 형성된 모델 부분과 시나리오 변수에 의해 형성된 모델 부분을 더함으로써 얻어지는 것인, 상기 트레이닝하는 단계를 포함한다. 본 출원에서는, 모델링 복잡도가 감소될 수 있으며, 그리하여 모델에 기초하여 얻어진 스코어가 상이한 서비스 시나리오들에 적용 가능하다.

Description

평가 모델에 대한 모델링 방법 및 디바이스
본 출원은 컴퓨터 애플리케이션 분야에 관한 것으로, 보다 상세하게는 평가 모델(evaluation model)에 대한 모델링 방법 및 디바이스에 관한 것이다.
서비스 리스크 모델은 서비스 리스크 평가를 수행하는 데에 사용되는 평가 모델이다. 관련 기술에서, 많은 양의 서비스 데이터가 보통 모델링 샘플(modeling samples)로서 특정 서비스 시나리오로부터 수집될 수 있고, 모델링 샘플은 모델링 샘플이 미리 정의된 서비스 리스크 이벤트를 포함하는지 여부에 기초하여 분류된다. 그 다음, 모델링 샘플은 서비스 리스크 모델을 구축하도록 통계 수집 모델 또는 기계 학습 방법을 사용함으로써 트레이닝된다.
서비스 리스크 모델이 구축된 후에, 타겟 서비스 데이터가 서비스 리스크 모델로 입력되어 리스크 평가를 수행하고 서비스 리스크 이벤트의 확률을 예측할 수 있다. 그 다음, 확률은 서비스 리스크 레벨을 반영하도록 대응하는 서비스 스코어(score)로 변환된다.
그러나, 실제로, 비교적 많은 수의 서비스 시나리오가 존재할 경우, 단일 시나리오에 대하여 구축된 서비스 리스크 모델을 사용하여 서비스 리스크 평가를 수행함으로써 획득된 서비스 스코어는 대개 보편적(universal)이지 않으며, 따라서 복수의 상이한 서비스 시나리오에는 적용할 수가 없다.
본 출원은 평가 모델에 대한 모델링 방법에 있어서, 복수의 모델링 시나리오로부터 모델링 샘플을 개별적으로 수집하는 단계로서, 상기 모델링 샘플은 시나리오 변수 및 몇몇의(several) 기본 변수를 포함하고, 상기 시나리오 변수는 상기 모델링 샘플이 속하는 모델링 시나리오를 나타내는 것인, 상기 수집하는 단계; 상기 복수의 모델링 시나리오로부터 수집된 모델링 샘플에 기초하여 모델링 샘플 세트를 생성하는 단계; 및 상기 모델링 샘플 세트에서의 모델링 샘플에 기초하여 평가 모델을 트레이닝하는 단계로서, 상기 평가 모델은 가산 모델(additive model)이고, 상기 평가 모델은 기본 변수에 의해 형성된 모델 부분과 시나리오 변수에 의해 형성된 모델 부분을 더함으로써 얻어지는 것인, 상기 트레이닝하는 단계를 포함하는, 평가 모델에 대한 모델링 방법을 제공한다.
선택적으로, 상기 방법은, 각각의 모델링 시나리오에서의 모델링 샘플의 수에 기초하여 각각의 모델링 시나리오에 대한 트레이닝 샘플 가중치를 정의하는 단계를 더 포함하며, 상기 트레이닝 샘플 가중치는 상기 모델링 시나리오들 간의 모델링 샘플 수 차이를 균형잡는데(balance) 사용되고, 모델링 시나리오에서의 모델링 샘플의 수가 작을수록 상기 시나리오에 대하여 더 큰 트레이닝 샘플 가중치가 정의됨을 나타낸다.
선택적으로, 상기 방법은, 시나리오 변수 및 몇몇의 기본 변수를 포함하는 타겟 데이터를 수집하는 단계; 및 타겟 데이터 스코어를 얻기 위해 상기 타겟 데이터를 상기 평가 모델에 입력하는 단계를 더 포함하며, 상기 스코어는 상기 평가 모델에서의 상기 몇몇의 기본 변수의 대응하는 스코어와 상기 평가 모델에서의 상기 시나리오 변수의 대응하는 스코어를 더함으로써 얻어진다.
선택적으로, 상기 방법은, 상기 타겟 데이터가 속하는 모델링 시나리오에서 상기 타겟 데이터가 스코어링될(scored) 필요가 있는 경우, 상기 평가 모델에서의 상기 몇몇의 기본 변수의 대응하는 스코어와 상기 평가 모델에서의 상기 시나리오 변수의 대응하는 스코어의 합을, 상기 타겟 데이터가 속하는 모델링 시나리오에 적용 가능한 스코어로서 출력하는 단계를 더 포함한다.
선택적으로, 상기 방법은, 상기 타겟 데이터가 상기 복수의 모델링 시나리오에서 스코어링될 필요가 있는 경우, 상기 평가 모델에서의 상기 몇몇의 기본 변수의 대응하는 스코어를, 상기 복수의 모델링 시나리오에 적용 가능한 스코어로서 출력하는 단계를 더 포함한다.
본 출원은 평가 모델에 대한 모델링 디바이스에 있어서, 복수의 모델링 시나리오로부터 모델링 샘플을 개별적으로 수집하도록 구성된 수집 모듈로서, 상기 모델링 샘플은 시나리오 변수 및 몇몇의 기본 변수를 포함하고, 상기 시나리오 변수는 상기 모델링 샘플이 속하는 모델링 시나리오를 나타내는 것인, 상기 수집 모듈; 상기 복수의 모델링 시나리오로부터 수집된 모델링 샘플에 기초하여 모델링 샘플 세트를 생성하도록 구성된 생성 모듈; 및 상기 모델링 샘플 세트에서의 모델링 샘플에 기초하여 평가 모델을 트레이닝하도록 구성된 트레이닝 모듈로서, 상기 평가 모델은 가산 모델이고, 상기 평가 모델은 기본 변수에 의해 형성된 모델 부분과 시나리오 변수에 의해 형성된 모델 부분을 더함으로써 얻어지는 것인, 상기 트레이닝 모듈을 포함하는, 평가 모델에 대한 모델링 디바이스를 더 제공한다.
선택적으로, 상기 생성 모듈은 또한, 각각의 모델링 시나리오에서의 모델링 샘플의 수에 기초하여 각각의 모델링 시나리오에 대한 트레이닝 샘플 가중치를 정의하도록 구성되며, 상기 트레이닝 샘플 가중치는 상기 모델링 시나리오들 간의 모델링 샘플 수 차이를 균형잡는데 사용되고, 모델링 시나리오에서의 모델링 샘플의 수가 작을수록 상기 시나리오에 대하여 더 큰 트레이닝 샘플 가중치가 정의됨을 나타낸다.
선택적으로, 상기 수집 모듈은 또한, 시나리오 변수 및 몇몇의 기본 변수를 포함하는 타겟 데이터를 수집하도록 구성된다.
상기 디바이스는, 타겟 데이터 스코어를 얻기 위해 상기 타겟 데이터를 상기 평가 모델에 입력하도록 구성된 스코어링(scoring) 모듈을 더 포함하며, 상기 스코어는 상기 평가 모델에서의 상기 몇몇의 기본 변수의 대응하는 스코어와 상기 평가 모델에서의 상기 시나리오 변수의 대응하는 스코어를 더함으로써 얻어진다.
선택적으로, 상기 스코어링 모듈은 또한, 상기 평가 모델에서의 상기 몇몇의 기본 변수의 대응하는 스코어와 상기 평가 모델에서의 상기 시나리오 변수의 대응하는 스코어의 합을, 상기 타겟 데이터가 속하는 모델링 시나리오에서 상기 타겟 데이터가 스코어링될 필요가 있는 경우, 상기 타겟 데이터가 속하는 모델링 시나리오에 적용 가능한 스코어로서 출력하도록 구성된다.
선택적으로, 상기 스코어링 모듈은 또한, 상기 평가 모델에서의 상기 몇몇의 기본 변수의 대응하는 스코어를, 상기 타겟 데이터가 상기 복수의 모델링 시나리오에서 스코어링될 필요가 있는 경우, 상기 복수의 모델링 시나리오에 적용 가능한 스코어로서 출력하도록 구성된다.
본 출원에서, 복수의 모델링 시나리오로부터 모델링 샘플이 개별적으로 수집되고, 복수의 서비스 시나리오로부터 수집된 모델링 샘플에 기초하여 모델링 샘플 세트가 생성되며, 모델링 샘플이 속하는 모델링 시나리오를 나타내는데 사용되는 시나리오 변수는 오리지널 기본 변수에 기초하여 모델링 샘플 세트에서의 모델링 샘플에 대하여 개별적으로 정의되고, 그 다음 모델링 샘플 세트에서의 모델링 샘플에 기초하여 평가 모델이 트레이닝된다. 본 출원에서, 복수의 서비스 시나리오에서의 모델링 샘플이 모델링을 위해 병합되고(merged), 시나리오 변수는 모델링 샘플의 시나리오들 간에 구별하도록 모델링 샘플에 대하여 사용된다. 따라서, 최종 트레이닝된 평가 모델은 보편적이므로, 평가 모델을 사용함으로써 복수의 상이한 서비스 시나리오에 적용 가능한 스코어가 얻어질 수 있다.
도 1은 본 출원의 구현에 따라 평가 모델에 대한 모델링 방법을 예시한 흐름도이다.
도 2는 본 출원의 구현에 따라 복수의 서비스 시나리오에서의 모델링 샘플이 평가 모델을 트레이닝하도록 병합되는 것을 예시한 흐름도이다.
도 3은 본 출원의 구현에 따라 평가 모델에 대한 모델링 디바이스를 예시한 논리 블록도이다.
도 4는 본 출원의 구현에 따라 평가 모델에 대한 모델링 디바이스를 포함하는 서빙 엔드의 하드웨어를 예시한 구조도이다.
실제로, 복수의 상이한 서비스 시나리오에 대하여 서비스 리스크 평가가 수행될 때, 트레이닝된 평가 모델이 상이한 서비스 시나리오에 적용 가능할 것으로 보통 예상된다.
예를 들어, 서비스가 대출(loan) 서비스일 경우, 평가 모델은 보통 신용(credit) 리스크 평가 모델일 수 있고, 복수의 상이한 서비스 시나리오는 신용 카드 서비스, 모기지(mortgage) 서비스, 및 자동차 대출 서비스와 같은 다른 대출 서비스 시나리오를 포함할 수 있다. 이 경우, 신용 리스크 평가 모델을 사용하는 것에 의해 서비스 리스크 평가를 수행함으로써 얻은 신용 스코어는 보편적일 수 있고, 그러므로 신용 리스크 평가 모델은 대출 서비스, 신용 카드 서비스, 및 소비자 금융 서비스와 같은 상이한 시나리오에서 더 나은 성능을 갖는 것으로 보통 예상된다.
관련 기술에서, 앞서 기재된 문제를 해결하기 위해, 보통 다음의 모델링 방법이 존재한다:
방법 1: 단일 서비스 시나리오로부터 수집된 모델링 샘플에 기초하여 리스크 평가 모델이 트레이닝될 수 있고, 그 다음 평가 모델을 사용함으로써 얻은 스코어가 직접 다른 서비스 시나리오에 적용된다. 이 해결책에서는, 모델링 트레이닝 동안 어떠한 다른 서비스 시나리오도 고려되지 않기 때문에, 단일 시나리오에서 트레이닝된 서비스 리스크 모델을 사용함으로써 얻은 서비스 스코어는 보편적이지 않으며, 따라서 다른 서비스 시나리오에서의 서비스 리스크 모델의 성능이 보장될 수 있다.
방법 2: 복수의 상이한 서비스 시나리오로부터 수집된 모델링 샘플에 기초하여 평가 모델이 개별적으로 트레이닝될 수 있고, 스코어를 얻기 위해, 서비스 시나리오에서 트레이닝된 평가 모델을 사용함으로써 서비스 리스크 평가가 개별적으로 수행된다. 그 다음, 평가 모델을 사용함으로써 얻은 스코어에 대해 가중 평균화(weighted averaging)가 수행된다. 이 해결책에서는, 복수의 서비스 시나리오에서 가중 평균화를 통해 얻은 최종 스코어의 보편성(universality)이 개선되지만, 모델이 각각의 서비스 시나리오에 대하여 트레이닝되어야 하기 때문에, 서비스 시나리오가 많을수록 보다 복잡한 모델 트레이닝 및 관리를 나타낸다.
방법 3: 여전히 복수의 상이한 서비스 시나리오로부터 수집된 모델링 샘플에 기초하여 평가 모델이 개별적으로 트레이닝될 수 있고, 그 다음, 서비스 시나리오에서 트레이닝된 평가 모델이 조합된다. 이 해결책에서는, 모델이 여전히 각각의 서비스 시나리오에 대하여 트레이닝되어야 하므로, 복수의 모델이 동시에 유지되어야 한다. 또한, 서비스 시나리오가 많을수록 더 복잡한 모델 트레이닝 및 관리를 나타낸다. 또한, 비교적 복잡한 모델링 알고리즘이 모델 트레이닝에 사용되는 경우, 예를 들어 신경망 알고리즘이 모델 트레이닝에 사용되는 경우, 서비스 시나리오에서 트레이닝된 평가 모델이 간단히 조합될 수 없으며, 따라서 구현은 비교적 복잡하다.
이러한 점에 비추어, 본 출원은 평가 모델에 대한 모델링 방법을 제공한다:
모델링 샘플이 복수의 모델링 시나리오로부터 개별적으로 수집되고, 복수의 시나리오로부터 수집된 모델링 샘플로부터 모델링 샘플 세트가 생성되며, 모델링 샘플이 속하는 모델링 시나리오를 나타내도록 사용되는 시나리오 변수가, 오리지널 기본 변수에 기초하여 모델링 샘플 세트에서의 모델링 샘플에 대하여 개별적으로 정의되고, 그 다음 모델링 샘플 세트에서의 모델링 샘플에 기초하여 평가 모델이 트레이닝된다.
본 출원에서, 복수의 시나리오에서의 모델링 샘플은 모델링을 위해 병합되고, 모델링 샘플의 시나리오들 간에 구별하도록 모델링 샘플에 대하여 시나리오 변수가 사용된다. 따라서, 최종 트레이닝된 평가 모델은 보편적이며, 그러므로 복수의 상이한 서비스 시나리오에 적용 가능한 스코어가 평가 모델을 사용함으로써 얻어질 수 있다.
다음은 특정 구현을 사용함으로써 그리고 특정 애플리케이션 시나리오에 관련하여 본 출원을 기재한다.
도 1을 참조하면, 도 1은 본 출원의 구현에 따라 평가 모델에 대한 모델링 방법을 도시한다. 방법은 서빙 엔드(serving end)에 적용되고, 방법은 다음 단계들을 포함한다:
단계 101: 복수의 모델링 시나리오로부터 모델링 샘플을 개별적으로 수집하며, 여기에서 모델링 샘플은 시나리오 변수 및 몇몇의 기본 변수를 포함하고, 시나리오 변수는 모델링 샘플이 속하는 모델링 시나리오를 나타낸다.
단계 102: 복수의 모델링 시나리오로부터 수집된 모델링 샘플에 기초하여 모델링 샘플 세트를 생성한다.
단계 103: 모델링 샘플 세트에서의 모델링 샘플에 기초하여 평가 모델을 트레이닝하며, 여기에서 평가 모델은 가산 모델이고, 평가 모델은 기본 변수에 의해 형성된 모델과 시나리오 변수에 의해 형성된 모델을 더함으로써 얻어진다.
서빙 엔드는 평가 모델을 트레이닝하도록 구성된 서버, 서버 클러스터, 또는 서버 클러스터에 기초하여 구축된 클라우드 플랫폼을 포함할 수 있다.
평가 모델은 많은 수의 수집된 모델링 샘플이 트레이닝된 후에 구축된 가산 모델이다. 예를 들어, 리스크 평가가 사용자에 대해 수행된다. 평가 모델은 사용자 스코어를 얻기 위해 특정 서비스 시나리오로부터 수집된 타겟 데이터에 대해 리스크 평가를 수행하도록 사용될 수 있다. 사용자 스코어는 추후의 기간에 서비스 리스크 확률을 측정하도록 사용된다.
예를 들어, 서비스가 대출 서비스일 경우, 평가 모델은 신용 리스크 평가 모델일 수 있다. 신용 리스크 평가 모델은 대응하는 신용 스코어를 얻기 위해 특정 대출 서비스 시나리오로부터 수집된 서비스 샘플에 대해 신용 리스트 평가를 수행하도록 사용될 수 있다. 신용 스코어는 추후의 기간에 사용자의 신용 부도(credit default) 확률을 측정하도록 사용된다.
실제로, 모델링 샘플 및 타겟 데이터는 각각 서비스 리스크에 미치는 영향이 비교적 큰 몇몇의 기본 변수를 포함할 수 있다.
예를 들어, 평가 모델이 신용 리스크 평가 모델일 경우, 모델링 샘플 및 타겟 데이터에 포함된 기본 변수는 신용 리스크에 영향을 미치는 변수일 수 있다. 예를 들어, 신용 리스크에 영향을 미치는 변수는 사용자의 소득 지출 데이터, 이력(historical) 대출 데이터, 및 사용자의 고용 상태를 포함할 수 있다.
모델링 샘플 및 타겟 데이터에 포함된 기본 변수의 선택은 이 예에서 한정되지 않는다. 본 출원에 기재되는 기술적 해결책을 구현할 때, 당해 기술 분야에서의 숙련자라면 관련 기술의 문헌을 참조할 수 있을 것이다.
이 예에서, 평가 모델을 트레이닝할 때, 서빙 엔드는 복수의 서비스 시나리오로부터 모델링 샘플을 개별적으로 수집할 수 있고, 복수의 상이한 서비스 시나리오로부터 수집된 모델링 샘플에 포함된 오리지널 기본 변수에 기초하여 시나리오 변수를 더 사용할 수 있다.
복수의 서비스 시나리오의 각각은 모델링 시나리오로 지칭될 수 있다. 사용되는 시나리오 변수는 모델링 샘플이 속하는 모델링 시나리오(즉, 서비스 시나리오)를 나타내는 데에 사용된다.
시나리오 변수가 서비스 시나리오에서의 모델링 샘플에 사용된 후에, 복수의 상이한 서비스 시나리오에서의 모델링 샘플이 모델링을 위해 병합될 수 있다. 그리하여, 모델링 복잡도가 감소될 수 있다. 또한, 트레이닝된 서비스 리스크 모델은 보편적이고, 따라서 복수의 상이한 서비스 시나리오에 적용 가능하다.
도 2를 참조하면, 도 2는 이 예에서 복수의 상이한 서비스 시나리오에서의 모델링 샘플이 모델링을 위해 병합되는 것을 예시한 개략도이다.
리스크 이벤트가 서비스 시나리오에 대하여 개별적으로 정의되고, 상이한 서비스 시나리오에 대하여 정의된 리스크 이벤트는 서로 독립적이고 서로 상이할 수 있다.
예를 들어, 서비스가 대출 서비스일 경우, 신용 부도 이벤트는 신용 카드 서비스, 모기지 서비스, 및 자동차 대출 서비스와 같은 상이한 대출 서비스 시나리오에서의 리스크 이벤트로서 보통 정의될 수 있고, 상이한 대출 시나리오에서의 신용 부도 이벤트의 정의는 서로 상이할 수 있다. 예를 들어, 신용 카드 융자(crediting) 시나리오에서는, 30일 이상 지연 상환 이벤트가 신용 부도 이벤트로서 정의될 수 있다. 모기지 융자 시나리오에서는, 90일 이상 지연 상환 이벤트가 신용 부도 이벤트로서 정의될 수 있다. 자동차 대출 융자 시나리오에서는, 60일 이상 지연 상환 이벤트가 신용 부도 이벤트로서 정의될 수 있다. 다르게 말하자면, 신용 부도 이벤트는 각각의 대출 시나리오에 대하여 독립적으로 정의될 수 있다.
리스크 이벤트가 서비스 시나리오에 대하여 개별적으로 정의된 후에, 서빙 엔드는 서비스 시나리오로부터 모델링 샘플을 개별적으로 수집할 수 있고, 수집된 모델링 샘플이 서비스 시나리오에 대하여 개별적으로 정의되어 있는 리스크 이벤트를 포함하는지 여부를 결정함으로써 서비스 시나리오로부터 수집된 모델링 샘플을 양호 샘플 및 불량 샘플로 분류할 수 있다.
모델링 샘플이 양호 샘플만 혹은 불량 샘플만 포함할 경우, 완전히 트레이닝되는 평가 모델은 보통 충분히 정확하지 않다. 따라서, 수집된 모델링 샘플을 양호 샘플 및 불량 샘플로 분류함으로써 모델링 샘플이 풍부해질(enriched) 수 있으며, 그리하여 양호 샘플 및 불량 샘플은 개별적으로 모델링 샘플의 특정 비율을 차지한다. 이는 서비스 리스크 평가 동안 최종 트레이닝된 평가 모델의 정확도를 개선할 수 있다.
이 예에서, 서비스 시나리오로부터 특정 수의 모델링 샘플을 수집한 후에, 서빙 엔드는 서비스 시나리오에 대한 모델링을 개별적으로 수행하는 대신, 모델 트레이닝을 위해 서비스 시나리오로부터 수집된 모델링 샘플을 병합한다.
도 2를 참조하면, 서비스 시나리오로부터 수집된 모델링 샘플을 병합할 때, 서빙 엔드는 서비스 시나리오로부터 수집된 모델링 샘플을 요약하여 모델링 샘플 세트를 생성할 수 있다. 모델링 샘플 세트는 서비스 시나리오로부터 수집된 모델링 샘플을 포함한다.
모델링 샘플 세트에서의 모델링 샘플은 모델링 시나리오를 나타내는데 사용되는 시나리오 변수를 포함한다.
도시된 구현에서, 시나리오 변수는 구체적으로 양자화된 라벨 값일 수 있다. 예를 들어, 대응하는 라벨 값이 각각의 서비스 시나리오에 대하여 정의될 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 라벨 값 1은 모델링 샘플이 시나리오 1로부터 이루어진 것임을 나타내도록 시나리오 1로부터의 모델링 샘플에 대하여 정의될 수 있고, 라벨 값 2는 모델링 샘플이 시나리오 2로부터 이루어진 것임을 나타내도록 시나리오 2로부터의 모델링 샘플에 대하여 정의될 수 있다.
서빙 엔드가 모델링 샘플에 대한 시나리오 변수를 정의할 때, 구현에서, 서빙 엔드는 모델링 샘플이 서비스 시나리오로부터 수집되자마자 모델링 샘플에 대하여 시나리오 변수를 정의할 수 있고, 또다른 구현에서, 서빙 엔드는 서비스 시나리오로부터 수집된 모델링 샘플에 기초하여 모델링 모델 세트가 생성된 후에 모델링 샘플 세트에서의 각각의 모델링 샘플에 대하여 시나리오 변수를 정의할 수 있다. 구현은 이 예에서 한정되지 않는다.
도시된 구현에서, 서비스 시나리오로부터 서빙 엔드에 의해 수집된 모델링 샘플의 수가 서로 상이할 수 있기 때문에, 서빙 엔드는 각각의 서비스 시나리오로부터 수집된 모델링 샘플의 수에 기초하여 각각의 서비스 시나리오에 대한 트레이닝 샘플 가중치를 정의할 수 있다.
트레이닝 샘플 가중치는 서비스 시나리오들 간의 모델링 샘플 수 차이를 균형잡도록 사용된다. 실제로, 트레이닝 샘플 가중치는 평가 모델이 트레이닝될 때 사용되어야 할, 각각의 서비스 시나리오에서의 모델링 샘플의 수를 나타낼 수 있는 가중치 값일 수 있다.
가중치 값은 각각의 서비스 시나리오에서의 모델링 샘플의 실제 수와 음의 상관관계가 있을 수 있다(negatively correlated). 다르게 말하자면, 모델링 샘플의 수가 적을수록 더 큰 트레이닝 샘플 가중치가 정의됨을 나타낸다.
이 경우에, 비교적 작은 트레이닝 샘플 가중치는 비교적 많은 수의 모델링 샘플을 갖는 특정 서비스 시나리오에 대하여 설정될 수 있다. 마찬가지로, 비교적 큰 트레이닝 샘플 가중치는 비교적 적은 수의 모델링 샘플을 갖는 특정 서비스 시나리오에 대하여 설정될 수 있다.
트레이닝 샘플 가중치의 특정 값은 실제 요구에 기초하여 사용자에 의해 수동으로 구성될 수 있다. 예를 들어, 복수의 서비스 시나리오에서의 모델링 샘플이 중앙(centralized) 모델링을 위해 병합될 경우, 트레이닝된 모델이 지정된 서비스 시나리오에 더 집중하는 것으로 사용자가 예상하면, 사용자는 서비스 시나리오의 트레이닝 샘플 가중치를 더 큰 값으로 수동으로 설정할 수 있다.
이 예에서, 서빙 엔드가 평가 모델을 트레이닝하기 위해 모델링 샘플 세트로부터 모델링 샘플을 판독하는 프로세스에서, 서비스 시나리오들 간의 모델링 샘플 수 차이를 균형잡도록 다음 구현이 사용된다:
구현에서, 비교적 큰 트레이닝 샘플 가중치를 갖는 서비스 시나리오에 대하여, 서빙 엔드는 서비스 시나리오에서의 모델링 샘플을 우선적으로 사용하여 모델링에 참여할 수 있다. 비교적 작은 트레이닝 샘플 가중치를 갖는 서비스 시나리오에 대하여, 서빙 엔드는 가중치의 특정 값에 기초하여 서비스 시나리오에서 사용되는 모델링 샘플의 수를 적절하게 제어할 수 있다. 따라서, 비교적 큰 트레이닝 샘플 가중치를 갖는 서비스 시나리오에서 모델링에 참여하는 모델링 샘플의 수는, 비교적 작은 트레이닝 샘플 가중치를 갖는 서비스 시나리오에서 모델링에 참여하는 모델링 샘플의 수와 일치하는 경향이 있다.
또다른 구현에서, 비교적 큰 트레이닝 샘플 가중치를 갖는 서비스 시나리오에 대하여, 기본적으로, 서빙 엔드는 서비스 시나리오에서의 모든 모델링 샘플을 사용하여 모델링에 참여할 수 있다. 비교적 작은 트레이닝 샘플 가중치를 갖는 서비스 시나리오에 대하여, 서빙 엔드는 가중치의 특정 값에 기초하여 서비스 시나리오에서 모델링 샘플을 적절하게 반복하여 사용할 수 있다. 따라서, 비교적 큰 트레이닝 샘플 가중치를 갖는 서비스 시나리오에서 모델링에 참여하는 모델링 샘플의 수는, 비교적 작은 트레이닝 샘플 가중치를 갖는 서비스 시나리오에서 모델링에 참여하는 모델링 샘플의 수와 일치하는 경향이 있다.
그리하여, 서비스 리스크 모델이 트레이닝될 때, 서비스 시나리오들 간의 모델링 샘플 수 차이가 최종 트레이닝된 서비스 리스크 모델의 서비스 평가 정확도에 미치는 영향이 최대한으로 완화될 수 있다.
이 예에서, 서빙 엔드가 서비스 시나리오로부터 수집된 모델링 샘플에 기초하여 모델링 샘플 세트를 생성하고 모델링 샘플 세트에서의 모델링 샘플에 대하여 시나리오 변수를 개별적으로 정의한 후에, 서빙 엔드는 평가 모델을 구축하기 위해, 미리 결정된 모델링 알고리즘에 기초하여 트레이닝을 위한 트레이닝 샘플로서 모델링 샘플 세트에서의 모델링 샘플을 사용할 수 있다.
실제로, 평가 모델은 보통 가산 모델(Additive Model)이라는 것을 유의하여야 한다. 따라서, 서빙 엔드가 평가 모델을 트레이닝할 때 사용되는 모델링 방법은 가산 모델의 모델링 방법, 예를 들어 스코어 카드(score card) 또는 회귀 분석(regression analysis)일 수 있다.
이 구현에서 가산 모델은 보통 기본 변수에 의해 형성된 모델 부분과 시나리오 변수에 의해 형성된 모델 부분을 더함으로써 얻어지는 것으로 표현될 수 있다. 앞서 기재된 타겟 데이터가 이 구현에서의 가산 모델로 입력된 후에, 대응하는 스코어가 각각의 변수에 대하여 얻어진다. 따라서, 이 구현에서의 가산 모델을 사용함으로써 얻은 스코어는 보통, 평가 모델에서 타겟 데이터의 기본 변수의 대응하는 스코어와 평가 모델에서 타겟 데이터의 시나리오 변수의 대응하는 스코어의 합을 더함으로써 얻어진다.
도 2를 참조하면, 평가 모델을 트레이닝함으로써 얻은 스코어가 f(X,P)이며, X는 기본 변수를 나타내고 P는 시나리오 변수를 나타내고 모델에서 기본 변수 X의 대응하는 스코어는 f1(X)이고 모델에서 시나리오 변수 P의 대응하는 스코어는 f2(P)라고 가정하면, f(X,P)는 f1(X)+f2(P)로 표현될 수 있다.
서빙 엔드가 서비스 리스크 모델을 트레이닝할 때 사용되는 모델링 툴은 비교적 성숙한 데이터 마이닝(data mining) 툴, 예를 들어 통계 분석 시스템(SAS; statistical analysis system) 또는 통계 제품 및 서비스 솔루션(SPSS; statistical product and service solutions)일 수 있다.
또한, 이 예에서, 평가 모델을 트레이닝하는 특정 프로세스 및 평가 모델이 트레이닝된 후에 평가 모델의 성능을 평가하는 프로세스에 관한 세부사항은 이 예에서 생략된다. 본 출원에 개시된 기술적 해결책을 구현할 때, 당해 기술 분야에서의 숙련자라면 관련 기술의 문헌을 참조할 수 있을 것이다.
이 예에서, 평가 모델이 트레이닝된 후에, 서빙 엔드는 실시간으로 타겟 데이터를 수집할 수 있고, 평가 모델을 사용함으로써 리스크 평가를 수행할 수 있다.
서빙 엔드가 트레이닝된 평가 모델을 사용함으로써 리스크 평가를 수행할 때, 수집된 타겟 데이터는 임의의 서비스 시나리오로부터의 서비스 데이터일 수 있고, 서비스 샘플에 포함된 변수의 타입은 모델링 샘플에 포함된 변수의 타입과 일치하여야 한다. 다르게 말하자면, 타겟 서비스는 또한 모델링 샘플에서의 변수와 같은 타입의 시나리오 변수 및 몇몇의 기본 변수를 포함할 수 있다.
임의의 서비스 시나리오로부터 타겟 데이터를 수집한 후에, 서빙 엔드는 평가 모델에 타겟 데이터를 입력할 수 있고, 대응하는 스코어를 얻기 위해 평가 모델을 사용함으로써 타겟 데이터에 대해 리스크 평가를 수행할 수 있다. 얻은 스코어는, 평가 모델에서의 타겟 데이터의 몇몇의 기본 변수의 대응하는 스코어와 평가 모델에서의 타겟 데이터의 시나리오 변수의 대응하는 스코어를 더함으로써 얻어질 수 있다.
이 예에서, 평가 모델은 서비스 시나리오에서의 모델링 샘플을 병합함으로써 트레이닝되고, 시나리오 변수는 모델링 샘플이 속하는 서비스 시나리오들 간에 구별하도록 모델링 샘플에 대하여 정의된다. 따라서, 상이한 서비스 시나리오가 충분히 고려되며, 그리하여 평가 모델을 사용하는 것에 의해 서비스 리스크 평가를 수행함으로써 다양한 상이한 서비스 시나리오에 적용 가능한 스코어가 얻어질 수 있다.
도시된 구현에서, 타겟 데이터가 복수의 모델링 시나리오에서 스코어링될 필요가 있는 경우, 평가 모델에 의해 출력된 스코어가 복수의 모델링 시나리오에 적용 가능한 것이 보장되어야 한다. 이 경우에, 평가 모델에서 타겟 데이터에 포함된 기본 변수의 대응하는 스코어가 다함께 더해진 후에 출력될 수 있다. 이 경우에 출력된 스코어는 보편적인 스코어이고 복수의 상이한 모델링 시나리오에 적용 가능하며, 복수의 상이한 서비스 시나리오에서 타겟 데이터에 대응하는 사용자의 서비스 리스크 확률을 측정하는데 사용될 수 있다. 그 후에, 출력된 스코어는 대응하는 서비스 절차를 수행하도록 상이한 서비스 시나리오에 사용될 수 있다.
예를 들어, 스코어가 신용 스코어일 경우, 신용 스코어에 대응하는 사용자가 리스크 사용자인지 여부를 결정한 다음, 사용자에게 돈을 빌려줄지 여부를 결정하기 위해, 출력된 신용 스코어는 상이한 대출 서비스 시나리오에서의 미리 결정된 임계치와 개별적으로 비교될 수 있다.
서비스 시나리오에서의 모델링 샘플이 모델링을 위해 병합되며, 그리하여 모델링 복잡도가 감소될 수 있고, 상이한 서비스 시나리오에 대하여 모델링이 개별적으로 수행되지 않아도 된다는 것을 알 수 있다. 또한, 시나리오 변수가 모델링 샘플에 사용되며, 그리하여 트레이닝된 평가 모델은 상이한 서비스 시나리오에 적용 가능하고, 서비스 평가 모델을 사용하는 것에 의해 서비스 리스크 평가를 수행함으로써 얻은 스코어는 상이한 서비스 시나리오에서 동일 사용자의 서비스 리스크 레벨을 반영할 수 있다.
이 예에서, 앞서 기재된 바와 같이, 서비스 시나리오에서의 모델링 샘플을 병합하는 것에 의해 트레이닝된 모델을 사용함으로써 복수의 상이한 서비스 시나리오에 적용 가능한 보편적인 스코어가 얻어질 수 있다.
그러나, 서비스 시나리오에 대하여 정의된 서비스 리스크 이벤트가 서로 상이할 수 있기 때문에, 서비스 시나리오에서의 모델링 샘플을 병합함으로써 트레이닝된 평가 모델을 사용하는 것에 의해 서비스 리스크 평가를 수행함으로써 얻어지는, 복수의 서비스 시나리오에 적용 가능한 스코어는 보통 상대 값이고, 특정 서비스 시나리오에서 동일 사용자의 서비스 리스크 레벨을 정확하게 반영할 수 없다.
실제로, 서비스 시나리오에서의 모델링 샘플을 병합함으로써 트레이닝된 평가 모델은 상이한 서비스 시나리오에 적용 가능하여야 하고, 보통은 더욱이 특정 서비스 시나리오에서 정확한 서비스 리스크 평가를 수행할 수 있어야 한다.
예를 들어, 앞서 기재된 서비스가 대출 서비스이고 평가 모델은 신용 리스크 평가 모델이다. 3가지 대출 서비스 시나리오, 즉 신용 카드 서비스, 모기지 서비스, 및 자동차 대출 서비스가 존재한다고 가정하면, 평가 모델은 3가지 대출 서비스 시나리오에서의 모델링 샘플을 병합함으로써 트레이닝되고, 평가 모델에 기초하여 수집된 타겟 데이터를 트레이닝함으로써 사용자의 신용 스코어가 얻어진다. 이 경우에, 신용 스코어는 신용 카드 서비스, 모기지 서비스, 및 자동차 대출 서비스와 같은 상이한 대출 서비스 시나리오에 적용 가능한 상대 값이며, 특정 대출 서비스 시나리오에서의 동일 사용자의 리스크 레벨을 정확하게 반영할 수 없다.
그러나, 실제로, 신용 카드 서비스, 모기지 서비스, 및 자동차 대출 서비스와 같은 대출 서비스 시나리오 중 임의의 하나에서 사용자의 신용 레벨은 보통 정확하게 평가될 필요가 더 있다. 예를 들어, 사용자의 불량 신용 비율에 대한 통계가 신용 카드 서비스, 모기지 서비스, 및 자동차 대출 서비스와 같은 대출 서비스 시나리오 중 임의의 하나에서 정확하게 수집될 필요가 있다. 이 경우에, 신용 리스크 평가 모델은 보통, 시나리오에 대응하는 신용 스코어를 얻기 위해, 특정 시나리오에서 사용자의 신용 레벨을 정확하게 평가할 수 있어야 한다.
도시된 구현에서, 서비스 시나리오에서의 모델링 샘플을 병합함으로써 트레이닝된 평가 모델이, 특정 서비스 시나리오에서 정확한 서비스 리스크 평가를 수행하는 특성과 양립할 수 있기 위하여, 타겟 데이터가 속하는 모델링 시나리오에서 타겟 데이터가 스코어링될 필요가 있는 경우, 스코어가 타겟 데이터가 속하는 모델링 시나리오에만 적용 가능하다면, 평가 모델에 의해 출력된 스코어가 보통 보편적이지 않아도 된다. 이 경우에, 평가 모델에서 타겟 데이터에 포함된 기본 변수의 대응하는 스코어와, 평가 모델에서 타겟 데이터에 포함된 시나리오 변수의 대응하는 스코어가 더해질 수 있고, 그 다음 스코어의 합이 출력될 수 있다. 이 경우에 출력되는 스코어의 합은 타겟 데이터에 대응하는 시나리오 스코어이다. 스코어는 보편적이지 않고, 따라서 타겟 데이터가 실제로 속하는 서비스 시나리오에만 적용 가능하다.
그리하여, 특정 타겟 데이터가 그 타겟 데이터가 실제로 속하는 서비스 시나리오에서 스코어링될 필요가 있을 경우, 서비스 시나리오에 대한 모델링을 개별적으로 수행하지 않고서, 기본 변수의 대응하는 스코어와 시나리오 변수의 대응하는 스코어의 합만 출력함으로써 타겟 데이터가 실제로 속하는 서비스 시나리오에 적용가능한 스코어가 얻어질 수 있다는 것을 알 수 있다.
다음은, 앞서 기재된 구현에서의 기술적 해결책을 신용 리스크 평가의 응용 시나리오에 관련하여 상세하게 기재한다.
이 예에서, 서비스는 대출 서비스일 수 있고, 평가 모델은 신용 리스크 평가 모델일 수 있으며, 스코어는 신용 리스크 평가 모델을 사용함으로써 사용자의 수집된 서비스 샘플에 대해 신용 리스크 평가가 수행된 후에 얻어진 신용 스코어일 수 있다. 복수의 서비스 시나리오는 3가지 대출 서비스 시나리오, 즉 신용 카드 서비스, 모기지 서비스, 및 자동차 대출 서비스를 포함할 수 있다.
초기 상태에서, 신용 부도 이벤트가 대출 서비스 시나리오에 대하여 개별적으로 정의될 수 있다. 예를 들어, 신용 카드 융자 시나리오에서, 30일 이상 지연 상환 이벤트가 신용 부도 이벤트로서 정의될 수 있다. 모기지 융자 시나리오에서, 90일 이상 지연 상환 이벤트가 신용 부도 이벤트로서 정의될 수 있다. 자동차 대출 융자 시나리오에서, 60일 이상 지연 상환 이벤트가 신용 부도 이벤트로서 정의될 수 있다. 다르게 말하자면, 신용 부도 이벤트는 각각의 대출 시나리오에 대하여 독립적으로 정의될 수 있다.
대출 서비스 시나리오로부터 모델링 샘플을 수집할 때, 서빙 엔드는 수집된 모델링 샘플을, 시나리오에 대하여 정의된 신용 부도 이벤트에 기초하여 양호 샘플 및 불량 샘플로 분류할 수 있다. 모델링 샘플은 사용자의 소득 지출 데이터, 이력 대출 데이터, 및 사용자의 고용 상태와 같은, 신용 리스크에 영향을 미치는 변수를 포함할 수 있다.
모델링 샘플을 수집한 후에, 서빙 엔드는 대출 서비스 시나리오로부터 수집된 모델링 샘플을 요약하여 모델링 샘플 세트를 생성할 수 있고, 모델링 샘플이 속하는 대출 서비스 시나리오를 나타내도록, 모델링 샘플의 오리지널 기본 변수에 기초하여 모델링 샘플 세트에서의 모델링 샘플에 대하여 시나리오 변수를 개별적으로 정의할 수 있다.
신용 리스크 평가 모델을 트레이닝할 때, 서빙 엔드는 시나리오로부터 수집된 모델링 샘플을 병합할 수 있고, 모델링 샘플 세트에 포함된 모든 모델링 샘플에 기초하여 신용 리스크 평가 모델을 트레이닝할 수 있다.
비교적 성숙한 데이터 마이닝 툴, 예를 들어 SAS 또는 SPSS, 및 가산 모델의 모델링 방법, 예를 들어 스코어 카드 또는 회귀 분석이 모델 트레이닝을 완료하는데 사용될 수 있다. 특정 모델 트레이닝 프로세스에 관한 세부사항은 이 예에서 생략된다.
신용 리스크 평가 모델이 트레이닝된 후에, 서빙 엔드는 신용 카드 서비스, 모기지 서비스, 또는 자동차 대출 서비스와 같은 임의의 대출 서비스 시나리오로부터 타겟 데이터를 수집할 수 있다. 수집된 타겟 데이터는 여전히 몇몇의 기본 변수 및 시나리오 변수를 포함할 수 있다. 타겟 데이터가 수집된 후에, 신용 리스크 평가 모델을 사용함으로써 타겟 데이터에 대해 신용 스코어링이 수행될 수 있다. 신용 리스크 평가 모델이 신용 카드 서비스, 모기지 서비스, 및 자동차 대출 서비스와 같은 대출 서비스 시나리오에서의 모델링 샘플을 병합함으로써 트레이닝되기 때문에, 이 모델을 사용함으로써 신용 카드 서비스, 모기지 서비스, 및 자동차 대출 서비스와 같은 복수의 대출 서비스 시나리오에 적용 가능한 신용 스코어가 얻어질 수 있다.
타겟 데이터가 특정 대출 서비스 시나리오(신용 카드)로부터의 서비스 데이터라고 가정하면, 특정 대출 서비스 시나리오(신용 카드)에서의 타겟 데이터에 대해 신용 스코어링이 수행될 필요가 있는 경우, 서빙 엔드는 모델에서의 타겟 데이터의 몇몇의 기본 변수의 대응하는 신용 스코어와 모델에서의 타겟 데이터의 시나리오 변수의 스코어를 더할 수 있고, 그 다음 타겟 데이터에 대응하는 사용자에게 스코어의 합을 사용자의 신용 스코어로서 출력할 수 있다. 이 경우에 출력되는 스코어는 보편적이지 않고, 따라서 그 대출 서비스 시나리오(신용 카드)에만 적용 가능하다.
또한, 신용 카드 서비스, 모기지 서비스, 및 자동차 대출 서비스와 같은 복수의 대출 서비스 시나리오에서 타겟 데이터에 대해 신용 스코어링이 수행될 필요가 있는 경우, 서빙 엔드는 타겟 데이터에 대응하는 사용자에게 모델에서의 타겟 데이터의 몇몇의 기본 변수의 대응하는 신용 스코어를 사용자의 신용 스코어로서 출력할 수 있다. 이 경우에 출력되는 스코어는 보편적이고, 따라서 신용 카드 서비스, 모기지 서비스, 및 자동차 대출 서비스와 같은 복수의 대출 서비스 시나리오에 적용 가능하다.
앞서 기재된 구현으로부터, 본 출원에서, 복수의 모델링 시나리오로부터 모델링 샘플이 개별적으로 수집되고, 복수의 서비스 시나리오로부터 수집된 모델링 샘플에 기초하여 모델링 샘플 세트가 생성되며, 모델링 샘플이 속하는 모델링 시나리오를 나타내는데 사용되는 시나리오 변수가 오리지널 기본 변수에 기초하여 모델링 샘플 세트에서의 모델링 샘플에 대하여 개별적으로 정의되고, 그 다음 모델링 샘플 세트에서의 모델링 샘플에 기초하여 평가 모델이 트레이닝된다는 것을 알 수 있다.
본 출원에서, 복수의 서비스 시나리오에서의 모델링 샘플이 모델링을 위해 병합되고, 시나리오 변수는 모델링 샘플의 시나리오들 간에 구별하도록 모델링 샘플에 대하여 사용된다. 따라서, 최종 트레이닝된 평가 모델은 보편적이므로, 평가 모델을 사용함으로써 복수의 상이한 서비스 시나리오에 적용 가능한 스코어가 얻어질 수 있다.
타겟 데이터가 속하는 서비스 시나리오에서 스코어링이 수행될 필요가 있는 경우, 모델에서의 타겟 데이터에 포함된 몇몇의 기본 변수의 대응하는 스코어와 모델에서의 타겟 데이터에 포함된 시나리오 변수의 대응하는 스코어의 합이 타겟 데이터가 속하는 서비스 시나리오에 적용 가능한 스코어로서 출력될 수 있다.
또한, 복수의 서비스 시나리오에서 스코어링이 수행될 필요가 있는 경우, 모델에서의 트레이닝 데이터에 포함된 몇몇의 기본 변수의 대응하는 스코어가 복수의 상이한 서비스 시나리오에 적용 가능한 스코어로서 출력될 수 있다. 따라서, 모델은 보편적인 스코어 뿐만 아니라 타겟 데이터가 실제로 속하는 서비스 시나리오에 적용 가능한 스코어도 출력할 수 있다. 그리하여, 스코어가 보다 유연하게 출력되고 상이한 스코어링 시나리오에 적용 가능하다.
앞서 기재된 방법 구현에 대응하여, 본 출원은 디바이스 구현을 더 제공한다.
도 3을 참조하면, 본 출원은 서빙 엔드에 적용되는, 평가 모델에 대한 모델링 디바이스(30)를 제공한다. 도 4를 참조하면, 평가 모델에 대한 모델링 디바이스(30)를 포함하는 서빙 엔드의 하드웨어 아키텍처는, CPU, 메모리, 비휘발성 메모리, 네트워크 인터페이스, 내부 버스 등을 포함한다. 예를 들어, 소프트웨어 구현 동안, 평가 모델에 대한 모델링 디바이스(30)는 보통, 메모리에서 로딩된 컴퓨터 프로그램이 CPU 상에서 실행된 후에 형성되는 소프트웨어 및 하드웨어의 조합을 갖는 논리 디바이스로서 이해될 수 있다. 디바이스(30)는, 복수의 모델링 시나리오로부터 모델링 샘플을 개별적으로 수집하도록 구성된 수집 모듈(301)로서, 모델링 샘플은 시나리오 변수 및 몇몇의 기본 변수를 포함하고, 시나리오 변수는 모델링 샘플이 속하는 모델링 시나리오를 나타내는 것인, 수집 모듈(301); 복수의 모델링 시나리오로부터 수집된 모델링 샘플에 기초하여 모델링 샘플 세트를 생성하도록 구성된 생성 모듈(302); 및 모델링 샘플 세트에서의 모델링 샘플에 기초하여 평가 모델을 트레이닝하도록 구성된 트레이닝 모듈(303)로서, 평가 모델은 가산 모델이고, 평가 모델은 기본 변수에 의해 형성된 모델 부분과 시나리오 변수에 의해 형성된 모델 부분을 더함으로써 얻어지는 것인, 트레이닝 모듈(303)을 포함한다.
이 예에서, 생성 모듈(302)은 또한, 각각의 모델링 시나리오에서 모델링 샘플의 수에 기초하여 각각의 모델링 시나리오에 대한 트레이닝 샘플 가중치를 정의하도록 구성되며, 트레이닝 샘플 가중치는 모델링 시나리오들 간의 모델링 샘플 수 차이를 균형잡는데 사용되고, 모델링 시나리오에서의 모델링 샘플 수가 작을수록 시나리오에 대하여 더 큰 트레이닝 샘플 가중치가 정의된다는 것을 나타낸다.
이 예에서, 수집 모듈(301)은 또한 타겟 데이터를 수집하도록 구성되며, 타겟 데이터는 시나리오 변수 및 몇몇의 기본 변수를 포함한다.
디바이스(30)는, 타겟 데이터 스코어를 획득하기 위해 타겟 데이터를 평가 모델에 입력하도록 구성된 스코어링 모듈(304)을 더 포함하며, 스코어는 평가 모델에서의 몇몇의 기본 변수의 대응하는 스코어와 평가 모델에서의 시나리오 변수의 대응하는 스코어를 더함으로써 얻어진다.
이 예에서, 스코어링 모듈(304)은 또한, 타겟 데이터가 속하는 모델링 시나리오에서 타겟 데이터가 스코어링될 필요가 있는 경우, 평가 모델에서의 몇몇의 기본 변수의 대응하는 스코어와 평가 모델에서의 시나리오 변수의 대응하는 스코어의 합을, 타겟 데이터가 속하는 모델링 시나리오에 적용 가능한 스코어로서 출력하도록 구성된다.
이 예에서, 스코어링 모듈(304)은 또한, 타겟 데이터가 복수의 모델링 시나리오에서 스코어링될 필요가 있는 경우, 평가 모델에서의 몇몇의 기본 변수의 대응하는 스코어를, 복수의 모델링 시나리오에 적용 가능한 스코어로서 출력하도록 구성된다.
당해 기술 분야에서의 숙련자라면 본 명세서를 고려하여 여기에 개시된 본 출원을 실시한 후에 본 출원의 다른 구현 솔루션을 쉽게 생각해낼 수 있을 것이다. 본 출원은 본 출원의 임의의 변형, 기능, 또는 적응적 변경을 커버하도록 의도된다. 이들 변형, 기능, 또는 적응적 변경은 본 출원의 일반적 원리에 따르며, 일반 지식 또는 본 출원에 개시되지 않은 기술 분야에서 일반적으로 사용되는 기술적 의미를 포함한다. 본 명세서 및 구현은 단지 예로서 간주되며, 본 출원의 실제 범위 및 진정한 의미는 다음 청구항에 의해 기재된다.
본 출원은 첨부 도면에 도시되어 있는 앞서 기재된 정확한 구조에 한정되지 않고, 본 출원의 범위에서 벗어나지 않고서 본 출원에 대해 다양한 수정 및 변경이 행해질 수 있다는 것을 이해하여야 한다. 본 출원의 범위는 첨부된 청구항에 의해서만 한정된다.
앞의 기재는 단지 본 출원의 예시적인 구현일 뿐이고, 본 출원을 한정하도록 의도되지 않는다. 본 출원의 진정한 의미 및 원리에서 벗어나지 않고서 행해지는 임의의 수정, 등가의 교체, 개선 등은 본 출원의 보호 범위 내에 속해야 한다.

Claims (10)

  1. 평가 모델에 대한 모델링 방법에 있어서,
    복수의 모델링 시나리오로부터 모델링 샘플을 개별적으로 수집하는 단계로서, 상기 모델링 샘플은 시나리오 변수 및 몇몇의(several) 기본 변수를 포함하고, 상기 시나리오 변수는 상기 모델링 샘플이 속하는 모델링 시나리오를 나타내는 것인, 상기 수집하는 단계;
    상기 복수의 모델링 시나리오로부터 수집된 모델링 샘플에 기초하여 모델링 샘플 세트를 생성하는 단계; 및
    상기 모델링 샘플 세트에서의 모델링 샘플에 기초하여 평가 모델을 트레이닝하는 단계로서, 상기 평가 모델은 가산 모델(additive model)이고, 상기 평가 모델은 기본 변수에 의해 형성된 모델 부분과 시나리오 변수에 의해 형성된 모델 부분을 더함으로써 얻어지는 것인, 상기 트레이닝하는 단계
    를 포함하는, 평가 모델에 대한 모델링 방법.
  2. 청구항 1에 있어서,
    각각의 모델링 시나리오에서의 모델링 샘플의 수에 기초하여 각각의 모델링 시나리오에 대한 트레이닝 샘플 가중치를 정의하는 단계를 더 포함하며, 상기 트레이닝 샘플 가중치는 상기 모델링 시나리오들 간의 모델링 샘플 수 차이를 균형잡는데(balance) 사용되고, 모델링 시나리오에서의 모델링 샘플의 수가 작을수록 상기 시나리오에 대하여 더 큰 트레이닝 샘플 가중치가 정의됨을 나타내는 것인, 평가 모델에 대한 모델링 방법.
  3. 청구항 1에 있어서,
    시나리오 변수 및 몇몇의 기본 변수를 포함하는 타겟 데이터를 수집하는 단계; 및
    타겟 데이터 스코어(score)를 얻기 위해 상기 타겟 데이터를 상기 평가 모델에 입력하는 단계를 더 포함하며, 상기 스코어는 상기 평가 모델에서의 상기 몇몇의 기본 변수의 대응하는 스코어와 상기 평가 모델에서의 상기 시나리오 변수의 대응하는 스코어를 더함으로써 얻어지는 것인, 평가 모델에 대한 모델링 방법.
  4. 청구항 3에 있어서,
    상기 타겟 데이터가 속하는 모델링 시나리오에서 상기 타겟 데이터가 스코어링될(scored) 필요가 있는 경우, 상기 평가 모델에서의 상기 몇몇의 기본 변수의 대응하는 스코어와 상기 평가 모델에서의 상기 시나리오 변수의 대응하는 스코어의 합을, 상기 타겟 데이터가 속하는 모델링 시나리오에 적용 가능한 스코어로서 출력하는 단계를 더 포함하는, 평가 모델에 대한 모델링 방법.
  5. 청구항 4에 있어서,
    상기 타겟 데이터가 상기 복수의 모델링 시나리오에서 스코어링될 필요가 있는 경우, 상기 평가 모델에서의 상기 몇몇의 기본 변수의 대응하는 스코어를, 상기 복수의 모델링 시나리오에 적용 가능한 스코어로서 출력하는 단계를 더 포함하는, 평가 모델에 대한 모델링 방법.
  6. 평가 모델에 대한 모델링 디바이스에 있어서,
    복수의 모델링 시나리오로부터 모델링 샘플을 개별적으로 수집하도록 구성된 수집 모듈로서, 상기 모델링 샘플은 시나리오 변수 및 몇몇의 기본 변수를 포함하고, 상기 시나리오 변수는 상기 모델링 샘플이 속하는 모델링 시나리오를 나타내는 것인, 상기 수집 모듈;
    상기 복수의 모델링 시나리오로부터 수집된 모델링 샘플에 기초하여 모델링 샘플 세트를 생성하도록 구성된 생성 모듈; 및
    상기 모델링 샘플 세트에서의 모델링 샘플에 기초하여 평가 모델을 트레이닝하도록 구성된 트레이닝 모듈로서, 상기 평가 모델은 가산 모델이고, 상기 평가 모델은 기본 변수에 의해 형성된 모델 부분과 시나리오 변수에 의해 형성된 모델 부분을 더함으로써 얻어지는 것인, 상기 트레이닝 모듈
    을 포함하는, 평가 모델에 대한 모델링 디바이스.
  7. 청구항 6에 있어서, 상기 생성 모듈은 또한, 각각의 모델링 시나리오에서의 모델링 샘플의 수에 기초하여 각각의 모델링 시나리오에 대한 트레이닝 샘플 가중치를 정의하도록 구성되며, 상기 트레이닝 샘플 가중치는 상기 모델링 시나리오들 간의 모델링 샘플 수 차이를 균형잡는데 사용되고, 모델링 시나리오에서의 모델링 샘플의 수가 작을수록 상기 시나리오에 대하여 더 큰 트레이닝 샘플 가중치가 정의됨을 나타내는 것인, 평가 모델에 대한 모델링 디바이스.
  8. 청구항 6에 있어서, 상기 수집 모듈은 또한, 시나리오 변수 및 몇몇의 기본 변수를 포함하는 타겟 데이터를 수집하도록 구성되고,
    상기 디바이스는,
    타겟 데이터 스코어를 얻기 위해 상기 타겟 데이터를 상기 평가 모델에 입력하도록 구성된 스코어링(scoring) 모듈을 더 포함하며, 상기 스코어는 상기 평가 모델에서의 상기 몇몇의 기본 변수의 대응하는 스코어와 상기 평가 모델에서의 상기 시나리오 변수의 대응하는 스코어를 더함으로써 얻어지는 것인, 평가 모델에 대한 모델링 디바이스.
  9. 청구항 8에 있어서, 상기 스코어링 모듈은 또한, 상기 평가 모델에서의 상기 몇몇의 기본 변수의 대응하는 스코어와 상기 평가 모델에서의 상기 시나리오 변수의 대응하는 스코어의 합을, 상기 타겟 데이터가 속하는 모델링 시나리오에서 상기 타겟 데이터가 스코어링될 필요가 있는 경우, 상기 타겟 데이터가 속하는 모델링 시나리오에 적용 가능한 스코어로서 출력하도록 구성되는 것인, 평가 모델에 대한 모델링 디바이스.
  10. 청구항 9에 있어서, 상기 스코어링 모듈은 또한, 상기 평가 모델에서의 상기 몇몇의 기본 변수의 대응하는 스코어를, 상기 타겟 데이터가 상기 복수의 모델링 시나리오에서 스코어링될 필요가 있는 경우, 상기 복수의 모델링 시나리오에 적용 가능한 스코어로서 출력하도록 구성되는 것인, 평가 모델에 대한 모델링 디바이스.
KR1020197005189A 2016-07-21 2017-07-14 평가 모델에 대한 모델링 방법 및 디바이스 KR102233589B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610581457.5A CN107644279A (zh) 2016-07-21 2016-07-21 评价模型的建模方法及装置
CN201610581457.5 2016-07-21
PCT/CN2017/092912 WO2018014786A1 (zh) 2016-07-21 2017-07-14 评价模型的建模方法及装置

Publications (2)

Publication Number Publication Date
KR20190032495A true KR20190032495A (ko) 2019-03-27
KR102233589B1 KR102233589B1 (ko) 2021-03-31

Family

ID=60991922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197005189A KR102233589B1 (ko) 2016-07-21 2017-07-14 평가 모델에 대한 모델링 방법 및 디바이스

Country Status (8)

Country Link
US (2) US20190156417A1 (ko)
EP (1) EP3489869A4 (ko)
JP (1) JP6749468B2 (ko)
KR (1) KR102233589B1 (ko)
CN (1) CN107644279A (ko)
SG (1) SG11201900470SA (ko)
TW (1) TWI673669B (ko)
WO (1) WO2018014786A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10896421B2 (en) 2014-04-02 2021-01-19 Brighterion, Inc. Smart retail analytics and commercial messaging
US20180053114A1 (en) 2014-10-23 2018-02-22 Brighterion, Inc. Artificial intelligence for context classifier
US20150032589A1 (en) 2014-08-08 2015-01-29 Brighterion, Inc. Artificial intelligence fraud management solution
US20150339673A1 (en) 2014-10-28 2015-11-26 Brighterion, Inc. Method for detecting merchant data breaches with a computer network server
US20160055427A1 (en) 2014-10-15 2016-02-25 Brighterion, Inc. Method for providing data science, artificial intelligence and machine learning as-a-service
US20150066771A1 (en) 2014-08-08 2015-03-05 Brighterion, Inc. Fast access vectors in real-time behavioral profiling
US20160078367A1 (en) 2014-10-15 2016-03-17 Brighterion, Inc. Data clean-up method for improving predictive model training
US11080709B2 (en) 2014-10-15 2021-08-03 Brighterion, Inc. Method of reducing financial losses in multiple payment channels upon a recognition of fraud first appearing in any one payment channel
US20160063502A1 (en) 2014-10-15 2016-03-03 Brighterion, Inc. Method for improving operating profits with better automated decision making with artificial intelligence
US20160071017A1 (en) 2014-10-15 2016-03-10 Brighterion, Inc. Method of operating artificial intelligence machines to improve predictive model training and performance
US10546099B2 (en) 2014-10-15 2020-01-28 Brighterion, Inc. Method of personalizing, individualizing, and automating the management of healthcare fraud-waste-abuse to unique individual healthcare providers
US10290001B2 (en) 2014-10-28 2019-05-14 Brighterion, Inc. Data breach detection
US10671915B2 (en) 2015-07-31 2020-06-02 Brighterion, Inc. Method for calling for preemptive maintenance and for equipment failure prevention
US20190311428A1 (en) * 2018-04-07 2019-10-10 Brighterion, Inc. Credit risk and default prediction by smart agents
US20190342297A1 (en) 2018-05-01 2019-11-07 Brighterion, Inc. Securing internet-of-things with smart-agent technology
SG11202008619PA (en) * 2018-05-31 2020-10-29 Simplecredit Micro Lending Co Ltd Adjusting Method and Adjusting Device, Server and Storage Medium for Scorecard Model
US11694124B2 (en) 2019-06-14 2023-07-04 Accenture Global Solutions Limited Artificial intelligence (AI) based predictions and recommendations for equipment
CN111882140A (zh) * 2019-12-17 2020-11-03 马上消费金融股份有限公司 风险评测方法、模型训练方法、装置、设备及存储介质
CN113055208B (zh) * 2019-12-27 2023-01-13 中移信息技术有限公司 基于迁移学习的信息识别模型的识别方法、装置、设备
CN112766558A (zh) * 2021-01-13 2021-05-07 深圳前海微众银行股份有限公司 建模样本生成方法、装置、设备及计算机可读存储介质
CN112906772A (zh) * 2021-02-04 2021-06-04 深圳前海微众银行股份有限公司 样本处理方法、装置、设备及计算机可读存储介质
CN113034042B (zh) * 2021-04-19 2024-04-26 上海数禾信息科技有限公司 用于风控模型构建的数据处理方法和装置
CN113379530A (zh) * 2021-06-09 2021-09-10 中国工商银行股份有限公司 用户风险的确定方法、装置和服务器
CN114139595A (zh) * 2021-09-30 2022-03-04 光大科技有限公司 一种评分卡模型训练方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031706A (ja) * 2004-07-14 2006-02-02 General Electric Co <Ge> 事業実体に関するビジネス行動パターンを検出するための方法及びシステム
KR20110023748A (ko) * 2009-08-31 2011-03-08 액센처 글로벌 서비스 게엠베하 적응적 분석 다차원 프로세싱 시스템
KR20150069424A (ko) * 2013-12-13 2015-06-23 건국대학교 산학협력단 하둡 기반의 대용량 불균형 데이터 분류분석 시스템 및 방법
JP2016048417A (ja) * 2014-08-27 2016-04-07 石井 美恵子 サービス提供システムおよびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493913A (zh) * 2008-01-23 2009-07-29 阿里巴巴集团控股有限公司 一种评估网上用户信用的方法及系统
US8521659B2 (en) * 2008-08-14 2013-08-27 The United States Of America, As Represented By The Secretary Of The Navy Systems and methods of discovering mixtures of models within data and probabilistic classification of data according to the model mixture
US20110153480A1 (en) * 2009-12-23 2011-06-23 Rainer Zinow Authenticating Financial Information of A Commercial Enterprise
US20120209880A1 (en) * 2011-02-15 2012-08-16 General Electric Company Method of constructing a mixture model
US8370280B1 (en) * 2011-07-14 2013-02-05 Google Inc. Combining predictive models in predictive analytical modeling
CN102711177A (zh) * 2012-04-26 2012-10-03 北京邮电大学 基于业务预测的负载均衡方法
US10366362B1 (en) * 2012-10-18 2019-07-30 Featuremetrics, LLC Feature based modeling for forecasting and optimization
CN105556552A (zh) * 2013-03-13 2016-05-04 加迪安分析有限公司 欺诈探测和分析
US20140279784A1 (en) * 2013-03-14 2014-09-18 Kxen, Inc. Partial predictive modeling
US9990639B1 (en) * 2014-12-02 2018-06-05 Trulia, Llc Automatic detection of fraudulent real estate listings
CN104866969A (zh) * 2015-05-25 2015-08-26 百度在线网络技术（北京）有限公司 个人信用数据处理方法和装置
US10339470B1 (en) * 2015-12-11 2019-07-02 Amazon Technologies, Inc. Techniques for generating machine learning training data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031706A (ja) * 2004-07-14 2006-02-02 General Electric Co <Ge> 事業実体に関するビジネス行動パターンを検出するための方法及びシステム
KR20110023748A (ko) * 2009-08-31 2011-03-08 액센처 글로벌 서비스 게엠베하 적응적 분석 다차원 프로세싱 시스템
KR20150069424A (ko) * 2013-12-13 2015-06-23 건국대학교 산학협력단 하둡 기반의 대용량 불균형 데이터 분류분석 시스템 및 방법
JP2016048417A (ja) * 2014-08-27 2016-04-07 石井 美恵子 サービス提供システムおよびプログラム

Also Published As

Publication number Publication date
WO2018014786A1 (zh) 2018-01-25
TWI673669B (zh) 2019-10-01
US20200143467A1 (en) 2020-05-07
EP3489869A1 (en) 2019-05-29
SG11201900470SA (en) 2019-02-27
JP2019527434A (ja) 2019-09-26
US20190156417A1 (en) 2019-05-23
EP3489869A4 (en) 2019-05-29
JP6749468B2 (ja) 2020-09-02
TW201804401A (zh) 2018-02-01
KR102233589B1 (ko) 2021-03-31
CN107644279A (zh) 2018-01-30

Similar Documents

Publication Publication Date Title
KR102233589B1 (ko) 평가 모델에 대한 모델링 방법 및 디바이스
TWI784941B (zh) 一種多重抽樣模型訓練方法及裝置
CN110009171B (zh) 用户行为模拟方法、装置、设备及计算机可读存储介质
KR20180041174A (ko) 위험 평가 방법 및 시스템
Ippoliti et al. Judicial efficiency and entrepreneurs’ expectations on the reliability of European legal systems
KR102038237B1 (ko) 신용점수 모델 훈련 방법，신용 점수 계산 방법，장치 및 서버
EP4075281A1 (en) Ann-based program test method and test system, and application
CN110930249A (zh) 大型企业信用风险预测方法及系统、存储介质及电子设备
US20190220924A1 (en) Method and device for determining key variable in model
CN109816509A (zh) 评分卡模型的生成方法、终端设备及介质
CN113435713B (zh) 基于gis技术和两模型融合的风险地图编制方法及系统
CN110738565A (zh) 基于数据集合的房产金融人工智能复合风控模型
Zou et al. An agent-based model for crowdsourcing systems
CN113450158A (zh) 银行活动信息推送方法及装置
Robin et al. Modeling investor behavior
CN113011748A (zh) 推荐效果的评估方法、装置、电子设备及可读存储介质
CN112785331A (zh) 一种结合评价文本的抗注入攻击的鲁棒推荐方法和系统
CN112346995A (zh) 一种基于银行业的测试风险预估模型的构建方法及装置
US11915313B2 (en) Using email history to estimate creditworthiness for applicants having insufficient credit history
CN113011971B (zh) 风险测度方法、装置、系统与计算机存储介质
CN113032643B (zh) 目标行为识别系统
Zhang et al. Evaluation of project quality: a DEA-based approach
CN110688371B (zh) 数据调整方法、装置、电子设备及存储介质
Silva Essays on credit risk
Ehlers et al. Quality Assurance of Machine Learned Models by Integrating Domain Knowledge and Formal Verification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant