KR102331992B1 - Method of technology evaluation using artificial intelligence - Google Patents

Method of technology evaluation using artificial intelligence Download PDF

Info

Publication number
KR102331992B1
KR102331992B1 KR1020200158517A KR20200158517A KR102331992B1 KR 102331992 B1 KR102331992 B1 KR 102331992B1 KR 1020200158517 A KR1020200158517 A KR 1020200158517A KR 20200158517 A KR20200158517 A KR 20200158517A KR 102331992 B1 KR102331992 B1 KR 102331992B1
Authority
KR
South Korea
Prior art keywords
risk
score
growth
evaluation
artificial intelligence
Prior art date
Application number
KR1020200158517A
Other languages
Korean (ko)
Inventor
이종학
이재식
성형석
김우현
이종배
Original Assignee
기술보증기금
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 기술보증기금 filed Critical 기술보증기금
Priority to KR1020200158517A priority Critical patent/KR102331992B1/en
Application granted granted Critical
Publication of KR102331992B1 publication Critical patent/KR102331992B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316Sequencing of tasks or work
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0637Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375Prediction of business process outcome or impact based on a proposed change
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

A technology evaluation method using artificial intelligence is disclosed. The technology evaluation method using the artificial intelligence may comprise the steps of: calculating an expert growth score using first growth data; calculating an AI growth score from second growth data using a first growth potential evaluation model trained using machine learning; calculating an expert risk score using the first risk data; calculating an artificial intelligence risk score from second risk data using a first risk assessment model trained using machine learning; and calculating a final score by combining the expert growth score, the AI growth score, the expert risk score, and the artificial intelligence risk score.

Description

인공지능을 이용한 기술평가방법{Method of technology evaluation using artificial intelligence}Method of technology evaluation using artificial intelligence

본 발명은 인공지능을 이용한 기술평가방법에 관한 것으로, 특히 전문가가 기술평가지표를 평가하여 산출된 평점과 인공지능이 기술평가지표에 대하여 산출한 평점을 결합하여 최종평점을 산출함으로써 평가대상기술을 사업화하는 기업의 성장가능성 또는 위험가능성에 대한 예측력을 향상시킬 수 있는 인공지능을 이용한 기술평가방법에 관한 것이다.The present invention relates to a technology evaluation method using artificial intelligence. In particular, the evaluation target technology is evaluated by combining the rating calculated by an expert evaluating the technology evaluation index and the rating calculated by the artificial intelligence for the technology evaluation index by calculating the final rating. It relates to a technology evaluation method using artificial intelligence that can improve the predictive power of a company's growth potential or risk potential.

일반적으로 기술평가의 유형은 크게 기술력평가와 기술가치평가의 두 가지로 나눌 수 있으며, 기술력평가는 기술사업화 주체가 기술을 사용하여 수익을 창출할 수 있는 능력이 어느정도인지 평가하여 이를 등급이나 점수로 나타내는 유형이다. 그리고 기술가치평가는 기술거래 가격이나 지식재산의 담보가치 등을 산정하기 위하여 개별 기술의 가치를 화폐단위로 환산하는 유형이다. 여기에서 기술력평가는 주로 평점모형 또는 등급모형을 이용하며, 사업주체가 기술을 사용하여 수익을 창출할 수 있는 능력이 어느정도인지 기술성, 사업성, 시장성 등의 항목으로 평가한다.In general, the types of technology evaluation can be broadly divided into technology evaluation and technology value evaluation. the type it represents. And technology valuation is a type of converting the value of individual technology into monetary units in order to calculate the technology transaction price or the collateral value of intellectual property. Here, technology evaluation mainly uses a rating model or a rating model, and evaluates how much the business entity has the ability to generate profits by using technology, using items such as technicality, business feasibility, and marketability.

이와 같은 기술평가방법에는 평가대상기술을 평가하기 위한 기술평가지표를 이용하고, 기술평가지표의 항목들은 정량적인 정보를 이용하여 평가할 수 있는 항목들과 평가자(전문가)의 정성적인 판단에 의하여 평가할 수 있는 항목들이 포함되어 있다. 정량적인 정보를 이용하여 평가하는 항목들의 경우 평가자와 상관없이 항상 동일한 평가값이 나오게 되므로 문제가 없으나, 평가자의 정성적인 판단에 의하여 평가하는 항목들의 경우 평가자의 주관적 판단에 의하여 결정되므로 평가자에 따라 기술평가의 결과가 달라지는 등 객관성이 떨어지는 문제점이 있었다. 또한, 기술등급평가를 하여 평가대상기술을 사업화하는 기업의 성장가능성 또는 위험가능성을 판단하게 되는데, 이 경우 평가자에 따라 기술등급이 변동되어 기업의 성장가능성 또는 위험가능성의 정확한 예측이 어려운 문제가 있었다.In such a technology evaluation method, the technology evaluation index for evaluating the technology to be evaluated is used, and the items of the technology evaluation index can be evaluated by using quantitative information and the qualitative judgment of the evaluator (expert). items are included. In the case of items evaluated using quantitative information, there is no problem because the same evaluation value is always obtained regardless of the evaluator. There was a problem of poor objectivity, such as different evaluation results. In addition, the technology rating evaluation is performed to determine the growth potential or risk potential of a company commercializing the technology to be evaluated. .

본 발명이 해결하고자 하는 과제는 전문가가 기술평가지표를 평가하여 산출된 평점과 인공지능이 기술평가지표에 대하여 산출한 평점을 결합하여 최종평점을 산출함으로써 평가대상기술을 사업화하는 기업의 성장가능성 또는 위험가능성에 대한 예측력을 향상시킬 수 있는 인공지능을 이용한 기술평가방법을 제공하는데 있다.The problem to be solved by the present invention is the growth potential of a company commercializing the technology to be evaluated by combining the rating calculated by the expert evaluating the technology evaluation index and the rating calculated by the artificial intelligence for the technology evaluation index to calculate the final rating. It is to provide a technology evaluation method using artificial intelligence that can improve the predictive power of risk potential.

상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 인공지능을 이용한 기술평가방법은, 정보처리장치에서, 기술평가지표에 따른 평가값들인 제 1 성장데이터를 입력받고 상기 제 1 성장데이터에 평가항목별로 성장가중치를 부여하여 가중평균값을 산출함으로써 상기 기술평가지표에 의한 성장가능성에 대한 전문가성장평점을 산출하는 단계, 상기 정보처리장치에서, 상기 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표를 평가할 수 있는 정량데이터를 포함하는 제 2 성장데이터를 입력받고, 머신러닝을 이용하여 학습된 제 1 성장가능성 평가 모델을 이용하여 상기 제 2 성장데이터로부터 상기 기술평가지표에 의한 성장가능성에 대한 평점인 인공지능성장평점을 산출하는 단계, 상기 정보처리장치에서, 기술평가지표에 따른 평가값들인 제 1 위험데이터를 입력받고 상기 제 1 위험데이터에 평가항목별로 위험가중치를 부여하여 가중평균값을 산출함으로써 상기 기술평가지표에 의한 위험가능성에 대한 전문가위험평점을 산출하는 단계, 상기 정보처리장치에서, 상기 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표를 평가할 수 있는 정량데이터를 포함하는 제 2 위험데이터를 입력받고, 머신러닝을 이용하여 학습된 제 1 위험가능성 평가 모델을 이용하여 상기 제 2 위험데이터로부터 상기 기술평가지표에 의한 위험가능성에 대한 평점인 인공지능위험평점을 산출하는 단계 및 상기 정보처리장치에서, 상기 전문가성장평점, 상기 인공지능성장평점, 상기 전문가위험평점 및 상기 인공지능위험평점을 결합하여 최종평점을 산출하는 단계를 포함할 수 있다.In a technology evaluation method using artificial intelligence according to an embodiment of the present invention for achieving the above object, an information processing device receives first growth data, which are evaluation values according to a technology evaluation index, and evaluates the first growth data calculating an expert growth score for growth potential according to the technology evaluation index by giving a growth weight to each item and calculating a weighted average value; Receive second growth data including quantitative data for evaluating indicators, and use the first growth potential evaluation model learned using machine learning from the second growth data for growth potential by the technology evaluation index Calculating an artificial intelligence growth score, which is a rating, in the information processing device, receiving first risk data, which are evaluation values according to a technology evaluation index, and giving a risk weight for each evaluation item to the first risk data to calculate a weighted average value calculating, in the information processing device, at least one of the evaluation values and quantitative data for evaluating the technical evaluation index 2 receiving risk data and calculating an artificial intelligence risk score, which is a rating for risk potential by the technology evaluation index, from the second risk data using a first risk assessment model learned using machine learning; and calculating, in the information processing device, the final score by combining the expert growth point, the artificial intelligence growth point, the expert risk score, and the artificial intelligence risk score.

상기 과제를 달성하기 위한 본 발명의 다른 일 실시예에 따른 인공지능을 이용한 기술평가방법은, 정보처리장치에서, 기술평가지표에 따른 평가값들인 제 1 성장데이터를 입력받고 상기 제 1 성장데이터에 평가항목별로 성장가중치를 부여하여 가중평균값을 산출함으로써 상기 기술평가지표에 의한 성장가능성에 대한 전문가성장평점을 산출하는 단계, 상기 정보처리장치에서, 상기 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표를 평가할 수 있는 정량데이터를 포함하는 제 2 성장데이터를 입력받고, 머신러닝을 이용하여 학습된 제 1 성장가능성 평가 모델을 이용하여 상기 제 2 성장데이터로부터 상기 기술평가지표에 의한 성장가능성에 대한 평점인 인공지능성장평점을 산출하는 단계 및 상기 정보처리장치에서, 상기 전문가성장평점과 상기 인공지능성장평점을 결합하여 성장가능성에 대한 평점인 최종평점을 산출하는 단계를 포함할 수 있다.In a technology evaluation method using artificial intelligence according to another embodiment of the present invention for achieving the above object, an information processing device receives first growth data, which are evaluation values according to a technology evaluation index, and applies the first growth data to the first growth data. calculating an expert growth score for growth potential according to the technology evaluation index by giving a growth weight to each evaluation item and calculating a weighted average value, in the information processing device, at least one evaluation value of the evaluation values and the technology Receive second growth data including quantitative data that can evaluate the evaluation index, and use the first growth potential evaluation model learned using machine learning to determine the growth potential by the technology evaluation index from the second growth data It may include calculating an artificial intelligence growth point, which is a rating for a business, and calculating, in the information processing device, a final score, which is a rating for growth potential, by combining the expert growth point and the artificial intelligence growth point.

상기 과제를 달성하기 위한 본 발명의 다른 일 실시예에 따른 인공지능을 이용한 기술평가방법은, 정보처리장치에서, 기술평가지표에 따른 평가값들인 제 1 위험데이터를 입력받고 상기 제 1 위험데이터에 평가항목별로 위험가중치를 부여하여 가중평균값을 산출함으로써 상기 기술평가지표에 의한 위험가능성에 대한 전문가위험평점을 산출하는 단계, 상기 정보처리장치에서, 상기 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표를 평가할 수 있는 정량데이터를 포함하는 제 2 위험데이터를 입력받고, 머신러닝을 이용하여 학습된 제 1 위험가능성 평가 모델을 이용하여 상기 제 2 위험데이터로부터 상기 기술평가지표에 의한 위험가능성에 대한 평점인 인공지능위험평점을 산출하는 단계 및 상기 정보처리장치에서, 상기 전문가위험평점과 상기 인공지능위험평점을 결합하여 위험가능성에 대한 평점인 최종평점을 산출하는 단계를 포함할 수 있다.In a technology evaluation method using artificial intelligence according to another embodiment of the present invention for achieving the above object, the information processing device receives first risk data, which are evaluation values according to the technology evaluation index, and applies the first risk data to the first risk data. calculating an expert risk score for the risk possibility by the technical evaluation index by giving a risk weight to each evaluation item and calculating a weighted average value; Receive the second risk data including quantitative data that can evaluate the evaluation index, and use the first risk assessment model learned using machine learning to evaluate the risk by the technology evaluation index from the second risk data. Calculating an artificial intelligence risk score, which is a rating for risk, and, in the information processing device, combining the expert risk score and the artificial intelligence risk score to calculate a final score, which is a rating for risk potential.

본 발명의 기술적 사상에 의한 일 실시예에 따른 기술평가방법은 평가대상기술에 대하여 평가자(전문가)가 기술평가지표 항목에 대하여 평가한 평가값을 이용하여 산출된 평점과 상기 기술평가지표에 대하여 상기 평가자가 산출한 적어도 하나의 평가값 및 정량데이터를 입력받아 머신러닝을 통하여 학습된 평가 모델을 이용하여 산출된 평점을 합쳐서 성장가능성 또는 위험가능성에 대한 최종평점을 산출함으로써 전문가의 주관적인 기준이 반영되는 항목의 경우에도 보다 객관화시킬 수 있는 장점이 있다. 즉, 본 발명을 이용하는 경우 평가자의 주관적인 판단에만 의존하지 않고 평가자가 주관적으로 판단한 평가값을 머신러닝을 통하여 학습된 평가모델에서 최적의 가중치를 찾으면서 결합하여 평점을 산출한 후 평가자가 평가한 평가값을 이용하여 산출된 평점과 결합시킴으로써 과학적 통계에 기초하여 보다 정확하게 기업의 성장가능성 또는 위험가능성에 대하여 예측할 수 있는 장점이 있다.A technology evaluation method according to an embodiment according to the technical idea of the present invention is a rating calculated using an evaluation value evaluated by an evaluator (expert) with respect to a technology evaluation index item with respect to the technology to be evaluated and the technology evaluation index At least one evaluation value and quantitative data calculated by the evaluator are input, and the evaluation model learned through machine learning is combined to calculate the final score for growth potential or risk potential, thereby reflecting the subjective criteria of experts. Even in the case of items, it has the advantage of being more objective. That is, in the case of using the present invention, the evaluation value evaluated by the evaluator after calculating the rating by combining the evaluation value subjectively determined by the evaluator while finding the optimal weight in the evaluation model learned through machine learning without relying only on the subjective judgment of the evaluator It has the advantage of being able to more accurately predict the growth potential or risk potential of a company based on scientific statistics by combining it with the rating calculated using the value.

또한, 본 발명의 기술적 사상에 의한 일 실시예에 따른 기술평가방법은 종래의 기술평가지표의 평가결과를 기초로 성장가능성을 평가하던 방법에 인공지능을 이용하여 고성장 가능성 및 지속성장 가능성을 추가로 반영함으로써 성장가능성을 더욱 정확하게 판단할 수 있는 장점이 있다. 그리고 본 발명의 기술적 사상에 의한 일 실시예에 따른 기술평가방법은 종래의 기술평가지표의 평가결과를 기초로 위험가능성을 평가하던 방법에 인공지능을 이용하여 기업의 내부환경 요인들 및 외부환경 요인들에 따라 산출된 환경위험에 따른 위험가능성을 추가로 반영함으로써 위험가능성을 더욱 정확하게 판단할 수 있는 장점이 있다. In addition, the technology evaluation method according to an embodiment according to the technical idea of the present invention uses artificial intelligence to add high growth potential and sustainable growth potential to the method of evaluating growth potential based on the evaluation result of the conventional technology evaluation index. It has the advantage of being able to more accurately judge the growth potential by reflecting it. And the technology evaluation method according to an embodiment according to the technical idea of the present invention uses artificial intelligence in the method of evaluating the risk potential based on the evaluation result of the conventional technology evaluation index to internal environmental factors and external environmental factors of the company It has the advantage of being able to more accurately judge the risk potential by additionally reflecting the risk potential according to the environmental risk calculated according to the environmental risks.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 의한 일 실시예에 따른 인공지능을 이용한 기술평가방법을 수행하는 정보처리장치의 일 실시예이다.
도 2는 도 1의 정보처리장치를 이용하여 성장가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법의 흐름도이다.
도 3은 도 1의 정보처리장치를 이용하여 위험가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법의 흐름도이다.
도 4는 도 1의 정보처리장치를 이용하여 성장가능성 및 위험가능성을 모두 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법의 흐름도이다.
도 5는 본 발명의 기술적 사상에 의한 다른 일 실시예에 따른 인공지능을 이용한 기술평가방법을 수행하는 정보처리장치의 일 실시예이다.
도 6은 도 5의 정보처리장치를 이용하여 성장가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법의 흐름도이다.
도 7은 도 5의 정보처리장치를 이용하여 위험가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법의 흐름도이다.
도 8은 도 5의 정보처리장치를 이용하여 성장가능성 및 위험가능성을 모두 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법의 흐름도이다.
In order to more fully understand the drawings cited in the Detailed Description, a brief description of each drawing is provided.
1 is an embodiment of an information processing apparatus for performing a technology evaluation method using artificial intelligence according to an embodiment according to the technical idea of the present invention.
FIG. 2 is a flowchart of a technology evaluation method using artificial intelligence that calculates a final score reflecting only growth potential using the information processing device of FIG. 1 .
FIG. 3 is a flowchart of a technology evaluation method using artificial intelligence for calculating a final score reflecting only the risk possibility using the information processing device of FIG. 1 .
4 is a flowchart of a technology evaluation method using artificial intelligence to calculate a final score reflecting both growth potential and risk potential using the information processing device of FIG. 1 .
5 is an embodiment of an information processing apparatus for performing a technology evaluation method using artificial intelligence according to another embodiment according to the technical idea of the present invention.
6 is a flowchart of a technology evaluation method using artificial intelligence to calculate a final score reflecting only growth potential using the information processing device of FIG. 5 .
7 is a flowchart of a technology evaluation method using artificial intelligence that calculates a final score reflecting only risk possibility using the information processing device of FIG. 5 .
8 is a flowchart of a technology evaluation method using artificial intelligence to calculate a final score reflecting both growth potential and risk potential using the information processing device of FIG. 5 .

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the drawings.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings. Like reference numerals in each figure indicate like elements.

도 1은 본 발명의 기술적 사상에 의한 일 실시예에 따른 인공지능을 이용한 기술평가방법을 수행하는 정보처리장치(100)의 일 실시예이고, 도 2는 도 1의 정보처리장치(100)를 이용하여 성장가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법의 흐름도이다. 도 3은 도 1의 정보처리장치(100)를 이용하여 위험가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법의 흐름도이며, 도 4는 도 1의 정보처리장치(100)를 이용하여 성장가능성 및 위험가능성을 모두 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법의 흐름도이다.1 is an embodiment of an information processing apparatus 100 for performing a technology evaluation method using artificial intelligence according to an embodiment according to the technical idea of the present invention, and FIG. 2 is the information processing apparatus 100 of FIG. This is a flowchart of a technology evaluation method using artificial intelligence that calculates the final score reflecting only the growth potential. 3 is a flowchart of a technology evaluation method using artificial intelligence that calculates a final score reflecting only risk possibility using the information processing device 100 of FIG. 1 , and FIG. 4 is a flowchart of the information processing device 100 of FIG. This is a flowchart of a technology evaluation method using artificial intelligence that calculates a final score that reflects both growth potential and risk potential.

도 1을 참조하면, 정보처리장치(100)는 성장가능성평가부(110), 위험가능성평가부(130) 및 최종평점 산출부(150) 중 적어도 하나를 포함할 수 있다. 정보처리장치(100)는 데이터, 정보 또는 신호 등을 입력받아 연산한 후 출력해주는 장치로써, 컴퓨터, 서버 등 다양한 장치가 될 수 있다. 성장가능성평가부(110)는 전문가성장평점산출부(120) 및 제 1 성장가능성 평가 모델(GM_1)을 포함할 수 있다. 위험가능성평가부(130)는 전문가위험평점산출부(140) 및 제 1 위험가능성 평가 모델(WM_1)을 포함할 수 있다. 각 구성요소의 동작에 대하여는 이하에서 도 1 내지 도 4를 참조하여 보다 구체적으로 설명한다.Referring to FIG. 1 , the information processing apparatus 100 may include at least one of a growth potential evaluation unit 110 , a risk potential evaluation unit 130 , and a final score calculation unit 150 . The information processing apparatus 100 is a device that receives data, information, or a signal, calculates, and outputs it, and may be various devices such as a computer or a server. The growth potential evaluation unit 110 may include an expert growth point calculation unit 120 and a first growth potential evaluation model GM_1 . The risk assessment unit 130 may include an expert risk score calculation unit 140 and a first risk assessment model WM_1. The operation of each component will be described in more detail below with reference to FIGS. 1 to 4 .

성장가능성평가부(110) 및 위험가능성평가부(130)는 경우에 따라 선택적으로 동작할 수 있다. 즉, 최종평점 산출부(150)는 성장가능성평가부(110)에서 산출된 평점만을 이용하여 최종평점을 산출할 수도 있고, 위험가능성평가부(130)에서 산출된 평점만을 이용하여 최종평점을 산출할 수도 있으며, 성장가능성평가부(110)에서 산출된 평점 및 위험가능성평가부(130)에서 산출된 평점을 모두 이용하여 최종평점을 산출할 수도 있다. 예를 들어, 평가대상기술과 관련하여 기업의 성장가능성만을 고려하여 기술평가를 하는 경우 성장가능성평가부(110)만 동작하고 위험가능성평가부(130)는 동작하지 않음으로써 최종평점 산출부(150)는 성장가능성 평점만을 이용하여 최종평점을 산출할 수 있다. 다른 예로, 평가대상기술과 관련하여 기업의 위험가능성만을 고려하여 기술평가를 하는 경우 위험가능성평가부(130)만 동작하고 성장가능성평가부(110)는 동작하지 않음으로써 최종평점 산출부(150)는 위험가능성 평점만을 이용하여 최종평점을 산출할 수 있다. 다른 예로, 평가대상기술과 관련하여 기업의 성장가능성 및 위험가능성을 모두 고려하여 기술평가를 하는 경우 성장가능성평가부(110) 및 위험가능성평가부(130)가 모두 동작함으로써 최종평점 산출부(150)는 성장가능성 평점 및 위험가능성 평점을 모두 이용하여 최종평점을 산출할 수 있다. 이상에서와 같이 산출된 최종평점을 이용하여 상기 평가대상기술의 등급을 평가할 수 있다. 이하에서는 도 1 내지 도 4를 참조하여 성장가능성 평점만을 이용하여 최종평점을 산출하는 경우, 위험가능성 평점만을 이용하여 최종평점을 산출하는 경우, 성장가능성 평점 및 위험가능성 평점을 모두 이용하여 최종평점을 산출하는 경우를 나누어 설명한다.The growth potential evaluation unit 110 and the risk potential evaluation unit 130 may selectively operate in some cases. That is, the final score calculation unit 150 may calculate the final score using only the score calculated by the growth potential evaluation unit 110 , or calculate the final score using only the score calculated by the risk possibility evaluation unit 130 . Alternatively, the final rating may be calculated using both the rating calculated by the growth potential evaluation unit 110 and the rating calculated by the risk probability evaluation unit 130 . For example, when the technology evaluation is performed in consideration of only the company's growth potential with respect to the technology to be evaluated, only the growth potential evaluation unit 110 operates and the risk possibility evaluation unit 130 does not operate, so that the final score calculation unit 150 ) can calculate the final score using only the growth potential score. As another example, when the technology evaluation is performed in consideration of only the risk possibility of the company in relation to the technology to be evaluated, only the risk evaluation unit 130 operates and the growth potential evaluation unit 110 does not operate, so that the final score calculation unit 150 can calculate the final score using only the risk probability score. As another example, when a technology evaluation is performed in consideration of both the company's growth potential and risk potential in relation to the technology to be evaluated, the growth potential evaluation unit 110 and the risk possibility evaluation unit 130 both operate, so that the final score calculation unit 150 ) can calculate the final score using both the growth potential score and the risk potential score. The grade of the evaluation target technology may be evaluated using the final grade calculated as described above. Hereinafter, with reference to FIGS. 1 to 4 , when the final score is calculated using only the growth potential score, when the final score is calculated using only the risk potential score, the final score is calculated using both the growth potential score and the risk potential score The calculation cases will be described separately.

먼저, 도 1 및 도 2를 참조하여 성장가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법을 설명한다.First, a description will be given of a technology evaluation method using artificial intelligence that calculates a final score reflecting only growth potential with reference to FIGS. 1 and 2 .

도 1 및 도 2를 참조하면, 정보처리장치(100) 중 전문가성장평점산출부(120)는 기술평가지표에 따른 평가값들인 제 1 성장데이터(GDATA_1)를 입력받고 제 1 성장데이터(GDATA_1)에 평가항목별로 성장가중치를 부여하여 가중평균값을 산출함으로써 상기 기술평가지표에 의한 성장가능성에 대한 전문가성장평점을 산출할 수 있다(S210). 즉, S210 단계는 평가자(전문가)가 기술평가지표의 평가항목들에 대하여 평가한 평가값을 이용하여 상기 전문가성장평점을 산출하는 단계로, 상기 평가값에는 평가자가 정량데이터를 이용하여 평가한 평가값 및 평가자가 정성적으로 평가한 평가값이 포함될 수 있다. 상기 기술평가지표는 평가대상기술에 대한 기술평가를 위한 평가항목들을 포함하고 있으며, 예를 들어, 경영진 역량에 대한 평가항목들, 기술성에 대한 평가항목들, 시장성에 대한 평가항목들 및 사업성에 대한 평가항목들 중 적어도 하나의 평가항목들이 포함될 수 있다. 표 1은 상기 기술평가지표를 구성하는 평가항목들의 일 실시예 및 상기 평가자가 평가한 평가값의 일 예를 표시한 것으로, 제 1 성장데이터(GDATA_1)는 표 1의 평가항목별 평가값들을 포함할 수 있다.Referring to FIGS. 1 and 2 , the expert growth point calculation unit 120 of the information processing device 100 receives first growth data GDATA_1 , which are evaluation values according to a technology evaluation index, and receives the first growth data GDATA_1 . By giving a growth weight to each evaluation item to calculate a weighted average value, it is possible to calculate an expert growth score for the growth potential according to the technology evaluation index (S210). That is, step S210 is a step of calculating the expert growth point by using the evaluation value evaluated by the evaluator (expert) for the evaluation items of the technical evaluation index, and the evaluation value includes the evaluation evaluated by the evaluator using quantitative data. Values and evaluation values qualitatively evaluated by the evaluator may be included. The technology evaluation index includes evaluation items for technology evaluation of the technology to be evaluated, for example, evaluation items for management competency, evaluation items for technology, evaluation items for marketability, and business feasibility. At least one of the evaluation items may be included. Table 1 shows an example of the evaluation items constituting the technical evaluation index and an example of the evaluation value evaluated by the evaluator, and the first growth data (GDATA_1) includes evaluation values for each evaluation item in Table 1 can do.

Figure 112020126166211-pat00001
Figure 112020126166211-pat00001

다만, 본 발명에서 제 1 성장데이터(GDATA_1)가 표 1의 기술평가지표의 평가항목들로 한정되는 것은 아니며, 필요에 따라 평가항목을 추가하거나 제외할 수도 있다.However, in the present invention, the first growth data GDATA_1 is not limited to the evaluation items of the technical evaluation index of Table 1, and evaluation items may be added or excluded as necessary.

전문가성장평점산출부(120)는 제 1 성장데이터(GDATA_1)에 평가항목별로 성장가중치를 부여하여 가중평균값을 산출함으로써 상기 전문가성장평점을 산출할 수 있다. 상기 성장가중치는 평가대상기술의 성장가능성을 평가하기 위하여 각각의 평가항목별로 부여되는 값으로, 미리 설정되어 있는 값이거나 전문가성장평점산출부(120)가 입력받은 값일 수 있다.The expert growth point calculation unit 120 may calculate the expert growth point by giving a growth weight for each evaluation item to the first growth data GDATA_1 and calculating a weighted average value. The growth weight is a value given to each evaluation item in order to evaluate the growth potential of the technology to be evaluated, and may be a preset value or a value input by the expert growth point calculation unit 120 .

정보처리장치(110) 중 제 1 성장가능성 평가 모델(GM_1)은 제 2 성장데이터(GDATA_2)를 입력받고, 제 2 성장데이터(GDATA_2)로부터 상기 기술평가지표에 의한 성장가능성에 대한 평점인 인공지능성장평점을 산출할 수 있다(S220). 즉, 제 1 성장가능성 평가 모델(GM_1)은 제 2 성장데이터(GDATA_2)를 투입변수(입력변수)로 하고 상기 기술평가지표에 의한 성장가능성을 타겟변수(출력변수)로 하여 머신러닝을 이용하여 학습된 모델일 수 있다. 제 2 성장데이터(GDATA_2)는 상기 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표를 평가할 수 있는 정량데이터를 포함할 수 있다. 제 1 성장가능성 평가 모델(GM_1)은 머신러닝을 이용하여 학습을 함에 있어서, 산업 또는 기업상황에 따라 구분하여 학습할 수 있다. 예를 들어, 제 1 성장가능성 평가 모델(GM_1)은 제조업과 서비스업을 구분하여 머신러닝을 각각 수행하거나, 창업기업과 일반기업으로 구분하여 머신러닝을 수행할 수 있다. 또는 제 1 성장가능성 평가 모델(GM_1)은 보다 구체적으로 산업을 세분화 하여 금속 분야, 기계 분야, 전기전자 분야, 화학섬유 분야, 환경바이오 분야, 기타제조 분야, 소프트웨어 개발 구축 분야, IT서비스 분야, 엔지니어링서비스분야, 지식서비스 분야로 구분하여 머신러닝을 수행할 수도 있다.The first growth potential evaluation model GM_1 of the information processing device 110 receives the second growth data GDATA_2, and the second growth data GDATA_2 is an artificial intelligence that is a rating for the growth potential according to the technology evaluation index. A growth point may be calculated (S220). That is, the first growth potential evaluation model GM_1 uses the second growth data GDATA_2 as an input variable (input variable) and the growth potential by the technology evaluation index as a target variable (output variable) using machine learning. It may be a trained model. The second growth data GDATA_2 may include quantitative data for evaluating at least one of the evaluation values and the technology evaluation index. In learning the first growth potential evaluation model GM_1 using machine learning, it can be learned by classifying it according to an industry or corporate situation. For example, the first growth potential evaluation model GM_1 may perform machine learning by classifying manufacturing and service industries, or performing machine learning by classifying start-up companies and general companies. Alternatively, the first growth potential evaluation model (GM_1) is more specifically subdivided into industries such as metal, mechanical, electrical and electronic, chemical fiber, environmental bio, other manufacturing, software development and construction, IT service, and engineering. Machine learning can also be performed by dividing it into a service field and a knowledge service field.

제 2 성장데이터(GDATA_2)는 S210 단계와 관련하여 살펴본 상기 기술평가지표의 평가항목들의 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표의 평가항목들을 평가할 수 있는 정량데이터를 포함할 수 있다. 예를 들어, 제 2 성장데이터(GDATA_2) 중 정성적으로 평가해야 하는 평가항목에 대한 평가값은 S210 단계에서 상기 평가자가 평가한 평가값이 그대로 적용될 수 있다. 그리고 제 2 성장데이터(GDATA_2)는 정량적으로 평가할 수 있는 평가항목과 관련된 정량데이터를 포함할 수도 있고, 또는 상기 정량데이터를 이용하여 평가된 평가값을 포함할 수도 있다. 정량데이터를 이용하여 평가한 평가값은 평가자와 무관하게 동일한 평가값이 나오므로 정량적으로 평가할 수 있는 평가항목들과 관련하여 S210 단계에서 평가된 평가값이 그대로 제 2 성장데이터(GDATA_2)에 포함될 수도 있고, 평가자가 정량데이터를 이용하여 평가함에 있어 실수할 수도 있으므로 상기 평가항목들을 평가할 수 있는 정량데이터가 제 2 성장데이터(GDATA_2)에 포함될 수 있다.The second growth data GDATA_2 may include at least one evaluation value among evaluation values of the evaluation items of the technical evaluation index examined in relation to step S210 and quantitative data for evaluating the evaluation items of the technical evaluation index. . For example, the evaluation value of the evaluation item to be qualitatively evaluated among the second growth data GDATA_2 may be the evaluation value evaluated by the evaluator in step S210 as it is. In addition, the second growth data GDATA_2 may include quantitative data related to an evaluation item that can be evaluated quantitatively, or may include an evaluation value evaluated using the quantitative data. Since the evaluation value evaluated using quantitative data comes out the same evaluation value regardless of the evaluator, the evaluation value evaluated in step S210 may be included in the second growth data (GDATA_2) as it is in relation to evaluation items that can be evaluated quantitatively. Also, since the evaluator may make a mistake in evaluating using the quantitative data, quantitative data for evaluating the evaluation items may be included in the second growth data GDATA_2 .

제 1 성장가능성 평가 모델(GM_1)은 머신러닝(machine learning)을 이용하여 학습된 인공지능 모델일 수 있으며, 예를 들어, 순환 신경망(RNN: Recurrent Neural Network), 컨볼루션 신경망(CNN: Convolutional Neural Network) 또는 심층 신경망(DNN: Deep Neural Network) 등의 인공신경망 모델일 수 있다. 제 1 성장가능성 평가 모델(GM_1)은 기존의 기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과(위험 또는 성장)를 이용하여 학습함으로써 상기 평가항목들의 평가값을 최적의 조건으로 결합하여 인공지능성장평점을 산출할 수 있는 모델일 수 있다. 즉, 제 1 성장 가능성 평가 모델(GM_1)은 이전에 평가대상기술에 대하여 전문가가 평가한 평가값들, 평가 이후에 상기 평가대상기술을 이용하여 사업화를 한 기업이 실제로 성장하였는지 위험 또는 부실이 발생하였는지의 결과값들을 이용하여 학습할 수 있고, 이를 통해 평가항목들의 평가값들과 결과값들 사이의 관계를 도출할 수 있다. 예를 들어, 제 1 성장 가능성 평가 모델(GM_1)은 머신러닝을 이용하여 학습함으로써 제 2 성장데이터(GDATA_2)의 평가항목별 인공지능성장가중치를 설정할 수 있고, 제 2 성장데이터(GDATA_2)에 평가항목별로 상기 인공지능성장가중치를 부여하여 가중평균값을 산출함으로써 상기 인공지능성장평점을 산출할 수 있다. 만약, 상기 인공지능성장가중치와 S210 단계의 상기 성장가중치가 동일하다면 S210 단계에서 산출된 전문가성장평점과 S220 단계에서 산출된 인공지능성장평점은 동일한 값을 가질 것이고, 상기 인공지능성장가중치와 S210 단계의 상기 성장가중치가 상이하다면 S210 단계에서 산출된 전문가성장평점과 S220 단계에서 산출된 인공지능성장평점은 상이한 값을 가질 것이다. 즉, S220 단계는 제 1 성장 가능성 평가 모델(GM_1)이 상기 기술평가지표 중 정성적으로 평가하는 항목들의 평가값을 산출하는 것이 아니라 정성적으로 평가해야 하는 항목들은 평가자가 평가한 평가값을 그대로 이용하고, 이들 평가값들과 정량적으로 산출되는 평가값들을 최적의 조건에서 결합시켜 상기 인공지능성장평점을 산출할 수 있다. 예를 들어, 제 2 성장 데이터(GDATA2) 중 정량데이터는 경영주의 동업종 종사년수, 기술상용화건수, 특허건수 등을 포함할 수 있다. 다만, 본 발명에서 제 2 성장데이터(GDATA_2) 중 정량데이터가 이상의 변수들에 대한 로우데이터로 한정되는 것은 아니며, 필요에 따라 정량데이터나 평가항목을 추가, 변경 또는 제외할 수도 있다.The first growth potential evaluation model GM_1 may be an artificial intelligence model learned using machine learning, for example, a recurrent neural network (RNN), a convolutional neural network (CNN). Network) or an artificial neural network model such as a deep neural network (DNN). The first growth potential evaluation model (GM_1) combines the evaluation values of the above evaluation items under optimal conditions by learning using the existing technology evaluation contents and actual results (risk or growth) related to the technology evaluation target technology. It may be a model that can calculate the AI growth score. That is, in the first growth potential evaluation model (GM_1), the evaluation values previously evaluated by experts for the evaluation target technology, and whether the company that commercialized using the evaluation target technology has actually grown after the evaluation has caused risk or insolvency. It is possible to learn using the result values of whether or not it was done, and through this, it is possible to derive a relationship between the evaluation values of the evaluation items and the result values. For example, the first growth potential evaluation model GM_1 may set an AI growth weight for each evaluation item of the second growth data GDATA_2 by learning using machine learning, and evaluated in the second growth data GDATA_2 By giving the AI growth weight to each item and calculating a weighted average value, the AI growth point may be calculated. If the artificial intelligence growth weight and the growth weight of step S210 are the same, the expert growth point calculated in step S210 and the artificial intelligence growth point calculated in step S220 will have the same value, and the artificial intelligence growth weight and step S210 If the growth weights of are different, the expert growth point calculated in step S210 and the artificial intelligence growth point calculated in step S220 will have different values. That is, in step S220, the first growth potential evaluation model (GM_1) does not calculate the evaluation values of the items to be qualitatively evaluated among the technical evaluation indicators, but the evaluation values evaluated by the evaluator are unchanged for the items to be qualitatively evaluated. and combining these evaluation values and quantitatively calculated evaluation values under optimal conditions to calculate the AI growth score. For example, the quantitative data of the second growth data GDATA2 may include the number of years in the same industry of the manager, the number of commercialization cases, the number of patents, and the like. However, in the present invention, quantitative data among the second growth data GDATA_2 is not limited to raw data for the above variables, and quantitative data or evaluation items may be added, changed, or excluded as necessary.

정보처리장치(100) 중 최종평점 산출부(150)는 상기 전문가성장평점과 상기 인공지능성장평점을 결합하여 성장가능성에 대한 평점인 최종평점을 산출할 수 있다(S230). 도 2의 실시예는 성장가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법에 관한 것이므로, 최종평점 산출부(150)에서 상기 전문가성장평점과 상기 인공지능성장평점을 결합하여 산출된 결과가 상기 평가대상기술에 대한 최종평점으로 결정된다. The final score calculation unit 150 of the information processing apparatus 100 may combine the expert growth score and the artificial intelligence growth score to calculate a final score, which is a rating for growth potential (S230). Since the embodiment of FIG. 2 relates to a technology evaluation method using artificial intelligence that calculates a final score reflecting only growth potential, the final score calculation unit 150 combines the expert growth point and the artificial intelligence growth score to calculate the result is determined as the final score for the technology to be evaluated.

최종평점 산출부(150)는 상기 전문가성장평점과 상기 인공지능성장평점을 결합함에 있어 설정되어 있는 결합비율을 이용하여 결합함으로써 상기 최종평점을 산출할 수 있다. 예를 들어, 최종평점 산출부(150)는 상기 전문가성장평점과 상기 인공지능성장평점을 4:6의 비율로 결합시킨 결과를 상기 최종평점으로 결정할 수 있다. The final grade calculation unit 150 may calculate the final grade by combining the expert growth grade and the artificial intelligence growth grade by using a set combination ratio. For example, the final score calculation unit 150 may determine a result of combining the expert growth score and the artificial intelligence growth score in a ratio of 4:6 as the final score.

다른 예로, 최종평점 산출부(150)는 머신러닝을 이용하여 학습된 결합모델을 이용하여 상기 전문가성장평점과 상기 인공지능성장평점을 최적의 비율로 결합할 수도 있다. 예를 들어, 상기 결합모델은 순환 신경망(RNN: Recurrent Neural Network), 컨볼루션 신경망(CNN: Convolutional Neural Network) 또는 심층 신경망(DNN: Deep Neural Network) 등의 인공신경망 모델일 수 있다. 상기 결합모델은 기존의 기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과(위험 또는 성장)를 이용하여 학습함으로써 상기 전문가성장평점과 상기 인공지능성장평점을 최적의 조건으로 결합하여 최종평점을 산출할 수 있는 모델일 수 있다. As another example, the final score calculation unit 150 may combine the expert growth point and the artificial intelligence growth point at an optimal ratio using a combined model learned using machine learning. For example, the coupling model may be an artificial neural network model such as a recurrent neural network (RNN), a convolutional neural network (CNN), or a deep neural network (DNN). The combined model combines the expert growth point and the artificial intelligence growth point in an optimal condition by learning using the actual result (risk or growth) related to the existing technology evaluation content and the technology evaluated evaluation target technology to obtain a final score It may be a model that can calculate .

또는, 상기 결합모델은 머신러닝을 이용하여 학습되어 상기 전문가성장평점 및 상기 인공지능성장평점으로부터 고성장 가능성에 대한 평점을 산출하여 이를 상기 평점으로 결정할 수도 있다. 즉, 상기 결합모델은 상기 전문가성장평점 및 상기 인공지능성장평점을 투입변수(입력변수)로 하고 고성장 가능성을 타겟변수(출력변수)로 하여 머신러닝을 이용하여 학습된 모델일 수 있다. 이 경우, 상기 결합모델을 이용하여 산출된 상기 최종평점은 고성장 가능성의 관점에서 상기 평가대상기술을 평가한 것일 수 있다. Alternatively, the combined model may be learned using machine learning to calculate a score for high growth potential from the expert growth point and the artificial intelligence growth point and determine it as the score. That is, the combined model may be a model learned using machine learning with the expert growth point and the artificial intelligence growth point as input variables (input variables) and high growth potential as target variables (output variables). In this case, the final score calculated using the combined model may be an evaluation of the evaluation target technology from the viewpoint of high growth potential.

다음으로, 도 1 내지 도 3을 참조하여 위험가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법을 설명한다.Next, a description will be given of a technology evaluation method using artificial intelligence that calculates a final score reflecting only the risk possibility with reference to FIGS. 1 to 3 .

도 1 내지 도 3을 참조하면, 정보처리장치(100) 중 전문가위험평점산출부(130)는 기술평가지표에 따른 평가값들인 제 1 위험데이터(WDATA_1)를 입력받고 제 1 위험데이터(WDATA_1)에 평가항목별로 위험가중치를 부여하여 가중평균값을 산출함으로써 상기 기술평가지표에 의한 위험가능성에 대한 전문가위험평점을 산출할 수 있다(S310). 즉, S310 단계는 평가자(전문가)가 기술평가지표의 평가항목들에 대하여 평가한 평가값을 이용하여 상기 전문가위험평점을 산출하는 단계로, 상기 평가값에는 평가자가 정량데이터를 이용하여 평가한 평가값 및 평가자가 정성적으로 평가한 평가값이 포함될 수 있다. 상기 기술평가지표는 평가대상기술에 대한 기술평가를 위한 평가항목들을 포함하고 있으며, 예를 들어, 경영진 역량에 대한 평가항목들, 기술성에 대한 평가항목들, 시장성에 대한 평가항목들 및 사업성에 대한 평가항목들 중 적어도 하나의 평가항목들이 포함될 수 있다. 상기 기술평가지표는 도 2의 실시예와 관련하여 설명한 기술평가지표와 동일한 평가항목들을 가질 수도 있고 다른 평가항목을 가질 수도 있다. 예를 들어, 도 3의 기술평가지표와 도 2의 기술평가지표가 동일한 경우, 제 1 위험데이터(WDATA_1)는 제 1 성장데이터(GDATA_1)와 동일한 데이터일 수 있다. 제 1 위험데이터(WDATA_1)는 제 1 성장데이터(GDATA_1)와 유사한 평가항목 또는 변수를 포함할 수 있으므로 이하 중복되는 설명은 제 1 성장데이터(GDATA_1)에 대한 설명으로 대체한다.1 to 3 , the expert risk score calculation unit 130 of the information processing device 100 receives first risk data WDATA_1 , which are evaluation values according to the technology evaluation index, and receives the first risk data WDATA_1 . By giving a risk weight to each evaluation item and calculating a weighted average value, it is possible to calculate an expert risk score for the risk possibility by the technical evaluation index (S310). That is, step S310 is a step of calculating the expert risk score using the evaluation values evaluated by the evaluator (expert) for the evaluation items of the technical evaluation index, and the evaluation value includes the evaluation evaluated by the evaluator using quantitative data. Values and evaluation values qualitatively evaluated by the evaluator may be included. The technology evaluation index includes evaluation items for technology evaluation of the technology to be evaluated, for example, evaluation items for management competency, evaluation items for technology, evaluation items for marketability, and business feasibility. At least one of the evaluation items may be included. The technology evaluation index may have the same evaluation items as the technology evaluation index described in relation to the embodiment of FIG. 2 or may have different evaluation items. For example, when the technology evaluation index of FIG. 3 and the technology evaluation index of FIG. 2 are the same, the first risk data WDATA_1 may be the same data as the first growth data GDATA_1 . Since the first risk data WDATA_1 may include evaluation items or variables similar to those of the first growth data GDATA_1 , the overlapping description below will be replaced with a description of the first growth data GDATA_1 .

전문가위험평점산출부(130)는 제 1 위험데이터(WDATA_1)에 평가항목별로 위험가중치를 부여하여 가중평균값을 산출함으로써 상기 전문가위험평점을 산출할 수 있다. 상기 위험가중치는 평가대상기술의 위험가능성을 평가하기 위하여 각각의 평가항목별로 부여되는 값으로, 미리 설정되어 있는 값이거나 전문가위험평점산출부(130)가 입력받은 값일 수 있다.The expert risk score calculating unit 130 may calculate the expert risk score by calculating a weighted average value by assigning a risk weight to the first risk data WDATA_1 for each evaluation item. The risk weight is a value assigned to each evaluation item in order to evaluate the risk potential of the technology to be evaluated, and may be a preset value or a value input by the expert risk score calculation unit 130 .

정보처리장치(110) 중 제 1 위험가능성 평가 모델(WM_1)은 제 2 위험데이터(WDATA_2)를 입력받고, 제 2 위험데이터(WDATA_2)로부터 상기 기술평가지표에 의한 위험가능성에 대한 평점인 인공지능위험평점을 산출할 수 있다(S320). 즉, 제 1 위험가능성 평가 모델(WM_1)은 제 2 위험데이터(WDATA_2)를 투입변수(입력변수)로 하고 상기 기술평가지표에 의한 위험가능성을 타겟변수(출력변수)로 하여 머신러닝을 이용하여 학습된 모델일 수 있다. 제 2 위험데이터(WDATA_2)는 상기 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표를 평가할 수 있는 정량데이터를 포함할 수 있다. 제 1 위험가능성 평가 모델(WM_1)은 머신러닝을 이용하여 학습을 함에 있어서, 산업 또는 기업상황에 따라 구분하여 학습할 수 있다. 예를 들어, 제 1 위험가능성 평가 모델(WM_1)은 제조업과 서비스업을 구분하여 머신러닝을 각각 수행하거나, 창업기업과 일반기업으로 구분하여 머신러닝을 수행할 수 있다. 또는 제 1 위험가능성 평가 모델(WM_1)은 보다 구체적으로 산업을 세분화 하여 금속 분야, 기계 분야, 전기전자 분야, 화학섬유 분야, 환경바이오 분야, 기타제조 분야, 소프트웨어 개발 구축 분야, IT서비스 분야, 엔지니어링서비스분야, 지식서비스 분야로 구분하여 머신러닝을 수행할 수도 있다.The first risk assessment model (WM_1) of the information processing device 110 receives the second risk data (WDATA_2), and from the second risk data (WDATA_2), an artificial intelligence that is a rating for the risk by the technology evaluation index. A risk score may be calculated (S320). That is, the first risk assessment model (WM_1) uses the second risk data (WDATA_2) as an input variable (input variable) and uses machine learning to use the risk potential by the technology evaluation index as a target variable (output variable). It may be a trained model. The second risk data WDATA_2 may include quantitative data capable of evaluating at least one of the evaluation values and the technical evaluation index. The first risk assessment model WM_1 can be learned by classifying it according to an industry or corporate situation when learning using machine learning. For example, the first risk assessment model WM_1 may perform machine learning by dividing the manufacturing industry and the service industry, or machine learning may be performed by dividing the start-up company and the general company. Alternatively, the first risk assessment model (WM_1) subdivides the industry in more detail, such as metal field, machinery field, electrical and electronic field, chemical fiber field, environmental bio field, other manufacturing field, software development and construction field, IT service field, engineering field Machine learning can also be performed by dividing it into a service field and a knowledge service field.

제 2 위험데이터(GDATA_2)는 S310 단계와 관련하여 살펴본 상기 기술평가지표의 평가항목들의 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표의 평가항목들을 평가할 수 있는 정량데이터를 포함할 수 있다. 예를 들어, 제 2 위험데이터(WDATA_2) 중 정성적으로 평가해야 하는 평가항목에 대한 평가값은 S310 단계에서 상기 평가자가 평가한 평가값을 그대로 이용할 수 있다. 그리고 제 2 위험데이터(WDATA_2)는 정량적으로 평가할 수 있는 평가항목과 관련된 정량데이터를 포함할 수도 있고, 또는 상기 정량데이터를 이용하여 평가된 평가값을 포함할 수도 있다. 정량데이터를 이용하여 평가한 평가값은 평가자와 무관하게 동일한 평가값이 나오므로 정량적으로 평가할 수 있는 평가항목들과 관련하여 S310 단계에서 평가된 평가값이 그대로 제 2 위험데이터(WDATA_2)에 포함될 수도 있고, 평가자가 정량데이터를 이용하여 평가함에 있어 실수할 수도 있으므로 상기 평가항목들을 평가할 수 있는 정량데이터가 제 2 위험데이터(WDATA_2)에 포함될 수 있다. 제 2 위험데이터(WDATA_2)와 관련된 평가항목은 제 2 성장데이터(WDATA_2)와 관련된 평가항목들과 동일할 수도 있고 상이할 수도 있다. 예를 들어, 도 3의 기술평가지표와 도 2의 기술평가지표가 동일한 경우, 제 2 위험데이터(WDATA_2)는 제 2 성장데이터(GDATA_2)와 동일한 데이터일 수 있다. 제 2 위험데이터(WDATA_2)는 제 2 성장데이터(GDATA_2)와 평가항목 및 변수가 유사하므로 이하 중복되는 설명은 제 2 성장데이터(GDATA_2)에 대한 설명으로 대체한다.The second risk data GDATA_2 may include at least one evaluation value among evaluation values of the evaluation items of the technical evaluation index examined in relation to step S310 and quantitative data for evaluating the evaluation items of the technical evaluation index. . For example, as an evaluation value for an evaluation item to be qualitatively evaluated among the second risk data WDATA_2, the evaluation value evaluated by the evaluator in step S310 may be used as it is. In addition, the second risk data WDATA_2 may include quantitative data related to an evaluation item that can be evaluated quantitatively, or may include an evaluation value evaluated using the quantitative data. Since the evaluation value evaluated using quantitative data comes out the same evaluation value regardless of the evaluator, the evaluation value evaluated in step S310 in relation to evaluation items that can be evaluated quantitatively may be included in the second risk data (WDATA_2) as it is. Also, since the evaluator may make a mistake in evaluating using the quantitative data, quantitative data for evaluating the evaluation items may be included in the second risk data WDATA_2. The evaluation items related to the second risk data WDATA_2 may be the same as or different from the evaluation items related to the second growth data WDATA_2 . For example, when the technology evaluation index of FIG. 3 and the technology evaluation index of FIG. 2 are the same, the second risk data WDATA_2 may be the same data as the second growth data GDATA_2 . Since the second risk data WDATA_2 has similar evaluation items and variables to the second growth data GDATA_2 , the overlapping description below will be replaced with the description of the second growth data GDATA_2 .

제 1 위험가능성 평가 모델(WM_1)은 머신러닝(machine learning)을 이용하여 학습된 인공지능 모델일 수 있으며, 예를 들어, 순환 신경망(RNN: Recurrent Neural Network), 컨볼루션 신경망(CNN: Convolutional Neural Network) 또는 심층 신경망(DNN: Deep Neural Network) 등의 인공신경망 모델일 수 있다. 제 1 위험가능성 평가 모델(WM_1)은 기존의 기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과(위험 또는 성장)를 이용하여 학습함으로써 상기 평가항목들의 평가값을 최적의 조건으로 결합하여 인공지능위험평점을 산출할 수 있는 모델일 수 있다. 즉, 제 1 위험 가능성 평가 모델(WM_1)은 이전에 평가대상기술에 대하여 전문가가 평가한 평가값들, 평가 이후에 상기 평가대상기술을 이용하여 사업화를 한 기업이 실제로 성장하였는지 위험 또느 부실이 발생하였는지의 결과값들을 이용하여 학습할 수 있고, 이를 통해 평가항목들의 평가값들과 결과값들 사이의 관계를 도출할 수 있다. The first risk assessment model WM_1 may be an artificial intelligence model learned using machine learning, for example, a recurrent neural network (RNN), a convolutional neural network (CNN). Network) or an artificial neural network model such as a deep neural network (DNN). The first risk assessment model (WM_1) combines the evaluation values of the above evaluation items under optimal conditions by learning using the actual results (risk or growth) related to the existing technology evaluation content and the technology evaluated evaluation target technology. It may be a model that can calculate an AI risk score. That is, the first risk possibility evaluation model (WM_1) is the evaluation values previously evaluated by experts for the evaluation target technology, and whether the company that commercialized using the evaluation target technology has actually grown after the evaluation has caused risk or insolvency. It is possible to learn using the result values of whether or not it was done, and through this, it is possible to derive a relationship between the evaluation values of the evaluation items and the result values.

예를 들어, 제 1 위험 가능성 평가 모델(WM_1)은 머신러닝을 이용하여 학습함으로써 제 2 위험데이터(WDATA_2)의 평가항목별 인공지능위험가중치를 설정할 수 있고, 제 2 위험데이터(WDATA_2)에 평가항목별로 상기 인공지능위험가중치를 부여하여 가중평균값을 산출함으로써 상기 인공지능위험평점을 산출할 수 있다. 만약, 상기 인공지능위험가중치와 S310 단계의 상기 위험가중치가 동일하다면 S310 단계에서 산출된 전문가위험평점과 S320 단계에서 산출된 인공지능위험평점은 동일한 값을 가질 것이고, 상기 인공지능성장가중치와 S310 단계의 상기 성장가중치가 상이하다면 S310 단계에서 산출된 전문가위험평점과 S320 단계에서 산출된 인공지능위험평점은 상이한 값을 가질 것이다. 즉, S320 단계는 제 1 위험 가능성 평가 모델(WM_1)이 상기 기술평가지표 중 정성적으로 평가하는 항목들의 평가값을 산출하는 것이 아니라 정성적으로 평가해야 하는 항목들은 평가자가 평가한 평가값을 그대로 이용하고, 이들 평가값들과 정량적으로 산출되는 평가값들을 최적의 조건에서 결합시켜 상기 인공지능위험평점을 산출할 수 있다.For example, the first risk assessment model (WM_1) can set the artificial intelligence risk weight for each evaluation item of the second risk data (WDATA_2) by learning using machine learning, and evaluate the second risk data (WDATA_2) The artificial intelligence risk score may be calculated by calculating the weighted average value by giving the artificial intelligence risk weight to each item. If the artificial intelligence risk weight and the risk weight in step S310 are the same, the expert risk score calculated in step S310 and the artificial intelligence risk score calculated in step S320 will have the same value, and the artificial intelligence growth weight and step S310 If the growth weights of are different, the expert risk score calculated in step S310 and the artificial intelligence risk score calculated in step S320 will have different values. That is, in step S320, the first risk possibility evaluation model (WM_1) does not calculate the evaluation values of the items to be qualitatively evaluated among the technical evaluation indicators, but the evaluation values evaluated by the evaluator are unchanged for the items to be qualitatively evaluated. The AI risk score can be calculated by combining these evaluation values and quantitatively calculated evaluation values under optimal conditions.

정보처리장치(100) 중 최종평점 산출부(150)는 상기 전문가위험평점과 상기 인공지능위험평점을 결합하여 위험가능성에 대한 평점인 최종평점을 산출할 수 있다(S330). 도 3의 실시예는 위험가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법에 관한 것이므로, 최종평점 산출부(150)에서 상기 전문가위험평점과 상기 인공지능위험평점을 결합하여 산출된 결과가 상기 평가대상기술에 대한 최종평점으로 결정된다. The final score calculation unit 150 of the information processing device 100 may combine the expert risk score and the artificial intelligence risk score to calculate a final score, which is a score for risk possibility (S330). Since the embodiment of FIG. 3 relates to a technology evaluation method using artificial intelligence that calculates a final score reflecting only risk possibility, the final score calculation unit 150 combines the expert risk score and the artificial intelligence risk score. is determined as the final score for the technology to be evaluated.

최종평점 산출부(150)는 상기 전문가위험평점과 상기 인공지능위험평점을 결합함에 있어 설정되어 있는 결합비율을 이용하여 결합함으로써 상기 최종평점을 산출할 수 있다. 예를 들어, 최종평점 산출부(150)는 상기 전문가위험평점과 상기 인공지능위험평점을 3:7의 비율로 결합시킨 결과를 상기 최종평점으로 결정할 수 있다. The final score calculation unit 150 may calculate the final score by combining the expert risk score and the artificial intelligence risk score using a set combination ratio. For example, the final score calculation unit 150 may determine a result of combining the expert risk score and the artificial intelligence risk score in a ratio of 3:7 as the final score.

다른 예로, 최종평점 산출부(150)는 머신러닝을 이용하여 학습된 결합모델을 이용하여 상기 전문가성장평점과 상기 인공지능성장평점을 최적의 비율로 결합할 수도 있다. 예를 들어, 상기 결합모델은 순환 신경망(RNN: Recurrent Neural Network), 컨볼루션 신경망(CNN: Convolutional Neural Network) 또는 심층 신경망(DNN: Deep Neural Network) 등의 인공신경망 모델일 수 있다. 상기 결합모델은 기존의 기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과(위험 또는 성장)를 이용하여 학습함으로써 상기 전문가위험평점과 상기 인공지능위험평점을 최적의 조건으로 결합하여 최종평점을 산출할 수 있는 모델일 수 있다. As another example, the final score calculation unit 150 may combine the expert growth point and the artificial intelligence growth point at an optimal ratio using a combined model learned using machine learning. For example, the coupling model may be an artificial neural network model such as a recurrent neural network (RNN), a convolutional neural network (CNN), or a deep neural network (DNN). The combined model combines the expert risk score and the artificial intelligence risk score in an optimal condition by learning using the actual results (risk or growth) related to the existing technology evaluation content and the technology evaluated evaluation target technology to obtain a final score It may be a model that can calculate .

또는, 상기 결합모델은 머신러닝을 이용하여 학습되어 상기 전문가성장평점 및 상기 인공지능성장평점으로부터 고성장 가능성에 대한 평점을 산출하여 이를 상기 평점으로 결정할 수도 있다. 즉, 상기 결합모델은 상기 전문가성장평점 및 상기 인공지능성장평점을 투입변수(입력변수)로 하고 고성장 가능성을 타겟변수(출력변수)로 하여 머신러닝을 이용하여 학습된 모델일 수 있다. 이 경우, 상기 결합모델을 이용하여 산출된 상기 최종평점은 고성장 가능성의 관점에서 상기 평가대상기술을 평가한 것일 수 있다. Alternatively, the combined model may be learned using machine learning to calculate a score for high growth potential from the expert growth point and the artificial intelligence growth point and determine it as the score. That is, the combined model may be a model learned using machine learning with the expert growth point and the artificial intelligence growth point as input variables (input variables) and high growth potential as target variables (output variables). In this case, the final score calculated using the combined model may be an evaluation of the evaluation target technology from the viewpoint of high growth potential.

다음으로, 도 1 내지 도 4를 참조하여 성장가능성과 위험가능성을 모두 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법을 설명한다.Next, a technology evaluation method using artificial intelligence for calculating a final score reflecting both growth potential and risk potential will be described with reference to FIGS. 1 to 4 .

도 1 내지 도 4를 참조하면, 성장가능성평가부(110)는 도 2와 관련하여 설명한 것과 같이 동작하여 상기 전문가성장평점 및 상기 인공지능성장평점을 최종평점 산출부(150)로 전달할 수 있다. 성장가능성평가부(110)의 동작에 대하여는 도 2와 관련하여 상세하게 설명하였으므로 이하 중복되는 설명은 도 2의 설명으로 대체한다. 그리고, 위험가능성평가부(120)는 도 3과 관련하여 설명한 것과 같이 동작하여 상기 전문가위험평점 및 상기 인공지능위험평점을 최종평점 산출부(150)로 전달할 수 있다. 위험가능성평가부(120)의 동작에 대하여는 도 3과 관련하여 상세하게 설명하였으므로 이하 중복되는 설명은 도 3의 설명으로 대체한다. 1 to 4 , the growth potential evaluation unit 110 may operate as described with reference to FIG. 2 to transmit the expert growth point and the artificial intelligence growth point to the final score calculation unit 150 . Since the operation of the growth potential evaluation unit 110 has been described in detail with reference to FIG. 2 , the overlapping description will be replaced with the description of FIG. 2 . In addition, the risk assessment unit 120 may operate as described with reference to FIG. 3 to transmit the expert risk score and the artificial intelligence risk score to the final score calculation unit 150 . Since the operation of the risk assessment unit 120 has been described in detail with reference to FIG. 3 , the overlapping description will be replaced with the description of FIG. 3 .

정보처리장치(100) 중 최종평점 산출부(150)는 상기 전문가성장평점, 상기 인공지능성장평점, 상기 전문가위험평점 및 상기 인공지능위험평점을 결합하여 성장가능성과 위험가능성을 모두 고려한 최종평점을 산출할 수 있다(S410). The final score calculation unit 150 of the information processing device 100 combines the expert growth score, the artificial intelligence growth score, the expert risk score, and the artificial intelligence risk score to obtain a final score considering both growth potential and risk potential. can be calculated (S410).

최종평점 산출부(150)는 상기 전문가성장평점, 상기 인공지능성장평점, 상기 전문가위험평점 및 상기 인공지능위험평점을 결합함에 있어 설정되어 있는 결합비율을 이용하여 결합함으로써 상기 최종평점을 산출할 수 있다. 예를 들어, 최종평점 산출부(150)는 상기 전문가성장평점, 상기 인공지능성장평점, 상기 전문가위험평점 및 상기 인공지능위험평점을 2:3:2:3의 비율로 결합시킨 결과를 상기 최종평점으로 결정할 수 있다. The final score calculation unit 150 calculates the final score by combining the expert growth score, the AI growth score, the expert risk score, and the artificial intelligence risk score using a set combination ratio. have. For example, the final score calculation unit 150 combines the expert growth score, the artificial intelligence growth score, the expert risk score, and the artificial intelligence risk score in a ratio of 2:3:2:3 to the final score. It can be determined by rating.

또는, 최종평점 산출부(150)는 머신러닝을 이용하여 학습된 결합모델을 이용하여 상기 전문가성장평점, 상기 인공지능성장평점, 상기 전문가위험평점 및 상기 인공지능위험평점을 최적의 비율로 결합할 수도 있다. 상기 결합모델은 머신러닝을 이용하여 학습을 함에 있어서, 산업 또는 기업상황에 따라 구분하여 학습할 수 있다. 예를 들어, 상기 결합모델은 제조업과 서비스업을 구분하여 머신러닝을 각각 수행하거나, 창업기업과 일반기업으로 구분하여 머신러닝을 수행할 수 있다. 또는 상기 결합모델은 보다 구체적으로 산업을 세분화 하여 금속 분야, 기계 분야, 전기전자 분야, 화학섬유 분야, 환경바이오 분야, 기타제조 분야, 소프트웨어 개발 구축 분야, IT서비스 분야, 엔지니어링서비스분야, 지식서비스 분야로 구분하여 머신러닝을 수행할 수도 있다. 예를 들어, 상기 결합모델은 순환 신경망(RNN: Recurrent Neural Network), 컨볼루션 신경망(CNN: Convolutional Neural Network) 또는 심층 신경망(DNN: Deep Neural Network) 등의 인공신경망 모델일 수 있다. 상기 결합모델은 기존의 기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과(위험 또는 성장)를 이용하여 학습함으로써 상기 전문가성장평점, 상기 인공지능성장평점, 상기 전문가위험평점 및 상기 인공지능위험평점을 최적의 조건으로 결합하여 최종평점을 산출할 수 있는 모델일 수 있다. Alternatively, the final score calculation unit 150 combines the expert growth score, the artificial intelligence growth score, the expert risk score, and the artificial intelligence risk score at an optimal ratio using a combined model learned using machine learning. may be The combined model can be learned by classifying it according to an industry or corporate situation in learning using machine learning. For example, the combined model may perform machine learning by dividing the manufacturing industry and the service industry, respectively, or by dividing the start-up company and the general company into machine learning. Alternatively, the combined model more specifically subdivides the industry, so that the metal field, the mechanical field, the electrical and electronic field, the chemical fiber field, the environmental bio field, the other manufacturing field, the software development construction field, the IT service field, the engineering service field, the knowledge service field Machine learning can also be performed by dividing For example, the coupling model may be an artificial neural network model such as a recurrent neural network (RNN), a convolutional neural network (CNN), or a deep neural network (DNN). The combined model is the expert growth point, the artificial intelligence growth point, the expert risk score, and the artificial intelligence by learning using the existing technology evaluation content and the actual result (risk or growth) related to the technology evaluated evaluation target technology. It may be a model that can calculate the final score by combining the risk score under optimal conditions.

또는, 머신러닝을 이용하여 학습된 하나의 결합모델은 머신러닝을 이용하여 학습되어 상기 전문가성장평점 및 상기 인공지능성장평점을 결합하여 미래성장가능성평점을 산출하고, 머신러닝을 이용하여 학습된 다른 하나의 결합모델은 상기 전문가위험평점 및 상기 인공지능위험평점을 결합하여 위험가능성평점을 산출할 수 있다. 그리고, 최종평점 산출부(150)는 상기 미래성장가능성평점 및 상기 위험가능성평점을 설정되어 있는 결합비율을 이용하여 결합함으로써 상기 최종평점을 산출하거나, 머신러닝을 이용하여 학습된 다른 하나의 결합모델을 이용하여 상기 미래성장가능성평점 및 상기 위험가능성평점을 결합하여 상기 최종평점을 산출할 수 있다.Alternatively, one combined model learned using machine learning is learned using machine learning, combining the expert growth point and the artificial intelligence growth point to calculate a future growth potential score, and another learned using machine learning One combination model may calculate a risk probability score by combining the expert risk score and the artificial intelligence risk score. And, the final score calculation unit 150 calculates the final score by combining the future growth potential score and the risk probability score using a set combination ratio, or another combined model learned using machine learning. can be used to combine the future growth potential score and the risk potential score to calculate the final score.

도 5는 본 발명의 기술적 사상에 의한 다른 일 실시예에 따른 인공지능을 이용한 기술평가방법을 수행하는 정보처리장치(500)의 일 실시예이고, 도 6은 도 5의 정보처리장치(500)를 이용하여 성장가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법의 흐름도이다. 도 7은 도 5의 정보처리장치(500)를 이용하여 위험가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법의 흐름도이고, 도 8은 도 5의 정보처리장치(500)를 이용하여 성장가능성 및 위험가능성을 모두 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법의 흐름도이다.5 is an embodiment of an information processing apparatus 500 for performing a technology evaluation method using artificial intelligence according to another embodiment according to the technical idea of the present invention, and FIG. 6 is the information processing apparatus 500 of FIG. 5 . This is a flowchart of a technology evaluation method using artificial intelligence that calculates the final score reflecting only the growth potential using 7 is a flowchart of a technology evaluation method using artificial intelligence that calculates a final score reflecting only risk possibility using the information processing device 500 of FIG. 5, and FIG. This is a flowchart of a technology evaluation method using artificial intelligence that calculates a final score that reflects both growth potential and risk potential.

도 5를 참조하면, 정보처리장치(500)는 성장가능성평가부(510), 위험가능성평가부(530) 및 최종평점 산출부(550) 중 적어도 하나를 포함할 수 있다. 정보처리장치(500)는 데이터, 정보 또는 신호 등을 입력받아 연산한 후 출력해주는 장치로써, 컴퓨터, 서버 등 다양한 장치가 될 수 있다. 성장가능성평가부(510)는 전문가성장평점산출부(520), 제 1 성장가능성 평가 모델(GM_1), 제 2 성장가능성 평가 모델(GM_2), 제 3 성장가능성 평가 모델(GM_3) 및 제 4 성장가능성 평가 모델(GM_4)을 포함할 수 있다. 위험가능성평가부(530)는 전문가위험평점산출부(540), 제 1 위험가능성 평가 모델(WM_1), 제 2 위험가능성 평가 모델(WM_2), 제 3 위험가능성 평가 모델(WM_3) 및 제 4 위험가능성 평가 모델(WM_4)을 포함할 수 있다. 각 구성요소의 동작에 대하여는 이하에서 도 5 내지 도 8을 참조하여 보다 구체적으로 설명한다.Referring to FIG. 5 , the information processing device 500 may include at least one of a growth potential evaluation unit 510 , a risk potential evaluation unit 530 , and a final score calculation unit 550 . The information processing device 500 is a device that receives data, information, or signals, calculates, and then outputs them, and may be various devices such as a computer or a server. The growth potential evaluation unit 510 includes the expert growth evaluation unit 520, the first growth potential evaluation model (GM_1), the second growth potential evaluation model (GM_2), the third growth potential evaluation model (GM_3), and the fourth growth A possibility evaluation model (GM_4) may be included. The risk assessment unit 530 includes an expert risk assessment unit 540, a first risk assessment model (WM_1), a second risk assessment model (WM_2), a third risk assessment model (WM_3), and a fourth risk It may include a possibility evaluation model (WM_4). The operation of each component will be described in more detail below with reference to FIGS. 5 to 8 .

성장가능성평가부(510) 및 위험가능성평가부(530)는 경우에 따라 선택적으로 동작할 수 있다. 즉, 최종평점 산출부(550)는 성장가능성평가부(510)에서 산출된 평점만을 이용하여 최종평점을 산출할 수도 있고, 위험가능성평가부(530)에서 산출된 평점만을 이용하여 최종평점을 산출할 수도 있으며, 성장가능성평가부(510)에서 산출된 평점 및 위험가능성평가부(530)에서 산출된 평점을 모두 이용하여 최종평점을 산출할 수도 있다. 예를 들어, 평가대상기술과 관련하여 기업의 성장가능성만을 고려하여 기술평가를 하는 경우 성장가능성평가부(510)만 동작하고 위험가능성평가부(530)는 동작하지 않음으로써 최종평점 산출부(550)는 성장가능성 평점만을 이용하여 최종평점을 산출할 수 있다. 다른 예로, 평가대상기술과 관련하여 기업의 위험가능성만을 고려하여 기술평가를 하는 경우 위험가능성평가부(530)만 동작하고 성장가능성평가부(510)는 동작하지 않음으로써 최종평점 산출부(550)는 위험가능성 평점만을 이용하여 최종평점을 산출할 수 있다. 다른 예로, 평가대상기술과 관련하여 기업의 성장가능성 및 위험가능성을 모두 고려하여 기술평가를 하는 경우 성장가능성평가부(510) 및 위험가능성평가부(530)가 모두 동작함으로써 최종평점 산출부(550)는 성장가능성 평점 및 위험가능성 평점을 모두 이용하여 최종평점을 산출할 수 있다. 이상에서와 같이 산출된 최종평점을 이용하여 상기 평가대상기술의 등급을 평가할 수 있다. 이하에서는 도 5 내지 도 8을 참조하여 성장가능성 평점만을 이용하여 최종평점을 산출하는 경우, 위험가능성 평점만을 이용하여 최종평점을 산출하는 경우, 성장가능성 평점 및 위험가능성 평점을 모두 이용하여 최종평점을 산출하는 경우를 나누어 설명한다.The growth potential evaluation unit 510 and the risk potential evaluation unit 530 may selectively operate in some cases. That is, the final score calculation unit 550 may calculate the final score using only the score calculated by the growth potential evaluation unit 510 , or calculate the final score using only the score calculated by the risk possibility evaluation unit 530 . Alternatively, the final rating may be calculated using both the rating calculated by the growth potential evaluation unit 510 and the rating calculated by the risk probability evaluation unit 530 . For example, when a technology evaluation is performed in consideration of only the company's growth potential in relation to the technology to be evaluated, only the growth potential evaluation unit 510 operates and the risk possibility evaluation unit 530 does not operate, so that the final score calculation unit 550 ) can calculate the final score using only the growth potential score. As another example, when the technology evaluation is performed in consideration of only the risk possibility of the company in relation to the technology to be evaluated, only the risk evaluation unit 530 operates and the growth potential evaluation unit 510 does not operate, so that the final score calculation unit 550 is not operated. can calculate the final score using only the risk probability score. As another example, when a technology evaluation is performed in consideration of both the company's growth potential and risk potential in relation to the technology to be evaluated, the growth potential evaluation unit 510 and the risk possibility evaluation unit 530 operate both, so that the final score calculation unit 550 ) can calculate the final score using both the growth potential score and the risk potential score. The grade of the evaluation target technology may be evaluated using the final grade calculated as described above. Hereinafter, with reference to FIGS. 5 to 8 , when the final score is calculated using only the growth potential score, when the final score is calculated using only the risk potential score, the final score is calculated using both the growth potential score and the risk potential score The calculation cases will be described separately.

먼저, 도 5 및 도 6을 참조하여 성장가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법을 설명한다.First, a description will be given of a technology evaluation method using artificial intelligence that calculates a final score reflecting only growth potential with reference to FIGS. 5 and 6 .

도 5 및 도 6을 참조하면, 정보처리장치(500) 중 전문가성장평점산출부(520)는 기술평가지표에 따른 평가값들인 제 1 성장데이터(GDATA_1)를 입력받고 제 1 성장데이터(GDATA_1)에 평가항목별로 성장가중치를 부여하여 가중평균값을 산출함으로써 상기 기술평가지표에 의한 성장가능성에 대한 전문가성장평점을 산출할 수 있다(S610). S610 단계는 도 2의 S210 단계와 동일하므로, 이하 중복되는 내용은 도 2의 S210 단계의 설명으로 대체한다.5 and 6 , the expert growth point calculation unit 520 of the information processing device 500 receives first growth data GDATA_1 , which are evaluation values according to the technology evaluation index, and receives the first growth data GDATA_1 . By giving a growth weight to each evaluation item and calculating a weighted average value, it is possible to calculate an expert growth score for the growth potential according to the technology evaluation index (S610). Since step S610 is the same as step S210 of FIG. 2 , the overlapping content is replaced with the description of step S210 of FIG. 2 .

정보처리장치(510) 중 제 1 성장가능성 평가 모델(GM_1)은 상기 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표를 평가할 수 있는 정량데이터를 포함하는 제 2 성장데이터(GDATA_2)를 입력받고, 제 2 성장데이터(GDATA_2)로부터 상기 기술평가지표에 의한 성장가능성에 대한 평점인 인공지능성장평점을 산출할 수 있다(S620). S620 단계는 도 2의 S220 단계와 동일하므로, 이하 중복되는 내용은 도 2의 S220 단계의 설명으로 대체한다.The first growth potential evaluation model GM_1 of the information processing device 510 inputs at least one of the evaluation values and second growth data GDATA_2 including quantitative data for evaluating the technology evaluation index. and, from the second growth data (GDATA_2), an AI growth score, which is a score for growth potential according to the technology evaluation index, may be calculated (S620). Since step S620 is the same as step S220 of FIG. 2 , the overlapping content is replaced with the description of step S220 of FIG. 2 .

정보처리장치(510) 중 제 3 성장가능성 평가 모델(GM_3)은 상기 전문가성장평점 및 상기 인공지능성장평점으로부터 고성장 가능성에 대한 평점인 미래성장가능성평점을 산출할 수 있다(S630). 즉, 제 3 성장가능성 평가 모델(GM_3)은 상기 전문가성장평점 및 상기 인공지능성장평점을 투입변수(입력변수)로 하고 고성장 가능성을 타겟변수(출력변수)로 하여 머신러닝을 이용하여 학습된 모델일 수 있다. 제 3 성장가능성 평가 모델(GM_3)은 머신러닝을 이용하여 학습을 함에 있어서, 산업 또는 기업상황에 따라 구분하여 학습할 수 있다. 예를 들어, 제 3 성장가능성 평가 모델(GM_3)은 제조업과 서비스업을 구분하여 머신러닝을 각각 수행하거나, 창업기업과 일반기업으로 구분하여 머신러닝을 수행할 수 있다. 또는 제 3 성장가능성 평가 모델(GM_3)은 보다 구체적으로 산업을 세분화 하여 금속 분야, 기계 분야, 전기전자 분야, 화학섬유 분야, 환경바이오 분야, 기타제조 분야, 소프트웨어 개발 구축 분야, IT서비스 분야, 엔지니어링서비스분야, 지식서비스 분야로 구분하여 머신러닝을 수행할 수도 있다. 예를 들어, 제 3 성장가능성 평가 모델(GM_3)은 순환 신경망(RNN: Recurrent Neural Network), 컨볼루션 신경망(CNN: Convolutional Neural Network) 또는 심층 신경망(DNN: Deep Neural Network) 등의 인공신경망 모델일 수 있다. 제 3 성장가능성 평가 모델(GM_3)은 기존의 기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과(위험 또는 성장)를 이용하여 학습함으로써 상기 전문가성장평점과 상기 인공지능성장평점을 최적의 조건으로 결합하여 상기 미래성장가능성평점을 산출할 수 있는 모델일 수 있다. 상기 미래성장가능성평점을 최종평점으로 사용하는 실시예에 대하여는 도 2와 관련하여 상세하게 설명하였으며, 도 6의 실시예에서는 상기 미래성장가능성평을 최종평점으로 사용하지 않는 실시예에 관한 것이다.The third growth potential evaluation model GM_3 of the information processing device 510 may calculate a future growth potential score, which is a score for high growth potential, from the expert growth score and the artificial intelligence growth score (S630). That is, the third growth potential evaluation model (GM_3) is a model trained using machine learning with the expert growth point and the artificial intelligence growth point as input variables (input variables) and high growth potential as target variables (output variables). can be The third growth potential evaluation model (GM_3) can be learned by classifying it according to the industry or corporate situation when learning using machine learning. For example, the third growth potential evaluation model (GM_3) may perform machine learning by dividing the manufacturing industry and the service industry, or machine learning may be performed by dividing the start-up company and the general company. Alternatively, the third growth potential evaluation model (GM_3) is more specifically subdivided into industries such as metal, mechanical, electrical and electronic, chemical fiber, environmental bio, other manufacturing, software development and construction, IT service, and engineering. Machine learning can also be performed by dividing it into a service field and a knowledge service field. For example, the third growth potential evaluation model (GM_3) may be an artificial neural network model such as a recurrent neural network (RNN), a convolutional neural network (CNN), or a deep neural network (DNN). can The third growth potential evaluation model (GM_3) optimizes the expert growth point and the artificial intelligence growth point by learning using the existing technology evaluation content and the actual result (risk or growth) related to the technology evaluation target technology. It may be a model capable of calculating the future growth potential score by combining the conditions. An embodiment in which the future growth potential rating is used as the final rating has been described in detail with reference to FIG. 2 , and the embodiment of FIG. 6 is related to an embodiment in which the future growth potential rating is not used as the final rating.

제 3 성장가능성 평가 모델(GM_3)은 고성장 가능성을 머신러닝을 이용하여 학습한 모델로, 제 3 성장가능성 평가 모델(GM_3)을 이용하여 상기 전문가성장평점 및 상기 인공지능성장평점을 결합하여 산출된 값과 목적함수 Y를 비교하는 과정을 수행함으로써 제 3 성장가능성 평가 모델(GM_3)은 고성장 가능성에 대한 상기 미래성장가능성평점을 산출할 수 있다.The third growth potential evaluation model (GM_3) is a model that learned high growth potential using machine learning, and is calculated by combining the expert growth point and the artificial intelligence growth point using the third growth potential evaluation model (GM_3). By performing the process of comparing the value and the objective function Y, the third growth potential evaluation model GM_3 may calculate the future growth potential score for the high growth potential.

Figure 112020126166211-pat00002
Figure 112020126166211-pat00002

(

Figure 112020126166211-pat00003
; i기업의 t년도 매출액(
Figure 112020126166211-pat00003
; Sales of company i in year t

Figure 112020126166211-pat00004
; i기업의 t+1년도 매출액
Figure 112020126166211-pat00004
; Sales of company i in year t+1

Figure 112020126166211-pat00005
; t년도 산업 평균매출액)
Figure 112020126166211-pat00005
; Industry average sales in year t)

수학식 1은 종래에 사용되던 절대성장률과 상대성장률의 단점을 보완하고 장점만 취한 새로운 성장률 측정 개념으로, 절대성장률에서 규모효과를 보정한 성장률이다. 즉, 수학식 1은 기업의 매출액과 평가대상기술이 속한 산업의 평균매출액을 모두 고려함으로써 종래의 절대성장률 또는 상대성장률 측정 방법에 비하여 보다 정확하게 성장률을 측정할 수 있다.Equation 1 is a new growth rate measurement concept that supplements the disadvantages of the conventional absolute and relative growth rates and takes only the advantages, and is the growth rate corrected for the scale effect from the absolute growth rate. That is, Equation 1 can measure the growth rate more accurately than the conventional absolute or relative growth rate measurement method by considering both the sales of the company and the average sales of the industry to which the technology to be evaluated belongs.

정보처리장치(500) 중 제 2 성장가능성 평가 모델(GM_2)은 기술혁신역량지표의 평가항목들에 대한 제 3 성장데이터(GDATA_3)를 입력받고, 머신러닝을 이용하여 학습된 제 2 성장가능성 평가 모델(GM_2)을 이용하여 제 3 성장데이터(GDATA_3)로부터 지속성장 가능성에 대한 평점인 기술혁신역량평점을 산출할 수 있다(S640). 즉, 제 2 성장가능성 평가 모델(GM_2)은 제 3 성장데이터(GDATA_3)를 투입변수(입력변수)로 하고 상기 지속성장 가능성을 타겟변수(출력변수)로 하여 머신러닝을 이용하여 학습된 모델일 수 있다. 제 2 성장가능성 평가 모델(GM_2)은 머신러닝을 이용하여 학습을 함에 있어서, 산업 또는 기업상황에 따라 구분하여 학습할 수 있다. 예를 들어, 제 2 성장가능성 평가 모델(GM_2)은 제조업과 서비스업을 구분하여 머신러닝을 각각 수행하거나, 창업기업과 일반기업으로 구분하여 머신러닝을 수행할 수 있다. 또는 제 2 성장가능성 평가 모델(GM_2)은 보다 구체적으로 산업을 세분화 하여 금속 분야, 기계 분야, 전기전자 분야, 화학섬유 분야, 환경바이오 분야, 기타제조 분야, 소프트웨어 개발 구축 분야, IT서비스 분야, 엔지니어링서비스분야, 지식서비스 분야로 구분하여 머신러닝을 수행할 수도 있다.The second growth potential evaluation model (GM_2) of the information processing device 500 receives the third growth data (GDATA_3) for the evaluation items of the technological innovation capability index, and evaluates the second growth potential learned using machine learning. Using the model GM_2, it is possible to calculate a technological innovation capability score, which is a score for sustainable growth potential, from the third growth data GDATA_3 (S640). That is, the second growth potential evaluation model GM_2 is a model learned using machine learning with the third growth data GDATA_3 as an input variable (input variable) and the sustainable growth potential as a target variable (output variable). can The second growth potential evaluation model (GM_2) can be learned by classifying it according to an industry or corporate situation when learning using machine learning. For example, the second growth potential evaluation model (GM_2) may perform machine learning by dividing the manufacturing industry and the service industry, or machine learning may be performed by dividing the start-up company and the general company. Alternatively, the second growth potential evaluation model (GM_2) can be more specifically subdivided into industries such as metal, mechanical, electrical and electronic, chemical fiber, environmental bio, other manufacturing, software development and construction, IT service, and engineering. Machine learning can also be performed by dividing it into a service field and a knowledge service field.

상기 기술혁신역량지표는 상기 평가대상기술을 이용하여 기업이 사업화를 하는 경우 지속적으로 성장할 가능성이 있는지를 평가할 수 있는 평가항목들을 포함하고 있다. 기술혁신역량지표는 평가대상기술에 대한 지속성장 가능성 평가를 위한 평가항목들을 포함할 수 있으며, 예를 들어 기업의 인프라에 대항 항목인 기술인력비율, 기업활동에 대한 항목인 기술개발건수, 성과에 대한 항목인 기술상용화건수 등을 변수로 포함할 수 있다. 다만, 본 발명에서 기술혁신역량지표를 구성하는 항목들이 이상의 경우로 한정되는 아니며 필요에 따라 항목들이 변경될 수도 있고 항목들을 평가하기 위한 정량데이터가 변경될 수도 있다.The technology innovation capability index includes evaluation items that can evaluate whether there is a possibility of continuous growth when a company commercializes using the evaluation target technology. The technological innovation capability index may include evaluation items for the evaluation of the sustainable growth potential of the technology to be evaluated, for example, the ratio of technical manpower as an item against the company's infrastructure, the number of technology development cases as an item for corporate activities, and performance. The number of commercialization cases, etc., which are items for However, in the present invention, the items constituting the technological innovation capability indicator are not limited to the above cases, and the items may be changed as needed, and quantitative data for evaluating the items may be changed.

제 2 성장가능성 평가 모델(GM_2)은 머신러닝(machine learning)을 이용하여 학습된 인공지능 모델일 수 있으며, 예를 들어, 순환 신경망(RNN: Recurrent Neural Network), 컨볼루션 신경망(CNN: Convolutional Neural Network) 또는 심층 신경망(DNN: Deep Neural Network) 등의 인공신경망 모델일 수 있다. 제 2 성장가능성 평가 모델(GM_2)은 기존의 기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과(위험 또는 성장)를 이용하여 학습함으로써 상기 평가항목들의 평가값을 최적의 조건으로 결합하여 상기 기술혁신역량평점을 산출할 수 있는 모델일 수 있다. 즉, 제 2 성장 가능성 평가 모델(GM_2)은 이전에 상기 기술혁신역량지표의 항목들에 대하여 평가한 평가값들, 평가 이후에 상기 평가대상기술을 이용하여 사업화를 한 기업이 실제로 성장하였는지 위험 또는 부실이 발생하였는지의 결과값들을 이용하여 학습할 수 있고, 이를 통해 평가항목들의 평가값들과 결과값들 사이의 관계를 도출할 수 있다. 예를 들어, 제 2 성장 가능성 평가 모델(GM_2)은 머신러닝을 이용하여 학습함으로써 제 3 성장데이터(GDATA_3)를 이용하여 산출된 항목별 평점에 대한 인공지능혁신가중치를 설정할 수 있고, 제 3 성장데이터(GDATA_3)를 이용하여 산출된 항목별 평점에 상기 인공지능혁신가중치를 부여하여 가중평균값을 산출함으로써 상기 기술혁신역량평점을 산출할 수 있다.The second growth potential evaluation model GM_2 may be an artificial intelligence model learned using machine learning, for example, a recurrent neural network (RNN), a convolutional neural network (CNN). Network) or an artificial neural network model such as a deep neural network (DNN). The second growth potential evaluation model (GM_2) combines the evaluation values of the above evaluation items under optimal conditions by learning using the existing technology evaluation contents and actual results (risk or growth) related to the technology evaluation target technology. It may be a model capable of calculating the technological innovation competency score. That is, the second growth potential evaluation model (GM_2) determines whether the evaluation values previously evaluated for the items of the technological innovation competency index, and whether the company that commercialized using the evaluation target technology has actually grown after evaluation, risk or It is possible to learn by using the result values of whether or not insolvency has occurred, and through this, it is possible to derive a relationship between the evaluation values of the evaluation items and the result values. For example, the second growth potential evaluation model (GM_2) can set the AI innovation weight for each item rating calculated using the third growth data (GDATA_3) by learning using machine learning, and the third growth By giving the AI innovation weight to the score for each item calculated using the data GDATA_3 and calculating a weighted average value, the technological innovation competency score can be calculated.

정보처리장치(510) 중 최종평점 산출부(550)는 상기 미래성장가능성평점 및 상기 기술혁신역량평점으로부터 최종평점을 산출할 수 있다. 예를 들어, 최종평점 산출부(550)는 상기 미래성장가능성평점과 상기 기술혁신역량평점을 결합함에 있어 설정되어 있는 결합비율을 이용하여 결합함으로써 상기 최종평점을 산출할 수 있다.The final score calculation unit 550 of the information processing device 510 may calculate a final score from the future growth potential score and the technological innovation capability score. For example, the final score calculation unit 550 may calculate the final score by combining the future growth potential score and the technological innovation capability score by using a set combination ratio.

또는, 최종평점 산출부(550)는 도 5에 도시된 것과 같이, 제 4 성장가능성 평가 모델(GM_4)에 의하여 산출된 기술사업성장평점을 최종평점으로 출력할 수도 있다. 제 4 성장가능성 평가 모델(GM_4)은 상기 미래성장가능성평점 및 상기 기술혁신역량평점으로부터 상기 기술사업성장평점을 산출할 수 있다(S630). 즉, 제 4 성장가능성 평가 모델(GM_4)은 상기 미래성장가능성평점 및 상기 기술혁신역량평점을 투입변수(입력변수)로 하고 성장가능성에 대한 최종 결과를 타겟변수(출력변수)로 하여 머신러닝을 이용하여 학습된 모델일 수 있다. 제 4 성장가능성 평가 모델(GM_4)은 머신러닝을 이용하여 학습을 함에 있어서, 산업 또는 기업상황에 따라 구분하여 학습할 수 있다. 예를 들어, 제 4 성장가능성 평가 모델(GM_4)은 제조업과 서비스업을 구분하여 머신러닝을 각각 수행하거나, 창업기업과 일반기업으로 구분하여 머신러닝을 수행할 수 있다. 또는 제 4 성장가능성 평가 모델(GM_4)은 보다 구체적으로 산업을 세분화 하여 금속 분야, 기계 분야, 전기전자 분야, 화학섬유 분야, 환경바이오 분야, 기타제조 분야, 소프트웨어 개발 구축 분야, IT서비스 분야, 엔지니어링서비스분야, 지식서비스 분야로 구분하여 머신러닝을 수행할 수도 있다. 예를 들어, 제 4 성장가능성 평가 모델(GM_4)은 순환 신경망(RNN: Recurrent Neural Network), 컨볼루션 신경망(CNN: Convolutional Neural Network) 또는 심층 신경망(DNN: Deep Neural Network) 등의 인공신경망 모델일 수 있다. 제 4 성장가능성 평가 모델(GM_4)은 기존의 기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과(위험 또는 성장)를 이용하여 학습함으로써 상기 미래성장가능성평점 및 상기 기술혁신역량평점을 최적의 조건으로 결합하여 상기 기술사업성장평점을 산출할 수 있는 모델일 수 있다. Alternatively, as shown in FIG. 5 , the final score calculation unit 550 may output the technology business growth score calculated by the fourth growth potential evaluation model GM_4 as the final score. The fourth growth potential evaluation model GM_4 may calculate the technology business growth point from the future growth potential score and the technological innovation capability score ( S630 ). That is, the fourth growth potential evaluation model (GM_4) uses the future growth potential score and the technological innovation competency score as input variables (input variables) and uses the final result for growth potential as a target variable (output variable) to perform machine learning. It may be a model trained using The fourth growth potential evaluation model (GM_4) can be learned by classifying it according to the industry or corporate situation when learning using machine learning. For example, the fourth growth potential evaluation model (GM_4) may perform machine learning by dividing the manufacturing industry and the service industry, or machine learning may be performed by dividing the start-up company and the general company. Alternatively, the 4th growth potential evaluation model (GM_4) subdivides the industry in more detail, such as metal field, machinery field, electrical and electronic field, chemical fiber field, environmental bio field, other manufacturing field, software development and construction field, IT service field, engineering field Machine learning can also be performed by dividing it into a service field and a knowledge service field. For example, the fourth growth potential evaluation model (GM_4) may be an artificial neural network model such as a recurrent neural network (RNN), a convolutional neural network (CNN), or a deep neural network (DNN). can The fourth growth potential evaluation model (GM_4) optimizes the future growth potential score and the technological innovation competency score by learning using the existing technology evaluation content and actual results (risk or growth) related to the technology evaluation target technology. It may be a model that can calculate the technology business growth score by combining it under the condition of .

먼저, 도 5 내지 도 7을 참조하여 위험가능성만을 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법을 설명한다.First, a description will be given of a technology evaluation method using artificial intelligence that calculates a final score reflecting only the risk possibility with reference to FIGS. 5 to 7 .

도 5 내지 도 7을 참조하면, 정보처리장치(500) 중 전문가위험평점산출부(540)는 기술평가지표에 따른 평가값들인 제 1 위험데이터(WDATA_1)를 입력받고 제 1 위험데이터(WDATA_1)에 평가항목별로 위험가중치를 부여하여 가중평균값을 산출함으로써 상기 기술평가지표에 의한 위험가능성에 대한 전문가위험평점을 산출할 수 있다(S710). S710 단계는 도 3의 S310 단계와 동일하므로, 이하 중복되는 내용은 도 3의 S310 단계의 설명으로 대체한다.5 to 7 , the expert risk score calculation unit 540 of the information processing device 500 receives first risk data WDATA_1, which are evaluation values according to the technology evaluation index, and receives the first risk data WDATA_1 By giving a risk weight to each evaluation item and calculating a weighted average value, it is possible to calculate an expert risk score for the risk possibility by the technical evaluation index (S710). Since step S710 is the same as step S310 of FIG. 3 , the overlapping content is replaced with the description of step S310 of FIG. 3 .

정보처리장치(510) 중 제 1 위험가능성 평가 모델(WM_1)은 상기 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표를 평가할 수 있는 정량데이터를 포함하는 제 2 위험데이터(WDATA_2)를 입력받고, 제 2 위험데이터(WDATA_2)로부터 상기 기술평가지표에 의한 위험가능성에 대한 평점인 인공지능위험평점을 산출할 수 있다(S720). S720 단계는 도 3의 S320 단계와 동일하므로, 이하 중복되는 내용은 도 3의 S320 단계의 설명으로 대체한다.The first risk evaluation model WM_1 of the information processing device 510 inputs at least one of the evaluation values and the second risk data WDATA_2 including quantitative data for evaluating the technology evaluation index. and, from the second risk data WDATA_2, it is possible to calculate an artificial intelligence risk score, which is a score for risk possibility by the technology evaluation index (S720). Since step S720 is the same as step S320 of FIG. 3 , the overlapping content is replaced with the description of step S320 of FIG. 3 .

정보처리장치(510) 중 제 3 위험가능성 평가 모델(WM_3)은 상기 전문가위험평점 및 상기 인공지능위험평점으로부터 상기 기술평가지표에 의한 위험가능성에 대한 평점인 위험가능성평점을 산출할 수 있다(S730). 즉, 제 3 위험가능성 평가 모델(WM_3)은 상기 전문가위험평점 및 상기 인공지능위험평점을 투입변수(입력변수)로 하고 상기 기술평가지표에 의한 위험가능성을 타겟변수(출력변수)로 하여 머신러닝을 이용하여 학습된 모델일 수 있다. 제 3 위험가능성 평가 모델(WM_3)은 머신러닝을 이용하여 학습을 함에 있어서, 산업 또는 기업상황에 따라 구분하여 학습할 수 있다. 예를 들어, 제 1 위험가능성 평가 모델(WM_1)은 제조업과 서비스업을 구분하여 머신러닝을 각각 수행하거나, 창업기업과 일반기업으로 구분하여 머신러닝을 수행할 수 있다. 또는 제 3 위험가능성 평가 모델(WM_3)은 보다 구체적으로 산업을 세분화 하여 금속 분야, 기계 분야, 전기전자 분야, 화학섬유 분야, 환경바이오 분야, 기타제조 분야, 소프트웨어 개발 구축 분야, IT서비스 분야, 엔지니어링서비스분야, 지식서비스 분야로 구분하여 머신러닝을 수행할 수도 있다. 예를 들어, 제 3 위험가능성 평가 모델(WM_3)은 순환 신경망(RNN: Recurrent Neural Network), 컨볼루션 신경망(CNN: Convolutional Neural Network) 또는 심층 신경망(DNN: Deep Neural Network) 등의 인공신경망 모델일 수 있다. 제 3 위험가능성 평가 모델(WM_3)은 기존의 기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과(위험 또는 성장)를 이용하여 학습함으로써 상기 전문가위험평점과 상기 인공지능위험평점을 최적의 조건으로 결합하여 상기 위험가능성평점을 산출할 수 있는 모델일 수 있다. 상기 위험가능성평점을 최종평점으로 사용하는 실시예에 대하여는 도 3과 관련하여 상세하게 설명하였으며, 도 7의 실시예에서는 상기 위험가능성평점을 최종평점으로 사용하지 않는 실시예에 관한 것이다.The third risk assessment model WM_3 of the information processing device 510 may calculate a risk probability score, which is a rating for the risk possibility by the technology evaluation index, from the expert risk score and the artificial intelligence risk score (S730) ). That is, the third risk assessment model (WM_3) uses the expert risk score and the artificial intelligence risk score as input variables (input variables) and uses the risk potential by the technology evaluation index as a target variable (output variable) for machine learning. It may be a model trained using The third risk assessment model (WM_3) can be learned by classifying it according to the industry or corporate situation when learning using machine learning. For example, the first risk assessment model WM_1 may perform machine learning by dividing the manufacturing industry and the service industry, or machine learning may be performed by dividing the start-up company and the general company. Alternatively, the 3rd risk assessment model (WM_3) subdivides the industry in more detail, such as metal field, machinery field, electrical and electronic field, chemical fiber field, environmental bio field, other manufacturing field, software development and construction field, IT service field, engineering field Machine learning can also be performed by dividing it into a service field and a knowledge service field. For example, the third risk assessment model (WM_3) may be an artificial neural network model such as a recurrent neural network (RNN), a convolutional neural network (CNN), or a deep neural network (DNN). can The third risk assessment model (WM_3) optimizes the expert risk score and the artificial intelligence risk score by learning using the existing technology evaluation content and actual results (risk or growth) related to the technology evaluation target technology. It may be a model capable of calculating the risk probability score by combining conditions. An embodiment in which the risk likelihood score is used as the final score has been described in detail with reference to FIG. 3 , and the embodiment of FIG. 7 relates to an embodiment in which the risk likelihood score is not used as the final score.

정보처리장치(500) 중 제 2 위험가능성 평가 모델(WM_2)은 환경위험지표의 평가항목들에 대한 제 3 위험데이터(WDATA_3)를 입력받고, 머신러닝을 이용하여 학습된 제 2 위험가능성 평가 모델(WM_2)을 이용하여 제 3 위험데이터(WDATA_3)로부터 환경에 의한 위험가능성에 대한 평점인 환경위험평점을 산출할 수 있다(S740). 즉, 제 2 위험가능성 평가 모델(WM_2)은 제 3 위험데이터(WDATA_3)를 투입변수(입력변수)로 하고 상기 환경에 의한 위험가능성을 타겟변수(출력변수)로 하여 머신러닝을 이용하여 학습된 모델일 수 있다. 제 2 위험가능성 평가 모델(WM_2)은 머신러닝을 이용하여 학습을 함에 있어서, 산업 또는 기업상황에 따라 구분하여 학습할 수 있다. 예를 들어, 제 2 위험가능성 평가 모델(WM_2)은 제조업과 서비스업을 구분하여 머신러닝을 각각 수행하거나, 창업기업과 일반기업으로 구분하여 머신러닝을 수행할 수 있다. 또는 제 2 위험가능성 평가 모델(WM_2)은 보다 구체적으로 산업을 세분화 하여 금속 분야, 기계 분야, 전기전자 분야, 화학섬유 분야, 환경바이오 분야, 기타제조 분야, 소프트웨어 개발 구축 분야, IT서비스 분야, 엔지니어링서비스분야, 지식서비스 분야로 구분하여 머신러닝을 수행할 수도 있다.The second risk assessment model (WM_2) of the information processing device 500 receives the third risk data (WDATA_3) for the evaluation items of the environmental risk index, and the second risk assessment model learned using machine learning It is possible to calculate an environmental risk score, which is a score for the risk possibility due to the environment, from the third risk data WDATA_3 using (WM_2) (S740). That is, the second risk assessment model (WM_2) uses the third risk data (WDATA_3) as an input variable (input variable) and the risk possibility due to the environment as a target variable (output variable) using machine learning. can be a model. The second risk assessment model (WM_2) can be learned by classifying it according to an industry or corporate situation when learning using machine learning. For example, the second risk assessment model WM_2 may perform machine learning by dividing the manufacturing industry and the service industry, or machine learning may be performed by dividing the start-up company and the general company. Alternatively, the second risk assessment model (WM_2) subdivides the industry in more detail, such as metal field, machinery field, electrical and electronic field, chemical fiber field, environmental bio field, other manufacturing field, software development and construction field, IT service field, engineering field Machine learning can also be performed by dividing it into a service field and a knowledge service field.

상기 환경위험지표는 상기 평가대상기술을 이용하여 기업이 사업화를 하는 경우 내부환경 또는 외부환경에 의하여 위험의 가능성이 있는지를 평가할 수 있는 평가항목들을 포함하고 있다. 예를 들어, 상기 환경위험지표는 내부환경 또는 외부환경에 의하여 위험의 가능성 평가를 위한 평가항목들을 포함하고 있으며, 예를 들어, 내부환경과 관련된 항목인 기업정보(본사 소유여부 등) 및 기업의 재무 건정성 정보(연구개발집중도 등)을 포함하거나 외부환경과 관련된 항목인 거시경제정보(중소기업생산지수 등)을 포함할 수 있다. 다만, 본 발명에서 환경위험지표를 구성하는 항목들이 이상의 경우로 한정되는 아니며 필요에 따라 항목들이 변경될 수도 있고 항목들을 평가하기 위한 정량데이터가 변경될 수도 있다.The environmental risk index includes evaluation items that can evaluate whether there is a possibility of risk due to the internal or external environment when a company commercializes the technology using the evaluation target technology. For example, the environmental risk index includes evaluation items for evaluating the possibility of risk by the internal environment or external environment, for example, corporate information related to the internal environment (whether or not to own the headquarters, etc.) and the company's It may include financial soundness information (R&D intensity, etc.) or macroeconomic information (small business production index, etc.) related to the external environment. However, in the present invention, the items constituting the environmental risk index are not limited to the above cases, and the items may be changed as needed, and quantitative data for evaluating the items may be changed.

제 2 위험가능성 평가 모델(WM_2)은 머신러닝(machine learning)을 이용하여 학습된 인공지능 모델일 수 있으며, 예를 들어, 순환 신경망(RNN: Recurrent Neural Network), 컨볼루션 신경망(CNN: Convolutional Neural Network) 또는 심층 신경망(DNN: Deep Neural Network) 등의 인공신경망 모델일 수 있다. 제 2 위험가능성 평가 모델(WM_2)은 기존의 기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과(위험 또는 성장)를 이용하여 학습함으로써 상기 평가항목들의 평가값을 최적의 조건으로 결합하여 환경위험평점을 산출할 수 있는 모델일 수 있다. 즉, 제 2 위험가능성 평가 모델(WM_2)은 이전에 상기 환경위험지표에 대하여 평가한 평가값들, 평가 이후에 상기 평가대상기술을 이용하여 사업화를 한 기업이 실제로 성장하였는지 위험 또는 부실이 발생하였는지의 결과값들을 이용하여 학습할 수 있고, 이를 통해 평가항목들의 평가값들과 결과값들 사이의 관계를 도출할 수 있다. 예를 들어, 제 2 위험가능성 평가 모델(WM_2)은 머신러닝을 이용하여 학습함으로써 제 3 위험데이터(WDATA_3)를 이용하여 산출된 항목별 평점에 대한 인공지능환경가중치를 설정할 수 있고, 제 3 위험데이터(WDATA_3)를 이용하여 산출된 항목별 평점에 상기 인공지능환경가중치를 부여하여 가중평균값을 산출함으로써 상기 환경위험평점을 산출할 수 있다.The second risk assessment model WM_2 may be an artificial intelligence model learned using machine learning, for example, a recurrent neural network (RNN), a convolutional neural network (CNN). Network) or an artificial neural network model such as a deep neural network (DNN). The second risk assessment model (WM_2) combines the evaluation values of the above evaluation items under optimal conditions by learning using the actual results (risk or growth) related to the existing technology evaluation contents and the technology evaluated evaluation target technology. It may be a model that can calculate an environmental risk score. That is, the second risk assessment model (WM_2) determines whether the company that has commercialized using the evaluation target technology after the evaluation has actually grown or whether risk or insolvency has occurred after the evaluation values previously evaluated for the environmental risk index. It is possible to learn by using the results of For example, the second risk assessment model (WM_2) can set the artificial intelligence environment weight for the rating for each item calculated using the third risk data (WDATA_3) by learning using machine learning, and the third risk The environmental risk score may be calculated by calculating a weighted average value by giving the AI environment weight to the score for each item calculated using the data WDATA_3 .

정보처리장치(510) 중 최종평점 산출부(550)는 상기 위험가능성평점 및 상기 환경위험평점으로부터 최종평점을 산출할 수 있다. 예를 들어, 최종평점 산출부(550)는 상기 위험가능성평점과 상기 환경위험평점을 결합함에 있어 설정되어 있는 결합비율을 이용하여 결합함으로써 상기 최종평점을 산출할 수 있다.The final score calculation unit 550 of the information processing device 510 may calculate a final score from the risk probability score and the environmental risk score. For example, the final score calculation unit 550 may calculate the final score by combining the risk probability score and the environmental risk score using a set combination ratio.

또는, 최종평점 산출부(550)는 도 5에 도시된 것과 같이, 제 4 위험가능성 평가 모델(WM_4)에 의하여 산출된 기술사업위험평점을 최종평점으로 출력할 수도 있다. 제 4 위험가능성 평가 모델(WM_4)은 상기 위험가능성평점 및 상기 환경위험평점으로부터 상기 기술사업위험평점을 산출할 수 있다(S730). 즉, 제 4 위험가능성 평가 모델(WM_4)은 상기 위험가능성평점 및 상기 환경위험평점을 투입변수(입력변수)로 하고 위험가능성에 대한 최종 결과를 타겟변수(출력변수)로 하여 머신러닝을 이용하여 학습된 모델일 수 있다. 제 4 위험가능성 평가 모델(WM_4)은 머신러닝을 이용하여 학습을 함에 있어서, 산업 또는 기업상황에 따라 구분하여 학습할 수 있다. 예를 들어, 제 4 위험가능성 평가 모델(WM_4)은 제조업과 서비스업을 구분하여 머신러닝을 각각 수행하거나, 창업기업과 일반기업으로 구분하여 머신러닝을 수행할 수 있다. 또는 제 4 위험가능성 평가 모델(WM_4)은 보다 구체적으로 산업을 세분화 하여 금속 분야, 기계 분야, 전기전자 분야, 화학섬유 분야, 환경바이오 분야, 기타제조 분야, 소프트웨어 개발 구축 분야, IT서비스 분야, 엔지니어링서비스분야, 지식서비스 분야로 구분하여 머신러닝을 수행할 수도 있다. 예를 들어, 제 4 위험가능성 평가 모델(WM_4)은 순환 신경망(RNN: Recurrent Neural Network), 컨볼루션 신경망(CNN: Convolutional Neural Network) 또는 심층 신경망(DNN: Deep Neural Network) 등의 인공신경망 모델일 수 있다. 제 4 위험가능성 평가 모델(WM_4)은 기존의 기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과(위험 또는 성장)를 이용하여 학습함으로써 상기 위험가능성평점 및 상기 환경위험평점을 최적의 조건으로 결합하여 상기 기술사업성장평점을 산출할 수 있는 모델일 수 있다. Alternatively, the final score calculation unit 550 may output the technology project risk score calculated by the fourth risk possibility evaluation model WM_4 as the final score, as shown in FIG. 5 . The fourth risk assessment model WM_4 may calculate the technology project risk score from the risk potential score and the environmental risk score (S730). That is, the fourth risk assessment model (WM_4) uses the risk probability score and the environmental risk score as input variables (input variables) and uses machine learning as the target variable (output variable) for the final result of risk potential. It may be a trained model. The fourth risk assessment model (WM_4) can be learned by classifying it according to an industry or corporate situation when learning using machine learning. For example, the fourth risk assessment model (WM_4) may perform machine learning by dividing the manufacturing industry and the service industry, or machine learning may be performed by dividing the start-up company and the general company. Alternatively, the 4th risk assessment model (WM_4) subdivides the industry in more detail and subdivides it into metal field, machinery field, electrical and electronic field, chemical fiber field, environmental bio field, other manufacturing field, software development and construction field, IT service field, and engineering field. Machine learning can also be performed by dividing it into a service field and a knowledge service field. For example, the fourth risk assessment model (WM_4) may be an artificial neural network model such as a recurrent neural network (RNN), a convolutional neural network (CNN), or a deep neural network (DNN). can The fourth risk assessment model (WM_4) uses the existing technology evaluation content and the actual result (risk or growth) related to the technology evaluated evaluation target technology to learn the risk probability score and the environmental risk score under optimal conditions. It may be a model capable of calculating the technology business growth score by combining them with

다음으로, 도 5 내지 도 8를 참조하여 성장가능성과 위험가능성을 모두 반영한 최종평점을 산출하는 인공지능을 이용한 기술평가방법을 설명한다.Next, a technology evaluation method using artificial intelligence for calculating a final score reflecting both growth potential and risk potential will be described with reference to FIGS. 5 to 8 .

도 5 내지 도 8을 참조하면, 성장가능성평가부(510)는 도 6과 관련하여 설명한 것과 같이 동작하여 상기 기술사업성장평점을 최종평점 산출부(550)로 전달할 수 있다. 성장가능성평가부(510)의 동작에 대하여는 도 6과 관련하여 상세하게 설명하였으므로 이하 중복되는 설명은 도 6의 설명으로 대체한다. 그리고, 위험가능성평가부(520)는 도 7과 관련하여 설명한 것과 같이 동작하여 상기 기술사업위험평점을 최종평점 산출부(550)로 전달할 수 있다. 위험가능성평가부(520)의 동작에 대하여는 도 7과 관련하여 상세하게 설명하였으므로 이하 중복되는 설명은 도 7의 설명으로 대체한다. 5 to 8 , the growth potential evaluation unit 510 operates as described with reference to FIG. 6 to transmit the technology business growth score to the final score calculation unit 550 . Since the operation of the growth potential evaluation unit 510 has been described in detail with reference to FIG. 6 , the overlapping description will be replaced with the description of FIG. 6 . In addition, the risk assessment unit 520 may operate as described with reference to FIG. 7 to transmit the technology project risk score to the final score calculation unit 550 . Since the operation of the risk assessment unit 520 has been described in detail with reference to FIG. 7 , the overlapping description will be replaced with the description of FIG. 7 .

정보처리장치(500) 중 최종평점 산출부(550)는 상기 기술사업성장평점 및 상기 기술사업위험평점을 결합하여 성장가능성과 위험가능성을 모두 고려한 최종평점을 산출할 수 있다(S810). The final score calculation unit 550 of the information processing device 500 may combine the technology business growth score and the technology business risk score to calculate a final score in consideration of both growth potential and risk potential ( S810 ).

최종평점 산출부(550)는 상기 기술사업성장평점 및 상기 기술사업위험평점을 결합함에 있어 설정되어 있는 결합비율을 이용하여 결합함으로써 상기 최종평점을 산출할 수 있다. 예를 들어, 최종평점 산출부(550)는 상기 기술사업성장평점 및 상기 기술사업위험평점을 5:5의 비율로 결합시킨 결과를 상기 최종평점으로 결정할 수 있다. The final score calculation unit 550 may calculate the final score by combining the technology business growth point and the technology business risk score using a set combination ratio. For example, the final score calculation unit 550 may determine a result of combining the technology business growth score and the technology business risk score in a ratio of 5:5 as the final score.

또는, 최종평점 산출부(550)는 머신러닝을 이용하여 학습된 결합모델을 이용하여 상기 기술사업성장평점 및 상기 기술사업위험평점을 최적의 비율로 결합할 수도 있다. 상기 결합모델은 머신러닝을 이용하여 학습을 함에 있어서, 산업 또는 기업상황에 따라 구분하여 학습할 수 있다. 예를 들어, 상기 결합모델은 제조업과 서비스업을 구분하여 머신러닝을 각각 수행하거나, 창업기업과 일반기업으로 구분하여 머신러닝을 수행할 수 있다. 또는 상기 결합모델은 보다 구체적으로 산업을 세분화 하여 금속 분야, 기계 분야, 전기전자 분야, 화학섬유 분야, 환경바이오 분야, 기타제조 분야, 소프트웨어 개발 구축 분야, IT서비스 분야, 엔지니어링서비스분야, 지식서비스 분야로 구분하여 머신러닝을 수행할 수도 있다. 예를 들어, 상기 결합모델은 순환 신경망(RNN: Recurrent Neural Network), 컨볼루션 신경망(CNN: Convolutional Neural Network) 또는 심층 신경망(DNN: Deep Neural Network) 등의 인공신경망 모델일 수 있다. 상기 결합모델은 기존의 기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과(위험 또는 성장)를 이용하여 학습함으로써 상기 기술사업성장평점 및 상기 기술사업위험평점을 최적의 조건으로 결합하여 최종평점을 산출할 수 있는 모델일 수 있다.Alternatively, the final score calculation unit 550 may combine the technology business growth score and the technology business risk score at an optimal ratio using a combined model learned using machine learning. The combined model can be learned by classifying it according to an industry or corporate situation in learning using machine learning. For example, the combined model may perform machine learning by dividing the manufacturing industry and the service industry, respectively, or by dividing the start-up company and the general company into machine learning. Alternatively, the combined model more specifically subdivides the industry, so that the metal field, the mechanical field, the electrical and electronic field, the chemical fiber field, the environmental bio field, the other manufacturing field, the software development construction field, the IT service field, the engineering service field, the knowledge service field Machine learning can also be performed by dividing For example, the coupling model may be an artificial neural network model such as a recurrent neural network (RNN), a convolutional neural network (CNN), or a deep neural network (DNN). The combined model combines the technology business growth score and the technology business risk score under optimal conditions by learning by using the actual results (risk or growth) related to the existing technology evaluation content and the technology evaluated evaluation target technology. It may be a model capable of calculating a rating.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, the best embodiment has been disclosed in the drawings and the specification. Although specific terms are used herein, they are used only for the purpose of describing the present invention and are not used to limit the meaning or scope of the present invention described in the claims. Therefore, it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible therefrom. Accordingly, the true technical protection scope of the present invention should be defined by the technical spirit of the appended claims.

Claims (9)

정보처리장치에서, 기술평가지표에 따른 평가값들인 제 1 성장데이터를 입력받고 상기 제 1 성장데이터에 평가항목별로 성장가중치를 부여하여 상기 기술평가지표에 의한 성장가능성에 대한 전문가성장평점을 산출하는 단계;
상기 정보처리장치에서, 상기 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표를 평가할 수 있는 정량데이터를 포함하는 제 2 성장데이터를 입력받고, 머신러닝을 이용하여 학습된 제 1 성장가능성 평가 모델을 이용하여 상기 제 2 성장데이터로부터 상기 기술평가지표에 의한 성장가능성에 대한 평점인 인공지능성장평점을 산출하는 단계;
상기 정보처리장치에서, 기술평가지표에 따른 평가값들인 제 1 위험데이터를 입력받고 상기 제 1 위험데이터에 평가항목별로 위험가중치를 부여하여 상기 기술평가지표에 의한 위험가능성에 대한 전문가위험평점을 산출하는 단계;
상기 정보처리장치에서, 상기 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표를 평가할 수 있는 정량데이터를 포함하는 제 2 위험데이터를 입력받고, 머신러닝을 이용하여 학습된 제 1 위험가능성 평가 모델을 이용하여 상기 제 2 위험데이터로부터 상기 기술평가지표에 의한 위험가능성에 대한 평점인 인공지능위험평점을 산출하는 단계; 및
상기 정보처리장치에서, 상기 전문가성장평점, 상기 인공지능성장평점, 상기 전문가위험평점 및 상기 인공지능위험평점을 결합하여 최종평점을 산출하는 단계를 포함하고,
상기 제 1 성장가능성 평가 모델은,
기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과를 이용하여 인공지능성장가중치를 학습하고, 상기 제 2 성장데이터에 평가항목별로 상기 인공지능성장가중치를 부여하여 상기 인공지능성장평점을 산출하며,
상기 제 1 위험가능성 평가 모델은,
기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과를 이용하여 인공지능위험가중치를 학습하고, 상기 제 2 위험데이터에 평가항목별로 상기 인공지능위험가중치를 부여하여 상기 인공지능위험평점을 산출하는 것을 특징으로 하는 인공지능을 이용한 기술평가방법.
In the information processing device, receiving first growth data, which are evaluation values according to the technology evaluation index, and giving a growth weight for each evaluation item to the first growth data, calculating an expert growth rating for growth potential according to the technology evaluation index step;
In the information processing device, receiving second growth data including quantitative data for evaluating at least one of the evaluation values and the technical evaluation index, and evaluating the first growth potential learned using machine learning calculating an artificial intelligence growth score, which is a score for growth potential according to the technology evaluation index, from the second growth data using a model;
The information processing device receives first risk data, which are evaluation values according to the technical evaluation index, and assigns a risk weight for each evaluation item to the first risk data to calculate an expert risk score for the risk possibility by the technology evaluation index to do;
In the information processing device, receiving second risk data including quantitative data for evaluating at least one of the evaluation values and the technical evaluation index, and first risk assessment learned using machine learning calculating an artificial intelligence risk score, which is a score for risk possibility by the technology evaluation index, from the second risk data using a model; and
Comprising, in the information processing device, calculating a final score by combining the expert growth score, the artificial intelligence growth score, the expert risk score, and the artificial intelligence risk score,
The first growth potential evaluation model,
The artificial intelligence growth weight is learned by using the technology evaluation content and the actual result related to the technology evaluated evaluation target technology, and the artificial intelligence growth point is calculated by giving the artificial intelligence growth weight to the second growth data for each evaluation item. and
The first risk assessment model is,
The artificial intelligence risk weight is learned using the technical evaluation contents and the actual result related to the technology evaluated evaluation target technology, and the artificial intelligence risk score is calculated by assigning the artificial intelligence risk weight to the second risk data for each evaluation item. A technology evaluation method using artificial intelligence, characterized in that
제1항에 있어서, 상기 인공지능을 이용한 기술평가방법은,
상기 정보처리장치에서, 기술혁신역량지표의 평가항목들에 대한 제 3 성장데이터를 입력받고, 머신러닝을 이용하여 학습된 제 2 성장가능성 평가 모델을 이용하여 상기 제 3 성장데이터로부터 지속성장 가능성에 대한 평점인 기술혁신역량평점을 산출하는 단계; 및
상기 정보처리장치에서, 환경위험지표의 평가항목들에 대한 제 3 위험데이터를 입력받고, 머신러닝을 이용하여 학습된 제 2 위험가능성 평가 모델을 이용하여 상기 제 3 위험데이터로부터 환경에 의한 위험가능성에 대한 평점인 환경위험평점을 산출하는 단계를 더 포함하고,
상기 최종평점을 산출하는 단계는,
상기 정보처리장치에서, 상기 전문가성장평점, 상기 인공지능성장평점, 상기 기술혁신역량평점, 상기 전문가위험평점, 상기 인공지능위험평점 및 상기 환경위험평점을 결합하여 상기 최종평점을 산출하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 기술평가방법.
The method according to claim 1, wherein the technology evaluation method using artificial intelligence comprises:
In the information processing device, the third growth data for the evaluation items of the technological innovation competency index is received, and the sustainable growth potential from the third growth data is evaluated using the second growth potential evaluation model learned using machine learning. calculating a technological innovation competency rating, which is a rating for and
In the information processing device, the third risk data for the evaluation items of the environmental risk indicator is input, and the risk possibility due to the environment from the third risk data using the second risk assessment model learned using machine learning Further comprising the step of calculating an environmental risk rating that is a rating for
Calculating the final score includes:
In the information processing device, calculating the final score by combining the expert growth score, the artificial intelligence growth score, the technological innovation capability score, the expert risk score, the artificial intelligence risk score, and the environmental risk score A technology evaluation method using artificial intelligence, characterized in that
제2항에 있어서, 상기 최종평점을 산출하는 단계는,
상기 정보처리장치에서, 머신러닝을 이용하여 학습된 제 3 성장가능성 평가 모델을 이용하여 상기 전문가성장평점 및 상기 인공지능성장평점으로부터 고성장 가능성에 대한 평점인 미래성장가능성평점을 산출하는 단계; 및
상기 정보처리장치에서, 머신러닝을 통해 학습된 제 4 성장가능성 평가 모델을 이용하여 상기 미래성장가능성평점 및 상기 기술혁신역량평점으로부터 기술사업성장평점을 산출하는 단계;
상기 정보처리장치에서, 머신러닝을 이용하여 학습된 제 3 위험가능성 평가 모델을 이용하여 상기 전문가위험평점 및 상기 인공지능위험평점으로부터 상기 기술평가지표에 의한 위험가능성에 대한 평점인 위험가능성평점을 산출하는 단계; 및
상기 정보처리장치에서, 머신러닝을 통해 학습된 제 4 위험가능성 평가 모델을 이용하여 상기 위험가능성평점 및 상기 환경위험평점으로부터 기술사업위험평점을 산출하는 단계; 및
상기 정보처리장치에서, 상기 기술사업성장평점 및 상기 기술사업위험평점을 결합하여 상기 최종평점을 산출하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 기술평가방법.
The method of claim 2, wherein calculating the final score comprises:
calculating, in the information processing device, a future growth potential score, which is a score for high growth potential, from the expert growth score and the artificial intelligence growth score using a third growth potential evaluation model learned using machine learning; and
calculating, in the information processing device, a technology business growth point from the future growth potential score and the technological innovation capability score by using a fourth growth potential evaluation model learned through machine learning;
In the information processing device, using a third risk assessment model learned using machine learning, a risk probability score is calculated from the expert risk score and the artificial intelligence risk score, which is a rating for the risk possibility by the technology evaluation index to do; and
calculating, in the information processing device, a technology business risk score from the risk likelihood score and the environmental risk score using a fourth risk assessment model learned through machine learning; and
and calculating, in the information processing device, the final score by combining the technology business growth score and the technology business risk score.
정보처리장치에서, 기술평가지표에 따른 평가값들인 제 1 성장데이터를 입력받고 상기 제 1 성장데이터에 평가항목별로 성장가중치를 부여하여 가중평균값을 산출함으로써 상기 기술평가지표에 의한 성장가능성에 대한 전문가성장평점을 산출하는 단계;
상기 정보처리장치에서, 상기 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표를 평가할 수 있는 정량데이터를 포함하는 제 2 성장데이터를 입력받고, 머신러닝을 이용하여 학습된 제 1 성장가능성 평가 모델을 이용하여 상기 제 2 성장데이터로부터 상기 기술평가지표에 의한 성장가능성에 대한 평점인 인공지능성장평점을 산출하는 단계; 및
상기 정보처리장치에서, 상기 전문가성장평점과 상기 인공지능성장평점을 결합하여 성장가능성에 대한 평점인 최종평점을 산출하는 단계를 포함하고,
상기 제 1 성장가능성 평가 모델은,
기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과를 이용하여 인공지능성장가중치를 학습하고, 상기 제 2 성장데이터에 평가항목별로 상기 인공지능성장가중치를 부여하여 상기 인공지능성장평점을 산출하는 것을 특징으로 하는 인공지능을 이용한 기술평가방법.
In the information processing device, an expert on growth potential according to the technology evaluation index by receiving first growth data, which are evaluation values according to the technology evaluation index, and calculating a weighted average value by giving a growth weight for each evaluation item to the first growth data calculating a growth point;
In the information processing device, receiving second growth data including quantitative data for evaluating at least one of the evaluation values and the technical evaluation index, and evaluating the first growth potential learned using machine learning calculating an artificial intelligence growth score, which is a score for growth potential according to the technology evaluation index, from the second growth data using a model; and
Comprising, in the information processing device, combining the expert growth point and the artificial intelligence growth point to calculate a final score, which is a score for growth potential,
The first growth potential evaluation model,
The artificial intelligence growth weight is learned by using the technology evaluation content and the actual result related to the technology evaluated evaluation target technology, and the artificial intelligence growth point is calculated by giving the artificial intelligence growth weight to the second growth data for each evaluation item. A technology evaluation method using artificial intelligence, characterized in that
제4항에 있어서, 상기 인공지능을 이용한 기술평가방법은,
상기 정보처리장치에서, 기술혁신역량지표의 평가항목들에 대한 제 3 성장데이터를 입력받고, 머신러닝을 이용하여 학습된 제 2 성장가능성 평가 모델을 이용하여 상기 제 3 성장데이터로부터 지속성장 가능성에 대한 평점인 기술혁신역량평점을 산출하는 단계를 더 포함하고,
상기 최종평점을 산출하는 단계는,
상기 정보처리장치에서, 상기 전문가성장평점, 상기 인공지능성장평점 및 상기 기술혁신역량평점을 결합하여 상기 최종평점을 산출하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 기술평가방법.
The method of claim 4, wherein the technology evaluation method using artificial intelligence comprises:
In the information processing device, the third growth data for the evaluation items of the technological innovation competency index is received, and the sustainable growth potential from the third growth data is evaluated using the second growth potential evaluation model learned using machine learning. Further comprising the step of calculating a technological innovation competency score,
Calculating the final score includes:
and calculating, in the information processing device, the final score by combining the expert growth point, the artificial intelligence growth point, and the technological innovation capability point.
제5항에 있어서, 상기 최종평점을 산출하는 단계는,
상기 정보처리장치에서, 머신러닝을 이용하여 학습된 제 3 성장가능성 평가 모델을 이용하여 상기 전문가성장평점 및 상기 인공지능성장평점으로부터 고성장 가능성에 대한 평점인 미래성장가능성평점을 산출하는 단계; 및
상기 정보처리장치에서, 머신러닝을 통해 학습된 제 4 성장가능성 평가 모델을 이용하여 상기 미래성장가능성평점 및 상기 기술혁신역량평점으로부터 상기 최종평점을 산출하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 기술평가방법.
The method of claim 5, wherein calculating the final score comprises:
calculating, in the information processing device, a future growth potential score, which is a score for high growth potential, from the expert growth score and the artificial intelligence growth score using a third growth potential evaluation model learned using machine learning; and
In the information processing device, using a fourth growth potential evaluation model learned through machine learning, calculating the final score from the future growth potential score and the technological innovation competency score. The technology evaluation method used.
정보처리장치에서, 기술평가지표에 따른 평가값들인 제 1 위험데이터를 입력받고 상기 제 1 위험데이터에 평가항목별로 위험가중치를 부여하여 가중평균값을 산출함으로써 상기 기술평가지표에 의한 위험가능성에 대한 전문가위험평점을 산출하는 단계;
상기 정보처리장치에서, 상기 평가값들 중 적어도 하나의 평가값 및 상기 기술평가지표를 평가할 수 있는 정량데이터를 포함하는 제 2 위험데이터를 입력받고, 머신러닝을 이용하여 학습된 제 1 위험가능성 평가 모델을 이용하여 상기 제 2 위험데이터로부터 상기 기술평가지표에 의한 위험가능성에 대한 평점인 인공지능위험평점을 산출하는 단계; 및
상기 정보처리장치에서, 상기 전문가위험평점과 상기 인공지능위험평점을 결합하여 위험가능성에 대한 평점인 최종평점을 산출하는 단계를 포함하고,
상기 제 1 위험가능성 평가 모델은,
기술평가된 내용 및 기술평가된 평가대상기술과 관련한 실제 결과를 이용하여 인공지능위험가중치를 학습하고, 상기 제 2 위험데이터에 평가항목별로 상기 인공지능위험가중치를 부여하여 상기 인공지능위험평점을 산출하는 것을 특징으로 하는 인공지능을 이용한 기술평가방법.
In the information processing device, an expert on the risk possibility by the technical evaluation index by receiving the first risk data, which are evaluation values according to the technical evaluation index, and calculating a weighted average value by giving a risk weight for each evaluation item to the first risk data calculating a risk score;
In the information processing device, receiving second risk data including quantitative data for evaluating at least one of the evaluation values and the technical evaluation index, and first risk assessment learned using machine learning calculating an artificial intelligence risk score, which is a score for risk possibility by the technology evaluation index, from the second risk data using a model; and
Comprising, in the information processing device, combining the expert risk score and the artificial intelligence risk score to calculate a final score, which is a score for risk possibility,
The first risk assessment model is,
The artificial intelligence risk weight is learned using the technical evaluation contents and the actual result related to the technology evaluated evaluation target technology, and the artificial intelligence risk score is calculated by assigning the artificial intelligence risk weight to the second risk data for each evaluation item. A technology evaluation method using artificial intelligence, characterized in that
제7항에 있어서, 상기 인공지능을 이용한 기술평가방법은,
상기 정보처리장치에서, 환경위험지표의 평가항목들에 대한 제 3 위험데이터를 입력받고, 머신러닝을 이용하여 학습된 제 2 위험가능성 평가 모델을 이용하여 상기 제 3 위험데이터로부터 환경에 의한 위험가능성에 대한 평점인 환경위험평점을 산출하는 단계를 더 포함하고,
상기 최종평점을 산출하는 단계는,
상기 정보처리장치에서, 상기 전문가위험평점, 상기 인공지능위험평점 및 상기 환경위험평점을 결합하여 상기 최종평점을 산출하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 기술평가방법.
The method according to claim 7, wherein the technology evaluation method using artificial intelligence comprises:
In the information processing device, the third risk data for the evaluation items of the environmental risk indicator is input, and the risk possibility due to the environment from the third risk data using the second risk assessment model learned using machine learning Further comprising the step of calculating an environmental risk rating that is a rating for
Calculating the final score includes:
and calculating, in the information processing device, the final score by combining the expert risk score, the artificial intelligence risk score, and the environmental risk score.
제8항에 있어서, 상기 최종평점을 산출하는 단계는,
상기 정보처리장치에서, 머신러닝을 이용하여 학습된 제 3 위험가능성 평가 모델을 이용하여 상기 전문가위험평점 및 상기 인공지능위험평점으로부터 상기 기술평가지표에 의한 위험가능성에 대한 평점인 위험가능성평점을 산출하는 단계; 및
상기 정보처리장치에서, 머신러닝을 통해 학습된 제 4 위험가능성 평가 모델을 이용하여 상기 위험가능성평점 및 상기 환경위험평점으로부터 상기 최종평점을 산출하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 기술평가방법.
The method of claim 8, wherein calculating the final score comprises:
In the information processing device, using a third risk assessment model learned using machine learning, a risk probability score is calculated from the expert risk score and the artificial intelligence risk score, which is a rating for the risk possibility by the technology evaluation index to do; and
Technology using artificial intelligence, comprising the step of calculating, in the information processing device, the final score from the risk likelihood score and the environmental risk score using a fourth risk assessment model learned through machine learning Assessment Methods.
KR1020200158517A 2020-11-24 2020-11-24 Method of technology evaluation using artificial intelligence KR102331992B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200158517A KR102331992B1 (en) 2020-11-24 2020-11-24 Method of technology evaluation using artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200158517A KR102331992B1 (en) 2020-11-24 2020-11-24 Method of technology evaluation using artificial intelligence

Publications (1)

Publication Number Publication Date
KR102331992B1 true KR102331992B1 (en) 2021-12-01

Family

ID=78899861

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200158517A KR102331992B1 (en) 2020-11-24 2020-11-24 Method of technology evaluation using artificial intelligence

Country Status (1)

Country Link
KR (1) KR102331992B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100921618B1 (en) * 2009-04-28 2009-10-15 기술신용보증기금 A technology appraisal method for startup company
KR20190049549A (en) * 2017-10-30 2019-05-09 한국과학기술원 Online platform for probability based technology valuation using collective intelligence and realtime artificial intelligence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100921618B1 (en) * 2009-04-28 2009-10-15 기술신용보증기금 A technology appraisal method for startup company
KR20190049549A (en) * 2017-10-30 2019-05-09 한국과학기술원 Online platform for probability based technology valuation using collective intelligence and realtime artificial intelligence

Similar Documents

Publication Publication Date Title
CN110400022B (en) Cash consumption prediction method and device for self-service teller machine
KR102286415B1 (en) Online and offline information analysis service system by lifecycle according to product life cycle
WO2020257782A1 (en) Factory risk estimation using historical inspection data
Bilal et al. Big Data with deep learning for benchmarking profitability performance in project tendering
Kompella et al. Stock market prediction using machine learning methods
GB2498023A (en) Assessing maturity of business processes
CN112241805A (en) Defect prediction using historical inspection data
CN116843216A (en) Index early warning method and device, computer equipment and storage medium
Zhou et al. Application research of grey fuzzy evaluation method in enterprise product reputation evaluation
KR102331992B1 (en) Method of technology evaluation using artificial intelligence
CN117252688A (en) Financial risk assessment method, system, terminal equipment and storage medium
CN117076521A (en) Operational data analysis method and system based on big data
Гавриленко et al. Forecasting the cryptocurrency exchange rate based on the ranking of expert opinions
Friederich et al. Predictive Process Monitoring for Prediction of Remaining Cycle Time in Automated Manufacturing: A Case Study
Li et al. Price change and trading volume: Behavioral heterogeneity in stock market
CN113781239A (en) Policy determination method and device, electronic equipment and storage medium
Reddy et al. Classification of Hotel Reviews using Machine Learning Techniques
CN114092216A (en) Enterprise credit rating method, apparatus, computer device and storage medium
CN112396455A (en) Pricing method, apparatus, device and medium for data assets
CN111815458A (en) Dynamic investment portfolio configuration method based on fine-grained quantitative marking and integration method
Asraful Haque et al. Modified Goel-Okumoto software reliability model considering uncertainty parameter
Tong et al. The evaluation of lean logistics performance based on balanced score card and unascertained sets
CN117172721B (en) Data flow supervision early warning method and system for financing service
Moradi et al. Novel Approaches for Determining Exogenous Weights in Dynamic Networks DEA
Qiang et al. Supplier evaluation and selection based on quality matchable degree

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant