KR100776193B1 - 거절자 추론을 반영한 기술평가방법 - Google Patents

거절자 추론을 반영한 기술평가방법 Download PDF

Info

Publication number
KR100776193B1
KR100776193B1 KR1020060055623A KR20060055623A KR100776193B1 KR 100776193 B1 KR100776193 B1 KR 100776193B1 KR 1020060055623 A KR1020060055623 A KR 1020060055623A KR 20060055623 A KR20060055623 A KR 20060055623A KR 100776193 B1 KR100776193 B1 KR 100776193B1
Authority
KR
South Korea
Prior art keywords
technology
model
evaluation
score
calculating
Prior art date
Application number
KR1020060055623A
Other languages
English (en)
Inventor
손소영
김윤성
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020060055623A priority Critical patent/KR100776193B1/ko
Application granted granted Critical
Publication of KR100776193B1 publication Critical patent/KR100776193B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 여신, 신용보증, 투자 등과 같은 기술금융분야에 활용하기 위해서 대상 기술의 특성, 해당 기술을 보유한 기업의 성격 및 기업이 직면한 경제환경적 특성을 반영한 기술평가방법에 관한 것으로, 기술평가 등급에 따른 연도별 부도 확률 및 경영성과 예측을 가능하게 한다.
특히, 종래의 기술평가모형이 과거에 기술보증을 신청한 기업의 특성변수와 사고 여부 등의 데이터를 바탕으로 개발되었으며, 이에 따라 기술보증을 받은 기업의 정보만을 이용하여 만들어진 기술평가모형을 모든 기업에 적용시킬 경우 편의된 결과를 발생시킬 수 있었는 바, 이러한 점을 고려하여, 본 발명은 기술보증 심사에서 거절된 기업들의 정보를 추가적으로 반영하여 추후 사고 여부를 추론할 수 있도록 거절자 추론 기법 적용을 위한 이변량 프로빗 모형을 이용함으로써, 좀더 정확한 위험예측 및 기술평가가 가능해지는 거절자 추론을 반영한 기술평가방법을 제공한다.
기술평가, 위험등급, 기술등급, 기술인증등급, 거절자 추론, 이변량 프로빗 모형, 거절추론평점, 위험평점, 환경평점

Description

거절자 추론을 반영한 기술평가방법{Method of technology evaluation using reject inference}
도 1은 본 발명의 바람직한 실시예에 따른 기술평가방법의 개념을 설명하는 설명도,
도 2는 본 발명에 따른 기술평가항목별 평가등급을 산출하는 흐름도,
도 3은 본 발명에 따른 위험등급을 구하기 위한 위험평점을 산출하는 흐름도,
도 4는 경영성과를 예측하는 방법의 순서도,
도 5는 KTCP 매트릭스의 도면부와 해설부를 설명하는 화면 예시도,
도 6은 KTCP 매트릭스를 구축하기 위한 순서도,
도 7a은 기술평가등급을 도시한 KTCP 매트릭스 도면,
도 7b는 경영성과예측을 도시한 KTCP 매트릭스 도면,
도 7c은 기술성 vs 사업성을 설명하는 KTCP 매트릭스 도면,
도 7d는 기술성 vs 시장성을 설명하는 KTCP 매트릭스 도면,
도 7e는 시장성 vs 사업성을 설명하는 KTCP 매트릭스 도면,
도 7f은 재무안전성 vs 기술사업성을 설명하는 KTCP 매트릭스 도면,
도 8a은 기술평가접수단계의 접수관리화면,
도 8b는 기술평가접수단계의 접수상세내역 입력화면,
도 8c은 기업체 개요의 입력화면,
도 8d는 대표자 현황 입력화면,
도 8e는 재무제표 입력화면,
도 8f은 경제환경지표 데이터 관리화면,
도 8g은 평가서 표지 생성화면,
도 8h은 45개의 데이터를 입력하여 평가표를 작성하는 화면,
도 8i는 계량항목 예시1의 평가항목 등급 부여 화면,
도 8j은 계량항목 예시2의 평가항목 등급 부여 화면,
도 8k은 체크항목 예시의 평가항목 등급 부여 화면,
도 8l는 평가자 평가항목 예시의 평가항목 등급 부여 화면,
도 8m은 밸런스 매트릭스를 보여주는 화면,
도 8n는 평점산출 결과를 보여주는 화면,
도 8o는 평가결과표시단계로서, 기술평가등급, 성과분석, 기대수명 산출결과를 보여주는 화면,
도 9는 기술의 위험등급이 반영되지 않은 종래의 기술평가방법과 본 발명에 따른 기술평가방법과의 사업부실 예측력을 비교한 그래프.
본 발명은 거절자 추론을 반영한 기술평가방법에 관한 것으로서, 더욱 상세하게는 기술보증 심사에서 거절된 기업들의 정보를 추가적으로 반영하여 추후 사고 여부를 추론할 수 있도록 거절자 추론 기법 적용을 위한 이변량 프로빗 모형을 이용함으로써, 좀더 정확한 위험예측 및 기술평가가 가능해지는 거절자 추론을 반영한 기술평가방법에 관한 것이다.
일반적으로 기술평가의 유형은 크게 기술성 평가와 기술가치평가의 두 가지로 나눌 수 있으며, 기술성 평가는 다시 기술등급평가와 기술력평가로 나눌 수 있다. 우선 기술등급평가는 기술의 사업화 가능성을 백분율이나 등급으로 평가하는 유형이다. 기술력평가는 기업의 전반적인 기술능력을 평가하는 것으로 개별 기술수준, 기술인력, 지적재산권, 연구시설 등을 종합적으로 평가하는 것이다. 그리고 기술가치평가는 기술거래 가격이나 지적자산의 담보가치 등을 산정하기 위하여 개별 기술의 가치를 금전적으로 환산하는 유형이다.
여기서 기술의 등급평가방법으로는 평점모형, 프로파일 모형, 점검표 모형 등이 사용된다. 평점모형(Scoring Model)은 기술성의 각 평가항목에 평점을 부여하며, 평가항목 간의 중요도에 따라 가중치를 적용하여 평가하는 방법이다. 프로파일 모형(Profile Model)은 평가요소를 도형에 표현하며, 해당 기술의 장단점을 신속히 파악할 수 있는 장점이 있다. 점검표 모형(Checklist Model)은 반드시 검토해야 할 점검항목(Check Point)을 설정하고, 각 점검항목에 대하여 최저기준(Cut-Off Criteria)을 설정한 후, 모든 점검항목이 일정 기준치를 만족시키는지를 검토하는 방법이다.
이러한 종래의 기술평가모델은 각 평가요소를 결정하고 각 평가요소에 배점(중요도)을 부여하여 평점 또는 등급으로 평가하는 모델로서, 사업부실화 위험이 고려되지 않아 여신, 투자 등 기술금융으로 직접 활용하는 데에 한계가 있었다.
또한 종래의 기술평가방법은 경제환경이나 경제요인에 따른 기업의 부실화 위험을 반영하지 않아 그 평가의 신뢰성이 높지 않았다.
또한 종래의 기술평가방법은 시간경과에 따른 기업부실화 변동추이를 보여줄 수 없는 한계가 있었으며, 과거의 기업의 유사한 기술평가 사례를 분석하여 신규기업의 경영성과예측을 할 수 있는 모형이 존재하지 아니하였다.
이러한 상황 하에서, 2004년 7월 정부는 「중소기업 경쟁력 강화 종합대책」을 발표하였으며, 이에 따라 보다 발전된 기술사업 타당성 평가를 위한 개선된 형태의 기술평가모형 도입과 기술사업화에 따른 부실률을 감안한 등급설정방안 구축 등 다양한 목적에 맞게 사용하기 위한 공신력 있는 기술등급 및 인증시스템 개선의 필요성이 대두되었다.
특히, 종래의 기술평가모형은 과거에 기술보증을 신청한 기업의 특성변수와 사고 여부 등의 데이터를 바탕으로 개발되었으며, 이에 따라 기술보증을 받은 기업의 정보만을 이용하여 만들어진 기술평가모형을 모든 기업에 적용시킬 경우 편의된 결과를 발생시킬 수 있다.
본 발명은 상술한 문제점들을 해결하기 위해 발명한 것으로서, 본 발명의 목적은 경제환경과 경제요인 등에 따른 환경위험과 기술사업화 위험을 반영한 기술평가방법을 제공하는 것이다.
또한 본 발명의 다른 목적은 문헌고찰 및 과거 기술평가지표의 유의성 분석결과를 토대로 상호 배타적인 기술평가항목을 재구성하고, 밸런스 매트릭스(Balance Matrix) 방법을 도입하여 항목별 검토사항의 객관성, 중립성, 상호보완성을 향상시켜 평가지표 및 적용방법에 신뢰성이 검증된 기술평가방법을 제공하는 것이다.
또한 본 발명의 목적은 시간경과에 따른 기업부실화 변동추이를 보여줄 수 있는 기술평가방법을 제공하는 것이다.
또한 본 발명의 목적은 과거의 기업의 유사한 기술평가 사례를 분석하여 신규기업의 성과를 예측할 수 있는 기술평가방법을 제공하는 것이다.
또한 본 발명의 목적은 기술이전 및 기술거래와 기술금융(융자 및 투자) 등 다양한 목적에 맞게 사용하기 위한 공신력 있는 기술평가인증등급을 제공하여 혁신선도형 중소기업에 대한 기술금융지원 활성화 여건을 조성할 수 있는 기술평가방법을 제공하는 것이다.
또한 종래의 기술평가모형이 과거에 기술보증을 신청한 기업의 특성변수와 사고 여부 등의 데이터를 바탕으로 개발되었으며, 이에 따라 기술보증을 받은 기업의 정보만을 이용하여 만들어진 기술평가모형을 모든 기업에 적용시킬 경우 편의된 결과를 발생시킬 수 있음을 고려하여, 본 발명은 기술보증 심사에서 거절된 기업들의 정보를 추가적으로 반영하여 추후 사고 여부를 추론할 수 있도록 거절자 추론 기법 적용을 위한 이변량 프로빗 모형을 이용함으로써, 좀더 정확한 위험예측 및 기술평가가 가능해지는 기술평가방법을 제공하는데 그 목적이 있다.
이하, 첨부한 도면을 참조하여 본 발명을 상세히 설명하면 다음과 같다.
상기한 목적을 달성하기 위하여, 본 발명은, 평가대상기술의 사업부실화 가능성을 반영하기 위하여 거절자 추론 기법 적용을 위한 이변량 프로빗 모형과 로짓모형에 의해 산출되는 확률을 평점화하여 등급을 부여하는 위험등급을 구하는 단계와;
상기 평가대상기술의 기술성, 사업성, 시장성을 반영하기 위하여 가중치 평점모형에 의해 산출되는 평점에 따라 등급을 부여하는 기술등급을 구하는 단계와;
상기 위험등급과 상기 기술등급을 X축과 Y축으로 하는 매트릭스에 의해 종합하여 등급을 부여하는 기술평가인증등급을 구하는 단계;
를 포함하여 구성되는 거절자 추론을 반영한 기술평가방법을 제공한다.
여기서, 상기 위험등급을 구하기 위한 위험평점을 산출하는 단계는,
기술보증 심사에서 거절된 기업들의 정보를 추가적으로 반영하여 추후 사고 여부를 추론할 수 있도록 상기 이변량 프로빗 모형을 이용하여 거절추론평점을 계산하는 단계와;
상기 로짓모형을 이용하여 환경평점을 계산하는 단계와;
상기 거절추론평점과 상기 환경평점을 소정의 비율로 결합하여 위험평점을 구하는 단계;
를 포함하는 것을 특징으로 한다.
특히, 상기 거절추론평점 및 상기 환경평점을 계산하는 단계는,
기술평가평점 요인변수를 산출하는 단계와;
경제지표 요인변수를 산출하는 단계와;
기업상태변수를 산출하는 단계와;
상기 각각의 단계에서 구해지는 기초산출값에 의해 모형 투입값을 결정하는 단계와;
상기 기술평가평점 요인변수를 이변량 프로빗 모형에 투입하여 우량확률을 계산하고 그로부터 거절추론평점을 계산하는 단계와;
상기 경제지표 요인변수와 기업상태변수를 로짓모형에 투입하여 로짓점수를 계산하고 상기 로짓점수로부터 우량확률을 계산하여 환경평점을 계산하는 단계;
를 포함하는 것을 특징으로 한다.
또한 상기 이변량 프로빗 모형으로서 아래와 같은 과정을 통해 우량확률을 계산하는 것을 특징으로 한다.
Y1i과 Y2i를 각각 보증심사 단계에서의 평가점수와 기업의 재무상태를 나타내는 연속형 확률변수라 할 때, 심사 모형과 부도 모형은 다음과 같이 표현될 수 있 다.
Figure 112006043512780-pat00001
여기서 ε1i과 ε2i는 심사 모형에서의 ε1i과 ε2i는 각각 분산이 σ12, σ22인 정규분포를 따르는 오차항이며, ε1i과 ε2i의 상관계수는 ρ로 일정하다. 또한 x1i과 x2i는 기업의 특성변수를 나타내며, β1i과 β2i는 각 특성변수가 재무상태에 미치는 영향력을 나타내는 계수이다.
그러나 실제로 관찰 가능한 값은 심사에서의 채택 여부와 부도 여부의 이진 변수이므로, 이를 반영한 새로운 결과 변수인 Y1i*와 Y2i*는 다음과 같이 정의된다.
Figure 112006043512780-pat00002
그러나 심사에서 거절된 기업들의 경우, 즉 Y1i* = 0일 때에는 Y2i*의 값은 관찰이 불가능하다. 이에 따라 (ε1i, ε2i)이 이변량 프로빗 모형을 따른다는 가정을 추가하여, 최종적으로 다음과 같은 확률 모형을 수립한다.
Figure 112006043512780-pat00003
여기서, ΦB는 이변량 정규분포의 확률밀도함수이며, ΦU는 단변량 정규분포의 확률밀도함수이다.
이하, 본 발명에 따른 기술평가방법의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 기술평가방법의 개념을 설명하는 설명도로서, 본 발명에 따른 기술평가방법은 크게 위험등급을 구하는 단계(S123), 기술등급을 구하는 단계(S125), 기술평가인증등급을 구하는 단계(S129), 등급에 따른 연도별 부실확률을 구하는 단계(S133), 경영성과예측단계(S135)로 구성되는 바, 이하에서 분설한다.
본 발명에 따른 기술평가방법의 평가등급은 위험등급(S123), 기술등급(S125), 기술평가(인증)등급(S129)으로 구분된다.
위험등급(S123)은 사업화 예정이거나 추진 중인 기술의 사업화 여건, 기술성 및 관련사항을 통계적으로 분석하여 해당 기술에 기반한 기업의 사업부실화 가능성을 검토하고 동시에 기업의 사업추진에 영향을 미칠 수 있는 경제환경 요인 등을 종합한 기술기반의 기업위험등급으로서, 평가대상기업(기술)의 사업부실화 가능성(Risk)을 반영하기 위해 소정의 평가모형(이변량 프로빗 모형 및 로짓모형)에 의 해 산출된 우량 또는 불량확률을 평점화하여 일정기준에 의해 등급을 부여하고, 10등급(aaa∼d)으로 표시한다.
기술등급(S125)은 사업화 예정이거나 추진 중인 기술의 기술성, 사업성 및 시장성 등을 종합 검토하여 해당 기술에 기반한 기업의 사업성공 가능성과 기술혁신능력을 산출한 기술기반의 등급으로서, 평가대상기업(기술)의 기술성, 사업성, 시장성 등을 반영하기 위해 가중치 평점모형에 의해 산출된 평점에 일정기준을 적용하여 등급을 부여하고, 10등급(V1∼V10)으로 표시한다.
기술평가(인증)등급(S129)은 위험등급, 기술등급을 매트릭스(Matrix)에 의해 종합적으로 검토하여 등급을 부여하고, 10등급(AAA∼D)으로 표시한다.
이러한 평가등급 표시 체계는 다음의 표 1과 같다.
Figure 112006043512780-pat00004
여기서 위험등급(S123), 기술등급(S125)은 각 모형에 의해 산출된 위험평점과 기술평점에 따라 일정기준에 의해 부여된 등급이며, 기술평가(인증)등급(S129)은 위험등급과 기술등급을 X축과 Y축으로 하는 매트릭스(Matrix)에 의해 종합적으로 검토하여 부여되는 등급으로서, 그 결과는 다음의 표 2와 같다.
Figure 112006043512780-pat00005
이하에서 본 발명에 따른 기술평가방법에 의해 위험등급, 기술등급, 기술평가인증등급을 구하는 방법을 상술한다.
본 기술평가방법에서의 위험등급, 기술등급, 기술평가인증등급을 구하기 위해 사용되는 기술평가항목은 아래의 표 3과 같다. 기술평가항목은 대ㆍ중ㆍ소항목, 세부검토항목의 계층적 구조로 구성되어 있고, 세부검토항목의 평가결과를 기초로 기술평가항목(소항목)별 점수(등급)가 산출되고, 이 기술평가항목(소항목)의 점수(등급)가 위험등급, 기술등급 산출을 위한 투입변수로 활용된다.
Figure 112006043512780-pat00006
도 2는 본 발명에 따른 기술평가항목별 평가등급을 산출하는 흐름도로서, 이에 도시한 바와 같이 기술평가표를 로그인(S201)하여, 기술평가항목(소항목)별 세부검토항목의 평가 내용을 입력한다(S203).
입력되는 평가내용은 평가방법에 따라 각각 계량평가항목, 체크평가항목, 평가자 평가항목의 3가지로 구분된다.
계량평가항목은 기업개요데이터, 기업재무데이터 등 별도 입력된 기업데이터를 활용하여 시스템에 의해 자동 산출된 값에 의해 평가되는 항목이다. 이는 시스템에 의해 자동 계산되는 항목이므로, 데이터의 입력누락 여부를 체크하는 것이 매우 중요하다.
계량평가항목은 해당 계산값 자체의 크기(수준)에 의한 평가항목과, 동업계 평균값(업종별 평균비율 등) 대비 수준에 의한 평가항목으로 구분된다.
항목별 계산방법은 다음의 표 4와 같다.
Figure 112006043512780-pat00007
체크평가항목은 평가기준으로 제시된 체크항목을 평가자가 체크(Check)하여 체크된 항목수에 의해 자동 평가한다.
체크평가항목 현황은 아래의 표 5와 같다.
Figure 112006043512780-pat00008
평가자 평가항목의 대상은 계량 및 체크평가항목 이외의 평가항목이며, 평가화면(Pop-up)상에서 제시되는 평가기준에 의해 평가자가 임의의 등급을 부여하여 평가한다.
평가항목별 평가자 평가방법은 전술한 표 3으로 요약된다.
이상과 같은 평가방법에 의해 기술평가항목(소항목)별 세부검토항목의 평가 내용을 입력한 후(S203), 입력항목의 누락 여부를 확인하여(S205), 누락된 항목이 존재하면 이를 입력한다(S207).
모든 세부검토항목이 입력되면, 기술평가항목(소항목)별 세부검토항목 수에 따라 5×5 Balance Matrix, 또는 5×5×5 Balance Matrix에 의해 기술평가항목(소항목)별 점수(등급)가 자동 산출된다(S209).
5×5 Balance Matrix에 의한 산출의 예시는 아래의 표 6과 같다.
Figure 112006043512780-pat00009
그리고, 5×5×5 Balance Matrix에 의한 산출 예시는 아래의 표 7과 같다.
Figure 112006043512780-pat00010
Figure 112006043512780-pat00011
도 3은 본 발명에 따른 위험등급을 구하기 위한 위험평점을 산출하는 흐름도이다. 위험 예측모형은 기술평가표에 의해 평가된 기술평가 데이터를 이변량 프로빗 모형 및 로짓모형에 적용하여 모형을 수립한다.
위험등급을 구하기 위한 위험평점을 구하기 위한 절차로서는 우선 기술평가항목(소항목)별 세부검토항목의 평가입력 누락 여부를 체크한다(S301). 이는 평가항목의 점수부여 누락 여부, 기타 투입변수의 입력누락 여부를 자동 체크하는 단계이다. 체크 결과 평가점수의 입력이 누락된 경우 항목을 보완한다(S303).
다음으로 평가입력된 기술평가항목(소항목)별 점수(등급)을 활용하여 함수식에 의한 기술평가평점 요인변수를 산출한다(S305).
요인변수 산출식은 아래의 표 8과 같다.
Figure 112006043512780-pat00012
Figure 112006043512780-pat00013
n = 1, 2,ㆍㆍㆍ, 16)
Figure 112006043512780-pat00014
요인변수의 산출이 종료되면(S305), 다음으로 별도 저장된 경제지표를 활용하여 함수식에 의한 경제지표 요인변수를 산출한다(S307).
경제지표 변수목록은 아래의 표 9와 같다.
Figure 112006043512780-pat00015
여기서 경제지표 요인변수 산출식은
Figure 112006043512780-pat00016
이다.
(
Figure 112006043512780-pat00017
: 경제요인변수(n=1,2,3,4)
Figure 112006043512780-pat00018
(t기의 y번째 변수의 표준화) =
Figure 112006043512780-pat00019
Figure 112006043512780-pat00020
: n번째 경제요인변수에 대한 t기의 y번째 경제변수의 요인계수)
다음으로 기업상태 변수를 산출한다(S309).
기업상태변수를 산출하기 위한 변수목록은 아래의 표 10과 같으며, 이는 별도 입력된 기업 데이터에 의해 구한다.
Figure 112006043512780-pat00021
기업상태변수는 상시조사 및 자료관리 DB 입력과정에서 입력오류나 입력누락이 상존하는 항목이므로, 최종 평점을 산출하기 전에 기업상태변수 목록을 화면상에 출력(Pop-UP)하여 평가자의 재확인을 거치도록 구성한다(S311).
다음으로 기초산출값, 이변량 프로빗 모형 및 로짓모형 투입값을 확정하여 저장한다(S313).
이어서, 기술평가평점 요인변수를 이변량 프로빗 모형에 투입하여 우량확률을 계산하고(S315), 그로부터 거절추론평점을 계산한다(S317).
거절추론평점을 산출하기 위한 항목과 변수명은 아래의 표 11과 같다.
Figure 112006043512780-pat00022
일반적으로 기술평가모형은 과거에 기술보증을 신청한 기업의 특성변수와 사고 여부 등의 데이터를 바탕으로 개발된다. 그러나 기술보증을 받지 못한 기업은 사고 여부를 알 수 없으므로, 이들 기업의 데이터는 모형 개발에 포함되지 못한다. 이에 따라 기술보증을 받은 기업의 정보만을 이용하여 만들어진 기술평가모형을 모든 기업에 적용시킬 경우에는 편의(bias)된 결과를 발생시킬 수 있다.
이러한 문제를 해결하기 위해 도입된 방법이 거절자 추론(reject inference)이다. 신용평가 모형 개발에서 주로 활용되는 거절자 추론 방법은 기술보증 심사에서 거절된 기업들의 정보를 평가모형에 포함시킴으로써 위의 문제를 해결한다. 이때 거절된 기업들의 미래의 사고 여부는 알 수 없으므로, 그러한 정보를 알아내고자 다양한 추론 방법이 제시되었다. 거절자 추론 방법은 크게 두 가지 다른 가정을 바탕으로 발전하였는데, 첫 번째는 기술보증 심사에서 채택된 기업과 거절된 기업이 서로 같은 특성을 가진다는 가정이고, 두 번째는 두 유형의 기업이 서로 다른 특성을 가진다는 가정이다.
전자의 경우, 기술보증을 받은 기업들의 정보만을 이용하여 모형을 개발하고, 기술 보증을 받지 못한 기업들에 그 모형을 적용하여 그들의 추후 사고 여부를 추론할 수 있다. 이에 대한 구체적인 방법으로 re-weighting과 extrapolation 방법이 개발되어 활용되고 있다. 한편, 후자의 경우, 기술보증 심사에서 채택된 기업과 거절된 기업이 서로 그 성격이 다르므로, 채택된 기업으로부터 만들어진 모형을 거절된 기업에 그대로 적용하기에는 문제가 따른다. 이러한 문제를 해결하는 방법의 한 예가 이단계 이변량 프로빗 모형(two-stage bivariate probit model)이다. 기업의 특성변수를 x로 정의할 때, P(사고 | x, 채택) ≠ P(사고 | x, 거절)의 가정 하에서 이단계 이변량 프로빗 모형은 다음과 같이 정의된다.
Y1i과 Y2i를 각각 보증심사 단계에서의 평가점수와 기업의 재무상태를 나타내는 연속형 확률변수라 할 때, 심사 모형과 부도 모형은 다음과 같이 표현될 수 있다.
Figure 112006043512780-pat00023
여기서 ε1i과 ε2i는 심사 모형에서의 ε1i과 ε2i는 각각 분산이 σ12, σ22인 정규분포를 따르는 오차항이며, ε1i과 ε2i의 상관계수는 ρ로 일정하다. 또한 x1i과 x2i는 기업의 특성변수를 나타내며, β1i과 β2i는 각 특성변수가 재무상태에 미치는 영향력을 나타내는 계수이다.
그러나 실제로 관찰 가능한 값은 심사에서의 채택 여부와 부도 여부의 이진 변수이므로, 이를 반영한 새로운 결과 변수인 Y1i*와 Y2i*는 다음과 같이 정의된다.
Figure 112006043512780-pat00024
그러나 심사에서 거절된 기업들의 경우, 즉 Y1i* = 0일 때에는 Y2i*의 값은 관찰이 불가능하다. 이에 따라 (ε1i2i)이 이변량 프로빗 모형을 따른다는 가정을 추가하여, 최종적으로 다음과 같은 확률 모형을 수립한다.
Figure 112006043512780-pat00025
여기서 ΦB는 이변량 정규분포의 확률밀도함수이며, ΦU는 단변량 정규분포의 확률밀도함수이다.
이러한 방법을 수행함으로써 보증심사에서 승인된 기업뿐만 아니라 거절된 기업의 정보를 포함하여 모집단에 포함된 모든 기업에 적용 가능한 기술평가모형을 개발할 수 있고, 이러한 모형을 이용하여 거절추론평점을 계산한다.
다음으로, 환경평점을 산출하기 위한 항목과 변수명은 아래의 표 12와 같으며, 경제지표 요인변수와 기업상태변수를 로짓모형에 투입하여 로짓점수를 계산하고(S321), 우량확률를 구하여(S323) 환경평점을 구한다(S325).
여기서 우량확률(Score)은
Figure 112006043512780-pat00026
의 산식에 의해 산출하며(S323), 우량확률이 계산되면 '환경평점 = 우량확률 × 100'의 식에 의해 환경평점을 계산한다(S325).
Figure 112006043512780-pat00027
상기와 같이 거절추론평점과 환경평점이 구해지면, '위험평점 = 거절추론평점 × 0.95 + 환경평점 × 0.05'의 산식에 의하여 위험평점을 구한다(S327).
위험평점이 구해지면 도 1에 도시된 바와 같이 이에 따른 위험등급을 산출한다(S123).
다음은 가중치 평점모형에 의한 기술등급을 구하는 단계이다(S125). 여기에서는 아래의 표 13에서와 같이 기술평가항목(소항목)에 의해 기술평점을 구하는 방법을 예시한다.
Figure 112006043512780-pat00028
평가항목별 가중치는 업종별 특성을 반영하여, 업종별로 가중치를 차별화하여 적용한다.
가중치 평점모형에 의해 기술평점이 정해지면 아래 표 14의 평가기준에 의해 기술등급을 부여한다(S125).
Figure 112006043512780-pat00029
상기와 같이 위험 평가모형에 의한 위험등급(S123)과 가중치 평점모형에 의한 기술등급(S125)이 산출되면, 이를 기초로 하여 매트릭스 평가기준에 의해 최종적으로 기술평가인증등급을 부여하는 단계를 설명한다(S129).
기술평가인증등급 산출은 상술한 표 2의 내용과 같이 Matrix에 의한 등급평가에 따른다.
다음은 수명자료분석모형(생존분석모형)에 의해 등급에 따른 연도별 부실확률(생존확률)을 계산하는 단계를 설명한다(S133). 이 단계는 기술평가표의 평가결과를 투입변수로 하여 기술평가인증등급에 따른 연도별 부실확률(기대수명)을 산출하는 단계이다.
수명(생존)자료는 어떤 정해진 시작점으로부터 사건의 발생시점까지, 예를 들어 기술평가 및 평가결과에 따른 신용보증(융자) 시점으로부터 기업부실(사업화실패)이란 사건이 발생한 시점까지의 기간으로 구성되며, 이 시간을 생존기간이라 한다.
수명자료분석(생존분석)은 그 생존기간을 분석하여 기술평가 및 신용보증(융자) 기업의 t시점 이후의 생존할 확률과 위험율을 구하여 평가대상기업의 기대수명을 측정함으로써 시간변화에 따른 기술평가 등급별 사업부실화율 변동추이 등과 같은 추가정보를 제공한다.
그러나 일반적인 수명자료분석에 있어서, 기업의 다양한 특성 및 여러 사고의 원인(파산, 이자연체, 사고유보)간의 관계를 고려한 위험정도를 보여주지 못하는 단점을 가지고 있다.
본 발명의 특징은 기업의 다양한 사고원인들을 고려한 경쟁위험(Competing Risk)모형을 수행하는데 있다.
다음의 식(6)은 기업의 사고까지의 시간을 와이블 분포(Weibull distribution)를 가정한 것이다.
Figure 112006043512780-pat00030
(6)
여기서 i(i=1,...,n)는 개별 기업을 의미하고, jth(j=1,...,k)는 부도가 발생하게 되는 사고원인들을 의미하며,
Figure 112006043512780-pat00031
는 기업 i가 j번째 원인으로 부도가 발생하는 데까지의 시간을 의미한다. 또한
Figure 112006043512780-pat00032
Figure 112006043512780-pat00033
는 각각 크기 모수와 형태 모수를 의미한다. 이러한 분포의
Figure 112006043512780-pat00034
Figure 112006043512780-pat00035
, 이를 이용하여 생존함수를 구하면 다음의 식(7) ~ (9)와 같다.
Figure 112006043512780-pat00036
(7)
Figure 112006043512780-pat00037
(8)
Figure 112006043512780-pat00038
(9)
이러한 방법을 수행함으로써 개별 사고원인에 대한 생존확률뿐만 아니라 모든 사고를 고려한 생존확률을 예측할 수 있어, 다양한 목적하에 적용될 수 있다.
수명자료분석모형의 생존확률을 산출하기 위한 투입변수 목록은 아래의 표 15와 같다.
Figure 112006043512780-pat00039
아래의 표 16은 시간(t)별 기대수명을 산출하기 위한 파라미터(Parameter) 목록의 예시이다.
Figure 112006043512780-pat00040
이러한 변수에 의해 연도별 기대수명(또는 부실확률) 산출방법은,
① 투입변수와 계수의 선형방정식에 의해 생존확률(XB)을 계산하고,
② 시간별 기대수명(또는 부실확률) 계산한다.
연도별 기대수명(부실확률) 추정 결과의 예시는 도 8o와 같다.
다음은 사례기반추론(S121)에 의해 경영성과를 예측하는 단계(S135)를 설명한다.
사례기반추론(Case-Based Reasoning; CBR)이란 새로운 사건과 유사한 기존사례를 찾아 기존 사례의 해결된 문제와의 유사성을 이용하는 방법으로, 이 분석방법을 응용하여 현재 평가하고 있는 기업(기술)과 유사한 과거의 기술평가 사례를 추출하고, 유사 기술평가 사례 기업의 경영성과를 분석함으로써 당해 기업(기술)의 경영성과를 추출한다.
도 4는 경영성과를 예측하는 방법의 순서도로서, 이를 참조하여 단계별 산출방법을 설명한다.
먼저, 기술평가지표별 평점을 산출한다(S401). 여기에서는 기술평가표에 의해 산출한 평점을 그대로 활용한다.
다음으로 유클리디안 거리를 측정한다(S403).
유클리디안 거리는 유사성의 척도를 나타내는 지표로서, 기술평가 소항목 기준 평점과 비교대상기업(과거 평점사례)의 평점간 거리의 제곱합에 대한 제곱근으로 구하며, 그 산출산식은 아래와 같다.
Figure 112006043512780-pat00041
Figure 112006043512780-pat00042
: 비교대상기업(과거 평점사례)의 평점
Figure 112006043512780-pat00043
: 평가대상기업의 평점
Figure 112006043512780-pat00044
: 가중치
n = 1, 2, … , 16
※ 비교대상기업(과거 평점사례) 각각에 대해 유클리디안 거리를 산출
다음으로 유클리디안 거리를 측정하여 그 거리가 최소 즉 유사도가 가장 높은 기업 10개의 사례를 추출하고(S405), 10개 기업의 성장성, 수익성, 활동성 등의 성과를 추출한다(S407).
평가대상기업에 대해 사례기반 추론에 의한 성과 평가 결과를 비교대상기업(과거 평점사례)에 누적 축적하여 비교대상기업으로 활용한다. 이상에서 본 발명에 따른 위험등급, 기술등급, 기술평가인증등급, 등급에 따른 연도별 부실확률, 경영성과 예측에 대하여 설명하였다.
이상에서 설명한 본 발명의 기술평가방법에 따른 기술평가 결과를 위험등급, 기술성, 사업성 등 다양한 관점에서 분석하여 2차원 도표에 표시(이하, ‘KTCP 매트릭스’라 한다.)할 경우 그 활용도를 높일 수 있는 바, 이러한 KTCP 매트릭스의 작성방법과 활용도에 대하여 살펴 본다.
도 5는 KTCP 매트릭스의 도면부와 해설부를 설명하는 화면 예시도이다. 도시된 바와 같이 KTCP 매트릭스는, 기술평가모형에 사용된 기술성과 사업성, 기술사업성과 위험등급 변수 등을 각각 X축과 Y축으로 하여 기업의 특성을 하나의 도표로 표현한 기술평가 및 컨설팅 매트릭스로서 도표부와 해설부로 구성된다.
도표부는 평가대상기업의 기술성과 사업성, 위험관점 평가결과를 일정등급으로 분류한 후, 매트릭스(Matrix)상에 표현한다.
해설부는 매트릭스를 다양한 관점에서 결합구성한 후, 각 매트릭스에 대한 설명을 자동출력하는 기능을 담당한다.
KTCP 매트릭스의 지표로 이용되는 기술성은 기술개발추진능력, 기술개발을 위한 투자 및 인프라, 기술의 혁신성, 완성도, 확장성 등을 종합 평가하고, 사업성은 보유기술(제품)의 시장상황과 경쟁력, 제품화능력, 마케팅능력 등을 종합 평가한다.
도 6은 KTCP 매트릭스를 구축하기 위한 순서도로서, KTCP 매트릭스를 구성하기 위해서는 변수선정단계(S601), 위험등급, 기술등급, 재무안정성 등급 산출단계(S603), 기술성, 사업성, 기술·사업성 평점산출단계(S605), 변수별 평점의 구간 설정 단계(S607), 매트릭스표 작성단계(S609), 매트릭스 도표부 구축단계(S611)를 거쳐 완성된다.
변수선정단계(S601)에서는, 기술평가위험등급, 기술등급, 기술성 변수의 각각의 변수를 선정한다. 기술평가 위험등급은 기술평가모형에 의해 산출되는 기술기반의 위험등급을 이용하며, 기술등급은 상술한 기술평가지표의 전체 평가항목에 대해 점수평가법(Scoring Method) 방식에 의해 산출한 평점 또는 등급이다.
기술성 변수는 아래의 표 17에 나타난 바와 같이, 기술평가지표의 기술성 평가항목으로 구성된다.
Figure 112006043512780-pat00045
시장성 변수는 아래의 표 18에 나타난 바와 같이 기술평가지표의 시장성 평가항목으로 구성된다.
Figure 112006043512780-pat00046
아래의 표 19는 사업성① 변수이다.
Figure 112006043512780-pat00047
아래의 표 20은 사업성② 변수이다.
Figure 112006043512780-pat00048
기술사업성 변수는 아래의 표 21에 나타난 바와 같이 기술평가지표의 기술성 및 사업성 평가항목으로 구성된다.
Figure 112006043512780-pat00049
재무안정성 변수는 기업신용평가시스템의 재무모형을 활용한 재무등급을 재무안정성 변수로 활용한다.
변수선정단계가 완료되면, 위험등급, 기술등급, 재무안정성 평점(등급)을 산출한다(S603).
위험등급은 상술한 기술평가모형에 의해 산출되는 기술기반의 위험등급이다.
기술등급은 상술한 기술평가모형에 의해 산출되는 등급이다.
재무안정성은 기업신용평가시스템의 재무모형에 의해 산출되는 재무등급이다.
다음으로, 기술성, 사업성, 기술사업성의 평점을 산출한다(S605).
점수평가법(Scoring Method) 방식에 의한 평점모형에 의해 아래의 계산식에 따라 각 분야(변수)별 평점을 100점 만점으로 환산하여 산출한다.
Figure 112006043512780-pat00050
평점이 산출되면 도표부를 구축하기 위해서 우선 변수별 각 평점(등급)을 6개의 구간으로 분류하여 구간을 설정한다(S607).
Figure 112006043512780-pat00051
다음으로 산출된 평점값에 의해 매트릭스(Matrix) 표를 작성한다(S609).
Figure 112006043512780-pat00052
Figure 112006043512780-pat00053
Figure 112006043512780-pat00054
마지막으로, 매트릭스 도표부 및 해설부를 구축한다(S611).
도 7a은 기술평가등급을 도시한 KTCP 매트릭스 도면으로서, 기술등급을 X축으로, 위험등급을 Y축으로 하여 작성된다. 기술평가등급은 대상 기술과 관련하여 기술력, 기술개발현황 및 제품화 능력을 바탕으로 사업화 가능성을 등급으로 평가하며, 위험등급은 대상 기업의 대내외 환경을 감안하여 기술사업의 추진 과정에서 예측되는 향후 사업의 부실가능성을 위험평가모형에 의해 등급으로 평가한 것을 의미한다.
도 7b는 경영성과예측을 도시한 KTCP 매트릭스 도면이다. 기술기반사업 특히 중소기업의 경우 기존의 전통적 형태의 기업과 비교시 향후 경영성과예측에 많은 어려움이 있음을 감안하여 기술기업의 다양한 경영성과사례를 분석하여 이를 바탕으로 기술기업의 향후 3년간의 경영성과를 예측하는 것이다. 경영성과는 수익성, 성장성, 안정성 및 활동성 등 4가지 재무지표를 중심으로 산출되며, 등급이 높을수록 양호한 성과가 예측됨을 의미한다.
도 7c은 기술성 vs 사업성을 설명하는 KTCP 매트릭스 도면으로서, 대상 기술의 기술내용, 기술수준 등과 기술의 제품화 능력, 마케팅 상황, 향후 수익전망 등을 매트릭스 상에 대비하여 표현한 도표이다.
도 7d는 기술성 vs 시장성을 설명하는 KTCP 매트릭스 도면으로서 기술의 기술내용, 기술수준 등과 기술의 시장규모, 성장전망, 경쟁상황 등을 매트릭스 상에 대비하여 표현한 도표이다.
도 7e는 시장성 vs 사업성을 설명하는 KTCP 매트릭스 도면으로서, 기술의 시장규모, 성장전망, 경쟁상황 등과 기술의 제품화 능력, 마케팅상황, 향후 수익전망 등을 매트릭스상에 대비하여 표현한 도표이다.
도 7f은 재무안전성 vs 기술사업성을 설명하는 KTCP 매트릭스 도면으로서, 기술의 기술성, 사업성 및 수익성 등 미래 성장전망(기술사업성)과 기업에 대한 평가시점의 단기 재무안정성을 매트릭스에 대비하여 표현한 도표이다.
다음은 이상에서 설명한 본 발명에 따른 기술평가방법을 실제로 적용하는 컴퓨터상의 화면으로서, 본 발명의 평가순서에 따라 각각의 화면을 설명한다.
도 8a은 기술평가접수단계의 접수관리화면이고, 도 8b는 기술평가접수단계의 접수상세내역 입력 화면이다.
도 8c 내지 도 8f은 기업데이터 입력단계로서, 도 8c은 기업체 개요(업종, 업력, 등록, 외감, 벤처기업 여부 등)의 입력화면이고, 도 8d는 대표자 현황 입력화면이며, 도 8e는 재무제표 입력화면이고, 도 8f은 경제환경지표 데이터 관리화면이다.
도 8g 내지 도 8n는 평가데이터 입력단계로서, 도 8g은 평가서 표지 생성화면이고, 도 8h은 45개의 데이터를 입력하여 평가표를 작성하는 화면이며, 도 8i는 계량항목 예시1의 평가항목 등급 부여 화면이고, 도 8j은 계량항목 예시2의 평가항목 등급 부여 화면이며, 도 8k은 체크항목 예시의 평가항목 등급 부여 화면이고, 도 8l는 평가자 평가항목 예시의 평가항목등급부여화면이며, 도 8m은 밸런스 매트릭스를 보여주는 화면이고, 도 8n는 평점산출 결과를 보여주는 화면이다.
도 8o는 평가결과표시단계로서, 기술평가등급, 성과분석, 기대수명 산출결과를 보여주는 화면이다.
이상에서 살펴 본 바와 같이, 본 발명에 따른 기술평가방법의 바람직한 실시예는 모두 컴퓨터에서 DB화 된 데이터에 의해 본 발명이 구현된 프로그램에 따라 실현된다.
이상에서 설명한 바와 같이, 본 발명에 따른 거절자 추론을 반영한 기술평가방법에 의하면, 종래의 기술평가모형이 과거에 기술보증을 신청한 기업의 특성변수와 사고 여부 등의 데이터를 바탕으로 개발되었으며, 이에 따라 기술보증을 받은 기업의 정보만을 이용하여 만들어진 기술평가모형을 모든 기업에 적용시킬 경우 편의된 결과를 발생시킬 수 있었는 바, 이러한 점을 고려하여, 본 발명은 위험등급을 구하는 과정에서 기술보증 심사로부터 거절된 기업들의 정보를 추가적으로 반영하여 추후 사고 여부를 추론할 수 있도록 거절자 추론 기법 적용을 위한 새로운 이변량 프로빗 모형을 이용함으로써, 좀더 정확한 위험예측 및 기술평가가 가능해지는 효과가 있다.

Claims (4)

  1. 마이크로프로세서 및 저장장치를 포함하는 단말기를 이용한 거절차 추론을 반영한 기술평가방법에 있어서, 상기 방법은,
    (a) 평가대상기술의 사업부실화 가능성을 반영하기 위해 상기 단말기를 이용하여 거절자 추론 기법 적용을 위한 이변량 프로빗 모형과 로짓모형에 의해 산출되는 확률을 평점화하여 등급을 부여하는 위험등급을 구하는 단계와;
    (b) 상기 평가대상기술의 기술성, 사업성, 시장성을 반영하기 위해 상기 단말기를 이용하여 가중치 평점모형에 의해 산출되는 평점에 따라 등급을 부여하는 기술등급을 구하는 단계와;
    (c) 상기 단말기를 이용하여 상기 위험등급과 상기 기술등급을 X축과 Y축으로 하는 매트릭스에 의해 종합하여 등급을 부여하는 기술평가인증등급을 구하는 단 계;
    를 포함하여 구성되는 거절자 추론을 반영한 기술평가방법.
  2. 청구항 1에 있어서,
    상기 (a) 단계는,
    (a-1) 기술보증 심사에서 거절된 기업들의 정보를 추가적으로 반영하여 추후 사고 여부를 추론할 수 있도록 상기 이변량 프로빗 모형을 이용하여 거절추론평점을 계산하는 단계와;
    (a-2) 상기 로짓모형을 이용하여 환경평점을 계산하는 단계와;
    (a-3) 상기 거절추론평점과 상기 환경평점을 소정의 비율로 결합하여 위험평점을 구하는 단계;
    를 포함하는 것을 특징으로 하는 거절자 추론을 반영한 기술평가방법.
  3. 청구항 2에 있어서,
    상기 (a-1) 단계는,
    기술평가평점 요인변수를 산출하는 단계와;
    경제지표 요인변수를 산출하는 단계와;
    기업상태변수를 산출하는 단계와;
    상기 각각의 단계에서 구해지는 기초산출값에 의해 모형 투입값을 결정하는 단계와;
    상기 기술평가평점 요인변수를 이변량 프로빗 모형에 투입하여 우량확률을 계산하고 그로부터 거절추론평점을 계산하는 단계; 를 포함하며,
    상기 (a-2) 단계는,
    상기 경제지표 요인변수와 기업상태변수를 로짓모형에 투입하여 로짓점수를 계산하고 상기 로짓점수로부터 우량확률을 계산하여 환경평점을 계산하는 단계;
    를 포함하는 것을 특징으로 하는 거절자 추론을 반영한 기술평가방법.
  4. 청구항 3에 있어서,
    상기 이변량 프로빗 모형으로서 하기 식(E)의 확률모형을 이용하여 우량확률을 계산하는 것을 특징으로 하는 거절자 추론을 반영한 기술평가방법.
    식(E):
    Figure 112006043512780-pat00055
    여기서, Y1i*와 Y2i*는 각각 보증심사 통과 여부와 기업의 부도 여부를, x1i과 x2i는 기업의 특성변수를 각각 나타내고, 상관계수는 ρ는 심사 모형과 부도 모형의 오차항들의 상관계수를 나타내며, β1i과 β2i는 각 특성변수가 재무상태에 미치는 영향력을 나타내는 계수이고, ΦB는 이변량 정규분포의 확률밀도함수이며, ΦU는 단변량 정규분포의 확률밀도함수임.
KR1020060055623A 2006-06-20 2006-06-20 거절자 추론을 반영한 기술평가방법 KR100776193B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060055623A KR100776193B1 (ko) 2006-06-20 2006-06-20 거절자 추론을 반영한 기술평가방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060055623A KR100776193B1 (ko) 2006-06-20 2006-06-20 거절자 추론을 반영한 기술평가방법

Publications (1)

Publication Number Publication Date
KR100776193B1 true KR100776193B1 (ko) 2007-11-16

Family

ID=39079726

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060055623A KR100776193B1 (ko) 2006-06-20 2006-06-20 거절자 추론을 반영한 기술평가방법

Country Status (1)

Country Link
KR (1) KR100776193B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919404A (zh) * 2017-12-12 2019-06-21 富士施乐株式会社 信息处理装置
CN116050950A (zh) * 2023-04-03 2023-05-02 西南交通大学 铁路枢纽旅客列车时刻表评价方法、装置、设备及介质
CN117764454A (zh) * 2023-12-27 2024-03-26 兰州理工大学 河西走廊明长城遗址片状剥离发育程度评价方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001001221A (ja) * 1999-06-16 2001-01-09 Sumitomo Wiring Syst Ltd ワイヤハーネス製造装置および製造方法
JP2003000708A (ja) * 2001-06-18 2003-01-07 Satoru Yoshida 血管等用のバルーン型薬液注射器
JP2005000406A (ja) * 2003-06-12 2005-01-06 Soft99 Corporation 芳香剤
JP2005293027A (ja) 2004-03-31 2005-10-20 Sumitomo Mitsui Banking Corp 評価対象の評価方法及び評価システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001001221A (ja) * 1999-06-16 2001-01-09 Sumitomo Wiring Syst Ltd ワイヤハーネス製造装置および製造方法
JP2003000708A (ja) * 2001-06-18 2003-01-07 Satoru Yoshida 血管等用のバルーン型薬液注射器
JP2005000406A (ja) * 2003-06-12 2005-01-06 Soft99 Corporation 芳香剤
JP2005293027A (ja) 2004-03-31 2005-10-20 Sumitomo Mitsui Banking Corp 評価対象の評価方法及び評価システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
2001.12.21
2003.07.08
2005.04.06

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919404A (zh) * 2017-12-12 2019-06-21 富士施乐株式会社 信息处理装置
CN116050950A (zh) * 2023-04-03 2023-05-02 西南交通大学 铁路枢纽旅客列车时刻表评价方法、装置、设备及介质
CN116050950B (zh) * 2023-04-03 2023-06-23 西南交通大学 铁路枢纽旅客列车时刻表评价方法、装置、设备及介质
CN117764454A (zh) * 2023-12-27 2024-03-26 兰州理工大学 河西走廊明长城遗址片状剥离发育程度评价方法

Similar Documents

Publication Publication Date Title
KR100776187B1 (ko) 기술평가방법
Kim et al. Discriminant analysis for predicting ranges of cost variance in international construction projects
Choo Auditors' knowledge content and judgment performance: A cognitive script approach
KR100713546B1 (ko) 기술평가방법
Marzouk et al. Modeling bid/no bid decisions using fuzzy fault tree
Kettani et al. A multiple criteria analysis model for real estate evaluation
Grize Applications of statistics in the field of general insurance: An overview
Marzuki et al. Improving government's performance management by using the balanced scorecard on stakeholders perspectives
CN111626855A (zh) 债券信用利差预测方法及系统
KR100776193B1 (ko) 거절자 추론을 반영한 기술평가방법
CN114118793A (zh) 一种地方交易所风险预警方法、装置及设备
Konior Significance risks evaluation of commercial construction projects
Chevalier et al. The assessment of the political risk in the investment decision
KR101856550B1 (ko) 해외건설기업 의사결정 지원을 위한 발주국 평가방법 및 시스템
Nurudeen et al. Value relevance of IFRS 7 financial instruments disclosures for listed insurance firms in Nigeria
Daier et al. Are the Ng-Thomas model's results consistent with the ALABIDILI model's results in evaluating the financial solvency of construction companies?
Moorhead et al. Feasibility practices of types of property developers
Cheng et al. Using fuzzy analytical hierarchy process for multi-criteria evaluation model of high-yield bonds investment
Pendaraki et al. ASSESSING EQUITY MUTUAL FUNDS'PERFORMANCE USING A MULTICRITERIA METHODOLOGY: A COMPARATIVE ANALYSIS
Krüger Combining density forecasts under various scoring rules: An analysis of UK inflation
KR102420952B1 (ko) 인공지능을 이용한 대출 확대 가설 검정 시스템 및 이를 이용한 방법
Procházková Asset Prices, Network Connectedness, and Risk Premium
Masci et al. Expert's opinion impact on financial risk management
Chhaochharia et al. Artificially Intelligent Analyst Sentiment and Aggregate Market Behavior
Karaa et al. Towards a better nowcasting and forecasting of Tunisian GDP growth: The relevance of sovereign ratings data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121018

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131107

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140813

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160105

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161207

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171204

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20181106

Year of fee payment: 12