KR101265975B1 - 미래 기술 가치 평가 시스템 및 방법 - Google Patents
미래 기술 가치 평가 시스템 및 방법 Download PDFInfo
- Publication number
- KR101265975B1 KR101265975B1 KR1020110109768A KR20110109768A KR101265975B1 KR 101265975 B1 KR101265975 B1 KR 101265975B1 KR 1020110109768 A KR1020110109768 A KR 1020110109768A KR 20110109768 A KR20110109768 A KR 20110109768A KR 101265975 B1 KR101265975 B1 KR 101265975B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- future technology
- future
- technology
- list
- Prior art date
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 281
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000011160 research Methods 0.000 claims abstract description 94
- 238000004458 analytical method Methods 0.000 claims abstract description 64
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 238000011156 evaluation Methods 0.000 claims abstract description 33
- 230000004044 response Effects 0.000 claims abstract description 10
- 238000000926 separation method Methods 0.000 claims abstract description 8
- 230000000630 rising effect Effects 0.000 claims abstract description 7
- 230000012010 growth Effects 0.000 claims description 13
- 238000007621 cluster analysis Methods 0.000 claims description 7
- 230000001788 irregular Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 3
- 238000011002 quantification Methods 0.000 abstract description 3
- 238000012549 training Methods 0.000 abstract description 2
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 210000003746 feather Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013278 delphi method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000003698 anagen phase Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000010225 co-occurrence analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/067—Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q2250/00—Postage metering systems
- G06Q2250/90—Specialized function performed
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Entrepreneurship & Innovation (AREA)
- Finance (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Game Theory and Decision Science (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Educational Administration (AREA)
- Technology Law (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 미래에 과학기술 분야에서 중추적 역할을 수행할 잠재력을 지닌 핵심적인 연구영역에 대해 지식정보의 계량 방법을 활용하여 미래 기술 리스트를 생성하고, 전문가 설문의 후행 평가를 통해 정성적 방식으로 미래 기술 리스트와 미래 기술이 아닌 리스트로 분류하여, 계량적 지표를 설정해 신경망 알고리즘을 적용한 기술 분류기에 학습시킨 후, 사용자로부터 기술 분류기에 관심 기술을 입력받아 해당 관심 기술이 미래 기술로 가치가 있는지를 판단할 수 있도록 하는 미래 기술 가치 평가 시스템 및 방법에 관한 것이다.
본 발명의 실시예에 따른 미래기술 가치평가 시스템은, 미래기술 선별에 필요한 자료를 선정하고, 선정된 자료에 대해 피인용수(Ci) 및 공인용수(Cij)를 집계하며, 상기 자료의 피인용수 및 공인용수를 사용하여 유사도를 산출하고 자료 간의 관계를 도출해 그룹화하며, 상기 그룹화된 자료에 대해 자료를 공인용하는 자료수를 집계하고 각 자료를 인용하는 자료수에 대한 상승평균을 구해 규격화된 공인용 횟수를 산출하며, 상기 공인용하는 자료수 및 규격화된 공인용 횟수와 임계치를 각각 비교해 핵심자료와 리서치 프론트를 형성하며, 상기 리서치 프론트를 필터링하고 동시단어(co-word) 분석을 하여 미래 기술 리스트를 생성하는 미래기술 리스트 생성부; 상기 생성된 미래기술 리스트에 대해 해당 전문가에게 설문 형태로 제시하고 설문 응답을 수신하여 정성적 방식의 후행 평가를 통해 미래 기술 리스트와 미래기술 아닌 리스트로 분리하는 미래기술 분리부; 및 사용자로부터 계량적 지표를 설정받아, 이에 근거해 미래 기술 리스트와 미래기술 아닌 리스트를 신경망 알고리즘을 통해 학습하고, 사용자로부터 관심 기술을 입력받으면, 학습된 신경망 알고리즘을 통해 입력받은 관심 기술이 미래 기술에 해당하는지를 출력하는 기술 평가부를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 미래기술 가치평가 시스템은, 미래기술 선별에 필요한 자료를 선정하고, 선정된 자료에 대해 피인용수(Ci) 및 공인용수(Cij)를 집계하며, 상기 자료의 피인용수 및 공인용수를 사용하여 유사도를 산출하고 자료 간의 관계를 도출해 그룹화하며, 상기 그룹화된 자료에 대해 자료를 공인용하는 자료수를 집계하고 각 자료를 인용하는 자료수에 대한 상승평균을 구해 규격화된 공인용 횟수를 산출하며, 상기 공인용하는 자료수 및 규격화된 공인용 횟수와 임계치를 각각 비교해 핵심자료와 리서치 프론트를 형성하며, 상기 리서치 프론트를 필터링하고 동시단어(co-word) 분석을 하여 미래 기술 리스트를 생성하는 미래기술 리스트 생성부; 상기 생성된 미래기술 리스트에 대해 해당 전문가에게 설문 형태로 제시하고 설문 응답을 수신하여 정성적 방식의 후행 평가를 통해 미래 기술 리스트와 미래기술 아닌 리스트로 분리하는 미래기술 분리부; 및 사용자로부터 계량적 지표를 설정받아, 이에 근거해 미래 기술 리스트와 미래기술 아닌 리스트를 신경망 알고리즘을 통해 학습하고, 사용자로부터 관심 기술을 입력받으면, 학습된 신경망 알고리즘을 통해 입력받은 관심 기술이 미래 기술에 해당하는지를 출력하는 기술 평가부를 포함하는 것을 특징으로 한다.
Description
본 발명은 미래에 과학기술 분야에서 중추적 역할을 수행할 잠재력을 지닌 핵심적인 연구영역에 대해 지식정보의 계량 방법을 활용하여 미래 기술 리스트를 생성하고, 전문가 설문의 후행 평가를 통해 정성적 방식으로 미래 기술 리스트와 미래 기술이 아닌 리스트로 분류하여, 계량적 지표를 설정해 신경망 알고리즘을 적용한 기술 분류기에 학습시킨 후, 사용자로부터 기술 분류기에 관심 기술을 입력받아 해당 관심 기술이 미래 기술로 가치가 있는지를 판단할 수 있도록 하는 미래 기술 가치 평가 시스템 및 방법에 관한 것이다.
일반적으로 기술경쟁력 강화의 필수작업으로써 기술가치평가 및 패키지화 등의 작업이 추진되고 있다. 따라서, 이러한 작업이 실효성을 거두기 위해서는 기술가치 평가방법의 개발 및 체계적 기술가치 평가에 기반을 둔 보유기술 평가체계의 수립이 선행되어야 한다.
한편, 지식과 정보가 국가의 경쟁력을 좌우하고 있는 지식기반 산업사회는 국가의 과학기술에 대한 경쟁력을 국가 경쟁력의 원천으로 인식하고 있다. 이에, 세계 각 나라들이 미래의 경쟁에서 살아남기 위한 핵심기술 및 연구과제를 도출하고 선정하여 집중적인 연구개발을 추진해 나가고 있다.
이에 따라 정보를 통해 연구동향을 파악하고, 이를 통해 기업 간 경쟁력을 확보하며, 연구개발 방향을 대세에 맞추어 설정하여 미래의 도전에 대비해야 한다.
그런데, 정보 이용자가 모든 정보 출처에서 개인의 지식과 경험을 토대로 정보를 입수하고 분석하는 전통적인 정보 분석 방법은 전문가의 시간이 과다로 소요되고, 전문가의 관점에 따라 편향된 정보수집과 분석 진행 등의 단점을 내포하고 있다.
또한, 정보를 수집하여 분석할 때 미래에 국가의 과학기술을 주도할 유망한 연구영역을 찾아낼 수 있는 방법은 수동적인 방식에 머무르고 있으며, 연구하고자 하는 해당 관심 기술이 미래 기술로 가치가 있는지를 판단할 수 있는 장치나 시스템 등이 아직 개발되지 않은 상태에 있다.
전술한 단점을 해결하기 위한 본 발명의 목적은, 미래에 과학기술 분야에서 중추적 역할을 수행할 잠재력을 지닌 핵심적인 연구영역에 대해 지식정보의 계량 방법을 활용하여 미래 기술 리스트를 생성하고, 전문가 설문의 후행 평가를 통해 정성적 방식으로 미래 기술 리스트와 미래 기술이 아닌 리스트로 분류하여, 계량적 지표를 설정해 신경망 알고리즘을 적용한 기술 분류기에 학습시킨 후, 사용자로부터 기술 분류기에 관심 기술을 입력받아 해당 관심 기술이 미래 기술로 가치가 있는지를 판단할 수 있도록 하는 미래 기술 가치 평가 시스템 및 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 미래기술 선별에 필요한 자료를 선정하고, 선정된 자료에 대해 피인용수(Ci) 및 공인용수(Cij)를 집계하며, 상기 자료의 피인용수 및 공인용수를 사용하여 유사도를 산출하고 자료 간의 관계를 도출해 그룹화하며, 상기 그룹화된 자료에 대해 자료를 공인용하는 자료수를 집계하고 각 자료를 인용하는 자료수에 대한 상승평균을 구해 규격화된 공인용 횟수를 산출하며, 상기 공인용하는 자료수 및 규격화된 공인용 횟수와 임계치를 각각 비교해 핵심자료와 리서치 프론트를 형성하며, 상기 리서치 프론트를 필터링하고 동시단어(co-word) 분석을 하여 미래 기술 리스트를 생성하는 미래기술 리스트 생성부; 상기 생성된 미래기술 리스트에 대해 해당 전문가에게 설문 형태로 제시하고 설문 응답을 수신하여 정성적 방식의 후행 평가를 통해 미래 기술 리스트와 미래기술 아닌 리스트로 분리하는 미래기술 분리부; 및 사용자로부터 계량적 지표를 설정받아, 이에 근거해 미래 기술 리스트와 미래기술 아닌 리스트를 신경망 알고리즘을 통해 학습하고, 사용자로부터 관심 기술을 입력받으면, 학습된 신경망 알고리즘을 통해 입력받은 관심 기술이 미래 기술에 해당하는지를 출력하는 기술 평가부를 포함하는 미래기술 가치평가 시스템이 제공된다.
여기서, 상기 미래기술 리스트 생성부는, 상기 미래기술 선별에 필요한 자료를 특허활용통합지수(UPI:Unified Patent Index)를 이용해 선정할 수 있다.
또한, 상기 특허활용통합지수는, 피인용지수(CCR:Core Citation Report)와 특허기술 타인용 빈도지수(CFI:Cited Frequency Index)로 이루어진다.
또한, 상기 피인용지수(CCR)는 특정주체의 특정 기술분야의 피인용수를 해당 연구주체의 특정 기술분야의 특허건수로 나누어 산출할 수 있다.
또한, 상기 미래기술 리스트 생성부는, 상기 자료의 피인용수 및 공인용수를 사용하여 자카드 계수(Jaccard coefficient, Jij) 또는 코사인 계수(Salton's normalization of co-citation, Sij)를 통해 유사도를 산출하고, 상기 자카드 계수 또는 코사인 계수를 사용하여 클러스터 분석(cluster analysis) 또는 다차원 척도법(multi dimensional scaling, MDS)에 의해 상기 자료 간의 관계를 도출해 그룹화 할 수 있다.
또한, 상기 미래기술 리스트 생성부는, 상기 리서치 프론트의 미래기술의 성장곡선식을 입력받아, 상기 리서치 프론트의 시계열 데이터의 불규칙 변동을 제거하기 위한 이동평균을 산출하고, 상기 리서치 프론트의 2차 차분값이 양수인 리서치 프론트를 추출하여 필터링할 수 있다.
또한, 상기 미래기술 리스트 생성부는, 상기 동시단어 분석에 대해, 상기 필터링된 리서치 프론트에 포함된 자료집합에서 제1단어(Mi)가 포함되어 있는 전체 자료수 및 제1단어(Mi)와 제2단어(Mj)를 모두 포함하는 자료의 수를 이용하여 포함지표, 근접 지표, 자카드 지표 또는 동등성 지표를 산출하고, 상기 포함지표, 근접 지표, 자카드 지표 또는 동등성 지표를 사용하여 동시단어 분석을 수행할 수 있다.
또한, 상기 미래기술 리스트 생성부는, 핵심자료의 저자 키워드와 키워드 플러스를 포함하는 두 가지 키워드를 활용하여 상기 동시단어 분석을 수행할 수 있다.
또한, 상기 기술 평가부는, 사용자로부터 특허수, 논문수, 증가율, 기술수명, 이행적 폐쇄 트리(Transitive Closure Tree)를 포함하는 계량적 지표를 설정받아, 이에 근거해 미래 기술 리스트와 미래기술 아닌 리스트를 신경망 알고리즘을 통해 학습할 수 있다.
그리고, 상기 기술 평가부는, 상기 자료의 피인용수 및 공인용수에 대한 임계치를 사용자로부터 입력받아 상기 자료의 피인용수 및 공인용수와 임계치를 비교해 임계치 미만의 자료는 제외시킬 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, (a) 미래기술 선별에 필요한 자료를 선정하고, 선정된 자료에 대해 피인용수(Ci) 및 공인용수(Cij)를 집계하여, 상기 자료의 피인용수 및 공인용수를 사용하여 유사도를 산출하고 자료 간의 관계를 도출해 그룹화하는 단계; (b) 상기 그룹화된 자료에 대해 자료를 공인용하는 자료수를 집계하고 각 자료를 인용하는 자료수에 대한 상승평균을 구해 규격화된 공인용 횟수를 산출하며, 상기 공인용하는 자료수 및 규격화된 공인용 횟수를 임계치와 각각 비교해 핵심자료와 리서치 프론트를 형성하는 단계; (c) 상기 리서치 프론트를 필터링하고 동시단어(co-word) 분석을 하여 미래 기술 리스트를 생성하는 단계; (d) 상기 생성된 미래기술 리스트에 대해 해당 전문가에게 설문 형태로 제시하고 설문 응답을 수신하여 정성적 방식의 후행 평가를 통해 미래 기술 리스트와 미래기술 아닌 리스트로 분리하는 단계; 및 (e) 상기 미래 기술 리스트와 미래기술 아닌 리스트를 계량적 지표에 근거해 신경망 알고리즘을 통해 학습하고, 사용자로부터 관심 기술을 입력받으면, 학습된 신경망 알고리즘을 통해 입력받은 관심 기술이 미래 기술에 해당하는지를 출력하는 단계를 포함하는 미래기술 가치평가 방법이 제공된다.
또한, 상기 (a) 단계는, 상기 미래기술 선별에 필요한 자료를 특허활용통합지수(UPI:Unified Patent Index)를 이용해 선정할 수 있다.
또한, 상기 특허활용통합지수는, 피인용지수(CCR:Core Citation Report)와 특허기술 타인용 빈도지수(CFI:Cited Frequency Index)로 이루어진다.
또한, 상기 피인용지수(CCR)는 특정주체의 특정 기술분야의 피인용수를 해당 연구주체의 특정 기술분야의 특허건수로 나누어 산출할 수 있다.
또한, 상기 (a) 단계는, 상기 자료의 피인용수 및 공인용수에 대한 임계치를 입력받아, 상기 자료의 피인용수 및 공인용수와 임계치를 비교해 임계치 미만의 자료는 제외시킬 수 있다.
또한, 상기 (a) 단계는, 상기 자료의 피인용수 및 공인용수를 사용하여 자카드 계수(Jaccard coefficient, Jij) 또는 코사인 계수(Salton's normalization of co-citation, Sij)를 통해 유사도를 산출하고, 상기 자카드 계수 또는 코사인 계수를 사용하여 클러스터 분석(cluster analysis) 또는 다차원 척도법(multi dimensional scaling, MDS)에 의해 상기 자료 간의 관계를 도출해 그룹화 할 수 있다.
또한, 상기 (b) 단계는, 사용자로부터 상기 공인용하는 자료수 및 규격화된 공인용 횟수에 대한 임계치를 입력받아, 상기 공인용하는 자료수 및 규격화된 공인용 횟수와 임계치를 각각 비교해 핵심자료와 리서치 프론트를 형성할 수 있다.
또한, 상기 (c) 단계는, 상기 리서치 프론트의 미래기술의 성장곡선식을 입력받아, 상기 리서치 프론트의 시계열 데이터의 불규칙 변동을 제거하기 위한 이동평균을 산출하고, 상기 리서치 프론트의 2차 차분값이 양수인 리서치 프론트를 추출하여 필터링할 수 있다.
또한, 상기 (c) 단계는, 상기 필터링된 리서치 프론트에 포함된 자료집합에서 제1단어(Mi)가 포함되어 있는 전체 자료수 및 제1단어(Mi)와 제2단어(Mj)를 모두 포함하는 자료의 수를 이용하여 포함지표, 근접 지표, 자카드 지표 또는 동등성 지표를 산출하고, 상기 포함지표, 근접 지표, 자카드 지표 또는 동등성 지표를 사용하여 동시단어 분석을 수행할 수 있다.
또한, 상기 (c) 단계는, 핵심자료의 저자 키워드와 키워드 플러스를 포함하는 두 가지 키워드를 활용하여 상기 동시단어 분석을 수행할 수 있다.
그리고, 상기 (e) 단계는, 사용자로부터 특허수, 논문수, 증가율, 기술수명, 이행적 폐쇄 트리(Transitive Closure Tree)를 포함하는 계량적 지표를 설정받아, 이에 근거해 미래 기술 리스트와 미래기술 아닌 리스트를 신경망 알고리즘을 통해 학습할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, 본 발명의 실시예에 따른 미래기술 가치평가 방법을 수행하기 위한 프로그램을 CD나 USB 매체 등 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다.
본 발명에 의하면, 개발하고자 하는 관심 기술에 대해, 해당 관심 기술에 해당하는 특허나 논문 등의 대량 자료를 계량 분석을 통해 미래기술 리스트로 설정하고, 해당 전문가들의 설문 답변을 통해 미래기술과 아닌 기술로 구분하여 신경망 알고리즘을 통해 학습시킨 후, 해당 관심 기술을 입력받아 신경망 알고리즘을 통해 미래기술로 가치있는지를 확인할 수 있게 됨으로써, 개발하고자 하는 관심 기술의 미래 가치를 평가할 수 있다. 따라서, 관심 기술에 대한 미래적 가치를 전문가에게 의뢰하지 않아도 본 발명의 실시예에 따른 시스템과 방법을 통해 후행 평가와 신경망을 활용해 용이하게 확인할 수 있다.
도 1은 본 발명의 실시예에 따른 미래기술 가치평가 시스템의 기능 블럭을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 미래기술 가치평가 방법을 설명하기 위한 동작 흐름도이다.
도 3은 2차 클러스터링 수행시 사용하는 기술 수명 주기에 대한 개념도이다.
도 4는 본 발명의 실시예에 따라 신경망 알고리즘을 통해 미래기술과 미래기술 아닌 기술을 학습시키는 예를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 미래기술 가치평가 방법을 설명하기 위한 동작 흐름도이다.
도 3은 2차 클러스터링 수행시 사용하는 기술 수명 주기에 대한 개념도이다.
도 4는 본 발명의 실시예에 따라 신경망 알고리즘을 통해 미래기술과 미래기술 아닌 기술을 학습시키는 예를 나타낸 도면이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 미래기술 가치평가 시스템의 기능 블럭을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 미래기술 가치평가 시스템(100)은, 미래기술 리스트 생성부(110), 미래기술 분리부(120), 기술 평가부(130) 및 출력부(140) 등을 포함한다.
미래기술 리스트 생성부(110)는 미래기술 선별에 필요한 자료를 선정하고, 선정된 자료에 대해 피인용수(Ci) 및 공인용수(Cij)를 집계하며, 자료의 피인용수 및 공인용수를 사용하여 유사도를 산출하고 자료 간의 관계를 도출해 그룹화하며, 그룹화된 자료에 대해 자료를 공인용하는 자료수를 집계하고 각 자료를 인용하는 자료수에 대한 상승평균을 구해 규격화된 공인용 횟수를 산출하며, 공인용하는 자료수 및 규격화된 공인용 횟수와 임계치를 각각 비교해 핵심자료와 리서치 프론트를 형성하며, 리서치 프론트를 필터링하고 동시단어(co-word) 분석을 하여 미래 기술 리스트를 생성한다.
여기서, 미래기술 리스트 생성부(110)는 예를 들면, 문헌 데이터베이스와 특허 데이터베이스를 포함해 미래기술 선별에 필요한 데이터베이스를 통해 해당 자료를 선정한다.
또한, 미래기술 리스트 생성부(110)는 미래기술 선별에 필요한 자료를 특허활용통합지수(UPI:Unified Patent Index)를 이용해 선정할 수 있다. 이때, 특허활용통합지수(UPI)는, 다음 수학식1과 같이 피인용지수(CCR:Core Citation Report)와 특허기술 타인용 빈도지수(CFI:Cited Frequency Index)를 더하여 얻을 수 있다.
수학식1에서, 피인용지수(CCR)는 다음 수학식2와 같이 특정주체의 특정 기술분야의 피인용수를 해당 연구주체의 특정 기술분야의 특허건수로 나누어 산출할 수 있다.
또한, 미래기술 리스트 생성부(110)는 자료의 피인용수 및 공인용수를 사용하여 자카드 계수(Jaccard coefficient, Jij) 또는 코사인 계수(Salton's normalization of co-citation, Sij)를 통해 유사도를 산출하고, 자카드 계수 또는 코사인 계수를 사용하여 클러스터 분석(cluster analysis) 또는 다차원 척도법(multi dimensional scaling, MDS)에 의해 자료 간의 관계를 도출해 그룹화 할 수 있다.
또한, 미래기술 리스트 생성부(110)는 리서치 프론트의 미래기술의 성장곡선식을 사용자로부터 입력받아, 리서치 프론트의 시계열 데이터의 불규칙 변동을 제거하기 위한 이동평균을 산출하고, 리서치 프론트의 2차 차분값이 양수인 리서치 프론트를 추출하여 필터링할 수 있다.
또한, 미래기술 리스트 생성부(110)는 동시단어 분석에 대해, 필터링된 리서치 프론트에 포함된 자료집합에서 제1단어(Mi)가 포함되어 있는 전체 자료수 및 제1단어(Mi)와 제2단어(Mj)를 모두 포함하는 자료의 수를 이용하여 포함지표(inclusion index), 근접 지표(proximity index), 자카드 지표(Jaccard index) 또는 동등성 지표(equivalence index)를 산출하고, 포함지표, 근접 지표, 자카드 지표 또는 동등성 지표를 사용하여 동시단어 분석을 수행할 수 있다.
또한, 미래기술 리스트 생성부(110)는, 핵심자료의 저자 키워드와 키워드 플러스를 포함하는 두 가지 키워드를 활용하여 동시단어 분석을 수행할 수 있다.
미래기술 분리부(120)는 생성된 미래기술 리스트에 대해 해당 전문가에게 설문 형태로 제시하고 설문 응답을 수신하여 정성적 방식의 후행 평가를 통해 미래 기술 리스트와 미래기술 아닌 리스트로 분리한다.
기술 평가부(130)는 사용자로부터 계량적 지표를 설정받아, 이에 근거해 미래 기술 리스트와 미래기술 아닌 리스트를 신경망 알고리즘을 통해 학습하고, 사용자로부터 관심 기술을 입력받으면, 학습된 신경망 알고리즘을 통해 입력받은 관심 기술이 미래 기술에 해당하는지를 출력한다.
이때, 기술 평가부(130)는, 사용자로부터 특허수, 논문수, 증가율, 기술수명, 이행적 폐쇄 트리(Transitive Closure Tree)를 포함하는 계량적 지표를 설정받아, 이에 근거해 미래 기술 리스트와 미래기술 아닌 리스트를 신경망 알고리즘을 통해 학습할 수 있다.
또한, 기술 평가부(130)는, 자료의 피인용수 및 공인용수에 대한 임계치를 사용자로부터 입력받아 상기 자료의 피인용수 및 공인용수와 임계치를 비교해 임계치 미만의 자료는 제외시킬 수 있다.
또한, 출력부(140)는 관심 기술이 미래기술에 해당하는지를 화면이나 음성 등으로 출력한다. 그리고, 도 1에 도시하지는 않았지만 데이터를 저장하기 위한 저장부 등을 더 포함할 수 있다.
도 2는 본 발명의 실시예에 따른 미래기술 가치평가 방법을 설명하기 위한 동작 흐름도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 미래기술 가치평가 시스템(100)은, 미래기술 선별에 필요한 자료를 선정하고, 선정된 자료에 대해 피인용수(Ci) 및 공인용수(Cij)를 집계하여, 자료의 피인용수 및 공인용수를 사용하여 유사도를 산출하고 자료 간의 관계를 도출해 그룹화한다(S210).
여기서, 미래기술 가치평가 시스템(100)은, 선정한 데이터베이스가 문헌 데이터베이스이면 고인용 선정에 의한 미래기술의 자료 선별을 수행하고, 선정한 데이터베이스가 특허 데이터베이스이면 특허활용통합지수(UPI)에 의한 미래기술의 자료 선별을 수행한다.
일반적 관점으로 논문에 있어서 인용이라는 것은 그 논문의 권위를 나타낸다. 따라서 피인용 회수가 많은 논문은 그 분야에서 학문적 권위를 인정받은 것이며, 더불어 해당분야 연구자가 많은 것을 의미한다. 만일 연도별 분야별로 피인용수를 나누어 고려한다면 그 해, 혹은 최근에 연구가 활발한 분야를 찾을 수 있다. 인용수가 보통보다 아주 많은 경우를 고인용논문(HCP:High Citation Paper)이라고 하며, 미국 Thomson ISI사에서는 분야별 연도별로 상위 1%에 해당하는 고인용논문에 대해 정보분석을 수행하고 있다.
특허활용통합지수(UPI)는, 수학식1과 같이 피인용지수(CCR:Core Citation Report)와 특허기술 타인용 빈도지수(CFI:Cited Frequency Index)로 이루어진다.
기존의 CII(Current Impact Index)는 특정 기관이나 국가가 다른 기관이나 국가에 비해 상대적으로 어느 정도 영향력을 갖는지를 평가하는 분석정보이다. 그러나 CII는 특정 국가나 기관의 기술력을 측정하는 주요 지수로써 활용될 수 있으나, 개별 출원인이나 개별 기관에서 등록한 단위특허에 대한 분석정보는 제공하지 않고 있다.
따라서, 특정 특허의 피인용지수(Core Citation Report, CCR)를 확인함으로써 전체 특허의 조사에 투입되는 시간과 경비를 절감할 수 있기 때문에, 정보의 과잉제공이라는 측면에서 특정 기관이나 국가에서 발행하는 전체 특허 가운데 주제별 중심저자(core author)와 중심 특허(core patent)를 선정하는 것도 매우 중요하다.
피인용지수(CCR)는 수학식2와 같이 '특정주체의 특정 기술분야의 피인용수'를 '해당 연구주체의 특정 기술분야의 특허건수'로 나누어 산출할 수 있다.
예를 들면, 특정 특허가 다음 표1과 같이 해당 주제별 인용횟수를 갖고 있다면, 이 특허의 피인용 지수는 0.1이다. 1에 가까울수록 해당 특허는 해당 주제영역내에 핵심 기술로 간주한다. 다음 표1은 특허활용통합지수에 의한 미래기술의 자료 선별시 피인용지수와 특허활용통합지수의 산정예를 보인 표이다.
| 지수 종류 | 예(Example) |
| 피인용지수 (CCR) |
A 41 G (생활용품으로써 의류 중 조화; 가발; 마스크; 우모)에서 2005년 현재 100건의 특허가 출원되었으며, 특정 특허 '갑'의 피인용횟수가 10회이다. |
| 특허활용통합지수 (UPI) |
A 41 G (생활용품으로써 의류 중 조화; 가발; 마스크; 우모)에서 특허 '갑'의 피인용지수는 0.8이며, A 41(의류)에서 6개의 서브클래스에서 인용되었다. |
표 1에서 피인용지수(CCR)의 예는 "A 41 G(생활용품으로써 의류 중 조화; 가발; 마스크; 우모)에서 2005년 현재 100건의 특허가 출원되었으며, 특정 특허 '갑'의 피인용횟수가 10회이다" 이다.
이러한 피인용지수(CCR) 지수의 산출은 특정 주제에 대한 IPC의 분류체계를 이용한다. 즉 지수 산출자의 편의에 따라 클래스나 서브클래스 혹은 그 하위 그룹 등과 같은 체계를 이용하여 분석대상(A 41 G)을 설정하고 , 특정 주제내에 해당 특허의 피인용지수를 산출할 수 있다.
한편 모든 특허 정보는 그 발명의 주제영역에 적합한 IPC 분류체계에 따라 분류기호가 부여된다. 따라서 하나의 특허가 특정 IPC 분류계층(예 : 서브 클래스)에서 몇 개의 타영역에서 인용되었는지를 나타내는 계층별 특허기술 타인용 빈도지수(Cited Frequency Index, CFI)와 개발된 기술들을 얼마나 확산되어 활용되는가(피인용지수, CCR)를 함께 고려한다. 즉 이 두 개의 지수를 합하여 고려함으로써, 수학식1과 같이 해당 특허의 중요도를 측정하는 특허활용통합지수(Unified Patent Index, UPI)를 획득한다. 이 지수는 소수점을 기준으로 앞의 숫자는 특허기술 타인용 빈도를 나타내며, 뒤의 숫자는 피인용지수를 나타낸다.
표1에서 특허활용통합지수(UPI)의 예는 "A 41 G(생활용품으로써 의류중 조화;가발;마스크;우모)에서 특허 '갑'의 피인용지수는 0.8이며, A 41(의류)에서 6개의 서브클래스에서 인용되었다" 이다. 예를 들면, 특정 특허가 표1에서와 같은 인용 패턴을 갖고 있다면, 이 특허활용통합지수는 6.8이다. 이는 6개의 서브클래스 영역에서 이 특허가 활용되었으며, 해당 서브클래스에서 피인용지수는 0.8로써 활용성이 상대적으로 높은 것으로 추정된다.
또한, 미래기술 가치평가 시스템(100)은, 선정된 자료의 피인용수 및 공인용수에 대한 임계치(threshold)를 사용자로부터 입력받아, 해당 자료의 피인용수 및 공인용수와 임계치를 비교해 임계치 미만의 자료는 제외시킬 수 있다.
예를 들면, 분석 대상이 논문집합(
=[x1, x2, …, xi, …xn])일 경우, 거기에 포함되는 논문의 피인용수와 공인용수를 집계하는데, 피인용수는 
에 속하는 논문이 각각 인용된 회수이며 Ci로 표시하고, 공인용수는 
에 속하는 서로 다른 2편의 논문이 동일한 논문에 인용된 회수이고 Cij로 표시하기로 한다. 각 Ci가 임계치를 넘는가를 확인하고, 피인용수가 적은(Ci가 0에 가까운) 논문을 포함하여 공인용 분석을 하게 되면 그 논문 주위에서는 타당한 결과를 얻을 수 없는 가능성이 높다. 분석의 목적이나 분석대상이 되는 분야에 따라 다르지만 최소한 Ci에 5~10 정도의 임계치를 설정할 필요가 있으며 그것을 넘지 못한 경우에는 당연히 분석대상에서 제외할 필요가 있다. 마찬가지로 Cij에 대해서도 임계치의 확인이 필요하다. 만일 
에 대해 Cij가 임계치 미만인 경우에는 대응하는 xi를 분석대상에서 제외하여야 한다. 왜냐하면 
내의 다른 모든 논문과 관계가 약한 논문을 분석에 더하게 되면 결과의 타당성을 훼손할 위험이 있기 때문이다.
또한, 미래기술 가치평가 시스템(100)은, 자료의 피인용수 및 공인용수를 사용하여 자카드 계수(Jaccard coefficient, Jij) 또는 코사인 계수(Salton's normalization of co-citation, Sij)를 통해 유사도를 산출하고, 자카드 계수 또는 코사인 계수를 사용하여 클러스터 분석(cluster analysis) 또는 다차원 척도법(multi dimensional scaling, MDS)에 의해 자료 간의 관계를 도출해 그룹화 할 수 있다.
즉, 미래기술 리스트 생성부(110)는 Ci와 Cij를 사용하여 대상자료 간의 유사도(similarity)를 결정한다. 유사도 선택에서 중요한 것은 그것이 정규화 된 유사도인지 여부를 확인하는 것이다. 예를 들면, 인용 분석에서 사용되는 일은 많지 않지만, 포함지표와 같이 정규화 되어 있지 않은 지표를 사용하게 되면 피인용수가 많은 논문은 그 이외의 모든 논문과의 사이에서 유사도가 높아지는 경향이 있다. 따라서 그런 지표는 피인용수가 많은 논문과 그 밖의 논문의 관계를 분석하기에는 적절하지만 피인용수가 그 정도로 많지 않은 논문 간의 관계를 보고 싶은 경우에는 적당하지 않을 것이다. 또한 공인용 분석에서는 다음 수학식3과 같은 자카드 계수(Jaccard coefficient)와 수학식4와 같은 코사인 계수(Salton's normalization of co-citation)의 유사도 계산식이 비교적 자주 사용되며, 양자 모두 정규화 된 유사도이다.
미래기술 리스트 생성부(110)는 Jij나 Sij와 같은 유사도를 사용하여 자료 간의 관계를 도출할 수 있다. 구체적으로는 클러스터 분석(cluster analysis)이나 다차원 척도법(multi dimensional scaling, MDS) 등을 적용하여 자료를 그룹화 함과 동시에 그룹(또는 논문) 간의 관계를 가시화 할 수 있다. 이 작업에 의해 자료 그룹이나 논문 자신이 분야에서 차지하는 위치나 다른 클러스터와의 관계 등을 명확히 할 수 있다.
서지결합법(bibliographic coupling analysis)은 source document를 이어주는 것임에 비해 공인용은 피인용 문헌을 이어주는 개념이다. 또한 서지결합분석에서는 인용대상을 공유하는 논문이 유사하다고 하여 클러스터를 형성하는 것에 비해 공인용 분석에서는 제3의 논문에 동시에 인용된 논문 즉 인용주체를 공유하는 논문이 유사성에 기초해 클러스터를 형성한다.
또한 공인용분석에서는 출판 직후의 분석이 불가능한 것에 비해 서지결합분석에서는 이것이 가능하다. 따라서 서지결합분석에 의해 속보가능성이 향상된다.
이러한 속보가능성 이외에도 서지결합분석에 의해 명확해지는 논문간의 구조는 공인용 분석에 비해 안정적이다. 즉, 한번 이루어진 서지결합분석의 분석결과는 추가적으로 관련되는 논문이 출판되더라도 변경되지 않으나, 공인용 분석의 경우 극단적으로 말해서 새로운 논문이 출판될 때마다 도출되는 구조는 변화할 수 있게 된다.
이어, 미래기술 가치평가 시스템(100)은, 그룹화된 자료에 대해 자료를 공인용하는 자료수를 집계하고 각 자료를 인용하는 자료수에 대한 상승평균을 구해 규격화된 공인용 횟수를 산출하며, 공인용하는 자료수 및 규격화된 공인용 횟수를 임계치와 각각 비교해 핵심자료와 리서치 프론트를 형성한다(S220).
이때, 미래기술 가치평가 시스템(100)은, 사용자로부터 공인용하는 자료수 및 규격화된 공인용 횟수에 대한 임계치를 입력받아, 공인용하는 자료수 및 규격화된 공인용 횟수와 임계치를 각각 비교해 핵심자료와 리서치 프론트를 형성할 수 있다.
일정 연구영역에서 연구자 간에는 논문 인용의 형식으로 빈번한 정보교환이 이루어지며, 연구영역에서 이러한 논문 인용 경향을 파악하게 되면 그 연구영역이 어떻게 구축되었고, 다른 영역과 어떠한 관계를 가지는가를 조감적으로 파악 할 수 있고, 또한 그 영역을 구성하는 중추적인 논문이 파악됨으로써 전체적인 연구영역의 동향을 알 수 있다.
리서치 프론트는 복수의 논문이 동시에 하나의 논문에서 인용되는, 앞서 설명한 공인용(Co-citation) 관계로 묶인 일정크기 이상의 연구영역을 나타낸다. 공인용 되는 논문은 내용에 있어 일정한 공통점이 있는 것으로 생각되고, 이들을 그룹화 함으로써 연구내용에 공통성이 있는 논문들의 집합이 얻어진다. 리서치 프론트는 공인용수가 어느 임계치를 초과하는 단계에서부터 형성되기 시작하는데, 다음의 수학식 5 및 수학식 6과 같은 2개의 값을 사용한다.
여기서 NAB는 논문 A와 B를 공인용하는 논문수이고, NA 와 NB는 각각이 논문 A, B를 인용하는 논문 수이며, Nnorm은 규격화된 공인용 회수이다. 그리고 수학식 6은 논문A를 인용한 논문 NA 가운데, 논문 A와 B를 공인용하는 논문NAB가 차지하는 비율과 논문B를 인용하는 논문NB 가운데 논문 A와 B를 공인용하는 논문NAB가 차지하는 비율의 상승평균을 의미한다.
예를 들면 간단하게 NA=NB인 경우, 논문A를 인용하는 논문의 30%가 논문B를 공인용하고 있다면, 논문 A, B는 리서치 프론트를 형성하는 것이 된다. 여기서 리서치 프론트를 형성하는 논문 A, B를 핵심논문(CP)이라고 부르며, 해당하는 리서치 프론트의 진전에 따라 공인용으로 묶이는 논문 수는 증가하고, 핵심논문수도 증가하게 된다. ESI(Essential Science Indicators)의 리서치 프론트는 2개월마다 수시로 경신됨에 따라 핵심 논문 수는 증감을 하게 되며, 리서치 프론트가 소멸 또는 분할하는 경우도 있게 된다.
그래서 리서치 프론트는 고유의 번호체계(ID)를 가지며, 리서치 프론트 키워드를 형성하고, 핵심 논문수(연도별 핵심 논문수 포함), 핵심논문 평균출판연도, 핵심논문 피인용수(연도별 핵심논문 피인용수 포함) 등의 정보를 포함한다.
이어, 미래기술 가치평가 시스템(100)은, 리서치 프론트를 필터링하고 동시단어(co-word) 분석을 하여 미래 기술 리스트를 생성한다(S230).
이때, 미래기술 가치평가 시스템(100)은, 리서치 프론트의 미래기술의 성장곡선식을 입력받아, 리서치 프론트의 시계열 데이터의 불규칙 변동을 제거하기 위한 이동평균을 산출하고, 리서치 프론트의 2차 차분값이 양수인 리서치 프론트를 추출하여 필터링할 수 있다.
본 발명에 도입된 통계적 방법은 연구영역의 수명주기를 기술수명주기와 같이 태동기, 도약기, 성장기, 성숙기의 4단계를 거치며, 누적인용횟수가 성장곡선에 근사할 것이라는 가정을 전제로 한다. 여기에서 본 발명의 관심인 미래기술이란 가까운 장래에 연구개발이 활발히 진행되리라고 판단되는 영역으로서 연구영역의 수명주기로는 태동기와 도약기에 속하는 연구영역으로 판단한다. 그러나 전체의 수명주기를 알지 못하는 상태에서 현재까지의 상황만으로 수명주기를 판단하는 한계성을 지닌다. 여기에서는 일반적인 형태의 성장곡선을 이용하며, 이용된 로지스틱 함수는 다음의 수학식 7과 같다.
도 3은 2차 클러스터링 수행시 사용하는 기술 수명 주기에 대한 개념도이다.
연구(기술)의 수명주기에 있어서 태동기와 도약기는 누적인용수가 증가하고, 누적인용수의 기울기도 증가하며, 성장기와 성숙기는 누적인용수는 증가하지만 누적인용수의 기울기는 감소한다. 즉, 누적인용수의 기울기는 1차 차분(
)으로 측정되고, 기울기의 증가 혹은 감소 여부는 2차 차분(
)으로 측정된다. 2차 차분이 (+)이면 기울기가 증가하는 과정이므로 태동기와 도약기의 상태이며, 2차 차분이 (-)이면 기울기가 감소하는 과정이므로 성장기와 성숙기에 해당되는 것으로 판단한다.
위와 같은 이론적인 결과를 현실 시계열 데이터에 적용하기 위하여 현실 시계열 데이터에 내포된 불규칙변동을 제거해야 하며 이를 위하여 3기 이동평균을 실시한다.
상기와 같은 알고리즘에 의해 2차 차분값이 (+)인 2,929개의 리서치 프론트와 2004년 및 2005년에 논문 인용이 시작되어 리서치 프론트에 속한 핵심논문의 평균출판연도가 2004년에 해당함으로써 판단이 불가능한 585개의 최신 리서치프론트를 합쳐 이후 동시단어분석을 실시한다.
따라서, 미래기술 가치평가 시스템(100)은, 필터링된 리서치 프론트에 포함된 자료집합에서 제1단어(Mi)가 포함되어 있는 전체 자료수 및 제1단어(Mi)와 제2단어(Mj)를 모두 포함하는 자료의 수를 이용하여 포함지표, 근접 지표, 자카드 지표 또는 동등성 지표를 산출하고, 포함지표, 근접 지표, 자카드 지표 또는 동등성 지표를 사용하여 동시단어 분석을 수행할 수 있다. 또한, 미래기술 가치평가 시스템(100)은, 핵심자료의 저자 키워드와 키워드 플러스를 포함하는 두 가지 키워드를 활용하여 동시단어 분석을 수행할 수 있다.
단어의 유사성 분석은 단어를 사용하고는 있으나 어디까지나 분석의 단위는 논문이며 논문 간의 관계를 정량적으로 표시하는 것이다. 이에 대해 논문 내에 기재되어 있는 복수의 단어 그 자체 간의 관계를 분석함으로써 연구내용을 구조화 하고자 하는 경우가 있는데 이를 동시단어분석(co-word analysis)이라 한다.
동시단어분석은 2개의 단어가 동일한 논문에 함께 출현하는 '단어의 동시출현 현상' 빈도에서 단어 간의 관계를 분석한다. 이는 분석 수순으로는 공인용 분석에서 2개의 문헌이 동일한 논문의 인용문헌 목록에 함께 출현한 빈도로부터 문헌(논문) 간의 관계를 분석한 수순과 다르지 않다.
동시단어분석은 인용 분석과는 다르게 분석대상이 논문에만 한정되지 않고 보고서, 특허, 연구자금 신청서, 신문, 정부의 답신, 인터넷상의 홈페이지 등 여러 가지 문서를 대상으로 삼을 수 있다는 것이다. 게다가 이러한 문서에 나타나는 단어는 물질이나 연구방법의 명칭 뿐 아니라 장치, 사람, 연구기관이나 자금배분기관의 명칭, 경제/정치/생활에 관한 단어일 경우도 포함될 수 있는 점이다. 이러한 동시단어분석에서는 과학기술을 넘어 여러 다양한 단어간의 동시출현을 분석할 수 있으며 사회/경제적인 과제와 연구개발과제 간의 등치관계를 나타내는 것도 가능하다.
논문에서 단어의 동시출현회수를 계측하기 위해서 본문을 분석대상으로 하는 경우도 있으나 요지나 제목만을 분석대상으로 삼는 경우가 많으며. 본문도 전자화 되어 있다면 기계적인 분석을 할 수 있지만 처리해야 할 데이터 량이 많아지기 때문에 요지 등에 한정하여 분석하게 된다.
더 간편한 분석으로 각 논문에 첨부되어 있는 키워드를 사용하는 방법도 있다. 키워드는 당해 분야의 연구내용을 대표하는 전문용어이므로 분석하기 쉽다는 장점이 있는 반면, 한 논문에 첨부되는 키워드의 수는 소수이기 때문에 동시출현을 분석하기에 충분치 않은 경우도 많다. 키워드에는 저자가 스스로 설정한 것과 데이터베이스 작성회사 등 제3자가 첨부한 것도 있다. 후자의 경우는 통제어(Controlled Vocabulary)일 경우가 많으며 저자에 따라 단어의 사용방법이 다른 문제를 해결할 수 있는 반면, 키워드를 부여하는 제3자의 의향이 반영되어 버린다거나 새로운 단어가 통제어로서 사용되기까지는 시간이 걸린다는 문제점도 지적된다. 이와 같이 각 방법에는 장점과 단점이 있으며 분석대상에 몇 가지 방법을 시행해 보고 그때마다 적절한 것을 판단할 필요가 있다.
요지나 본문을 대상으로 분석하는 경우 우선 몇 개의 기술적인 처리가 필요하다. 즉 당해 분야에 특징적이지 않은 일반 단어의 제거, 복수의 단어가 합쳐져서 의미를 갖게 되는 단어의 선별, 복수형이나 활용 등 단어의 변화형의 통합 등이다. 이러한 처리 후에 동시출현 빈도를 계측한다. 단어의 동시출현빈도 지표화 방법은 다음과 같다.
N편의 논문집합에서 단어 Mi가 포함되어 있는 전체 논문수를 Ci라 하고 단어 Mi와 Mj 모두를 포함하는 논문의 수를 Cij라 하면 각 지표는 다음과 같이 정의된다.
여기서 수학식 11은 포함지표(inclusion index)이고, 수학식 12는 근접지표(proximity index)이며, 수학식 13은 자카드지표(Jaccard index)이고, 수학식 14는 동등성지표(equivalence index)이다.
포함지표는 빈번하게 출현하는 단어와 그다지 출현하지 않는 단어의 링크를 보고자 할 경우에 적합하다. 근접지표는 포함지표 식을 보다 빈번하게 출현하는 단어의 출현비율로 나눈 지표로서 2개 단어의 출현빈도가 같이 낮은 경우에 그 값이 커지게 된다. 때문에 출현빈도가 낮은 단어간의 관계를 볼 수 있으며 이제 막 생긴 연구테마를 보여주기 쉽다. 자카드지표나 동등성지표는 공인용 분석에서도 사용되고 있으며 중간 정도로 출현하는 단어들 간의 관계를 보고자 할 경우에 적합하다.
이들 지표를 바탕으로 연구내용을 가시적으로 나타낸 '과학의 지도'를 그릴 수 있게 된다. 제안된 도시방법은 상기 지표에 따라 서로 다르다.
포괄지표에 의한 그림의 경우 어떤 단어가 출현할 경우에 다른 단어도 높은 확률로 동시출현하고 있는 관계가 가시화되어 있으며 과제의 연쇄적인 등치화를 용이하게 파악할 수 있다. 한편 이런 지도에서 나타나기 어려운 출현빈도가 낮은 단어들 간의 관계는 근접지표를 사용하여 다른 지도를 작성한다.
또한 자카드지표를 사용하는 경우에는 원형 지도(circular map)가 형성되는데, 수직수형도에서는 단어의 관계가 계층적으로 구성되어 있을 경우에 시각적으로 파악하기 쉬웠던 것에 비해 원형 지도에서는 공통으로 사용되는 분석방법이 있다는 등의 횡적인 링크를 볼 수 있을 경우에 파악하기 쉽다.
이러한 2 개의 지도에서는 단어 배치가 세로축 이외에는 임의로 되어 있어 단어 간 동시단어 관계의 강도를 공간적으로 파악하기는 힘들다(대신에 선의 차이에 의해 강도가 표시되어 있다). 이에 대해 correspondence 분석이나 다차원척도법(MDS)을 사용함으로써 동시단어 관계가 강한 단어를 가까이에 배치시키는 2차원 지도를 도시할 수도 있다.
이렇게 통계처리를 통해 얻은 3,515개의 리서치 프론트를 대상으로 동시단어분석(Co-occurrence analysis)을 행하여 예를 들면, 391개의 연구영역을 도출할 수 있다.
동시단어분석은 핵심논문의 두 가지 키워드(SCIE DB 필드 중 저자키워드와 키워드플러스)를 활용한 동시단어 분석을 실시할 수 있으며, 유사계수는 자카드 계수(Jacchard index)를 사용하고, threshold=0.1, max. size=10을 적용할 수 있다.
따라서, 미래기술 가치평가 시스템(100)은 전술한 바와 같은 과정으로 도출된 272개 영역 중 예를 들면, 자료의 피인용 평균증가율을 사용하여 논문 또는 특허의 피인용 평균증가율이 큰 순으로, 또는 3기 이동 인용평균선과 5기 이동 인용평균선의 이격도가 큰 순서로, 또는 자료의 피인용 회기직선기울기가 큰 순으로 분야별 안배를 고려하여 53 개의 미래기술 리스트를 생성할 수 있다.
이어, 미래기술 가치평가 시스템(100)은, 생성된 미래기술 리스트에 대해 해당 전문가에게 설문 형태로 제시하고 설문 응답을 수신하여 정성적 방식의 후행 평가를 통해 미래 기술 리스트와 미래기술 아닌 리스트로 분리한다(S240).
예를 들면, 미래기술 가치평가 시스템(100)은, 전술한 바와 같이 도출된 53 개의 미래기술 리스트를 포함하는 설문을 고경력 과학기술자(과기부 수탁사업 연계), 주요 국가연구개발사업단 참여 연구자, 대학 및 출연(연), 민간기업 연구원 등에게 이메일 등으로 전송하여, 그들로부터 설문 응답을 수신해 정성적 방식의 후행 평가를 통해 미래기술 리스트와 미래기술 아닌 리스트로 분리하는 것이다. 여기서, 정성적 방식의 후행 평가는 예를 들면 온라인 델파이 기법을 예로 들 수 있다. 즉, 온라인 델파이 기법은, 관리자가 관련 전문가에게 온라인으로 개방형 질문을 송부하고, 관련 전문가는 개방형 질문에 대해 관리자에게 답신하며, 관리자는 개방형 질문에 대한 관련 전문가의 답신을 토대로 폐쇄형 질문을 구성하되 점수를 주거나 중요도를 측정하여 일정수의 중요 문항을 선택하도록 하는 폐쇄형 질문을 동일 관련 전문가에게 송부하면, 관련 전문가는 폐쇄형 질문에 대해 관리자에게 답신하며, 관리자는 수집된 결과를 항목별로 종합하여 관련 전문가 전체의 항목별 도수, 평균 또는 표준편차 등을 계산하여 미래 변화 흐름에 대해 예측되는 미래기술 리스트를 도출하는 것이다.
그리고, 미래기술 가치평가 시스템(100)은, 기술 평가부(130)에 대해 도 4에 도시된 바와 같이 미래 기술 리스트와 미래기술 아닌 리스트를 계량적 지표에 근거해 신경망 알고리즘을 통해 학습시키고, 사용자로부터 관심 기술을 입력받으면, 학습된 신경망 알고리즘을 통해 입력받은 관심 기술이 미래 기술에 해당하는지를 출력한다(S250). 여기서, 도 4는 본 발명의 실시예에 따라 신경망 알고리즘을 통해 미래기술과 미래기술 아닌 기술을 학습시키는 예를 나타낸 도면이다. 즉, 기술 평가부(130)는 사용자로부터 특허수, 논문수, 증가율, 기술수명, 이행적 폐쇄 트리(Transitive Closure Tree) 등을 포함하는 계량적 지표를 입력받아 미래기술 리스트와 함께 신경망 알고리즘을 통해 학습시켜 미래 기술 리스트와 미래기술 아닌 리스트를 분류할 수 있다. 따라서, 기술 평가부(130)는 사용자로부터 관심 기술을 입력받으면, 계량적 지표와 함께 신경망 알고리즘에 입력하여 신경망 알고리즘을 수행하여 미래기술 리스트 또는 미래기술 아닌 리스트를 출력하는 것이다. 이때, 신경망 알고리즘을 통해 학습시키는 예를 일반적으로 공지된 기술이므로 이에 대한 상세한 설명은 생략한다.
또한, 미래기술 가치평가 시스템(100)은, 사용자로부터 입력받은 관심 기술이 미래 기술에 해당하는지에 대한 결과를 메모리 등에 저장할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, 본 발명의 실시예에 따른 미래기술 가치평가 방법을 수행하기 위한 프로그램을 CD나 USB 매체 등 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다.
전술한 바와 같이 본 발명에 의하면, 미래에 과학기술 분야에서 중추적 역할을 수행할 잠재력을 지닌 핵심적인 연구영역에 대해 지식정보의 계량 방법을 활용하여 미래 기술 리스트를 생성하고, 전문가 설문의 후행 평가를 통해 정성적 방식으로 미래 기술 리스트와 미래 기술이 아닌 리스트로 분류하여, 계량적 지표를 설정해 신경망 알고리즘을 적용한 기술 분류기에 학습시킨 후, 사용자로부터 기술 분류기에 관심 기술을 입력받아 해당 관심 기술이 미래 기술로 가치가 있는지를 판단할 수 있도록 하는 미래 기술 가치 평가 시스템 및 방법을 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 지식정보의 계량방법을 활용하여 미래 국가 과학기술을 주도할 유망한 연구영역을 찾아내기에 적합한 지식정보의 계량화를 통한 유망연구영역 선정 시스템에 적용할 수 있다.
또한, 미래 국가 과학기술을 주도할 유망한 연구영역에서 미래기술과 미래기술이 아닌 기술을 구분해 신경망 알고리즘을 통해 학습시킨 후, 연구자 또는 사용자로부터 관심 기술을 입력받으면 학습된 신경망 알고리즘을 통해 해당 관심 기술이 미래기술로 가치가 있는지를 평가할 수 있도록 하는 미래기술 가치평가 시스템에 적용할 수 있다.
100 : 미래기술 가치평가 시스템
110 : 미래기술 리스트 생성부
120 : 미래기술 분리부
130 : 기술 평가부
140 : 출력부
110 : 미래기술 리스트 생성부
120 : 미래기술 분리부
130 : 기술 평가부
140 : 출력부
Claims (22)
- 미래기술 선별에 필요한 자료를 선정하고, 선정된 자료에 대해 피인용수(Ci) 및 공인용수(Cij)를 집계하며, 상기 자료의 피인용수 및 공인용수를 사용하여 유사도를 산출하고 자료 간의 관계를 도출해 그룹화하며, 상기 그룹화된 자료에 대해 자료를 공인용하는 자료수를 집계하고 각 자료를 인용하는 자료수에 대한 상승평균을 구해 규격화된 공인용 횟수를 산출하며, 상기 공인용하는 자료수 및 규격화된 공인용 횟수와 임계치를 각각 비교해 핵심자료와 리서치 프론트를 형성하며, 상기 리서치 프론트를 필터링하고 동시단어(co-word) 분석을 하여 미래 기술 리스트를 생성하는 미래기술 리스트 생성부;
상기 생성된 미래기술 리스트에 대해 해당 전문가에게 설문 형태로 제시하고 설문 응답을 수신하여 정성적 방식의 후행 평가를 통해 미래 기술 리스트와 미래기술 아닌 리스트로 분리하는 미래기술 분리부; 및
사용자로부터 계량적 지표를 설정받아, 이에 근거해 미래 기술 리스트와 미래기술 아닌 리스트를 신경망 알고리즘을 통해 학습하고, 사용자로부터 관심 기술을 입력받으면, 학습된 신경망 알고리즘을 통해 입력받은 관심 기술이 미래 기술에 해당하는지를 출력하는 기술 평가부;
를 포함하는 미래기술 가치평가 시스템.
- 제 1 항에 있어서,
상기 미래기술 리스트 생성부는, 상기 미래기술 선별에 필요한 자료를 특허활용통합지수(UPI:Unified Patent Index)를 이용해 선정하는 것을 특징으로 하는 미래기술 가치평가 시스템.
- 제 2 항에 있어서,
상기 특허활용통합지수는, 피인용지수(CCR:Core Citation Report)와 특허기술 타인용 빈도지수(CFI:Cited Frequency Index)로 이루어진 것을 특징으로 하는 미래기술 가치평가 시스템.
- 제 3 항에 있어서,
상기 피인용지수(CCR)는 특정주체의 특정 기술분야의 피인용수를 해당 연구주체의 특정 기술분야의 특허건수로 나누어 산출하는 것을 특징으로 하는 미래기술 가치평가 시스템.
- 제 1 항에 있어서,
상기 미래기술 리스트 생성부는, 상기 자료의 피인용수 및 공인용수를 사용하여 자카드 계수(Jaccard coefficient, Jij) 또는 코사인 계수(Salton's normalization of co-citation, Sij)를 통해 유사도를 산출하고, 상기 자카드 계수 또는 코사인 계수를 사용하여 클러스터 분석(cluster analysis) 또는 다차원 척도법(multi dimensional scaling, MDS)에 의해 상기 자료 간의 관계를 도출해 그룹화하는 것을 특징으로 하는 미래기술 가치평가 시스템.
- 제 1 항에 있어서,
상기 미래기술 리스트 생성부는, 상기 리서치 프론트의 미래기술의 성장곡선식을 입력받아, 상기 리서치 프론트의 시계열 데이터의 불규칙 변동을 제거하기 위한 이동평균을 산출하고, 상기 리서치 프론트의 2차 차분값이 양수인 리서치 프론트를 추출하여 필터링하는 것을 특징으로 하는 미래기술 가치평가 시스템.
- 제 1 항에 있어서,
상기 미래기술 리스트 생성부는, 상기 동시단어 분석에 대해, 상기 필터링된 리서치 프론트에 포함된 자료집합에서 제1단어(Mi)가 포함되어 있는 전체 자료수 및 제1단어(Mi)와 제2단어(Mj)를 모두 포함하는 자료의 수를 이용하여 포함지표, 근접 지표, 자카드 지표 또는 동등성 지표를 산출하고, 상기 포함지표, 근접 지표, 자카드 지표 또는 동등성 지표를 사용하여 동시단어 분석을 수행하는 것을 특징으로 하는 미래기술 가치평가 시스템.
- 제 7 항에 있어서,
상기 미래기술 리스트 생성부는, 핵심자료의 저자 키워드와 키워드 플러스를 포함하는 두 가지 키워드를 활용하여 상기 동시단어 분석을 수행하는 것을 특징으로 하는 미래기술 가치평가 시스템.
- 제 1 항에 있어서,
상기 기술 평가부는, 사용자로부터 특허수, 논문수, 증가율, 기술수명, 이행적 폐쇄 트리(Transitive Closure Tree)를 포함하는 계량적 지표를 설정받아, 이에 근거해 미래 기술 리스트와 미래기술 아닌 리스트를 신경망 알고리즘을 통해 학습하는 것을 특징으로 하는 미래기술 가치평가 시스템.
- 제 1 항에 있어서,
상기 기술 평가부는, 상기 자료의 피인용수 및 공인용수에 대한 임계치를 사용자로부터 입력받아 상기 자료의 피인용수 및 공인용수와 임계치를 비교해 임계치 미만의 자료는 제외시키는 것을 특징으로 하는 미래기술 가치평가 시스템.
- 미래기술 리스트 생성부와 미래기술 분리부 및 기술 평가부를 포함하는 시스템의 미리기술 가치평가 방법으로서,
(a) 상기 미래기술 리스트 생성부가 미래기술 선별에 필요한 자료를 선정하고, 선정된 자료에 대해 피인용수(Ci) 및 공인용수(Cij)를 집계하여, 상기 자료의 피인용수 및 공인용수를 사용하여 유사도를 산출하고 자료 간의 관계를 도출해 그룹화하는 단계;
(b) 상기 미래기술 리스트 생성부가 상기 그룹화된 자료에 대해 자료를 공인용하는 자료수를 집계하고 각 자료를 인용하는 자료수에 대한 상승평균을 구해 규격화된 공인용 횟수를 산출하며, 상기 공인용하는 자료수 및 규격화된 공인용 횟수를 임계치와 각각 비교해 핵심자료와 리서치 프론트를 형성하는 단계;
(c) 상기 미래기술 리스트 생성부가 상기 리서치 프론트를 필터링하고 동시단어(co-word) 분석을 하여 미래 기술 리스트를 생성하는 단계;
(d) 상기 미래기술 분리부가 상기 생성된 미래기술 리스트에 대해 해당 전문가에게 설문 형태로 제시하고 설문 응답을 수신하여 정성적 방식의 후행 평가를 통해 미래 기술 리스트와 미래기술 아닌 리스트로 분리하는 단계; 및
(e) 상기 기술 평가부가 상기 미래 기술 리스트와 미래기술 아닌 리스트를 계량적 지표에 근거해 신경망 알고리즘을 통해 학습하고, 사용자로부터 관심 기술을 입력받으면, 학습된 신경망 알고리즘을 통해 입력받은 관심 기술이 미래 기술에 해당하는지를 출력하는 단계;
를 포함하는 미래기술 가치평가 방법.
- 제 11 항에 있어서,
상기 (a) 단계는, 상기 미래기술 선별에 필요한 자료를 특허활용통합지수(UPI:Unified Patent Index)를 이용해 선정하는 것을 특징으로 하는 미래기술 가치평가 방법.
- 제 12 항에 있어서,
상기 특허활용통합지수는, 피인용지수(CCR:Core Citation Report)와 특허기술 타인용 빈도지수(CFI:Cited Frequency Index)로 이루어진 것을 특징으로 하는 미래기술 가치평가 방법.
- 제 13 항에 있어서,
상기 피인용지수(CCR)는 특정주체의 특정 기술분야의 피인용수를 해당 연구주체의 특정 기술분야의 특허건수로 나누어 산출하는 것을 특징으로 하는 미래기술 가치평가 방법.
- 제 11 항에 있어서,
상기 (a) 단계는, 상기 자료의 피인용수 및 공인용수에 대한 임계치를 입력받아, 상기 자료의 피인용수 및 공인용수와 임계치를 비교해 임계치 미만의 자료는 제외시키는 것을 특징으로 하는 미래기술 가치평가 방법.
- 제 11 항에 있어서,
상기 (a) 단계는, 상기 자료의 피인용수 및 공인용수를 사용하여 자카드 계수(Jaccard coefficient, Jij) 또는 코사인 계수(Salton's normalization of co-citation, Sij)를 통해 유사도를 산출하고, 상기 자카드 계수 또는 코사인 계수를 사용하여 클러스터 분석(cluster analysis) 또는 다차원 척도법(multi dimensional scaling, MDS)에 의해 상기 자료 간의 관계를 도출해 그룹화하는 것을 특징으로 하는 미래기술 가치평가 방법.
- 제 11 항에 있어서,
상기 (b) 단계는, 상기 미래기술 리스트 생성부가 사용자로부터 상기 공인용하는 자료수 및 규격화된 공인용 횟수에 대한 임계치를 입력받아, 상기 공인용하는 자료수 및 규격화된 공인용 횟수와 임계치를 각각 비교해 핵심자료와 리서치 프론트를 형성하는 것을 특징으로 하는 미래기술 가치평가 방법.
- 제 11 항에 있어서,
상기 (c) 단계는, 상기 리서치 프론트의 미래기술의 성장곡선식을 입력받아, 상기 리서치 프론트의 시계열 데이터의 불규칙 변동을 제거하기 위한 이동평균을 산출하고, 상기 리서치 프론트의 2차 차분값이 양수인 리서치 프론트를 추출하여 필터링하는 것을 특징으로 하는 미래기술 가치평가 방법.
- 제 11 항에 있어서,
상기 (c) 단계는, 상기 필터링된 리서치 프론트에 포함된 자료집합에서 제1단어(Mi)가 포함되어 있는 전체 자료수 및 제1단어(Mi)와 제2단어(Mj)를 모두 포함하는 자료의 수를 이용하여 포함지표, 근접 지표, 자카드 지표 또는 동등성 지표를 산출하고, 상기 포함지표, 근접 지표, 자카드 지표 또는 동등성 지표를 사용하여 동시단어 분석을 수행하는 것을 특징으로 하는 미래기술 가치평가 방법.
- 제 19 항에 있어서,
상기 (c) 단계는, 핵심자료의 저자 키워드와 키워드 플러스를 포함하는 두 가지 키워드를 활용하여 상기 동시단어 분석을 수행하는 것을 특징으로 하는 미래기술 가치평가 방법.
- 제 11 항에 있어서,
상기 (e) 단계는, 사용자로부터 특허수, 논문수, 증가율, 기술수명, 이행적 폐쇄 트리(Transitive Closure Tree)를 포함하는 계량적 지표를 설정받아, 이에 근거해 미래 기술 리스트와 미래기술 아닌 리스트를 신경망 알고리즘을 통해 학습하는 것을 특징으로 하는 미래기술 가치평가 방법.
- 제 11 항 내지 제 21 항 중 어느 한 항에 있는 미래기술 가치평가 방법을 수행하기 위한 프로그램을 기록한, 컴퓨터로 읽을 수 있는 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110109768A KR101265975B1 (ko) | 2011-10-26 | 2011-10-26 | 미래 기술 가치 평가 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110109768A KR101265975B1 (ko) | 2011-10-26 | 2011-10-26 | 미래 기술 가치 평가 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130045514A KR20130045514A (ko) | 2013-05-06 |
| KR101265975B1 true KR101265975B1 (ko) | 2013-05-22 |
Family
ID=48657520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110109768A KR101265975B1 (ko) | 2011-10-26 | 2011-10-26 | 미래 기술 가치 평가 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101265975B1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101645643B1 (ko) * | 2015-04-16 | 2016-08-05 | 아주대학교 산학협력단 | 미래의 특허 인용 횟수 추정 방법 및 그 장치 |
| WO2022065629A1 (ko) * | 2020-09-22 | 2022-03-31 | 주식회사 로닥테크놀로지스 | 이미지 캡처를 통한 자기개선 사물 인식 방법 및 시스템 |
| KR102398006B1 (ko) * | 2020-09-22 | 2022-05-16 | 주식회사 로닥테크놀로지스 | 이미지 캡처를 통한 자기개선 사물 인식 방법 및 시스템 |
-
2011
- 2011-10-26 KR KR1020110109768A patent/KR101265975B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130045514A (ko) | 2013-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Virtucio et al. | Predicting decisions of the philippine supreme court using natural language processing and machine learning | |
| US9336496B2 (en) | Computer-implemented system and method for generating a reference set via clustering | |
| Surjandari et al. | Text mining of twitter data for public sentiment analysis of staple foods price changes | |
| CN109299252A (zh) | 基于机器学习的股票评论的观点极性分类方法和装置 | |
| Thange et al. | Analyzing COVID-19 dataset through data mining tool “orange” | |
| KR101265975B1 (ko) | 미래 기술 가치 평가 시스템 및 방법 | |
| CN107992613A (zh) | 一种基于机器学习的文本挖掘技术消费维权指标分析方法 | |
| Rasiman et al. | How effective is automated trace link recovery in model-driven development? | |
| Ahmed et al. | Evaluating the effectiveness of author-count based metrics in measuring scientific contributions | |
| Xie et al. | Evaluating performance of super-efficiency models in ranking efficient decision-making units based on Monte Carlo simulations | |
| Wijayanti et al. | K-means cluster analysis for students graduation: case study: STMIK Widya Cipta Dharma | |
| KR20090001742A (ko) | 지식정보의 계량화를 통한 유망연구영역 선정방법 | |
| Bach et al. | Data mining usage in health care management: literature survey and decision tree application | |
| Ahmed et al. | Machine learning approach for effective ranking of researcher assessment parameters | |
| CN112506930B (zh) | 一种基于机器学习技术的数据洞察系统 | |
| KR100964635B1 (ko) | 지식정보의 계량화를 통한 유망연구영역 선정방법 | |
| Gopalakrishnan et al. | TEXT MINING TRANSPORTATION RESEARCH GRANT BIG DATA: KNOWLEDGE EXTRACTION AND PREDICTIVE MODELING USING FAST NEURAL NETS. | |
| CN109300030A (zh) | 实现股票投资推荐的方法和装置 | |
| CN113361585A (zh) | 一种基于有监督学习算法优化筛选线索的方法 | |
| KR20230071952A (ko) | 개발하고자 하는 관심 기술의 미래 가치를 평가할 수 있는 기술 가치 평가 시스템 및 방법 | |
| Elsid et al. | Data Mining: Classification Techniques of Students’ Database A Case Study of the Nile Valley University, North Sudan | |
| US20130080475A1 (en) | Employee Profiler and Database | |
| Sukarno et al. | Mapping Publication Trend of E-Government Development Index (Social Science Discipline Analysis) | |
| Aburas et al. | Child maltreatment forecast using Bigdata intelligent approaches | |
| Shinyaeva et al. | Scientometric indicators and collaboration network as a potential tool for gift author detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160406 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170327 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |