KR101259417B1 - 집단지성을 활용한 하이브리드형 유망기술 추출 시스템 및 방법 - Google Patents

집단지성을 활용한 하이브리드형 유망기술 추출 시스템 및 방법 Download PDF

Info

Publication number
KR101259417B1
KR101259417B1 KR1020110120157A KR20110120157A KR101259417B1 KR 101259417 B1 KR101259417 B1 KR 101259417B1 KR 1020110120157 A KR1020110120157 A KR 1020110120157A KR 20110120157 A KR20110120157 A KR 20110120157A KR 101259417 B1 KR101259417 B1 KR 101259417B1
Authority
KR
South Korea
Prior art keywords
technology
promising
promising technology
collective intelligence
clicked
Prior art date
Application number
KR1020110120157A
Other languages
English (en)
Inventor
권영일
서민호
이일형
Original Assignee
한국과학기술정보연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술정보연구원 filed Critical 한국과학기술정보연구원
Priority to KR1020110120157A priority Critical patent/KR101259417B1/ko
Application granted granted Critical
Publication of KR101259417B1 publication Critical patent/KR101259417B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은, 집단지성을 활용한 하이브리드형 유망기술 추출 시스템 및 방법에 관한 것으로서, 특정 주제에 관한 유망기술의 선정에 필요한 유망기술 자료가 저장되어 있는 데이터베이스를 선정하고, 선정된 유망기술 자료에 대해 1차 클러스터링과 통계적 필터링을 통한 2차 클러스터링을 수행하여 제1 유망기술 후보군을 추출하는 계량적 유망기술 추출부; 상기 특정 주제에 관한 기술 동향 정보를 제공하는 사이트에서, 이슈 기술에 관한 기사 중 전문가들에 의해 일정 수 이상으로 클릭된 기사로부터 키워드를 추출해, 클릭수가 일정 기준보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출하는 집단지성 유망기술 추출부; 및 상기 제1 유망기술 후보군과 상기 제2 유망기술 후보군의 유사도를 분석하여, 유사도가 일정 기준 이상으로 높은 유망기술을 최종 유망기술로 결정하는 유망기술 결정부를 포함하는 것을 특징으로 한다.

Description

집단지성을 활용한 하이브리드형 유망기술 추출 시스템 및 방법{Hybrid type method and system for extracting a emerging technologies using collective intelligence}
본 발명은 녹색기술 정보 포털에 구축되어 서비스 되고 있는 데이터베이스와 녹색기술 정보 포털에서 활동하고 있는 전문가들의 집단 지성을 활용하여 근래에 이슈가 되고 있는 녹색 관련 유망기술을 발굴할 수 있도록 하는 집단지성을 활용한 하이브리드형 유망기술 추출 시스템 및 방법에 관한 것이다.
현대의 지식기반 산업사회는 지식과 정보가 그 국가의 경쟁력을 좌우하고 있기에 국가의 과학기술에 대한 경쟁력을 국가 경쟁력의 원천으로 인식하고 있다.
이에, 세계 각 나라들이 미래의 경쟁에서 살아남기 위한 핵심기술 및 연구과제를 도출하고 선정하여 집중적인 연구개발을 추진해 나감에 따라 과학기술 문헌 발간량이 꾸준히 증가하고 있으며, 인터넷을 통해 입수할 수 있는 정보도 증가하고 있다.
그런데, 미래 국가 과학기술을 주도할 유망한 연구영역을 찾아낼 수 있는 방법으로 정성적인 방법은 전문가들이 개인의 경험을 가지고 직관적으로 유망기술을 도출할 경우 객관성이 떨어지는 문제점이 있고, 델파이 방법으로 전문가의 의견을 반영할 경우 시간과 비용이 많이 소요되는 문제점이 있다.
또한, 정량적인 방법으로 논문, 특허 데이터를 이용하여 인용이 많은 논문과 특허를 유망한 기술(연구 영역)로 도출하는 데에는 데이터의 구입비용, 분석비용, 장기간의 분석 기간이 소요되어 많은 비용과 시간이 투여되는 문제점이 있다.
기존의 방법으로 유망기술을 도출할 경우 최소한 4 개월 이상의 작업시간이 필요하며, 최근 2개월의 상황 변화를 실시간으로 반영하여 유망기술을 선정하기가 어려운 문제점이 있다.
대한민국 공개특허공보 제10-2009-0091833호 (공개일: 2009년08월31일)
전술한 단점을 해결하기 위한 본 발명의 목적은, 특정 주제에 관한 유망기술의 선별에 필요한 유망기술 자료에 대해 정량적 방법으로 제1 유망기술 후보군을 추출하고, 특정 주제에 관한 기술 동향 정보를 제공하는 사이트에서 이슈 기술에 관한 기사 중 전문가들에 의해 일정 수 이상으로 클릭된 기사로부터 키워드를 추출해, 클릭수가 일정 기준보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출한 후, 제1 유망기술 후보군과 제2 유망기술 후보군의 유사도를 분석하여 유사도가 일정 기준 이상으로 높은 유망기술을 최종 유망기술로 결정하도록 하는, 집단지성을 활용한 하이브리드형 유망기술 추출 시스템 및 방법을 제공함에 그 기술적 과제가 있다.
전술한 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 특정 주제에 관한 유망기술의 선별에 필요한 유망기술 자료가 저장되어 있는 데이터베이스를 선정하고, 선정된 유망기술 자료에 대해 1차 클러스터링과 통계적 필터링을 통한 2차 클러스터링을 수행하여 제1 유망기술 후보군을 추출하는 계량적 유망기술 추출부; 상기 특정 주제에 관한 기술 동향 정보를 제공하는 사이트에서, 이슈 기술에 관한 기사 중 전문가들에 의해 일정 수 이상으로 클릭된 기사로부터 키워드를 추출해, 클릭수가 일정 기준보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출하는 집단지성 유망기술 추출부; 및 상기 제1 유망기술 후보군과 상기 제2 유망기술 후보군의 유사도를 분석하여, 유사도가 일정 기준 이상으로 높은 유망기술을 최종 유망기술로 결정하는 유망기술 결정부를 포함하는 집단지성을 활용한 하이브리드형 유망기술 추출 시스템이 제공된다.
또한, 상기 집단지성 유망기술 추출부는, 상기 특정 주제에 관한 기술 동향 정보 중 현재를 기준으로 일정 기간 이내에 해당하는 최근에 이슈가 되는 자료를 데이터베이스화 하고, 상기 전문가들이 접속하는 기술 동향 정보 제공 사이트에서 주 단위 또는 월 단위로 특정 주제별로 기사를 분류하고 분야별로 이슈 기술들을 도출하여 목록화 하며, 목록화 된 이슈 기술에 관한 기사 중 전문가들에 의해 일정 수 이상으로 클릭된 기사의 제목이나 내용에서 키워드를 추출해, 클릭수에 따라 집단지성 순위(Ranking)를 설정한 후, 설정된 집단지성 순위에 근거해 일정 기준보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출할 수 있다.
또한, 상기 집단지성 유망기술 추출부는, 상기 전문가들이 접속하는 기술 동향 정보 제공 사이트에서 주 단위 또는 월 단위로 특정 주제별로 지식을 분류하고 분야별로 이슈 기술들을 도출하여 목록화 하며, 목록화 된 이슈 기술에 관한 지식 중 전문가들에 의해 1부터 k까지의 사용자가 클릭한 i번째 지식을 다음 수학식 8에 따라 산출하고, i번째 지식에 대해 클릭한 사용자가 많아지면 많아질수록
Figure 112011090948466-pat00001
가 선형적으로 증가하게 되어, 클릭(선택)된 지식의 양이 커지게 되며, 잘못 선택된 지식의 비율이 갈수록 적어진다.
[수학식 8]
Figure 112011090948466-pat00002
여기서
Figure 112011090948466-pat00003
는 K 사용자가 i번째 클릭한 지식을 의미하고, a[i]는 클릭(선택)된 지식이며,
Figure 112011090948466-pat00004
는 잘못 클릭(선택)된 정보를 나타낸다.
또한, 상기 집단지성 유망기술 추출부는, 상기 제1 유망기술 후보군을 대표하는 제1 이미지와, 상기 제2 유망기술 후보군을 대표하는 제2 이미지 각각에 대해, 프레임당 각 픽셀의 색상 값들을 0 내지 255 값들의 그레이(gray) 값으로 전환하여, 하나의 프레임에서 각 픽셀에 대한 그레이 값의 분포도를 나타내는 제1 및 제2 히스토그램을 각각 생성하고, 제1 히스토그램 값들의 총합이 1이 되도록 또한 제2 히스토그램 값들의 총합이 1이 되도록 픽셀의 개수로 나누어 정규화(Normalization)하며, 바타차리야 계수를 이용하여 다음 수학식 9에 따라 제1 히스토그램과 제2 히스토그램의 유사도를 산출할 수 있다.
[수학식 9]
Figure 112011090948466-pat00005
여기서, S(b,f)는 유사도를 나타내고,
Figure 112011090948466-pat00006
는 정규화 된(Normalized) 제1 히스토그램의 i번째 인덱스(index)의 값이고,
Figure 112011090948466-pat00007
는 정규화 된 제2 히스토그램의 i번째 인덱스(index)의 값을 나타낸다.
또한, 상기 계량적 유망기술 추출부는, 상기 선정한 데이터베이스가 문헌 데이터베이스인 경우 고인용 선정에 의한 유망기술 자료의 선별을 수행하고, 상기 선정한 데이터베이스가 특허 데이터베이스인 경우 특허활용 통합지수의 선정에 의한 유망기술 자료의 선별을 수행할 수 있다.
또한, 상기 계량적 유망기술 추출부는, 상기 특허활용 통합지수에 대해 "특허기술 타인용 빈도지수(CFI) + 피인용 지수(CCR)"에 의해 산출하고, 상기 피인용 지수(CCR)는 "특정주체의 특정기술 분야의 피인용수/해당 연구주체의 특정기술 분야의 특허건수"에 의해 산출할 수 있다.
그리고, 상기 계량적 유망기술 추출부는, 동시인용 분석 또는 서지 결합법을 이용하여 상기 1차 클러스터링을 수행하고, 동시단어 분석을 이용하여 상기 2차 클러스터링을 수행할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, (a) 특정 주제에 관한 유망기술의 선별에 필요한 유망기술 자료가 저장되어 있는 데이터베이스를 선정하고, 선정된 유망기술 자료에 대해 1차 클러스터링과 통계적 필터링을 통한 2차 클러스터링을 수행하여 제1 유망기술 후보군을 추출하는 계량적 유망기술 추출 단계; (b) 상기 특정 주제에 관한 기술 동향 정보를 제공하는 사이트에서, 이슈 기술에 관한 기사 중 전문가들에 의해 일정 수 이상으로 클릭된 기사로부터 키워드를 추출해, 클릭수가 일정 기준보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출하는 집단지성 유망기술 추출 단계; 및 (c) 상기 제1 유망기술 후보군과 상기 제2 유망기술 후보군의 유사도를 분석하여, 유사도가 일정 기준 이상으로 높은 유망기술을 최종 유망기술로 결정하는 유망기술 결정 단계를 포함하는 집단지성을 활용한 하이브리드형 유망기술 추출 방법이 제공된다.
또한, 상기 (a) 계량적 유망기술 추출 단계는, 상기 선정한 데이터베이스가 문헌 데이터베이스인 경우 고인용 선정에 의한 유망기술 자료의 선별을 수행하고, 상기 선정한 데이터베이스가 특허 데이터베이스인 경우 특허활용 통합지수의 선정에 의한 유망기술 자료의 선별을 수행할 수 있다.
또한, 상기 (a) 계량적 유망기술 추출 단계는, 상기 특허활용 통합지수에 대해 "특허기술 타인용 빈도지수(CFI) + 피인용 지수(CCR)"에 의해 산출하고, 상기 피인용 지수(CCR)는 "특정주체의 특정기술 분야의 피인용수/해당 연구주체의 특정기술 분야의 특허건수"에 의해 산출할 수 있다.
또한, 상기 (a) 계량적 유망기술 추출 단계는, 동시인용 분석 또는 서지 결합법을 이용하여 상기 1차 클러스터링을 수행하고, 동시단어 분석을 이용하여 상기 2차 클러스터링을 수행할 수 있다.
또한, 상기 (b) 집단지성 유망기술 추출 단계는, 상기 특정 주제에 관한 기술 동향 정보 중 현재를 기준으로 일정 기간 이내에 해당하는 최근에 이슈가 되는 자료를 데이터베이스화 하고, 상기 전문가들이 접속하는 기술 동향 정보 제공 사이트에서 주 단위 또는 월 단위로 특정 주제별로 기사를 분류하고 분야별로 이슈 기술들을 도출하여 목록화 하며, 목록화 된 이슈 기술에 관한 기사 중 전문가들에 의해 일정 수 이상으로 클릭된 기사의 제목이나 내용에서 키워드를 추출해, 클릭수에 따라 집단지성 순위(Ranking)를 설정한 후, 설정된 집단지성 순위에 근거해 일정 기준보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출할 수 있다.
또한, 상기 (b) 집단지성 유망기술 추출 단계는, 상기 전문가들이 접속하는 기술 동향 정보 제공 사이트에서 주 단위 또는 월 단위로 특정 주제별로 지식을 분류하고 분야별로 이슈 기술들을 도출하여 목록화 하며, 목록화 된 이슈 기술에 관한 지식 중 전문가들에 의해 1부터 k까지의 사용자가 클릭한 i번째 지식을 다음 수학식 8에 따라 산출하고, i번째 지식에 대해 클릭한 사용자가 많아지면 많아질수록
Figure 112011090948466-pat00008
가 선형적으로 증가하게 되어, 클릭(선택)된 지식의 양이 커지게 되며, 잘못 선택된 지식의 비율이 갈수록 적어진다.
[수학식 8]
Figure 112011090948466-pat00009
여기서
Figure 112011090948466-pat00010
는 K 사용자가 i번째 클릭한 지식을 의미하고, a[i]는 클릭(선택)된 지식이며,
Figure 112011090948466-pat00011
는 잘못 클릭(선택)된 정보를 나타낸다.
그리고, 상기 (b) 집단지성 유망기술 추출 단계는, 상기 제1 유망기술 후보군을 대표하는 제1 이미지와, 상기 제2 유망기술 후보군을 대표하는 제2 이미지 각각에 대해, 프레임당 각 픽셀의 색상 값들을 0 내지 255 값들의 그레이(gray) 값으로 전환하여, 하나의 프레임에서 각 픽셀에 대한 그레이 값의 분포도를 나타내는 제1 및 제2 히스토그램을 각각 생성하고, 제1 히스토그램 값들의 총합이 1이 되도록 또한 제2 히스토그램 값들의 총합이 1이 되도록 픽셀의 개수로 나누어 정규화(Normalization)하며, 바타차리야 계수를 이용하여 다음 수학식9에 따라 제1 히스토그램과 제2 히스토그램의 유사도를 산출할 수 있다.
[수학식 9]
Figure 112011090948466-pat00012
여기서, S(b,f)는 유사도를 나타내고,
Figure 112011090948466-pat00013
는 정규화 된(Normalized) 제1 히스토그램의 i번째 인덱스(index)의 값이고,
Figure 112011090948466-pat00014
는 정규화 된 제2 히스토그램의 i번째 인덱스(index)의 값을 나타낸다.
본 발명은 미래 유망한 기술에 대해 정성적인 방법으로 다수 전문가들의 집단지성을 이용하여 도출하게 됨에 따라 객관성이 증대되고, 또한 시간과 비용을 절약할 수 있는 장점이 있다.
또한, 집단지성을 활용하여 인용이 많은 논문과 특허를 유망한 기술(연구 영역)로 도출하는 데에 필요한 데이터의 구입비용, 분석비용, 분석 기간 등을 단축할 수 있는 장점이 있다.
또한, 유망기술을 도출할 경우 기존처럼 최소한 4 개월 이상의 작업시간이 필요하지 않으며, 최근 2개월의 상황 변화를 실시간으로 반영하여 유망기술을 선정할 수 있다.
그리고, 지식정보의 계량방법을 활용하여 미래 국가 과학기술을 주도할 유망한 연구영역(가까운 장래에 해당과학기술분야에서 중추적 역할을 수행할 잠재력을 지닌 핵심적인 연구영역)을 찾아낼 수 있다.
도 1은 본 발명의 실시예에 따른 하이브리드형 유망기술 추출 시스템의 기능 블록을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 하이브리드형 유망기술 추출 방법을 설명하기 위한 동작 흐름도이다.
도 3은 특허활용 통합지수에 의한 유망기술 자료 선별 시 피인용 지수와 특허활용통합지수의 산정예를 보인 도면이다.
도 4는 동시인용(=공인용) 분석 맵의 예를 보인 개념도이다.
도 5는 동시인용 분석 개념도를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따라 특정 주제에 관한 기술동향 사이트에서 전문가들에 의해 클릭된 기사의 제목이나 내용을 클릭수와 함께 나타낸 집단지성의 한 예를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따라 특정 주제별 목록화 된 이슈 기술들을 집단지성의 순위에 따라 제공하는 예를 나타낸 도면이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
먼저 본 발명은 지식정보의 계량방법을 활용하여 미래 국가 과학기술을 주도할 유망한 연구영역(가까운 장래에 해당 과학기술 분야에서 중추적 역할을 수행할 잠재력을 지닌 핵심적인 연구영역)을 찾아내고자 하는 것이다. 즉, 본 발명은 미래 국가 과학기술을 주도할 유망한 연구영역으로 가까운 장래에 해당 과학기술 분야에서 중추적 역할을 수행할 잠재력을 지닌 태동기/도약기의 핵심적인 연구영역을 찾아내고자 한다.
그 동안 국가의 과학기술 미래를 위한 연구개발의 선택과 집중에 있어서, 각 분야의 저명한 전문가들로 구성된 위원회의 수차례의 회의와 조사의 결과에만 의존하여 야기된 문제점들을 해결하여, 본 발명에서는 과학 계량학(Scientometrics)이라는 보다 객관적이고 투명한 지표들을 이용하여 국가 R&D에 주력해야 할 미래유망연구 분야를 선정할 수 있도록 한다.
일반적으로 프로젝트나 연구기관을 평가하는 경우에는 보통 동료평가(Peer review)가 가장 많이 사용되며, 이는 당해 분야의 전문지식을 갖춘 연구자만이 연구 활동 내용을 이해하여 가치를 적절히 판단할 수 있을 것이라고 보기 때문이다.
그러나 동료평가는 기본적으로는 동료(Peer)의 주관적 판단에 의하기 때문에 어느 정도 편향될 수 있는 것이 사실이며, 이러한 여러 가지 문제가 존재한다는 것이 지적되기도 한다. 예를 들면 기존 분야를 유지하려고 하는 경향이나 개인적/조직적 편향, 유명한 연구자나 기관에 높은 평점을 주게 되는 후광효과, 평가자마다 다른 평가기준 등을 들 수 있고, 더욱이 동료평가는 특정분야의 전문가이기 때문에 학제간(interdisciplinary) 연구의 질의 판단이나 자신의 분야를 넘어서는 융합 분야의 비교 평가는 어려울 수 있다. 또한 한정된 수의 평가대상에 기초해 비교를 해야 하며, 그렇더라도 평가자에게 할당되는 작업량은 커지게 된다.
그런데, 본 발명에 의한 과학 계량학적 분석방법은 과학기술적 측면의 생산성이나 파급효과 혹은 연구실시 체제의 특징에 대한 정량적인 분석을 가능하게 하며, 당해 연구 분야의 전문가가 아니더라도 연구 활동이나 성과 분석이 가능토록 하여 그 결과를 정량적 지표로서 명확히 알기 쉽게 제시할 수 있는 장점을 지닌다.
과학 계량학적 정보 분석을 통해서는 논문 수 또는 특허 수 등에 의한 연구 활동의 활성도를 평가하고, 피인용수에 의해 그 이후의 연구전개에 미친 영향력을 정량적으로 측정하게 되는데, 특히 피인용수는 인용이라는 형식으로 해당 연구의 유용성을 전 세계의 연구자들로부터 인정받은 수라고 생각할 수 있으므로 단지 수 명이 행하는 동료평가의 단점을 보완할 수 있게 된다. 또한 데이터베이스에 수록된 전 세계의 논문, 특허 등과 피인용수의 비교를 막대한 비용을 들이지 않고 할 수 있으므로 평가 대상수가 적다는 문제점도 해결할 수 있다.
본 발명은 미래 유망 연구영역을 선정하는데 있어서 통계적/계량서지학적 방법 등을 이용하여 유망기술을 도출하는 정량적(quantitative) 방법과 특정기술 정보 포털의 전문가인 6 천여명의 집단지성을 활용하여 유망기술을 도출하는 정성적(qualitative) 방법 등을 결합하는 혼성(hybrid) 방식을 취함으로써 각 방법이 지니는 단점을 최소화하고 장점을 최대한 살릴 수 있게 한다.
일반적으로 집단지성(Collective Intelligence)은 "다수의 개체들이 서로 협력하거나 경쟁을 통해 얻게 된 지적능력의 결과로 얻어진 집단적 능력"을 의미한다. 예를 들면, 분산된 네트워크 내에 정보를 생산하여 연구할 수 있는 형태를 가진 네트워크나, 웹상의 소셜 네트워킹 기술을 이용해 집단간의 의사소통을 원활히 함으로써 사람들이 집단에 정보를 제공하는 방식을 변화시키는 네트워크, 그리고 공동의 목표를 위한 네트워크 협업으로 기여자들의 중요도나 결합, 역할 등을 재조정하는 네트워크라 할 수 있다.
또한, 다수의 사용자가 신뢰성 있는 지식을 축적하는 것을 '집단 지성'이라고 표현한다. 집단지성은 'Wisdom of crowds' 혹은 'Swarm intelligence'라고도 불리며 한 개인의 지식보다는 집단 속에서 논의된 지식이 더 우수하다는 개념적인 용어이다. 집단지성은 개인 사용자의 독창성과 다양성 그리고 지식의 집중으로 표현된다. 개인 사용자의 독창성은 각 개인 사용자가 지식을 생산함에 있어 외부의 간섭을 최대한 배제하여야 한다는 것이고 다양성은 다양한 계층에서 지식 생산이 이뤄져야 한다는 것이다.
이에 따라, 본 발명에 적용되는 '집단지성'은 특정 주제에 관한 기술 동향 정보를 제공하는 포털(사이트)에서 이슈 기술에 관한 기사나 내용 중 전문가들이 관심을 가지고 사업을 하거나, 연구개발을 위한 기초자료로 활용하려는 의도에서 전문가들에 의해 일정 수 이상으로 클릭된 기사나 내용을 지칭한다.
본 발명은 연구의 성과물인 논문, 특허 등을 보다 과학적이고 체계화된 객관적인 방법으로 분석하여 동일 논문주제, 특허분야 등을 형성하는 일정 크기의 연구영역을 조망적으로 살펴 미래 국가의 과학 기술력을 집중시켜야 할 유망 연구 분야를 찾아내려는 궁극적인 목표를 갖고 있으며, 따라서 본 발명에 의한 결과는 국가 연구개발사업의 사전기획을 위한 객관적인 분석정보를 제공함으로써 R&D 지원의 효율성을 제고하고, 과제선정의 객관성 및 투명성을 확보하는 데 기여할 수 있게 될 것이다.
여기서 계량정보분석(informetrics)이란 용어는 문헌(특허와 논문 등) 계량분석과 과학계량분석의 영역을 포함하여 '정보'에 대한 정량적 접근을 통칭하는 것을 말한다.
또한 유망기술이란 최근 들어 급격한 연구개발이 이루어지는 기술로서, 신·구 기술을 가늠하는 잣대로 사용될 수 있을 뿐만 아니라 최근 들어 부상하는 기술을 파악하는 데 유용한 개념이다. 이러한 유망기술은 기존과 비교하여 다른(또는 새로운) 분야로의 전이나 변화를 의미한다. 이러한 전이나 변화는 동태적(dynamic)인 것으로서 변화가 멈추었다면 더 이상 유망기술로 보기 어렵다. 따라서 특정 시점에서의 유망기술은 그 시점에서 전이 또는 변화하는 과정에 있어야 한다. 이러한 전이나 변화는 점진적(incremental)일 수도 있으며 급진적(radical)일 수도 있을 것이다. 또한 유망기술은 현 시점에서 논문, 특허의 인용(citation)분석, 최근 선진국의 연구개발 동향 등을 정량적, 정성적 방법으로 분석하여 예측해 볼 수 있으며, 유망기술은 향후 시장 또는 경제적 잠재력을 지니고 있다고 볼 수 있다. 유망기술의 또 하나의 특징은 여러분야의 과학 기술(융합기술)에 대한 의존도가 점차 높아진다는 점이다. 경제/사회적으로 큰 영향력을 발휘할 수 있는 기술개발 여부는 보유하고 있는 과학적 지식의 선도성에 영향을 받기 때문일 것이며, 또한 나노(Nano) 또는 바이오(Bio)와 같은 영향력이 큰 분야는 여러분야의 과학기술에 대한 의존도가 높다는 점은 익히 잘 알려진 사실이다.
이러한 본 발명에 대해 좀 더 상세히 설명하면 다음과 같다.
도 1은 본 발명의 실시예에 따른 하이브리드형 유망기술 추출 시스템의 기능 블록을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 하이브리드형 유망기술 추출 시스템(100)은, 계량적 유망기술 추출부(110), 집단지성 유망기술 추출부(120), 유망기술 결정부(130), 입력부(140), 디스플레이부(150) 및 데이터베이스(160) 등을 포함한다.
계량적 유망기술 추출부(110)는, 특정 주제에 관한 유망기술의 선별에 필요한 유망기술 자료가 저장되어 있는 데이터베이스를 선정하고, 선정된 유망기술 자료에 대해 1차 클러스터링과 통계적 필터링을 통한 2차 클러스터링을 수행하여 제1 유망기술 후보군을 추출한다.
이때, 계량적 유망기술 추출부(110)는, 선정한 데이터베이스가 문헌 데이터베이스인 경우 고인용 선정에 의한 유망기술 자료의 선별을 수행하고, 선정한 데이터베이스가 특허 데이터베이스인 경우 특허활용 통합지수의 선정에 의한 유망기술 자료의 선별을 수행한다.
또한, 계량적 유망기술 추출부(110)는, 특허활용 통합지수에 대해 "특허기술 타인용 빈도지수(CFI) + 피인용 지수(CCR)"에 의해 산출하고, 피인용 지수(CCR)는 "특정주체의 특정기술 분야의 피인용수/해당 연구주체의 특정기술 분야의 특허건수"에 의해 산출한다.
그리고, 계량적 유망기술 추출부(110)는, 동시인용 분석 또는 서지 결합법을 이용하여 1차 클러스터링을 수행하고, 동시단어 분석을 이용하여 2차 클러스터링을 수행한다.
집단지성 유망기술 추출부(120)는 특정 주제에 관한 기술 동향 정보를 제공하는 사이트에서, 이슈 기술에 관한 기사 중 전문가들에 의해 일정 수 이상으로 클릭된 기사로부터 키워드를 추출해, 클릭수가 일정 기준보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출한다.
또한, 집단지성 유망기술 추출부(120)는 특정 주제에 관한 기술 동향 정보 중 현재를 기준으로 일정 기간 이내에 해당하는 최근에 이슈가 되는 자료를 데이터베이스화 하고, 전문가들이 접속하는 기술 동향 정보 제공 사이트에서 주 단위 또는 월 단위로 특정 주제별로 기사를 분류하고 분야별로 이슈 기술들을 도출하여 목록화 하며, 목록화 된 이슈 기술에 관한 기사 중 전문가들에 의해 일정 수 이상으로 클릭된 기사의 제목이나 내용에서 키워드를 추출해, 클릭수에 따라 집단지성 순위(Ranking)를 설정한 후, 설정된 집단지성 순위에 근거해 일정 기준보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출할 수 있다.
유망기술 결정부(130)는 제1 유망기술 후보군과 제2 유망기술 후보군의 유사도를 분석하여, 유사도가 일정 기준 이상으로 높은 유망기술을 최종 유망기술로 결정한다.
입력부(140)는 유망기술을 추출하는데 필요한 데이터를 입력할 때 이용한다.
디스플레이부(150)는 계량적 유망기술 추출 과정과 집단지성 유망기술 추출 과정 및 최종 유망기술의 결정 과정을 화면 상에 디스플레이하거나, 장치의 동작 현황 등을 화면 상에 디스플레이한다.
데이터베이스(160)는 외부로부터 획득한 특정 주제에 관한 기술 동향 정보를 저장하거나, 최종 결정된 유망기술 등을 데이터로 저장한다.
도 2는 본 발명의 실시예에 따른 유망기술 하이브리드형 추출 방법을 설명하기 위한 동작 흐름도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 유망기술 하이브리드형 추출 시스템(100)은, 먼저 계량적 유망기술 추출부(110)를 통해 특정 주제에 관한 유망기술의 선별에 필요한 유망기술 자료가 저장되어 있는 데이터베이스를 선정하고, 선정된 유망기술 자료에 대해 1차 클러스터링과 통계적 필터링을 통한 2차 클러스터링을 수행하여 제1 유망기술 후보군을 추출한다(S210).
이때, 계량적 유망기술 추출부(110)는 문헌 데이터베이스와 특허 데이터베이스를 포함하여 유망기술 자료 선별에 필요한 데이터베이스를 선정하는데, 선정한 데이터베이스가 문헌 데이터베이스인 경우, 고인용(High citation) 선정에 의한 유망기술 자료의 선별을 수행하고, 선정한 데이터베이스가 특허 데이터베이스인 경우 특허활용 통합지수(UPI:Unified Patent Index)의 선정에 의한 유망기술 자료의 선별을 수행할 수 있다.
문헌의 경우, 논문에 있어서 인용이라는 것은 그 논문의 권위를 나타낸다. 따라서 피인용 횟수가 많은 논문은 그 분야에서 학문적 권위를 인정받은 것이며, 더불어 해당 분야의 연구가 활발히 진행되고 있음을 의미한다. 만일 연도별 분야별로 피인용수를 나누어 고려한다면 그 해, 혹은 최근에 연구가 활발한 분야를 찾을 수 있다. 인용수가 보통보다 아주 많은 경우를 고인용 논문(HCP)이라고 한다.
또한, 계량적 유망기술 추출부(110)는 특허활용 통합지수(UPI)에 대해 "특허기술 타인용 빈도지수(CFI) + 피인용 지수(CCR)"에 의해 산출하고, 피인용 지수(CCR:Core Citation Report)는 "특정주체의 특정기술 분야의 피인용수/해당 연구주체의 특정기술 분야의 특허건수"에 의해 산출할 수 있다.
정보의 과잉제공이라는 측면에서 특정 기관이나 국가에서 발행하는 전체 특허 가운데 주제별 중심저자(core author)와 중심특허(core patent)를 선정하는 것도 매우 중요하다. 특허의 피인용 지수를 확인함으로써 전체 특허의 조사에 투입되는 시간과 경비를 절감할 수 있다. 이때, 피인용 지수가 1에 가까울수록 해당 특허는 해당 주제 영역 내에 핵심 기술로 간주한다. 도 3은 특허활용통합지수에 의한 유망기술 자료 선별 시 피인용 지수와 특허활용통합지수의 산정예를 보인 도면이다. 도 3에서 피인용지수(CCR)의 예는 "A 41 G(생활용품으로써 의류 중 조화; 가발; 마스크; 우모)에서 2005년 현재 100건의 특허가 출원되었으며, 특정 특허 '갑'의 피인용횟수가 10회이다" 이다. 이러한 피인용지수(CCR)의 산출은 특정 주제에 대한 IPC의 분류체계를 이용한다. 즉 지수 산출자의 편의에 따라 클래스나 서브클래스 혹은 그 하위 그룹 등과 같은 체계를 이용하여 분석대상(A 41 G)을 설정하고, 특정 주제 내에 해당 특허의 피인용지수를 산출할 수 있다.
과학기술의 혁신을 위해서는 우수한 기술을 개발하여 특허를 창출하는 것과 개발된 기술들을 다른 사람들이 활용할 수 있도록 확산하는 것이 필요하다. 즉, 확산된 기술들을 많은 사람들이 활용하여 더 우수한 기술을 개발하는 방식의 순환적 고리구조를 갖는 것이 기술혁신 방법의 핵심이다.
한편 모든 특허 정보는 그 발명의 주제영역에 적합한 IPC 분류체계에 따라 분류기호가 부여된다. 따라서 하나의 특허가 특정 IPC 분류계층(예 : 서브 클래스)에서 몇 개의 타영역에서 인용되었는지를 나타내는 계층별 특허기술 타인용 빈도지수(Cited Frequency Index, CFI)와 개발된 기술들을 얼마나 확산되어 활용되는가(피인용지수, CCR)를 함께 고려한다. 즉 이 두 개의 지수를 합하여 고려함으로써, 해당 특허의 중요도를 측정하게 되며, 이 지수는 소수점을 기준으로 앞의 숫자는 특허기술 타인용 빈도를 나타내며, 뒤의 숫자는 피인용지수를 나타낸다.
도 3에서 특허활용통합지수(UPI)의 예는 "A 41 G(생활용품으로써 의류중 조화;가발;마스크;우모)에서 특허 '갑'의 피인용지수는 0.8이며, A 41(의류)에서 6개의 서브클래스에서 인용되었다" 이다. 예를 들면, 특정 특허가 도 3에서와 같은 인용 패턴을 갖고 있다면, 이 특허활용통합지수는 6.8이다. 이는 6개의 서브클래스 영역에서 이 특허가 활용되었으며, 해당 서브클래스에서 피인용지수는 0.8로써 활용성이 상대적으로 높은 것으로 추정된다.
그리고, 계량적 유망기술 추출부(110)는, 동시인용 분석 또는 서지 결합법을 이용하여 1차 클러스터링을 수행하고, 동시단어 분석을 이용하여 2차 클러스터링을 수행할 수 있다.
동시인용(= 공인용) 분석은 임계치 확인, 유사도 계산, 관계 분석으로 나누어 수행할 수 있다. 분석대상이 되는 논문집합(Ω=[x1, x2, …, xi, …xn])이 확정되었으므로 거기에 포함되는 논문의 피인용수와 공인용수를 집계한다. 피인용수는 Ω에 속하는 논문이 각각 인용된 회수이며 Ci로 표시한다. 한편 공인용수는 Ω에 속하는 서로 다른 2편의 논문이 동일한 논문에 인용된 회수이고 Cij로 표시한다.
각 Ci가 임계치(threshold)를 넘는가를 확인하고, 피인용수가 적은(Ci가 0에 가까운) 논문을 포함하여 공인용 분석을 하게 되면 그 논문 주위에서는 타당한 결과를 얻을 수 없는 가능성이 높다. 분석의 목적이나 분석대상이 되는 분야에 따라 다르지만 최소한 Ci에 5~10 정도의 역치를 설정할 필요가 있으며 그것을 넘지 못한 경우에는 당연히 분석대상에서 제외할 필요가 있다. 마찬가지로 Cij에 대해서도 임계치의 확인이 필요하다.
도 4는 동시인용(=공인용) 분석 맵의 예를 보인 개념도이다. Ci와 Cij를 사용하여 대상논문 간의 유사도(similarity)를 결정한다. 유사도 선택에서 중요한 것은 그것이 정규화 된 유사도인지 여부를 확인하는 것이다. 예를 들면, 인용 분석에서 사용되는 일은 많지 않지만, 포함지표와 같이 정규화 되어 있지 않은 지표를 사용하게 되면 피인용수가 많은 논문은 그 이외의 모든 논문과의 사이에서 유사도가 높아지는 경향이 있다. 따라서 그런 지표는 피인용수가 많은 논문과 그 밖의 논문의 관계를 분석하기에는 적절하지만 피인용수가 그 정도로 많지 않은 논문 간의 관계를 보고 싶은 경우에는 적당하지 않을 것이다. 또한 공인용 분석에서는 다음 수학식1에 따른 자카드 계수(Jaccard coefficient)와 수학식 2에 따른 코사인 계수(Salton's normalization of co-citation)가 비교적 자주 사용되며, 양자 모두 정규화 된 유사도이다.
Figure 112011090948466-pat00015
Figure 112011090948466-pat00016
Jij나 Sij와 같은 유사도를 사용하여 논문 간의 관계를 도출할 수 있다. 구체적으로는 클러스터 분석(cluster analysis)이나 다차원 척도법(multi dimensional scaling, MDS) 등을 적용하여 논문을 그룹화 함과 동시에 그룹(또는 논문) 간의 관계를 가시화 할 수 있다. 이 작업에 의해 논문 그룹이나 논문 자신이 분야에서 차지하는 위치나 다른 클러스터와의 관계 등을 명확히 할 수 있다.
서지결합은 원시문헌(source document)를 이어주는 것임에 비해 공인용은 피인용 문헌(논문)을 이어주는 개념이다. 또한 서지결합 분석에서는 인용대상을 공유하는 논문이 유사하다고 하여 클러스터를 형성하는 것에 비해 공인용 분석에서는 제3의 논문에 동시에 인용된 논문 즉 인용주체를 공유하는 논문이 유사성에 기초해 클러스터를 형성한다. 또한 공인용 분석에서는 출판 직후의 분석이 불가능한 것에 비해 서지결합 분석에서는 이것이 가능하다. 따라서, 서지결합 분석에 의해 속보 가능성이 향상된다. 이러한 속보 가능성 이외에도 서지결합 분석에 의해 명확해지는 논문 간의 구조는 공인용 분석에 비해 안정적이다. 즉, 한번 이루어진 서지결합 분석의 분석결과는 추가적으로 관련되는 논문이 출판되더라도 변경되지 않으나, 공인용 분석의 경우 극단적으로 말해서 새로운 논문이 출판될 때마다 도출되는 구조는 변화할 수 있게 된다.
일정 연구영역에서 연구자 간에는 논문 인용의 형식으로 빈번한 정보교환이 이루어지며, 연구영역에서 이러한 논문 인용 경향을 파악하게 되면 그 연구영역이 어떻게 구축되었고, 다른 영역과 어떠한 관계를 가지는가를 조감적으로 파악할 수 있고, 또한 그 영역을 구성하는 중추적인 논문이 파악됨으로써 전체적인 연구영역의 동향을 알 수 있다.
리서치 프런트(RF:Research Front)는 복수의 논문이 동시에 하나의 논문에서 인용되는 공인용(Co-citation) 관계로 묶인 일정크기 이상의 연구영역을 도 5와 같이 나타낸다. 도 5는 동시인용 분석 개념도를 나타낸 도면이다. 공인용 되는 논문은 내용에 있어서 일정한 공통점이 있는 것으로 생각되고, 이들을 그룹화 함으로써 연구내용에 공통성이 있는 논문들의 집합이 얻어진다. 리서치 프런트는 공인용수가 어느 역치를 초과하는 단계에서부터 형성되기 시작하는데, 다음의 수학식 3 및 수학식 4와 같은 2개의 값을 사용한다.
Figure 112011090948466-pat00017
Figure 112011090948466-pat00018
여기서 NAB는 논문 A와 B를 공인용하는 논문수이고, NA 와 NB는 각각이 논문 A, B를 인용하는 논문 수이며, Nnorm은 규격화 된 공인용 회수이다.
그리고 수학식 4는 논문A를 인용한 논문 NA 가운데, 논문 A와 B를 공인용하는 논문 NAB가 차지하는 비율과 논문 B를 인용하는 논문 NB 가운데 논문 A와 B를 공인용하는 논문 NAB가 차지하는 비율의 상승평균을 의미한다.
예를 들면 간단하게 NA=NB인 경우, 논문A를 인용하는 논문의 30%가 논문B를 공인용하고 있다면, 논문 A, B는 리서치 프런트를 형성하는 것이 된다. 여기서 리서치 프런트를 형성하는 논문 A, B를 핵심논문(CP)이라고 부르며, 해당하는 리서치 프런트의 진전에 따라 공인용으로 묶이는 논문 수는 증가하고, 핵심논문수도 증가하게 된다.
ESI(Essential Science Indicators)의 리서치 프런트는 2개월마다 수시로 경신됨에 따라 핵심 논문 수는 증감을 하게 되며, 리서치 프런트가 소멸 또는 분할하는 경우도 있게 된다.
그래서 리서치 프런트는 고유의 번호체계(ID)를 가지며, 리서치 프런트 키워드를 형성하고, 핵심 논문수(연도별 핵심 논문수 포함), 핵심논문 평균출판연도, 핵심논문 피인용수(연도별 핵심논문 피인용수 포함) 등의 정보를 보여준다.
2차 클러스터링에서는 선정된 1차 유망연구영역 후보에 대해 통계적 필터링을 수행하여 2차 클러스터링을 수행한다. 이러한 2차 클러스터링은 통계적 필터링과 더불어 동시단어 분석을 이용하여 클러스터링을 수행한다.
단어의 유사성 분석은 단어를 사용하고는 있으나 어디까지나 분석의 단위는 논문이며 논문 간의 관계를 정량적으로 표시하는 것이다. 이에 대해 논문 내에 기재되어 있는 복수의 단어 그 자체 간의 관계를 분석함으로써 연구내용을 구조화하고자 하는 경우가 있는데 이를 동시단어분석(co-word analysis)이라 한다.
동시단어분석은 2 개의 단어가 동일한 논문에 함께 출현하는 '단어의 동시출현 현상' 빈도에서 단어 간의 관계를 분석한다. 이는 분석 수순으로는 공인용 분석에서 2개의 문헌이 동일한 논문의 인용문헌 목록에 함께 출현한 빈도로부터 문헌(논문) 간의 관계를 분석한 수순과 다르지 않다.
동시단어분석은 인용 분석과는 다르게 분석대상이 논문에만 한정되지 않고 보고서, 특허, 연구자금 신청서, 신문, 정부의 답신, 인터넷상의 홈페이지 등 여러 가지 문서를 대상으로 삼을 수 있다는 것이다. 게다가 이러한 문서에 나타나는 단어는 물질이나 연구방법의 명칭 뿐 아니라 장치, 사람, 연구기관이나 자금배분기관의 명칭, 경제/정치/생활에 관한 단어일 경우도 포함될 수 있다. 이러한 동시단어분석에서는 과학기술을 넘어 여러 다양한 분야의 단어 간의 동시출현을 분석할 수 있으며 사회/경제적인 과제와 연구개발과제 간의 등치관계를 나타내는 것도 가능하다.
논문에서 단어의 동시출현회수를 계측하기 위해서 본문을 분석대상으로 하는 경우도 있으나 요지나 제목만을 분석대상으로 삼는 경우가 많으며. 본문도 전자화 되어 있다면 기계적인 분석을 할 수 있지만 처리해야 할 데이터 량이 많아지기 때문에 요지 등에 한정하여 분석하게 된다.
이어, 하이브리드형 유망기술 추출 시스템(100)은, 집단지성 유망기술 추출부(120)를 통해, 특정 주제에 관한 기술 동향 정보를 제공하는 사이트에서, 이슈 기술에 관한 기사 중 전문가들에 의해 일정 수 이상으로 클릭된 기사로부터 키워드를 추출해, 클릭수가 일정 기준보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출한다(S220).
이때, 집단지성 유망기술 추출부(120)는, 특정 주제에 관한 기술 동향 정보 중 현재를 기준으로 일정 기간 이내에 해당하는 최근에(예를 들면, 현재로부터 6 개월 이내) 이슈가 되는 자료를 데이터베이스화 하고, 도 6에 도시된 바와 같이 전문가들이 접속하는 기술 동향 정보 제공 사이트, 예를 들면, NDSL(www.ndsl.kr) 사이트에서 주 단위 또는 월 단위로 특정 주제별로 기사를 분류하고 분야별로 이슈 기술들을 도출하여 목록화 하며, 목록화 된 이슈 기술에 관한 기사 중 전문가들에 의해 일정 수 이상, 예컨대 20회 이상으로 클릭된 기사의 제목이나 내용(집단지성)에서 키워드를 추출해, 클릭수에 따라 도 7에 도시된 바와 같이 집단지성 순위(Ranking)를 설정한 후, 설정된 집단지성 순위에 근거해 일정 기준 클릭수 40회보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출한다. 여기서, 도 6은 본 발명의 실시예에 따라 특정 주제에 관한 기술동향 사이트에서 전문가들에 의해 클릭된 기사의 제목이나 내용을 클릭수와 함께 나타낸 집단지성의 한 예를 나타낸 도면이고, 도 7은 본 발명의 실시예에 따라 특정 주제별 목록화 된 이슈 기술들을 집단지성의 순위에 따라 제공하는 예를 나타낸 도면이다. 따라서, 집단지성 유망기술 추출부(120)는 도 6 및 도 7에 도시된 바와 같은 과정으로 예를 들면, 일정 기준보다 상위에 해당하는 '이차전지'라는 키워드를 제2 유망기술 후보군으로 추출하게 되는 것이다.
집단지성은 다수의 사용자가 개개인의 작업 및 지식을 공유하고 취합하여 일반적 사실을 도출해 낸다는 원리를 가지고 있다. 이 원리는 다수 사용자의 참여에 의해 어떤 사실에 대한 신뢰성을 높여나간다는 것이 그 핵심이다. 이 때 잘못된 사실이 전체 집합에 포함되기도 하는데 잘못된 사실은 전체집합에서 아주 작은 부분이므로 참과 거짓은 쉽게 구분이 가능하다. 집단지성의 원리를 수학적으로 해석하면, 사용자들마다 클릭(선택)한 지식을 다음 수학식5로 표현할 때 a는 클릭(선택)된 지식이고 nk는 잘못 클릭된(잘못 선택된) 지식을 의미한다. 여기서 k는 사용자의 번호를 의미한다.
Figure 112011090948466-pat00019
지식 X에 대해 1부터 k까지의 사용자가 클릭한 지식을 모두 합하면 다음 수학식 6과 같이 표현된다.
Figure 112011090948466-pat00020
수학식 6에서 클릭된(선택된) 지식은 그 양이 증가할수록 선형적으로 증가하지만 잘못 클릭(선택)된 지식은 모두 같은 지식이 아니고 상호 간섭이 적으므로 서로 독립적이라고 볼 수 있다. 따라서 잘못 클릭된 정보는
Figure 112011090948466-pat00021
으로 표현이 되며 이 경우 k가 증가할수록
Figure 112011090948466-pat00022
배 감소하게 된다. 단위의 표현 방법은 지식을 하나로 상정한 것이므로 지식의 수가 무한대에 가깝다고 할 때 어느 사용자 K가 클릭한 i번째 지식은 다음 수학식 7로 표현한다.
Figure 112011090948466-pat00023
여기서
Figure 112011090948466-pat00024
는 K사용자가 i번째 클릭한 지식을 의미한다.
따라서 집단지성에 의해 1부터 k까지의 사용자가 클릭한 i번째 지식은 다음 수학식 8과 같이 표현된다.
Figure 112011090948466-pat00025
수학식 8에서 i번째 지식에 대해 클릭한 사용자가 많아지면 많아질수록
Figure 112011090948466-pat00026
가 선형적으로 증가하게 되므로 선택된 지식의 양은 커지게 되며 반면 잘못 선택된 지식은 그 비율이 갈수록 적어지게 된다.
한편, 집단지성 유망기술 추출부(120)는, 제1 유망기술 후보군을 대표하는 이미지와, 제2 유망기술 후보군을 대표하는 이미지를 비교하여 두 유망기술 후보군 간의 유사도를 판단할 수 있는데, 이 경우에 각 이미지에 대한 픽셀을 요소로 하는 바타차리야 계수(Bhattacharyya Coefficient)를 이용하여 그 유사도를 산출할 수도 있다. 예를 들면, 제1 유망기술 후보군을 대표하는 제1 이미지와, 제2 유망기술 후보군을 대표하는 제2 이미지 각각에 대해, 프레임당 각 픽셀의 색상 값들을 0 내지 255 값들의 그레이(gray) 값으로 전환하여, 하나의 프레임에서 각 픽셀에 대한 그레이 값의 분포도를 나타내는 제1 및 제2 히스토그램을 각각 생성하고, 제1 히스토그램 값들의 총합이 1이 되도록 또한 제2 히스토그램 값들의 총합이 1이 되도록 픽셀의 개수로 나누어 정규화(Normalization)하고, 바타차리야 계수를 이용하여 다음 수학식9와 같이 제1 히스토그램과 제2 히스토그램의 유사도를 산출할 수 있다.
Figure 112011090948466-pat00027
여기서, S(b,f)는 유사도를 나타내고,
Figure 112011090948466-pat00028
는 정규화 된(Normalized) 제1 히스토그램의 i번째 인덱스(index)의 값이고,
Figure 112011090948466-pat00029
는 정규화 된 제2 히스토그램의 i번째 인덱스(index)의 값을 나타낸다. 따라서, 유사도의 값이 1에 가까울수록 두 이미지는 매우 동일한 것임을 알 수 있다.
이어, 유망기술 하이브리드형 추출 시스템(100)은, 유망기술 결정부(130)를 통해 제1 유망기술 후보군과 제2 유망기술 후보군의 유사도를 분석하여, 유사도가 일정 기준 이상으로 높은 유망기술을 최종 유망기술로 결정한다(S230).
여기서, 유망기술 결정부(130)는 제1 유망기술 후보군과 제2 유망기술 후보군의 유사도에 대해, 전술한 바와 같이 수학식1에 따른 자카드 계수(Jaccard coefficient)와 수학식 2에 따른 코사인 계수(Salton's normalization of co-citation)를 이용하여 두 후보군의 유사도를 산출하여, 그 유사도가 일정 기준, 예를 들면 80% 이상으로 높은 경우에, 제1 유망기술 후보군과 제2 유망기술 후보군에 해당하는 유망기술을 최종 유망기술로 결정하게 되는 것이다.
전술한 바와 같이 본 발명에 의하면, 특정 주제에 관한 유망기술의 선별에 필요한 유망기술 자료에 대해 정량적 방법으로 제1 유망기술 후보군을 추출하고, 특정 주제에 관한 기술 동향 정보를 제공하는 사이트에서 이슈 기술에 관한 기사 중 전문가들에 의해 일정 수 이상으로 클릭된 기사로부터 키워드를 추출해, 클릭수가 일정 기준보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출한 후, 제1 유망기술 후보군과 제2 유망기술 후보군의 유사도를 분석하여 유사도가 일정 기준 이상으로 높은 유망기술을 최종 유망기술로 결정하도록 하는, 집단지성을 활용한 하이브리드형 유망기술 추출 시스템 및 방법을 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은, 특정 주제에 관한 유망기술의 선별에 필요한 유망기술 자료에 대해 정량적 방법으로 제1 유망기술 후보군을 추출하거나, 특정 주제에 관한 기술 동향 정보를 제공하는 사이트에서 이슈 기술에 관한 기사 중 전문가들에 의해 일정 수 이상으로 클릭된 기사로부터 키워드를 추출해, 클릭수가 일정 기준보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출하는 시스템, 그리고 제1 유망기술 후보군과 제2 유망기술 후보군의 유사도를 분석하여 유사도가 일정 기준 이상으로 높은 유망기술을 최종 유망기술로 결정하도록 하는, 집단지성을 활용한 하이브리드형 유망기술 추출 시스템 및 방법에 적용할 수 있다.
100 : 하이브리드형 유망기술 추출 시스템
110 : 계량적 유망기술 추출부
120 : 집단지성 유망기술 추출부
130 : 유망기술 결정부
140 : 입력부
150 : 디스플레이부
160 : 데이터베이스

Claims (14)

  1. 특정 주제에 관한 유망기술의 선정에 필요한 유망기술 자료가 저장되어 있는 데이터베이스를 선정하고, 선정된 유망기술 자료에 대해 1차 클러스터링과 통계적 필터링을 통한 2차 클러스터링을 수행하여 제1 유망기술 후보군을 추출하는 계량적 유망기술 추출부;
    상기 특정 주제에 관한 기술 동향 정보를 제공하는 사이트에서, 이슈 기술에 관한 기사 중 전문가들에 의해 20회 이상으로 클릭된 기사로부터 키워드를 추출해, 클릭수가 일정 기준 클릭수 40회보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출하는 집단지성 유망기술 추출부; 및
    상기 제1 유망기술 후보군과 상기 제2 유망기술 후보군의 유사도를 분석하여, 유사도가 일정 기준 80% 이상으로 높은 유망기술을 최종 유망기술로 결정하는 유망기술 결정부;
    를 포함하는 집단지성을 활용한 하이브리드형 유망기술 추출 시스템.
  2. 제 1 항에 있어서,
    상기 집단지성 유망기술 추출부는, 상기 특정 주제에 관한 기술 동향 정보 중 현재를 기준으로 일정 기간 이내에 해당하는 최근에 이슈가 되는 자료를 데이터베이스화 하고, 상기 전문가들이 접속하는 기술 동향 정보 제공 사이트에서 주 단위 또는 월 단위로 특정 주제별로 기사를 분류하고 분야별로 이슈 기술들을 도출하여 목록화 하며, 목록화 된 이슈 기술에 관한 기사 중 전문가들에 의해 20회 이상으로 클릭된 기사의 제목이나 내용에서 키워드를 추출해, 클릭수에 따라 집단지성 순위(Ranking)를 설정한 후, 설정된 집단지성 순위에 근거해 일정 기준 클릭수 40회보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출하는 것을 특징으로 하는 집단지성을 활용한 하이브리드형 유망기술 추출 시스템.
  3. 제 1 항에 있어서,
    상기 계량적 유망기술 추출부는, 상기 선정한 데이터베이스가 문헌 데이터베이스인 경우 고인용 선정에 의한 유망기술 자료의 선별을 수행하고, 상기 선정한 데이터베이스가 특허 데이터베이스인 경우 특허활용 통합지수의 선정에 의한 유망기술 자료의 선별을 수행하는 것을 특징으로 하는 집단지성을 활용한 하이브리드형 유망기술 추출 시스템.
  4. 제 3 항에 있어서,
    상기 계량적 유망기술 추출부는, 상기 특허활용 통합지수에 대해 "특허기술 타인용 빈도지수(CFI) + 피인용 지수(CCR)"에 의해 산출하고, 상기 피인용 지수(CCR)는 "특정주체의 특정기술 분야의 피인용수/해당 연구주체의 특정기술 분야의 특허건수"에 의해 산출하는 것을 특징으로 하는 집단지성을 활용한 하이브리드형 유망기술 추출 시스템.
  5. 제 1 항에 있어서,
    상기 계량적 유망기술 추출부는, 동시인용 분석 또는 서지 결합법을 이용하여 상기 1차 클러스터링을 수행하고, 동시단어 분석을 이용하여 상기 2차 클러스터링을 수행하는 것을 특징으로 하는 집단지성을 활용한 하이브리드형 유망기술 추출 시스템.
  6. 제 1 항에 있어서,
    상기 집단지성 유망기술 추출부는, 상기 전문가들이 접속하는 기술 동향 정보 제공 사이트에서 주 단위 또는 월 단위로 특정 주제별로 지식을 분류하고 분야별로 이슈 기술들을 도출하여 목록화 하며, 목록화 된 이슈 기술에 관한 지식 중 전문가들에 의해 1부터 k까지의 사용자가 클릭한 i번째 지식을 다음 수학식 8에 따라 산출하고, i번째 지식에 대해 클릭한 사용자가 많아지면 많아질수록
    Figure 112011090948466-pat00030
    가 선형적으로 증가하게 되어, 클릭(선택)된 지식의 양이 커지게 되며, 잘못 선택된 지식의 비율이 갈수록 적어지는 것을 특징으로 하는 집단지성을 활용한 하이브리드형 유망기술 추출 시스템.
    [수학식 8]
    Figure 112011090948466-pat00031

    여기서
    Figure 112011090948466-pat00032
    는 K 사용자가 i번째 클릭한 지식을 의미하고, a[i]는 클릭(선택)된 지식이며,
    Figure 112011090948466-pat00033
    는 잘못 클릭(선택)된 정보를 나타낸다.
  7. 제 1 항에 있어서,
    상기 집단지성 유망기술 추출부는, 상기 제1 유망기술 후보군을 대표하는 제1 이미지와, 상기 제2 유망기술 후보군을 대표하는 제2 이미지 각각에 대해, 프레임당 각 픽셀의 색상 값들을 0 내지 255 값들의 그레이(gray) 값으로 전환하여, 하나의 프레임에서 각 픽셀에 대한 그레이 값의 분포도를 나타내는 제1 및 제2 히스토그램을 각각 생성하고, 제1 히스토그램 값들의 총합이 1이 되도록 또한 제2 히스토그램 값들의 총합이 1이 되도록 픽셀의 개수로 나누어 정규화(Normalization)하며, 바타차리야 계수를 이용하여 다음 수학식9에 따라 제1 히스토그램과 제2 히스토그램의 유사도를 산출하는 것을 특징으로 하는 집단지성을 활용한 하이브리드형 유망기술 추출 시스템.
    [수학식 9]
    Figure 112011090948466-pat00034

    여기서, S(b,f)는 유사도를 나타내고,
    Figure 112011090948466-pat00035
    는 정규화 된(Normalized) 제1 히스토그램의 i번째 인덱스(index)의 값이고,
    Figure 112011090948466-pat00036
    는 정규화 된 제2 히스토그램의 i번째 인덱스(index)의 값을 나타낸다.
  8. (a) 특정 주제에 관한 유망기술의 선별에 필요한 유망기술 자료가 저장되어 있는 데이터베이스를 선정하고, 선정된 유망기술 자료에 대해 1차 클러스터링과 통계적 필터링을 통한 2차 클러스터링을 수행하여 제1 유망기술 후보군을 추출하는 계량적 유망기술 추출 단계;
    (b) 상기 특정 주제에 관한 기술 동향 정보를 제공하는 사이트에서, 이슈 기술에 관한 기사 중 전문가들에 의해 20회 이상으로 클릭된 기사로부터 키워드를 추출해, 클릭수가 일정 기준 클릭수 40회보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출하는 집단지성 유망기술 추출 단계; 및
    (c) 상기 제1 유망기술 후보군과 상기 제2 유망기술 후보군의 유사도를 분석하여, 유사도가 일정 기준 80% 이상으로 높은 유망기술을 최종 유망기술로 결정하는 유망기술 결정 단계;
    를 포함하는 집단지성을 활용한 하이브리드형 유망기술 추출 방법.
  9. 제 8 항에 있어서,
    상기 (b) 집단지성 유망기술 추출 단계는, 상기 특정 주제에 관한 기술 동향 정보 중 현재를 기준으로 일정 기간 이내에 해당하는 최근에 이슈가 되는 자료를 데이터베이스화 하고, 상기 전문가들이 접속하는 기술 동향 정보 제공 사이트에서 주 단위 또는 월 단위로 특정 주제별로 기사를 분류하고 분야별로 이슈 기술들을 도출하여 목록화 하며, 목록화 된 이슈 기술에 관한 기사 중 전문가들에 의해 20회 이상으로 클릭된 기사의 제목이나 내용에서 키워드를 추출해, 클릭수에 따라 집단지성 순위(Ranking)를 설정한 후, 설정된 집단지성 순위에 근거해 일정 기준 클릭수 40회보다 상위에 해당하는 키워드의 이슈 기술을 제2 유망기술 후보군으로 추출하는 것을 특징으로 하는 집단지성을 활용한 하이브리드형 유망기술 추출 방법.
  10. 제 8 항에 있어서,
    상기 (a) 계량적 유망기술 추출 단계는, 상기 선정한 데이터베이스가 문헌 데이터베이스인 경우 고인용 선정에 의한 유망기술 자료의 선별을 수행하고, 상기 선정한 데이터베이스가 특허 데이터베이스인 경우 특허활용 통합지수의 선정에 의한 유망기술 자료의 선별을 수행하는 것을 특징으로 하는 집단지성을 활용한 하이브리드형 유망기술 추출 방법.
  11. 제 10 항에 있어서,
    상기 (a) 계량적 유망기술 추출 단계는, 상기 특허활용 통합지수에 대해 "특허기술 타인용 빈도지수(CFI) + 피인용 지수(CCR)"에 의해 산출하고, 상기 피인용 지수(CCR)는 "특정주체의 특정기술 분야의 피인용수/해당 연구주체의 특정기술 분야의 특허건수"에 의해 산출하는 것을 특징으로 하는 집단지성을 활용한 하이브리드형 유망기술 추출 방법.
  12. 제 8 항에 있어서,
    상기 (a) 계량적 유망기술 추출 단계는, 동시인용 분석 또는 서지 결합법을 이용하여 상기 1차 클러스터링을 수행하고, 동시단어 분석을 이용하여 상기 2차 클러스터링을 수행하는 것을 특징으로 하는 집단지성을 활용한 하이브리드형 유망기술 추출 방법.
  13. 제 8 항에 있어서,
    상기 (b) 집단지성 유망기술 추출 단계는, 상기 전문가들이 접속하는 기술 동향 정보 제공 사이트에서 주 단위 또는 월 단위로 특정 주제별로 지식을 분류하고 분야별로 이슈 기술들을 도출하여 목록화 하며, 목록화 된 이슈 기술에 관한 지식 중 전문가들에 의해 1부터 k까지의 사용자가 클릭한 i번째 지식을 다음 수학식 8에 따라 산출하고, i번째 지식에 대해 클릭한 사용자가 많아지면 많아질수록
    Figure 112011090948466-pat00037
    가 선형적으로 증가하게 되어, 클릭(선택)된 지식의 양이 커지게 되며, 잘못 선택된 지식의 비율이 갈수록 적어지는 것을 특징으로 하는 집단지성을 활용한 하이브리드형 유망기술 추출 방법.
    [수학식 8]
    Figure 112011090948466-pat00038

    여기서
    Figure 112011090948466-pat00039
    는 K 사용자가 i번째 클릭한 지식을 의미하고, a[i]는 클릭(선택)된 지식이며,
    Figure 112011090948466-pat00040
    는 잘못 클릭(선택)된 정보를 나타낸다.
  14. 제 8 항에 있어서,
    상기 (b) 집단지성 유망기술 추출 단계는, 상기 제1 유망기술 후보군을 대표하는 제1 이미지와, 상기 제2 유망기술 후보군을 대표하는 제2 이미지 각각에 대해, 프레임당 각 픽셀의 색상 값들을 0 내지 255 값들의 그레이(gray) 값으로 전환하여, 하나의 프레임에서 각 픽셀에 대한 그레이 값의 분포도를 나타내는 제1 및 제2 히스토그램을 각각 생성하고, 제1 히스토그램 값들의 총합이 1이 되도록 또한 제2 히스토그램 값들의 총합이 1이 되도록 픽셀의 개수로 나누어 정규화(Normalization)하며, 바타차리야 계수를 이용하여 다음 수학식9에 따라 제1 히스토그램과 제2 히스토그램의 유사도를 산출하는 것을 특징으로 하는 집단지성을 활용한 하이브리드형 유망기술 추출 방법.
    [수학식 9]
    Figure 112011090948466-pat00041

    여기서, S(b,f)는 유사도를 나타내고,
    Figure 112011090948466-pat00042
    는 정규화 된(Normalized) 제1 히스토그램의 i번째 인덱스(index)의 값이고,
    Figure 112011090948466-pat00043
    는 정규화 된 제2 히스토그램의 i번째 인덱스(index)의 값을 나타낸다.
KR1020110120157A 2011-11-17 2011-11-17 집단지성을 활용한 하이브리드형 유망기술 추출 시스템 및 방법 KR101259417B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110120157A KR101259417B1 (ko) 2011-11-17 2011-11-17 집단지성을 활용한 하이브리드형 유망기술 추출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110120157A KR101259417B1 (ko) 2011-11-17 2011-11-17 집단지성을 활용한 하이브리드형 유망기술 추출 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101259417B1 true KR101259417B1 (ko) 2013-04-30

Family

ID=48443946

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110120157A KR101259417B1 (ko) 2011-11-17 2011-11-17 집단지성을 활용한 하이브리드형 유망기술 추출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101259417B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160103802A (ko) * 2015-02-25 2016-09-02 국민대학교산학협력단 소셜 네트워크를 활용한 연구개발 관점의 사회적 이슈 재구성 장치 및 방법
WO2019156445A1 (ko) 2018-02-12 2019-08-15 윤성민 사업 수행 시스템 및 그 방법
US20220343350A1 (en) * 2021-04-22 2022-10-27 EMC IP Holding Company LLC Market basket analysis for infant hybrid technology detection
KR20230101323A (ko) 2021-12-29 2023-07-06 (주)호모미미쿠스 양자컴퓨팅을 이용한 애로기술 해결 전문가 매칭 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060122276A (ko) * 2005-05-26 2006-11-30 주식회사 다음기술 온톨로지 자동 구축을 위한 문서로부터 개념 간의 관계추출
KR20090112157A (ko) * 2008-04-23 2009-10-28 재단법인서울대학교산학협력재단 시맨틱 웹 자원의 랭킹처리방법
KR20110070301A (ko) * 2009-12-18 2011-06-24 주식회사 케이티 온톨로지 구축 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060122276A (ko) * 2005-05-26 2006-11-30 주식회사 다음기술 온톨로지 자동 구축을 위한 문서로부터 개념 간의 관계추출
KR20090112157A (ko) * 2008-04-23 2009-10-28 재단법인서울대학교산학협력재단 시맨틱 웹 자원의 랭킹처리방법
KR20110070301A (ko) * 2009-12-18 2011-06-24 주식회사 케이티 온톨로지 구축 시스템 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160103802A (ko) * 2015-02-25 2016-09-02 국민대학교산학협력단 소셜 네트워크를 활용한 연구개발 관점의 사회적 이슈 재구성 장치 및 방법
KR101693727B1 (ko) * 2015-02-25 2017-01-17 국민대학교산학협력단 소셜 네트워크를 활용한 연구개발 관점의 사회적 이슈 재구성 장치 및 방법
WO2019156445A1 (ko) 2018-02-12 2019-08-15 윤성민 사업 수행 시스템 및 그 방법
KR20190097349A (ko) 2018-02-12 2019-08-21 윤성민 사업 수행 시스템 및 그 방법
US20220343350A1 (en) * 2021-04-22 2022-10-27 EMC IP Holding Company LLC Market basket analysis for infant hybrid technology detection
KR20230101323A (ko) 2021-12-29 2023-07-06 (주)호모미미쿠스 양자컴퓨팅을 이용한 애로기술 해결 전문가 매칭 시스템 및 방법

Similar Documents

Publication Publication Date Title
Moro et al. Business intelligence in banking: A literature analysis from 2002 to 2013 using text mining and latent Dirichlet allocation
Žliobaite et al. Handling conditional discrimination
Long et al. A new graphic kernel method of stock price trend prediction based on financial news semantic and structural similarity
Denizci Guillet An evolutionary analysis of revenue management research in hospitality and tourism: is there a paradigm shift?
Whelan et al. Measuring material deprivation with EU-SILC: Lessons from the Irish survey
Yang et al. Using weighted k-means to identify Chinese leading venture capital firms incorporating with centrality measures
Li et al. Chart GCN: Learning chart information with a graph convolutional network for stock movement prediction
KR101259417B1 (ko) 집단지성을 활용한 하이브리드형 유망기술 추출 시스템 및 방법
Ma et al. Deep learning in the Chinese stock market: the role of technical indicators
Chen et al. An extended study of the K-means algorithm for data clustering and its applications
Srour et al. Exploring diversity through machine learning: a case for the use of decision trees in social science research
Rahkovsky et al. AI research funding portfolios and extreme growth
Balcı et al. Hierarchies in communities of UK stock market from the perspective of Brexit
Datta et al. Mining frequent patterns partially devoid of dissociation with automated MMS specification strategy
Mall et al. Bibliometric Analysis on Big Data Applications in Insurance Sector: Past, Present, and Future Research Directions
CN105447117A (zh) 一种用户聚类的方法和装置
Bellantuono et al. Detecting the socio-economic drivers of confidence in government with eXplainable Artificial Intelligence
Fast et al. Relational data pre-processing techniques for improved securities fraud detection
KR20090001742A (ko) 지식정보의 계량화를 통한 유망연구영역 선정방법
KR100964635B1 (ko) 지식정보의 계량화를 통한 유망연구영역 선정방법
KR101265975B1 (ko) 미래 기술 가치 평가 시스템 및 방법
Delgosha et al. Semantic structures of business analytics research: applying text mining methods
Zhao et al. Detecting fake reviews via dynamic multimode network
Zhang et al. Enterprise heterogeneity, agglomeration model, and urban exports: Evidence from Chinese cities and micro enterprises
Wang et al. Credit scoring of micro and small entrepreneurial firms in China

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160406

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180423

Year of fee payment: 6