KR102569398B1 - 인공지능 기반의 기술수준평가시스템 및 그 방법 - Google Patents

Abstract

본 발명인 인공지능 기반의 기술수준평가시스템은, 국가 및 기술분야 별 특허정보 및 논문정보를 포함하는 분석데이터 및 국가 및 기술분야 별 기술수준에 대한 평가데이터를 획득하는 입력부, 분석데이터를 전처리하여 하나 이상의 분석지표를 포함하는 분석대상데이터를 생성하는 전처리부, 분석대상데이터 및 평가데이터를 이용하여 국가 및 기술분야 별 현재시점이나 미래시점의 기술수준을 측정하거나 예측하기 위한 하나 이상의 제1 인공지능학습모델을 생성하는 모델링부, 분석대상데이터를 독립변수로하고 평가데이터를 종속변수로 하여 인공지능학습모델의 기계학습을 수행하고, 평가결과데이터를 추출하는 기계학습부, 및 평가결과데이터를 이용하여 하나 이상의 인공지능학습모델 중 국가 및 기술분야 별 현재시점이나 미래시점의 기술수준을 측정하기 위한 타겟인공지능학습모델을 결정하는 제어부를 포함한다.

Description

인공지능 기반의 기술수준평가시스템 및 그 방법{SYSTEM AND METHOD FOR ASSESSMENT OF TECHNOLOGY LEVEL BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 인공지능 기반의 기술수준평가시스템 및 그 방법에 관한 것이다.

기술정책 또는 기술전략의 수립을 위한 기초정보로서 기술수준에 대한 정확한 평가 또는 측정이 필요하다.

일반적으로 기술수준을 측정하기 위해 기술분야 별 전문가를 통한 설문방식을 이용하나, 편차가 존재하여 정확도가 떨어지고 상당한 시간과 비용이 소요된다.

한편, 최근에는 특허정보를 이용하여 기술수준을 측정하는 기존의 다양한 연구가 존재하나, 이들은 수개의 특허지표를 사용하여 측정한 값들을 선형적으로 결합하고 각 지표별로 동일한 가중치를 주어 특허경쟁력을 측정하는 방식이 주를 이루고 있다.

특히, 기존의 등록특허(등록번호:10-1115102; 등록일자: 2012년 02월 03일)는 상기한 특허지표별 가중치를 AHP(Analytic Hierarchy Process)방식에 의해 결정하나, AHP방식 역시 전문가 설문에 의해 결정하므로 편차가 크고 추가적인 비용과 시간이 소요되는 문제가 있다.

그러므로, 기술수준 측정의 객관성(정확도) 뿐만 아니라 비용과 시간적인 측면에서 효율적이며, 다양한 기술분야에 대해 현재(또는, 미래)의 기술수준을 예측하고 측정하기 위한 기술이 필요한 실정이다.

대한민국 등록특허 10-1115102

본 발명이 해결하고자 하는 기술적 과제는 특허 및 논문정보를 이용하여 국가 및 기술분야 별 기술수준을 측정하거나 예측하기 위한 인공지능학습모델을 구축하고 기술수준을 예측하기 위함이다.

본 발명의 한 실시예에 따른 인공지능 기반의 기술수준평가시스템은, 국가 및 기술분야 별 특허정보와 논문정보를 포함하는 분석데이터 및 상기 국가 및 기술분야 별 기술수준에 대해 상기 국가 및 기술분야 별 전문가에 의해 미리 평가된 평가데이터를 획득하는 입력부, 상기 분석데이터를 전처리하여 하나 이상의 분석지표를 포함하는 분석대상데이터를 생성하는 전처리부, 상기 분석데이터 중 현재시점의 이전시점인 제2 기준시점을 기준으로 소정의 기간 이내인 분석데이터를 전처리하여 획득한 상기 분석대상데이터 및 상기 제2 기준시점 이후이고 상기 현재시점의 이전시점인 제1 기준시점까지 획득한 상기 평가데이터를 이용하여 상기 국가 및 기술분야 별 현재시점의 상기 기술수준을 측정하거나 미래시점의 상기 기술수준을 예측하기 위한 하나 이상의 인공지능학습모델을 생성하는 모델링부, 상기 분석대상데이터를 독립변수로하고 상기 평가데이터를 종속변수로 하여 상기 인공지능학습모델의 기계학습을 수행하고, 평가결과데이터를 추출하는 기계학습부 및 상기 평가결과데이터를 이용하여 상기 하나 이상의 인공지능학습모델 중 상기 국가 및 기술분야 별 현재시점의 상기 기술수준을 측정하거나 미래시점의 상기 기술수준을 예측하기 위한 타겟인공지능학습모델을 결정하는 제어부를 포함하고, 상기 타겟인공지능학습모델은 상기 분석데이터 중 상기 제2 기준시점 이후이고 상기 제1 기준시점 이전의 시점인 제3 기준시점을 기준으로 소정의 기간 이내인 상기 분석데이터가 상기 전처리되어 입력값으로 입력된 경우 상기 현재시점에서 기술수준을 측정한 평가데이터를 추출하고 상기 분석데이터 중 상기 제3 기준시점 이후이고 상기 현재시점 이전 시점인 제4 기준시점을 기준으로 소정의 기간 이내인 상기 분석데이터를 상기 전처리되어 입력값으로 입력된 경우 상기 미래시점에서 기술수준을 예측한 평가데이터를 추출하고, 상기 분석데이터는 상기 국가 및 기술분야 별 특허의 출원개수, 피인용횟수, 패밀리특허의 개수, 패밀리국가수, 국제특허분류(IPC) 개수, 청구항 개수, 출원인수, 발명자수, 및 가치평가금액을 포함하는 상기 특허정보 및 논문의 개수 및 피인용횟수를 포함하는 상기 논문정보를 포함하고, 상기 전처리부는 상기 분석데이터 중 상기 특허의 출원된 년도가 상기 제2 기준시점을 기준으로 소정의 기간 이내이고, 상기 논문의 공개된 년도가 상기 제2 기준시점을 기준으로 상기 소정의 기간 이내인 제1 분석대상데이터를 추출하고 상기 제2 기준시점은 상기 인공지능학습모델을 생성하는 제1 기준시점을 기준으로 상기 특허가 공개되는데 필요한 기간 이전이고, 상기 전처리부는 상기 제1 분석대상데이터 중 상기 특허의 출원개수가 미리 설정된 기준출원 개수 미만인 상기 특허정보를 제외하고 상기 논문의 개수가 미리 설정된 기준논문 개수 미만인 상기 논문정보를 제외하여 제2 분석대상데이터를 추출하고, 상기 전처리부는 상기 제2 분석대상데이터에서 하나 이상의 제1 분석지표를 추출하고 상기 하나 이상의 제1 분석지표는 상기 기술분야 별 대상국가에서의 상기 특허의 출원개수의 비중, 전체 기술분야에서 상기 대상국가의 상기 특허의 출원개수의 비중과 상기 기술분야 별 상기 대상국가의 상기 특허의 출원개수의 비중의 비율, 상기 기술분야 별 전체국가의 상기 특허의 평균 피인용횟수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 피인용횟수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 패밀리특허 개수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 패밀리특허 개수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 패밀리국가수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 패밀리국가수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 국제특허분류 개수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 국제특허분류 개수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 청구항개수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 청구항개수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 발명자수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 발명자수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 출원인수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 출원인수의 비율, 및 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 가치평가금액과 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 가치평가금액의 비율 중 적어도 하나 이상을 포함하고, 상기 하나 이상의 제1 분석지표는 상기 기술분야 별 대상국가의 상기 논문의 개수의 비율, 전체 기술분야에서 상기 대상국가의 상기 논문의 개수와 상기 기술분야 별 상기 대상국가의 상기 논문의 개수의 비율, 및 상기 기술분야 별 전체국가에서 상기 논문의 평균 피인용횟수와 상기 기술분야 별 상기 대상국가의 상기 논문의 평균 피인용횟수의 비율 중 적어도 하나 이상을 더 포함하고, 상기 전처리부는 상기 하나 이상의 제1 분석지표에서 기준 임계값 이상인 이상치(outlier)를 제외하여 하나 이상의 제2 분석지표를 포함하는 상기 분석대상데이터를 생성하고, 상기 모델링부는 상기 하나 이상의 제2 분석지표를 포함하는 상기 분석대상데이터와 상기 제1 기준시점까지의 평가데이터를 이용하여 상기 하나 이상의 제2 분석지표 중 하나 이상의 제3 분석지표를 추출하고, 상기 모델링부는 상기 하나 이상의 제3 분석지표의 조합으로 구성된 타겟분석지표를 상기 독립변수로 하고 상기 제1 기준시점까지의 평가데이터를 상기 종속변수로 하여 상기 하나 이상의 인공지능학습모델을 생성하고, 상기 기계학습부는 상기 타겟분석지표 중 일부를 상기 독립변수로하고 상기 제1 기준시점까지의 평가데이터를 상기 종속변수로하여 상기 하나 이상의 인공지능학습모델의 기계학습을 수행하고, 상기 제어부는 상기 타겟분석지표 중 나머지를 상기 하나 이상의 인공지능학습모델에 입력하여 추출된 평가결과데이터와 상기 제1 기준시점까지 상기 입력부에서 획득한 상기 평가데이터 사이의 평균제곱근편차 또는 평균절대오차를 산출하고, 상기 평균제곱근편차 또는 상기 평균절대오차 중 최소값을 가지는 어느 하나의 인공지능학습모델을 상기 타겟인공지능학습모델로 결정한다.

또한, 본 발명의 한 실시예에 따른 인공지능 기반의 기술수준평가방법은 입력부에 의해 국가 및 기술분야 별 특허정보와 논문정보를 포함하는 분석데이터 및 상기 국가 및 기술분야 별 기술수준에 대해 국가 및 기술분야 별 전문가에 의해 미리 평가된 평가데이터를 획득하는 단계, 전처리부에 의해 상기 분석데이터를 전처리하여 하나 이상의 분석지표를 포함하는 분석대상데이터를 생성하는 단계, 모델링부에 의해 상기 분석데이터 중 현재시점의 이전시점인 제2 기준시점을 기준으로 소정의 기간 이내인 분석데이터를 전처리하여 획득한 상기 분석대상데이터 및 상기 제2 기준시점 이후이고 상기 현재시점의 이전시점인 제1 기준시점까지 획득한 상기 평가데이터를 이용하여 상기 국가 및 기술분야 별 현재시점의 상기 기술수준을 측정하거나 미래시점의 상기 기술수준을 예측하기 위한 하나 이상의 인공지능학습모델을 생성하는 단계, 기계학습부에 의해 상기 분석대상데이터를 독립변수로하고 상기 평가데이터를 종속변수로 하여 상기 인공지능학습모델의 기계학습을 수행하고, 평가결과데이터를 추출하는 단계 및 제어부에 의해 상기 평가결과데이터를 이용하여 상기 하나 이상의 인공지능학습모델 중 상기 국가 및 기술분야 별 현재시점의 상기 기술수준을 측정하거나 미래시점의 상기 기술수준을 예측하기 위한 타겟인공지능학습모델을 결정하는 단계를 포함하고, 상기 타겟인공지능학습모델은 상기 분석데이터 중 상기 제2 기준시점 이후이고 상기 제1 기준시점 이전의 시점인제3 기준시점을 기준으로 소정의 기간 이내인 상기 분석데이터가 상기 전처리되어 입력값으로 입력된 경우 상기 현재시점에서 기술수준을 측정한 평가데이터를 추출하고 상기 분석데이터 중 상기 제3 기준시점 이후이고 상기 현재시점 이전 시점인 제4 기준시점을 기준으로 소정의 기간 이내인 상기 분석데이터를 상기 전처리되어 입력값으로 입력된 경우 상기 미래시점에서 기술수준을 예측한 평가데이터를 추출하고, 상기 분석데이터는, 상기 국가 및 기술분야 별 특허의 출원개수, 피인용횟수, 패밀리특허의 개수, 패밀리국가수, 국제특허분류(IPC) 개수, 청구항 개수, 출원인수, 발명자수, 및 가치평가금액을 포함하는 상기 특허정보 및 논문의 개수 및 피인용횟수를 포함하는 상기 논문정보를 포함하고, 상기 전처리부는 상기 분석데이터 중 상기 특허의 출원된 년도가 상기 제2 기준시점을 기준으로 소정의 기간 이내이고, 상기 논문의 공개된 년도가 상기 제2 기준시점을 기준으로 상기 소정의 기간 이내인 제1 분석대상데이터를 추출하고 상기 제2 기준시점은 상기 인공지능학습모델을 생성하는 제1 기준시점을 기준으로 상기 특허가 공개되는데 필요한 기간 이전이고, 상기 전처리부는 상기 제1 분석대상데이터 중 상기 특허의 출원개수가 미리 설정된 기준출원 개수 미만인 상기 특허정보를 제외하고 상기 논문의 개수가 미리 설정된 기준논문 개수 미만인 상기 논문정보를 제외하여 제2 분석대상데이터를 추출하고, 상기 전처리부는 상기 제2 분석대상데이터에서 하나 이상의 제1 분석지표를 추출하고 상기 하나 이상의 제1 분석지표는 상기 기술분야 별 대상국가에서의 상기 특허의 출원개수의 비중, 전체 기술분야에서 상기 대상국가의 상기 특허의 출원개수의 비중과 상기 기술분야 별 상기 대상국가의 상기 특허의 출원개수의 비중의 비율, 상기 기술분야 별 전체국가의 상기 특허의 평균 피인용횟수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 피인용횟수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 패밀리특허 개수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 패밀리특허 개수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 패밀리국가수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 패밀리국가수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 국제특허분류 개수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 국제특허분류 개수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 청구항개수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 청구항개수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 발명자수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 발명자수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 출원인수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 출원인수의 비율, 및 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 가치평가금액과 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 가치평가금액의 비율 중 적어도 하나 이상을 포함하고, 상기 하나 이상의 제1 분석지표는 상기 기술분야 별 대상국가의 상기 논문의 개수의 비율, 전체 기술분야에서 상기 대상국가의 상기 논문의 개수와 상기 기술분야 별 상기 대상국가의 상기 논문의 개수의 비율, 및 상기 기술분야 별 전체국가에서 상기 논문의 평균 피인용횟수와 상기 기술분야 별 상기 대상국가의 상기 논문의 평균 피인용횟수의 비율 중 적어도 하나 이상을 더 포함하고, 상기 전처리부는 상기 하나 이상의 제1 분석지표에서 기준 임계값 이상인 이상치(outlier)를 제외하여 하나 이상의 제2 분석지표를 포함하는 상기 분석대상데이터를 생성하고, 상기 모델링부는 상기 하나 이상의 제2 분석지표를 포함하는 상기 분석대상데이터와 상기 제1 기준시점까지의 평가데이터를 이용하여 상기 하나 이상의 제2 분석지표 중 하나 이상의 제3 분석지표를 추출하고, 상기 모델링부는 상기 하나 이상의 제3 분석지표의 조합으로 구성된 타겟분석지표를 상기 독립변수로 하고 상기 제1 기준시점까지의 평가데이터를 상기 종속변수로 하여 상기 하나 이상의 인공지능학습모델을 생성하고, 상기 기계학습부는 상기 타겟분석지표 중 일부를 상기 독립변수로하고 상기 제1 기준시점까지의 평가데이터를 상기 종속변수로하여 상기 하나 이상의 인공지능학습모델의 기계학습을 수행하고, 상기 제어부는 상기 타겟분석지표 중 나머지를 상기 하나 이상의 인공지능학습모델에 입력하여 추출된 평가결과데이터와 상기 제1 기준시점까지 상기 입력부에서 획득한 상기 평가데이터 사이의 평균제곱근편차 또는 평균절대오차를 산출하고, 상기 평균제곱근편차 또는 상기 평균절대오차 중 최소값을 가지는 어느 하나의 인공지능학습모델을 상기 타겟인공지능학습모델로 결정한다.

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

또한, 본 발명의 한 실시예에 따른 인공지능 기반의 기술수준평가방법을 실행시키는 프로그램이 기록된 컴퓨터로 판독가능한 기록매체를 포함한다.

본 발명에 따른 인공지능 기반의 기술수준평가시스템 및 그 방법은 특허 및 논문정보를 이용하여 국가 및 기술분야 별 기술수준을 측정하거나 예측하기 위한 인공지능학습모델을 구축할 수 있다.

또한, 본 발명에 따른 인공지능 기반의 기술수준평가시스템 및 그 방법은 국가 및 기술분야 별 기술수준을 측정하기 위한 인공지능 학습모델을 이용하여 현재시점의 기술수준 뿐만 아니라 미래시점의 기술수준을 예측할 수 있다.

또한, 본 발명에 따른 인공지능 기반의 기술수준평가시스템 및 그 방법은 기존의 평가방법에 비해 비용과 시간적인 측면에서 효율적이며 반복적인 기계학습을 통해 기술수준 측정 및 예측의 정확도를 증가시킬 수 있다.

도 1은 본 발명의 한 실시예에 따른 인공지능 기반의 기술수준평가시스템, 제1 내지 제2 데이터베이스, 및 출력부에 관한 블록도이다.
도 2는 본 발명의 한 실시예에 따른 분석데이터를 전처리하여 분석지표를 포함하는 제1 분석대상데이터를 생성하는 과정에 관한 표이다.
도 3은 본 발명의 한 실시예에 따른 제2 분석대상데이터를 전처리하여 제3 분석대상데이터를 추출하고 타겟분석지표를 생성하는 과정에 관한 표이다.
도 4는 본 발명의 한 실시예에 따른 분석데이터를 전처리하여 획득한 분석대상데이터에 관한 표이다.
도 5은 본 발명의 한 실시예에 따른 분석지표를 나타내는 표이다.
도 6은 본 발명의 한 실시예에 따른 인공지능학습모델을 생성하는 과정에 관한 흐름도이다.
도 7(a)는 본 발명의 한 실시예에 따른 국가 및 기술분야 별 현재시점의 기술수준을 측정하는 과정에 관한 흐름도이다. 도 7(b)는 본 발명의 한 실시예에 따른 국가 및 기술분야 별 미래시점의 기술수준을 예측하는 과정에 관한 흐름도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 여러 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 따라서 앞서 설명한 참조 부호는 다른 도면에서도 사용할 수 있다.

또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. 도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 두께를 과장되게 나타낼 수 있다.

또한, 설명에서 "동일하다"라고 표현한 것은, "실질적으로 동일하다"는 의미일 수 있다. 즉, 통상의 지식을 가진 자가 동일하다고 납득할 수 있을 정도의 동일함일 수 있다. 그 외의 표현들도 "실질적으로"가 생략된 표현들일 수 있다.

또한, 설명에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본 명세서에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다. '~부'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다. 본 명세서의 '~부'는 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 이하에서는 도면을 참조하여 본 발명의 실시예에 대해서 구체적으로 설명하기로 한다.

이하, 도 2를 제외한 나머지 도면에서 현재시점은 2022년이고, 제1 기준시점은 현재시점(2022년)이전인 임의의 시점(예를 들어, 2021년)이고 제2 기준시점은 제1 기준시점(2021년)이전인 임의의 시점(예를 들어, 2018년)으로 가정하고 설명하기로 한다.

현재시점(2022년)은 국가 및 기술분야의 기술수준을 측정하거나 예측하기 위해 이하 서술할 타겟인공지능학습모델에 데이터값을 입력하는 시점에 해당하고, 제1 기준시점(2021년)은 이하 서술할 평가데이터를 획득하기 위한 기준시점이고, 제2 기준시점(2018년)은 이하 서술할 특허정보 및 논문정보를 포함하는 분석데이터를 획득하기 위한 기준시점을 의미한다.

또한, 상술한 제1 기준시점(2021년)까지의 상기 평가데이터 및 제2 기준시점(2018년)까지의 분석데이터를 이용하여 이하 서술할 타겟인공지능학습모델을 생성하고, 현재시점(2022년)의 국가 및 기술분야 별 기술수준을 측정하고, 미래시점(2023년)의 국가 및 기술분야 별 기술수준을 예측하는 것으로 가정하고 설명하기로 한다.

도 1은 본 발명의 한 실시예에 따른 인공지능 기반의 기술수준평가시스템, 제1 내지 제2 데이터베이스, 및 출력부에 관한 블록도이다.

도 1을 참고하면, 본 발명의 한 실시예에 따른 인공지능 기반의 기술수준평가시스템(1)은 입력부(10), 전처리부(11), 모델링부(12), 기계학습부(13), 및 제어부(14)를 포함할 수 있다. 전처리부(11)는 분석지표산출부(110)를 포함할 수 있다.

입력부(10)는 제1 데이터베이스(2)로부터 국가 및 기술분야 별 특허정보 및 논문정보를 포함하는 분석데이터를 제공받을 수 있다.

구체적으로, 제1 데이터베이스(2)는 국가 및 기술분야 별 다양한 특허정보 및 논문정보를 포함하는 분석데이터를 미리 저장할 수 있다.

예를 들어, 제1 데이터베이스(2)는 국가 및 기술분야 별 특허정보 및 논문정보를 포함하는 분석데이터를 미리 저장할 수 있다.

제1 데이터베이스(2)는 외부의 공개자료 또는 검색엔진 등을 통해 국가 및 기술분야 별 특허정보 및 논문정보를 포함하는 분석데이터를 획득하여 저장할 수 있다.

특허정보는 국가 및 기술분야 별 특허의 출원개수, 피인용횟수, 패밀리특허의 개수, 패밀리국가수, 국제특허분류(IPC) 개수, 청구항 개수, 발명자수, 출원인수 및 가치평가금액에 대한 정보를 포함할 수 있다.

논문정보는 논문의 개수 및 특허에 대한 논문의 피인용횟수에 대한 정보를 포함할 수 있다.

입력부(10)는 제2 데이터베이스(3)로부터 국가 및 기술분야 별 기술수준에 대한 평가데이터를 제공받을 수 있다.

구체적으로, 제2 데이터베이스(3)는 국가 및 기술분야 별 기술수준에 대한 평가데이터를 미리 저장할 수 있다.

예를 들어, 제2 데이터베이스(3)는 국가 및 기술분야 별 전문가 등에 의해 평가된 기술수준에 대한 평가데이터를 미리 저장할 수 있다.

평가데이터는 전문가의 설문조사 등과 같은 델파이(Delphi) 방식에 의해 획득된 결과일 수 있으나, 본 발명은 이에 한정되지 않는다. 제2 데이터베이스(3)에 미리 저장되는 평가데이터는 델파이(Delphi) 방식 외에 다양한 방법에 의해 획득될 수 있다.

입력부(10)는 제1 내지 제2 데이터베이스(2, 3)로부터 제공된 분석데이터 및 평가데이터를 전처리부(11)에 제공할 수 있다.

전처리부(11)는 분석데이터를 전처리하여 하나 이상의 분석지표를 포함하는 분석대상데이터를 생성할 수 있다.

전처리부(11)는 이하 서술할 과정을 통해 분석데이터를 전처리하고, 하나 이상의 분석지표를 포함하는 분석대상데이터를 생성할 수 있다.

구체적으로, 전처리부(11)는 제1 데이터베이스(2)로부터 국가 및 기술분야 별 특허정보 및 논문정보를 포함하는 분석데이터를 제공받을 수 있다.

전처리부(11)는 분석데이터의 특허정보에서 특허출원된 년도가 제2 기준시점(2018년)을 기준으로 소정의 기간(예를 들어, 10년) 이내인 특허정보(즉, 2009년부터 2018년 까지의 특허정보)를 추출하고, 논문정보에서 공개된 년도가 제2 기준시점(2018년)을 기준으로 소정의 기간(예를 들어, 10년) 이내인 논문정보(즉, 2009년부터 2018년 까지의 논문정보)를 추출할 수 있다.

예를 들어, 전처리부(11)는 분석데이터의 특허정보에서 특허출원된 년도가 제2 기준시점(2018년)을 기준으로 최근 5년 이내인 특허정보를 추출할 수 있다. 또는, 전처리부(11)는 분석데이터의 특허정보에서 특허출원된 년도가 제2 기준시점(2018년)을 기준으로 최근 7년 이내인 특허정보를 추출할 수 있다. 또는, 전처리부(11)는 분석데이터의 특허정보에서 특허출원된 년도가 제2 기준시점(2018년)을 기준으로 최근 10년 이내인 특허정보를 추출할 수 있다.

전처리부(11)는 분석데이터의 논문정보에서 논문공개 년도가 제2 기준시점(2018년)을 기준으로 최근 5년 이내인 논문정보를 추출할 수 있다. 또는, 전처리부(11)는 분석데이터의 논문정보에서 논문공개 년도가 제2 기준시점(2018년)을 기준으로 최근 7년 이내인 논문정보를 추출할 수 있다. 또는, 전처리부(11)는 분석데이터의 논문정보에서 논문공개 년도가 제2 기준시점(2018년)을 기준으로 최근 10년 이내인 논문정보를 추출할 수 있다.

상술한, 제2 기준시점(2018년)은 제1 기준시점(2021년) 이전으로서, 제1 기준시점(2021년)을 기준으로 1년에서 2년전일 수 있다.

예를 들어, 제1 기준시점이 2021년인 경우, 특허출원이 된 시점부터 특허공개가 되기까지 통상적으로 1년 6월이 소요되므로, 상술한 제2 기준시점은 2018년일 수 있다.

즉, 전처리부(11)는 2018년을 제2 기준시점으로 하여 분석데이터의 특허정보에서 특허출원 년도가 소정의 기간(예를 들어, 10년) 이내인 특허정보만(즉, 2009년부터 2018년 까지의 특허정보)을 추출할 수 있고, 분석데이터의 논문정보에서 논문공개 년도가 상기 제2 기준시점을 기준으로 소정의 기간 이내(예를 들어, 10년)인 논문정보만(즉, 2009년부터 2018년까지의 논문정보)을 추출할 수 있다.

본 발명의 한 실시예에 따른 전처리부(11)는 상술한 바와 같이 국가 및 기술분야 별 특허정보 및 논문정보를 포함하는 분석데이터를 전처리하여 제2 기준시점(2018년)을 기준으로 5년, 7년, 10년 이내에 특허출원된 특허정보 및 논문공개된 논문정보를 포함하는 분석대상데이터(이하, 제1 분석대상데이터라 명명함)를 추출할 수 있다.

본 발명에서 상술한 전처리부(11)가 제2 기준시점(2018년)을 기준으로 최근 5년, 7년, 및 10년을 소정의 기간으로 예로 들어 설명하였으나, 본 발명은 이에 한정되지 않는다. 본 발명의 한 실시예에 따른 전처리부(11)는 제2 기준시점(2018년)을 기준으로 분석데이터에서 미리 설정된 다양한 기간 이내에 제1 분석대상데이터를 추출할 수 있다.

전처리부(11)에서 분석데이터 중 제1 분석대상데이터를 추출하는 과정은 이하, 도 2에서 구체적으로 설명하기로 한다.

전처리부(11)는 제1 분석대상데이터를 전처리하여 제2 분석대상데이터를 추출할 수 있다.

구체적으로, 전처리부(11)는 제1 분석대상데이터에 포함된 특허정보에서 특허의 출원개수가 미리 설정된 기준출원 개수 미만인 기술분야 및 상기 기술분야에 대한 모든 국가를 제외하고, 상기 특허의 출원개수가 미리 설정된 기준출원 개수 이상인 국가 및 기술분야에 대한 특허정보만 추출할 수 있다.

또한, 전처리부(11)는 제1 분석대상데이터에 포함된 논문정보에서 논문의 개수가 미리 설정된 기준 논문개수 미만인 기술분야 및 상기 기술분야에 대한 모든 국가를 제외하고, 상기 논문의 개수가 미리 설정된 기준 논문개수 이상인 국가 및 기술분야에 대한 논문정보만 추출할 수 있다.

예를 들어, 전처리부(11)는 제1 분석대상데이터에 포함된 특허정보에서 특허의 출원개수가 10개 미만인 기술분야 및 상기 기술분야에 대한 모든 국가의 특허정보를 제외할 수 있다.

또한, 전처리부(11)는 제1 분석대상데이터에 포함된 논문정보에서 논문 개수가 10개 미만인 국가 및 기술분야에 대한 논문정보를 제외할 수 있다.

예를 들어, 전처리부(11)는 제1 분석대상데이터에 포함된 논문정보에서 논문개수가 10개 미만인 기술분야 및 상기 기술분야에 대한 모든 국가의 논문정보를 제외할 수 있다.

상술한, 전처리부(11)는 제1 분석대상데이터에서 특허의 출원개수가 10개 미만이고 논문의 개수가 10개 미만인 기술분야 및 상기 기술분야에 대한 모든 국가의 특허정보 및 논문정보를 제외하는 것으로 설명하였으나, 본 발명은 이에 한정되지 않는다.

즉, 전처리부(11)는 제1 분석대상데이터에서 특허의 출원개수가 미리 설정된 다양한 기준출원 개수 미만인 기술분야 및 상기 기술분야에 대한 모든 국가를 제외할 수 있으며, 논문의 개수가 미리 설정된 다양한 기준 논문개수 미만인 기술분야 및 상기 기술분야에 대한 모든 국가를 제외하여 제2 분석대상데이터를 생성할 수 있다.

전처리부(11)에서 제2 분석대상데이터를 추출하는 과정은 이하, 도 2에서 구체적으로 설명하기로 한다.

전처리부(11)는 제2 분석대상데이터를 전처리하여 제3 분석대상데이터(또는, 분석대상데이터)를 추출할 수 있다.

전처리부(11)는 이하, 서술할 분석지표산출부(110)에서 상기 제2 분석대상데이터를 이용하여 산출한 하나 이상의 제1 분석지표를 전처리하여 제2 분석지표를 포함하는 제3 분석대상데이터(또는, 분석대상데이터)를 추출할 수 있다.

구체적으로, 전처리부(11)는 하나 이상의 제1 분석지표를 정규분포 또는 이와 유사한 형태(이하, 정규분포형태라 명명함)로 나타내고, 상기 하나 이상의 제1 분석지표 중 미리 설정된 임계값 이상인 이상치(outlier)를 제외하여 하나 이상의 제2 분석지표를 추출할 수 있고, 하나 이상의 제2 분석지표를 포함하는 제3 분석대상데이터(또는, 분석대상데이터)를 추출할 수 있다.

예를 들어, 전처리부(11)는 하나 이상의 제1 분석지표를 정규분포형태로 나타내고, 하나 이상의 제1 분석지표 중 기준 임계값(Quartile(3)+Inter-quartile Range(1~3)*t, 단 t는 3) 이상인 이상치(outlier)를 제외하여 하나 이상의 제2 분석지표를 추출할 수 있다.

즉, 상술한 바와 같이 전처리부(11)는 하나 이상의 제1 분석지표를 전처리하여 하나 이상의 제2 분석지표를 추출하고, 하나 이상의 제2 분석지표를 포함하는 제3 분석대상데이터(또는, 분석대상데이터)를 추출할 수 있으며, 이에 대한 구체적인 설명은 이하, 도 2에서 설명하기로 한다.

분석지표산출부(110)는 전처리부(11)에서 생성된 제2 분석대상데이터를 이용하여 하나 이상의 제1 분석지표를 생성할 수 있다.

구체적으로, 분석지표산출부(110)는 제2 분석대상데이터에 포함된 특허정보 및 논문정보에서 국가 및 기술분야 별 특허의 출원개수, 피인용횟수, 패밀리특허의 개수, 패밀리국가수, 국제특허분류(IPC) 개수, 청구항 개수, 발명자수, 출원인수, 및 가치평가금액, 논문의 개수 및 논문의 피인용횟수를 추출할 수 있다.

분석지표산출부(110)는 상기 국가 및 기술분야 별 특허의 출원개수, 피인용횟수, 패밀리특허의 개수, 패밀리국가수, 국제특허분류(IPC) 개수, 청구항 개수, 발명자수, 출원인수, 및 가치평가금액, 논문의 개수 및 논문의 피인용횟수를 이용하여 하나 이상의 제1 분석지표를 생성할 수 있다.

분석지표산출부(110)가 하나 이상의 제1 분석지표를 생성하는 구체적인 과정은 아래, 도 5에서 구체적으로 설명하기로 한다.

모델링부(12)는 전처리부(11)에서 추출된 하나 이상의 제2 분석지표를 포함하는 분석대상데이터(또는, 제3 분석대상데이터, 예를 들어 제2 기준시점(2018년)을 기준으로 10년전(2009년)부터 제2 기준시점(2018년)까지의 특허정보 및 논문정보를 이용하여 획득된 분석대상데이터)와 상기 제1 기준시점(예를 들어, 2021년)까지 제2 데이터베이스(3)에 저장된 평가데이터를 상관관계분석(Correlation Coefficient) 또는 카이제곱검정(Chi-square test)을 등 다양한 분석방법을 수행하여 하나 이상의 제3 분석지표를 추출할 수 있다.

모델링부(12)는 이하 후술할 하나 이상의 타겟분석지표와 상기 평가데이터를 이용하여 국가 및 기술분야 별 현재시점(예를 들어, 2022년)의 기술수준을 측정하기 위한 인공지능학습모델을 생성할 수 있다.

즉, 2009년부터 2018년(또는, 제2 기준시점)까지 특허정보 및 논문정보를 이용하여 획득된 분석대상데이터와 제1 기준시점(2021년)까지의 평가데이터를 이용하여 인공지능학습모델을 생성하고 이를 이용하여 현재시점(2022년)의 국가 및 기술분야 별 기술수준을 측정할 수 있다.

한편, 모델링부(12)에서 생성된 인공지능학습모델은 국가 및 기술분야 별 미래시점(예를 들어, 2023년)의 기술수준을 예측할 수 있다.

인공지능학습모델이 국가 및 기술분야 별 현재시점의 기술수준을 측정하고 미래시점의 기술수준을 예측하는 과정은 아래, 도 7에서 구체적으로 서술하기로 한다.

모델링부(12)는 상술한 상관관계분석(Correlation Analysis) 및 카이제곱검정(Chi-square test) 등 다양한 분석방법에 기초하여 하나 이상의 제2 분석지표에서 하나 이상의 제3 분석지표를 추출할 수 있으며, 하나 이상의 제3 분석지표를 조합하여 하나 이상의 타겟분석지표를 생성할 수 있다.

모델링부(12)는 하나 이상의 타겟분석지표를 독립변수로 하고, 상술한 제1 기준시점(예를 들어, 2021년)까지의 평가데이터를 종속변수로 하는 인공지능학습모델을 생성할 수 있다.

기계학습부(13)는 하나 이상의 타겟분석지표를 독립변수로 하고 제1 기준시점까지의 평가데이터를 종속변수로하여 상기 하나 이상의 인공지능학습모델을 기계학습할 수 있다.

구체적으로, 기계학습부(13)는 하나 이상의 타겟분석지표 중 일부(이하, 학습데이터라 명명함)를 인공지능학습모델의 독립변수로 하고, 상기 학습데이터(또는, 하나 이상의 타겟분석지표 중 일부)에 대응하는 제1 기준시점(2021년)까지의 평가데이터를 종속변수로하여 인공지능학습모델을 기계학습하고 생성할 수 있다.

또한, 기계학습부(13)는 하나 이상의 타겟분석지표 중 나머지(이하, 검증데이터라 명명함)를 인공지능학습모델에 입력데이터로 입력하고 출력값인 평가결과데이터를 추출할 수 있다.

제어부(14)는 인공지능학습모델에서 검증데이터에 의해 추출된 평가결과데이터와 제1 기준시점(2021년)까지의 실제로 측정되어 제2 데이터베이스(3)에 저장된 평가데이터를 비교하여 인공지능학습모델의 기술수준에 대한 평가측정정확도를 판단할 수 있다.

구체적으로, 제어부(14)는 평가결과데이터와 제1 기준시점(2021년)까지의 제2 데이터베이스(3)에 저장된 평가데이터 사이의 평균제곱근편차(RMSE, Root Mean Square Error) 또는 평균절대오차(MAE, Mean Absolute Error) 등을 산출할 수 있다.

평균제곱근편차(RMSE, Root Mean Square Error)는 하기 [수학식 1]로 표현될 수 있다. 평균절대오차(MAE, Mean Absolute Error)는 하기 [수학식 2]로 표현될 수 있다.

[수학식 1]

[수학식 2]

단, n은 평가데이터의 총 개수, a는 인공지능학습모델에서 검증데이터에 의해 획득된 평가결과데이터, b는 제1 기준시점까지의 실제로 측정된 평가데이터를 의미한다.

제어부(14)는 하나 이상의 평균제곱근편차(RMSE, Root Mean Square Error) 또는 하나 이상의 평균절대오차(MAE, Mean Absolute Error) 중 최소값을 가지는 어느 하나의 인공지능학습모델을 현재시점(2022년)의 기술수준을 측정하기 위한 타겟인공지능학습모델로 결정할 수 있다.

제어부(14)는 상기 결정된 타겟인공지능학습모델의 하이퍼파라미터(Hyper-Parameter)값을 추출할 수 있다.

출력부(4)는 상술한 타겟인공지능학습모델을 통해서 생성된 국가 및 기술분야 별 현재시점(2022년)의 기술수준을 측정하고, 이하 후술할 국가 및 기술분야 별 미래시점(2023년)의 기술수준을 예측할 수 있다.

도 2는 본 발명의 한 실시예에 따른 분석데이터를 전처리하여 분석지표를 포함하는 제1 분석대상데이터를 생성하는 과정에 관한 표이다.

도 2(a)는 분석데이터를 전처리하여 제1 분석대상데이터를 추출한 표에 관한 도면이다.

이하, 도 2(a) 내지 도 2(c)에서는 현재시점은 2022년이고 제2 기준시점은 2019년이라 가정하고 설명하기로 한다.

도 2(a)를 참고하면, 전처리부(11)는 국가 및 기술분야 별 특허정보 및 논문정보를 포함하는 분석데이터의 특허정보에서 특허출원된 년도가 제2 기준시점(2019년)을 기준으로 5년 이내(2015년~2019년, p=1)인 특허정보 및 논문정보에서 논문공개 년도가 제2 기준시점(2019년)을 기준으로 5년 이내(2015년~2019년, p=1)인 논문정보를 추출할 수 있다.

또는, 전처리부(11)는 국가 및 기술분야 별 특허정보 및 논문정보를 포함하는 분석데이터의 특허정보에서 특허출원된 년도가 제2 기준시점(2019년)을 기준으로 7년 이내(2013년~2019년, p=2)인 특허정보 및 논문정보에서 논문공개 년도가 제2 기준시점(2019년)을 기준으로 7년 이내(2013년~2019년, p=2)인 논문정보를 추출할 수 있다.

또는, 전처리부(11)는 국가 및 기술분야 별 특허정보 및 논문정보를 포함하는 분석데이터의 특허정보에서 특허출원된 년도가 제2 기준시점(2019년)을 기준으로 10년 이내(2010년~2019년, p=3)인 특허정보 및 논문정보에서 논문공개 년도가 제2 기준시점(2019년)을 기준으로 10년 이내(2010년~2019년, p=3)인 논문정보를 추출할 수 있다.

전처리부(11)는 상술한 과정을 통해 제1 데이터베이스(2)로부터 제공된 국가 및 기술분야 별 특허정보 및 논문정보를 포함하는 분석데이터를 전처리하여 다양한 제1 분석대상데이터를 추출할 수 있다.

이하, 전처리부(11)에서 제2 기준시점(2019년)을 기준으로 10년이내(2010년~2019년, p=3)인 특허정보 및 논문정보를 추출한 것을 가정하고 설명하기로 한다.

도 2(b) 및 도 2(c)는 제1 분석대상데이터를 전처리하여 제2 분석대상데이터를 추출한 표에 관한 도면이다.

전처리부(11)는 제1 분석대상데이터에 포함된 특허정보에서 특허의 출원개수가 미리 설정된 기준출원 개수 미만인 기술분야 및 상기 기술분야에 대한 전체국가의 특허정보를 제외할 수 있다.

전처리부(11)는 제1 분석대상데이터에 포함된 논문정보에서 논문의 개수가 미리 설정된 기준논문 개수 미만인 기술분야 및 상기 기술분야에 대한 전체국가의 논문정보를 제외할 수 있다.

도 2(b)를 참고하면, 전처리부(11)에서 제1 분석대상데이터를 전처리하기 위한 미리 설정된 기준출원 개수 및 기준 논문 개수는 다양하게 설정될 수 있다.

예를 들어, 전처리부(11)는 제1 분석대상데이터에 포함된 특허정보에서 어느 기술분야에 대한 특허의 출원개수가 5개 미만(m=1)인 경우, 상기 기술분야 및 상기 기술분야에 대한 국가의 특허정보를 전부 제외할 수 있다.

또한, 전처리부(11)는 제1 분석대상데이터에 포함된 논문정보에서 어느 기술분야에 대한 논문 개수가 5개 미만(m=1)인 경우, 상기 기술분야 및 상기 기술분야에 대한 국가의 논문정보 전부를 제외할 수 있다.

또는, 전처리부(11)는 제1 분석대상데이터에 포함된 특허정보에서 어느 기술분야에 대한 특허의 출원개수가 10개 미만(m=2)인 경우, 상기 기술분야 및 상기 기술분야에 대한 국가의 특허정보를 전부 제외할 수 있다.

또한, 전처리부(11)는 제1 분석대상데이터에 포함된 논문정보에서 어느 기술분야에 대한 논문 개수가 10개 미만(m=2)인 경우, 상기 기술분야 및 상기 기술분야에 대한 국가의 논문정보를 전부 제외할 수 있다.

또는, 전처리부(11)는 제1 분석대상데이터에 포함된 특허정보에서 어느 기술분야에 대한 특허의 출원개수가 15개 미만(m=3)인 경우, 상기 기술분야 및 상기 기술분야에 대한 국가의 특허정보를 전부 제외할 수 있다.

또한, 전처리부(11)는 제1 분석대상데이터에 포함된 논문정보에서 어느 기술분야에 대한 논문 개수가 15개 미만(m=3)인 경우, 상기 기술분야 및 상기 기술분야에 대한 국가의 논문정보를 전부 제외할 수 있다.

예를 들어 도 2(c)를 참고하면, 제1 분석대상데이터에는 한국, 중국, 일본 각각에서 기술분야 A, B, C, D, E 별 특허정보 및 논문정보가 포함될 수 있다.

이때, 전처리부(11)는 제1 분석대상데이터에 포함된 특허정보 및 논문정보에서 특허의 출원개수 및 논문의 개수가 10개 미만인 기술분야가 어느 하나라도 존재하는 기술분야 및 기술분야에 대한 국가의 특허정보 및 논문정보를 제외할 수 있다.

즉, 전처리부(11)는 기술분야(A)에서 중국의 특허정보 또는 논문정보가 5개 이므로, 기술분야(A) 및 기술분야(A)에 대한 국가(한국, 중국, 일본)에 대한 특허정보 및 논문정보를 전부 제외시킬 수 있다.

전처리부(11)는 기술분야(D)에서 한국의 특허 출원개수 또는 논문의 개수가 7개이고, 중국의 출원개수 또는 논문의 개수가 9개이므로, 기술분야(D) 및 기술분야(D)에 대한 국가(한국, 중국, 일본)에 대한 특허정보 및 논문정보를 전부 제외시킬 수 있다.

전처리부(11)는 나머지(기술분야(B)에서 한국, 중국, 일본, 기술분야(C)에서 한국, 중국, 일본, 기술분야(E)에서 한국, 중국, 일본)의 특허정보 및 논문정보로 구성된 제2 분석대상데이터를 추출할 수 있다.

도 3은 본 발명의 한 실시예에 따른 제2 분석대상데이터를 전처리하여 제3 분석대상데이터를 추출하고 타겟분석지표를 생성하는 과정에 관한 표이다.

도 3(a)는 제2 분석대상데이터를 전처리하여 제3 분석대상데이터를 추출한 표에 관한 도면이다.

분석지표산출부(110)는 제2 분석대상데이터를 이용하여 하나 이상의 제1 분석지표를 추출할 수 있다. 이하, 도 3(a)에서는 어느 하나의 제1 분석지표(PII1)를 예로 들어 설명하기로 한다.

전처리부(11)는 국가 및 기술분야 별 제2 분석대상데이터를 이용하여 이하, 도 5에서 후술할 다양한 제1 분석지표(PII1)값을 추출할 수 있다.

예를 들어, 국가 및 기술분야 별 제2 분석대상데이터를 이용하여 다양한 제1 분석지표(PII1)값을 추출하고, 상기 다양한 제2 분석대상데이터를 정규분포형태로 나타낸 결과 1분위수가 0.266이고, 3분위수가 0.775로 측정된 경우, 기준 임계값(Quartile(3)+Inter-quartile Range(1~3)*t, 단 t는 3)은 0.775+(0.775-0.266)*3)인 2.302일 수 있다.

전처리부(11)는 국가 및 기술분야 별 제2 분석대상데이터에서 상기 기준 임계값(2.302) 이상인 이상치(outlier)를 제외할 수 있다.

예를 들어, 전처리부(11)는 제2 분석대상데이터에서 기준 임계값(2.302) 이상인 기술분야(C) 및 기술분야(C)에 해당하는 한국의 데이터, 중국의 데이터, 및 일본의 데이터를 제외할 수 있다.

전처리부(11)는 기술분야(B)에 해당하는 한국의 데이터, 중국의 데이터, 및 일본의 데이터와 기술분야(E)에 해당하는 한국의 데이터, 중국의 데이터, 및 일본의 데이터로 구성된 제3 분석대상데이터를 추출할 수 있다.

어느 하나의 제1 분석지표(PII1)를 예로 들어 설명하였지만, 전처리부(11)는 제2 분석대상데이터에서 하나 이상의 제1 분석지표 모두에 대해서 상술한 과정을 통해 전처리를 수행하여 하나 이상의 제2 분석지표를 포함하는 제3 분석대상데이터를 추출할 수 있다.

도 3(b)는 하나 이상의 제2 분석지표를 포함하는 제3 분석대상데이터(또는, 분석대상데이터)에서 타겟분석지표를 추출하는 과정에 관한 표이다.

모델링부(12)는 제3 분석대상데이터(또는, 분석대상데이터)에 포함된 하나 이상의 제2 분석지표를 이용하여 타겟분석지표를 추출할 수 있다.

구체적으로, 모델링부(12)는 전처리부(11)에서 추출된 하나 이상의 제2 분석지표(PAI1, PCI1, PFS_1, PFS_2, PIPC, ??)와 기준시점까지의 제1 평가데이터를 상관관계분석(Correlation Coefficient) 또는 카이제곱검정(Chi-square test) 등 다양한 분석방법을 수행하여 하나 이상의 제3 분석지표를 추출할 수 있다.

예를 들어, 도 3(b)를 참고하면, 모델링부(12)는 하나 이상의 제2 분석지표(PAI1, PCI1, PFS_1, PFS_2, PIPC, ??)를 독립변수로하고 제1 기준시점까지의 평가데이터를 종속변수로 하여 상관관계분석(Correlation Coefficient) 또는 카이제곱검정(Chi-square test) 등 다양한 분석방법을 수행하여 하나 이상의 제3 분석지표를 추출하고 제3 분석지표를 조합하여 타겟분석지표를 생성할 수 있다.

예를 들어, 모델링부(12)는 PAI1, PCI1, PFS_1, PFS_2, PIPC로 구성된 타겟분석지표(도 3(b)의 f(1)참고)를 생성할 수 있다. 또는, 모델링부(12)는 PAI1, PFS_1, PFS_2, PIPC로 구성된 타겟분석지표(도 3(b)의 f(2)참고)를 생성할 수 있다. 또는, 모델링부(12)는 PAI1, PFS_2, PIPC(도 3(b)의 f(3)참고)로 구성된 타겟분석지표를 생성할 수 있다.

도 4는 본 발명의 한 실시예에 따른 분석데이터를 전처리하여 획득한 분석대상데이터에 관한 표이다.

도 4는 국가 및 기술분야 별 특허정보 및 논문정보를 포함하는 분석데이터와 분석데이터를 전처리하여 획득한 분석대상데이터를 나타내는 표이다.

이하 도 4에서는 주요 5개국(중국(CN), 유럽(EU), 일본(JP), 한국(KR), 및 미국(US))을 예로 들어 설명하기로 한다. 이하, 중국(CN), 유럽(EU), 일본(JP), 한국(KR), 및 미국(US)을 포함하는 주요 5개국을 전체국가라 명명하고 어느 하나의 국가를 대상국가라 명명한다.

도 4를 참고하면, 입력부(10)는 제1 데이터베이스(2)로부터 특허정보 및 논문정보를 포함하는 분석데이터(또는, 로우데이터)를 획득할 수 있다.

구체적으로, 입력부(10)는 제1 데이터베이스(2)로부터 주요 5개국(중국(CN), 유럽(EU), 일본(JP), 한국(KR), 및 미국(US))의 특허정보 및 논문정보를 포함하는 분석데이터를 획득할 수 있다.

이때, 입력부(10)에서 획득한 분석데이터(또는, 로우 데이터)에는 국가 및 기술분야 별 특허정보 및 논문정보에 대한 다양한 정보가 포함되어 있을 수 있다.

입력부(10)는 분석데이터를 전처리부(11)에 제공할 수 있다.

전처리부(11)는 분석데이터를 전처리하여 분석대상데이터를 생성할 수 있다.

예를 들어, 전처리부(11)는 분석데이터를 전처리하여 대상국가(예를 들어, 한국)의 어느 하나의 기술분야(예를 들어, 분야: 자율주행차, 대분류: 자율주행핵심부품, 중분류: 주행환경 인지기술)에 대한 하나 이상의 제2 분석지표(또는, 설명변수, PAI=0.07, PAI_M=0.36, PCI=0.63, PII=0.56, PFS_1=0.39, PFS_2=0.93,??)를 포함하는 분석대상데이터를 생성할 수 있다.

또는, 전처리부(11)는 분석데이터를 전처리하여 대상국가(예를 들어, 일본)의 어느 하나의 기술분야(예를 들어, 분야: 자율주행차, 대분류: 자율주행핵심부품, 중분류: 운전자 모니터링 및 제어권 전환)에 대한 하나 이상의 제2 분석지표(또는, 설명변수, PAI=0.37, PAI_M=1.83, PCI=2.32, PII=0.72, PFS_1=1.23, PFS_2=1.24,??)를 포함하는 분석대상데이터를 생성할 수 있다.

상술한 바와 같이 전처리부(11)는 국가 및 기술분야 별 분석데이터를 전처리하여 다양한 제2 분석지표를 포함하는 분석대상데이터를 생성 또는 추출할 수 있다.

모델링부(12)는 전처리부(11)에서 전처리되어 생성되며 하나 이상의 제2 분석지표를 포함하는 분석대상데이터와 평가데이터를 이용하여 하나 이상의 제3 분석지표를 추출하고, 이를 조합하여 타겟분석지표를 생성할 수 있다.

예를 들어, 모델링부(12)는 대상국가(예를 들어, 한국)의 어느 하나의 기술분야(예를 들어, 분야: 자율주행차, 대분류: 자율주행핵심부품, 중분류: 주행환경 인지기술)에 대한 하나 이상의 제2 분석지표(또는, 설명변수, PAI=0.07, PAI_M=0.36, PCI=0.63, PII=0.56, PFS_1=0.39, PFS_2=0.93,??)를 포함하는 분석대상데이터와 평가데이터(또는, 목적변수, TECH_LEVEL)를 이용하여 하나 이상의 제3 분석지표를 추출하고, 이를 조합하여 타겟분석지표를 생성할 수 있다.

또는, 모델링부(12)는 대상국가(예를 들어, 일본)의 어느 하나의 기술분야(예를 들어, 분야: 자율주행차, 대분류: 자율주행핵심부품, 중분류: 운전자 모니터링 및 제어권 전환)에 대한 하나 이상의 제2 분석지표(또는, 설명변수, PAI=0.37, PAI_M=1.83, PCI=2.32, PII=0.72, PFS_1=1.23, PFS_2=1.24,??)를 포함하는 분석대상데이터와 평가데이터(또는, 목적변수, TECH_LEVEL)를 이용하여 하나 이상의 제3 분석지표를 추출하고, 이를 조합하여 타겟분석지표를 생성할 수 있다.

상술한 바와 같이 모델링부(11)는 국가 및 기술분야 별 분석대상데이터와 평가데이터를 이용하여 다양한 제3 분석지표를 추출하고 이를 조합하여 타겟분석지표를 생성 또는 추출할 수 있다.

도 5은 본 발명의 한 실시예에 따른 분석지표를 나타내는 표이다.

분석지표산출부(110)는 상술한 도 2(c)의 전처리부(11)에서 생성된 제2 분석대상데이터를 이용하여 도 5에 도시된 하나 이상의 제1 분석지표를 생성할 수 있다.

분석지표산출부(110)는 기술분야 별 대상국가에서의 특허의 출원개수의 비중을 산출하고 제1 분석지표(PAI1)로 결정할 수 있다.

예를 들어, 분석지표산출부(110)는 어느 하나의 기술분야를 기준으로 어느 하나의 국가(대상국가)에서 출원된 특허의 출원개수의 비중을 제1 분석지표(PAI1)로 결정할 수 있다.

분석지표산출부(110)는 전체 기술분야에서 대상국가의 특허의 출원개수의 비중과 기술분야 별 대상국가의 특허의 출원개수의 비중을 산출하고 제1 분석지표(PCI1)로 결정할 수 있다.

예를 들어, 분석지표산출부(110)는 전체 기술분야를 기준으로 어느 하나의 국가(대상국가)에서 출원된 특허의 출원개수의 비중과 어느 하나의 기술분야를 기준으로 상기 대상국가에서 출원된 특허의 출원개수의 비중의 비율을 제1 분석지표(PCI1)로 결정할 수 있다.

분석지표산출부(110)는 기술분야 별 전체국가의 특허의 평균 피인용횟수와 기술분야 별 대상국가의 특허의 평균 피인용횟수의 비율을 산출하고 제1 분석지표(PII1)로 결정할 수 있다.

예를 들어, 분석지표산출부(110)는 어느 하나의 기술분야를 기준으로 전체국가에서 출원된 특허의 평균 피인용횟수와 어느 하나의 기술분야를 기준으로 어느 하나의 국가(대상국가)에서 출원된 특허의 평균 피인용횟수의 비율을 제1 분석지표(PII1)로 결정할 수 있다.

분석지표산출부(110)는 기술분야 별 전체국가의 평균 패밀리특허 개수와 기술분야 별 대상국가의 평균 패밀리특허의 개수의 비율을 산출하고 제1 분석지표(PFS_1)로 결정할 수 있다.

예를 들어, 분석지표산출부(110)는 어느 하나의 기술분야를 기준으로 전체국가에서 출원된 특허의 평균 패밀리특허의 출원개수와 어느 하나의 기술분야를 기준으로 어느 하나의 국가(대상국가)에서 출원된 특허의 평균 패밀리특허의 개수의 비율을 제1 분석지표(PFS_1)로 결정할 수 있다.

분석지표산출부(110)는 기술분야 별 전체국가의 평균 패밀리국가수와 기술분야 별 대상국가의 평균 패밀리국가수의 비율을 산출하고 제1 분석지표(PFS_2)로 결정할 수 있다.

예를 들어, 분석지표산출부(110)는 어느 하나의 기술분야를 기준으로 전체국가에서 출원된 특허의 평균 패밀리 국가수와 어느 하나의 기술분야를 기준으로 어느 하나의 국가(대상국가)에서 출원된 특허의 평균 패밀리 국가수의 비율을 제1 분석지표(PFS_2)로 결정할 수 있다.

분석지표산출부(101)는 기술분야 별 전체국가의 평균 국제특허분류(IPC) 개수와 기술분야 별 대상국가의 평균 국제특허분류의 개수의 비율을 산출하고 제1 분석지표(PIPC)로 결정할 수 있다.

예를 들어, 분석지표산출부(101)는 어느 하나의 기술분야를 기준으로 전체국가에서 출원된 특허의 평균 국제특허분류 개수와 어느 하나의 기술분야를 기준으로 어느 하나의 국가(대상국가)에서 출원된 특허의 평균 국제특허분류 개수의 비율을 제1 분석지표(PIPC)로 결정할 수 있다.

분석지표산출부(110)는 기술분야 별 전체국가의 평균 청구항개수와 기술분야 별 대상국가의 평균 청구항개수의 비율을 산출하고 제1 분석지표(PCLA)로 결정할 수 있다.

예를 들어, 분석지표산출부(110)는 어느 하나의 기술분야에서 전체국가에서 출원된 특허의 평균 청구항개수와 어느 하나의 기술분야를 기준으로 어느 하나의 국가(대상국가)에서 출원된 특허의 평균 청구항 개수의 비율을 제1 분석지표(PCLA)로 결정할 수 있다.

분석지표산출부(110)는 기술분야 별 전체국가의 평균 발명자수와 기술분야 별 대상국가의 평균 발명자수의 비율을 산출하고 제1 분석지표(PINV)로 결정할 수 있다.

예를 들어, 분석지표산출부(110)는 어느 하나의 기술분야에서 전체국가에서 출원된 특허의 평균 발명자수와 어느 하나의 기술분야를 기준으로 어느 하나의 국가(대상국가)에서 출원된 발명자수의 비율을 제1 분석지표(PINV)로 결정할 수 있다.

분석지표산출부(110)는 기술분야 별 전체국가의 평균 출원인수와 기술분야 별 대상국가의 평균 출원인수의 비율을 산출하고 제1 분석지표(PAS)로 결정할 수 있다.

예를 들어, 분석지표산출부(110)는 어느 하나의 기술분야에서 전체국가에서 출원된 특허의 평균 출원인수와 어느 하나의 기술분야를 기준으로 어느 하나의 국가(대상국가)에서 출원된 특허의 평균 출원인수의 비율을 제1 분석지표(PAS)로 결정할 수 있다.

분석지표산출부(110)는 기술분야 별 전체국가의 특허의 평균 가치평가금액과 기술분야 별 대상국가의 특허의 평균가치평가금액의 비율을 산출하고 제1 분석지표(PVAL)를 결정할 수 있다.

예를 들어, 분석지표산출부(110)는 어느 하나의 기술분야에서 전체국가에서 출원된 특허의 평균가치평가금액과 어느 하나의 기술분야를 기준으로 어느 하나의 국가(대상국가)에서 출원된 특허의 평균가치평가금액의 비율을 제1 분석지표(PVAL)로 결정할 수 있다.

분석지표산출부(110)는 기술분야 별 대상국가의 논문의 개수의 비중을 산출하고 제1 분석지표(PAI2)로 결정할 수 있다.

예를 들어, 분석지표산출부(110)는 어느 하나의 기술분야를 기준으로 어느 하나의 국가(대상국가)의 논문의 개수의 비중을 제1 분석지표(PAI2)로 결정할 수 있다.

분석지표산출부(110)는 전체 기술분야에서 대상국가의 논문의 개수의 비중과 기술분야 별 대상국가의 논문의 개수의 비중의 비율을 산출하고 제1 분석지표(PCI2)로 결정할 수 있다.

예를 들어, 분석지표산출부(110)는 전체 기술분야를 기준으로 어느 하나의 국가(대상국가)의 논문의 개수의 비중과 어느 하나의 기술분야를 기준으로 상기 대상국가의 논문의 개수의 비중의 비율을 제1 분석지표(PCI2)로 결정할 수 있다.

분석지표산출부(110)는 기술분야 별 전체국가의 논문이 특허로 피인용된 평균 피인용횟수와 기술분야 별 대상국가의 논문이 특허로 피인용된 평균 피인용횟수의 비율을 산출하고 제1 분석지표(PII2)로 결정할 수 있다.

예를 들어, 분석지표산출부(110)는 어느 하나의 기술분야를 기준으로 전체국가에서 출원된 논문의 평균 피인용횟수와 어느 하나의 기술분야를 기준으로 어느 하나의 국가(대상국가)에서 출원된 논문의 평균 피인용횟수의 비율을 제1 분석지표(PII2)로 결정할 수 있다.

분석지표산출부(110)는 상술한 과정을 통해 제2 분석대상데이터를 이용하여 도 5에 도시된 하나 이상의 제1 분석지표를 생성할 수 있다.

도 6은 본 발명의 한 실시예에 따른 인공지능학습모델을 생성하는 과정에 관한 흐름도이다.

단계(S10)에서, 국가 및 기술분야 별 분석데이터 및 기술수준에 대한 평가데이터를 획득할 수 있다.

구체적으로, 입력부(10)는 제1 데이터베이스(2)로부터 국가 및 기술분야 별 특허정보 및 논문정보를 포함하는 분석데이터를 제공받을 수 있다. 입력부(10)는 제2 데이터베이스(3)로부터 국가 및 기술분야 별 기술수준에 대한 평가데이터를 제공받을 수 있다.

단계(S11)에서, 분석데이터를 전처리하여 하나 이상의 분석지표를 포함하는 분석대상데이터를 생성할 수 있다.

구체적으로, 전처리부(11)는 제1 데이터베이스(2)로부터 제공된 분석데이터의 특허정보에서 특허출원된 년도가 제2 기준시점(2018년)을 기준으로 소정의 기간(10년) 이내인 특허정보(즉, 2009년부터 2018년까지의 특허정보)를 추출하고, 논문정보에서 공개된 년도가 제2 기준시점(2018년)을 기준으로 소정의 기간(10년) 이내인 논문정보(즉, 2009년부터 2018년까지의 특허정보)를 포함하는 제1 분석대상데이터를 추출할 수 있다.

또한, 전처리부(11)는 제1 분석대상데이터에 포함된 특허정보에서 특허의 출원개수가 미리 설정된 기준출원 개수 미만인 기술분야 및 상기 기술분야에 대한 모든 국가의 특허정보를 제외할 수 있다.

전처리부(11)는 제1 분석대상데이터에 포함된 논문정보에서 논문의 개수가 미리 설정된 기준 논문개수 미만인 기술분야 및 상기 기술분야에 대한 모든 국가의 논문정보를 제외할 수 있다.

전처리부(11)는 상술한 과정을 통해 제1 분석대상데이터에서 제2 분석대상데이터를 추출할 수 있다.

전처리부(11)는 제2 분석대상데이터에서 산출된 하나 이상의 제1 분석지표를 정규분포형태로 나타내고, 미리 설정된 임계값 이상인 이상치(outlier)를 제외할 수 있다.

전처리부(11)는 상술한 과정을 통해 하나 이상의 제1 분석지표에서 하나 이상의 제2 분석지표를 추출하고, 제3 분석대상데이터(또는, 분석대상데이터)를 추출할 수 있다.

단계(S12)에서, 기술수준을 측정 또는 예측하기 위한 인공지능학습모델을 생성할 수 있다.

구체적으로, 모델링부(12)는 하나 이상의 제2 분석지표를 포함하는 분석대상데이터(또는, 제3 분석대상데이터)와 상기 제1 기준시점(2021년)까지 제2 데이터베이스(3)에 저장된 평가데이터를 상관관계분석(Correlation Coefficient) 또는 카이제곱검정(Chi-square test) 등 다양한 분석방법을 수행하여 하나 이상의 제3 분석지표를 추출할 수 있다.

모델링부(12)는 하나 이상의 제3 분석지표를 조합하여 하나 이상의 타겟분석지표를 생성할 수 있다.

모델링부(12)는 하나 이상의 타겟분석지표를 독립변수로 하고 상기 제1 기준시점(2021년까지)의 평가데이터를 종속변수로하여 국가 및 기술분야 별 기술수준을 측정 또는 예측하기 위한 인공지능학습모델을 생성할 수 있다.

단계(S13)에서, 인공지능학습모델의 기계학습을 수행하고, 평가결과데이터를 추출할 수 있다.

구체적으로, 기계학습부(13)는 하나 이상의 타겟분석지표 중 일부(이하, 학습데이터라 명명함)를 상기 인공지능학습모델의 독립변수로 하고, 상기 학습데이터에 대응하는 제1 기준시점(2021년)까지의 평가데이터를 종속변수로하여 상기 인공지능학습모델을 기계학습할 수 있다.

또한, 기계학습부(13)는 하나 이상의 타겟분석지표 중 나머지(이하, 검증데이터라 명명함)를 상기 인공지능학습모델에 입력데이터로 입력하고 출력값인 평가결과데이터를 추출할 수 있다.

제어부(14)는 평가결과데이터와 제1 기준시점(2021년)까지의 제2 데이터베이스(3)에 저장된 평가데이터 사이의 평균제곱근편차(RMSE, Root Mean Square Error) 또는 평균절대오차(MAE, Mean Absolute Error) 등을 산출할 수 있다.

제어부(14)는 하나 이상의 평균제곱근편차(RMSE, Root Mean Square Error) 또는 하나 이상의 평균절대오차(MAE, Mean Absolute Error) 중 최소값을 가지는 어느 하나의 인공지능학습모델을 현재의 기술수준을 측정하기 위한 타겟인공지능학습모델로 결정할 수 있다.

도 7은 본 발명의 한 실시예에 따른 국가 및 기술분야 별 현재시점의 기술수준을 측정하고 미래시점의 기술수준을 예측하는 과정에 관한 흐름도이다.

이하, 도 7에서는 도 6에서 생성된 인공지능학습모델을 이용하여 국가 및 기술분야 별 현재시점의 기술수준을 측정하고 미래시점의 기술수준을 예측하는 것으로 가정하기로 한다.

도 7(a)는 국가 및 기술분야 별 현재시점의 기술수준을 측정하는 과정에 관한 흐름도이다.

단계(S20)에서는 기술수준을 측정하고자 하는 국가 및 기술분야가 입력될 수 있다.

예를 들어, 어느 하나의 국가 및 기술분야에 대한 현재시점(2022년)의 기술수준을 측정하기 위해서, 인공지능 기반의 기술수준평가시스템(1)에 기술수준을 측정하고자 하는 국가 및 기술분야가 입력될 수 있다.

단계(S21)에서는 제3 기준시점을 기준으로 소정의 기간 이내인 특허정보 및 논문정보를 추출할 수 있다.

구체적으로, 입력부(10)는 단계(S20)에서 입력된 국가 및 기술분야에 대한 특허정보 및 논문정보를 포함하는 분석데이터를 제1 데이터베이스(2)로부터 업로드 받을 수 있다.

전처리부(11)는 분석데이터의 특허정보에서 특허출원된 년도가 제3 기준시점(예를 들어, 2019년)을 기준으로 소정의 기간(10년) 이내인 2010년까지의 특허정보(즉, 2010년부터 2019년까지의 특허정보)를 추출할 수 있다.

또한, 전처리부(11)는 분석데이터의 논문정보에서 공개된 년도가 제3 기준시점(예를 들어, 2019년)을 기준으로 소정의 기간(10년) 이내인 2010년까지의 논문정보(즉, 2010년부터 2019년까지의 특허정보)를 추출할 수 있다.

이때, 상기 제3 기준시점(2019년)은 상기 제2 기준시점(2018년) 이후이고 상기 제1 기준시점(2021년) 이전인 임의의 시점일 수 있다.

위와 같은 과정으로 전처리부(11)는 상기 추출된 특허정보 및 논문정보가 포함된 제1 분석대상데이터를 생성할 수 있다.

단계(S22)에서 제1 분석대상데이터를 이용하여 하나 이상의 제1 분석지표를 생성할 수 있다.

전처리부(11)는 제1 분석대상데이터에 포함된 특허정보에서 특허의 출원개수가 미리 설정된 기준출원 개수 미만인 기술분야 및 상기 기술분야에 대한 모든 국가를 제외할 수 있다.

전처리부(11)는 제1 분석대상데이터에 포함된 논문정보에서 논문의 개수가 미리 설정된 기준논문 개수 미만인 기술분야 및 상기 기술분야에 대한 모든 국가를 제외할 수 있다.

위와 같은 과정으로 전처리부(11)는 상기 제1 분석대상데이터에서 제2 분석대상데이터를 생성할 수 있다.

분석지표산출부(110)는 제2 분석대상데이터를 이용하여 도 5에서 상술한 하나 이상의 제1 분석지표를 생성할 수 있다.

단계(S23)에서 하나 이상의 제1 분석지표를 타겟인공지능학습모델에 입력하여 현재시점의 기술수준을 측정할 수 있다.

구체적으로, 단계(S22)에서 생성된 하나 이상의 제1 분석지표를 도 6에서 생성된 타겟인공지능학습모델의 입력값으로 입력할 수 있다.

이때, 타겟인공지능학습모델은 단계(S20)에서 입력된 국가 및 기술분야의 현재시점(2022년)에서 기술수준에 대한 평가데이터를 출력할 수 있다.

즉, 도 7(a)에서 상술한 바와 같이, 본 발명의 한 실시예에 따른 도 6의 타겟인공지능학습모델은 제2 기준시점(2018년)을 기준으로 소정의 기간(10년) 전부터 제2 기준시점(2018년)까지 획득된 분석데이터(즉, 2009년부터 2018년까지 획득된 분석데이터)와 제1 기준시점(2021년)까지의 평가데이터를 이용하여 생성될 수 있다.

이후, 제2 기준시점(2018년) 이후이고, 제1 기준시점(2021년)이전인 임의의 제3 기준시점(2019년)을 기준으로 소정의 기간(10년)전부터 제3 기준시점(2019년)까지 획득된 분석데이터(즉, 2010년부터 2019년까지 획득된 분석데이터)를 상기 타겟인공지능학습모델에 입력한 경우, 현재시점(2022년)의 국가 및 기술분야 별 기술수준의 평가결과데이터를 획득할 수 있다.

도 7(b)는 국가 및 기술분야 별 미래시점의 기술수준을 예측하는 과정에 관한 흐름도이다.

도 7(a)를 참고하면, 단계(S30)에서는 기술수준을 예측하고자 하는 국가 및 기술분야가 입력될 수 있다.

예를 들어, 어느 하나의 국가 및 기술분야에 대한 미래시점(2023년)의 기술수준을 측정하기 위해서, 인공지능 기반의 기술수준평가시스템(1)에 기수수준을 측정하고자 하는 국가 및 기술분야가 입력될 수 있다.

단계(S31)에서는 기준시점을 기준으로 소정의 기간 이내인 특허정보 및 논문정보를 추출할 수 있다.

구체적으로, 입력부(10)는 단계(S30)에서 입력된 국가 및 기술분야에 대한 특허정보 및 논문정보를 포함하는 분석데이터를 제1 데이터베이스(2)로부터 업로드 받을 수 있다.

전처리부(11)는 분석데이터의 특허정보에서 특허출원된 년도가 제4 기준시점(2021년)을 기준으로 소정의 기간(10년) 이내인 2012년까지의 특허정보(즉, 2012년부터 2021년까지의 특허정보)를 추출할 수 있다.

또한, 전처리부(11)는 분석데이터의 논문정보에서 공개된 년도가 제4 기준시점(2021년)을 기준으로 소정의 기간(10년) 이내인 2012년까지의 논문정보(즉, 2012년부터 2021년까지의 논문정보)를 추출할 수 있다.

이때, 제4 기준시점(2021년)은 상기 제3 기준시점(2019년) 이후이고, 상기 현재시점(2022년) 이전인 임의의 시점일 수 있다.

위와 같은 과정으로 전처리부(11)는 상기 추출된 특허정보 및 논문정보로 포함된 제1 분석대상데이터를 생성할 수 있다.

단계(S32)에서 제1 분석대상데이터를 이용하여 하나 이상의 제1 분석지표를 생성할 수 있다.

전처리부(11)는 제1 분석대상데이터에 포함된 특허정보에서 특허의 출원개수가 미리 설정된 기준출원 개수 미만인 기술분야 및 상기 기술분야에 대한 모든 국가를 제외할 수 있다.

전처리부(11)는 제1 분석대상데이터에 포함된 논문정보에서 논문의 개수가 미리 설정된 기준논문 개수 미만인 기술분야 및 상기 기술분야에 대한 모든 국가를 제외할 수 있다.

위와 같은 과정으로 전처리부(11)는 상기 제1 분석대상데이터에서 제2 분석대상데이터를 생성할 수 있다.

분석지표산출부(110)는 제2 분석대상데이터를 이용하여 도 5에서 상술한 하나 이상의 제1 분석지표를 생성할 수 있다.

단계(S33)에서 하나 이상의 제1 분석지표를 타겟인공지능학습모델에 입력하여 미래시점의 기술수준을 측정할 수 있다.

구체적으로, 단계(S32)에서 생성된 하나 이상의 제1 분석지표를 도 6에서 생성된 타겟인공지능학습모델의 입력값으로 입력할 수 있다.

이때, 타겟인공지능학습모델은 단계(S30)에서 입력된 국가 및 기술분야의 미래시점(2023년)의 기술수준에 대한 평가데이터를 출력할 수 있다.

즉, 도 7(b)에서 상술한 바와 같이 본 발명의 한 실시예에 따른 도 6의 타겟인공지능학습모델은 제2 기준시점(2018년)을 기준으로 소정의 기간(10년) 전부터 제2 기준시점(2018년)까지 획득된 분석데이터(즉, 2009년부터 2018년까지 획득된 분석데이터)와 제1 기준시점(2021년)까지의 평가데이터를 이용하여 생성될 수 있다.

이후, 제3 기준시점(2019년) 이후이고, 현재시점(2022년) 이전인 임의의 제4 기준시점(2021년)을 기준으로 소정의 기간(10년) 전부터 제4 기준시점(2021년)까지 획득된 분석데이터(즉, 2012년부터 2021년까지 획득된 분석데이터)를 상기 타겟인공지능학습모델에 입력한 경우, 미래시점(2023년)의 국가 및 기술분야 별 기술수준의 평가결과데이터를 획득할 수 있다.

지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

처리 장치는 운영 체제 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리요소를 포함할 수 있음을 이해할 것이다.

예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor) 와 같은, 다른 처리 구성(Processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.

소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

1: 인공지능 기반의 기술수준평가시스템
10: 입력부
11: 전처리부
12: 모델링부
13: 기계학습부
14: 제어부

Claims (15)

1. 국가 및 기술분야 별 특허정보와 논문정보를 포함하는 분석데이터 및 상기 국가 및 기술분야 별 기술수준에 대해 상기 국가 및 기술분야 별 전문가에 의해 미리 평가된 평가데이터를 획득하는 입력부;
   상기 분석데이터를 전처리하여 하나 이상의 분석지표를 포함하는 분석대상데이터를 생성하는 전처리부;
   상기 분석데이터 중 현재시점의 이전시점인 제2 기준시점을 기준으로 소정의 기간 이내인 분석데이터를 전처리하여 획득한 상기 분석대상데이터 및 상기 제2 기준시점 이후이고 상기 현재시점의 이전시점인 제1 기준시점까지 획득한 상기 평가데이터를 이용하여 상기 국가 및 기술분야 별 현재시점의 상기 기술수준을 측정하거나 미래시점의 상기 기술수준을 예측하기 위한 하나 이상의 인공지능학습모델을 생성하는 모델링부;
   상기 분석대상데이터를 독립변수로하고 상기 평가데이터를 종속변수로 하여 상기 인공지능학습모델의 기계학습을 수행하고, 평가결과데이터를 추출하는 기계학습부; 및
   상기 평가결과데이터를 이용하여 상기 하나 이상의 인공지능학습모델 중 상기 국가 및 기술분야 별 현재시점의 상기 기술수준을 측정하거나 미래시점의 상기 기술수준을 예측하기 위한 타겟인공지능학습모델을 결정하는 제어부를 포함하고,
   상기 타겟인공지능학습모델은 상기 분석데이터 중 상기 제2 기준시점 이후이고 상기 제1 기준시점 이전의 시점인 제3 기준시점을 기준으로 소정의 기간 이내인 상기 분석데이터가 상기 전처리되어 입력값으로 입력된 경우 상기 현재시점에서 기술수준을 측정한 평가데이터를 추출하고 상기 분석데이터 중 상기 제3 기준시점 이후이고 상기 현재시점 이전 시점인 제4 기준시점을 기준으로 소정의 기간 이내인 상기 분석데이터를 상기 전처리되어 입력값으로 입력된 경우 상기 미래시점에서 기술수준을 예측한 평가데이터를 추출하고,
   상기 분석데이터는 상기 국가 및 기술분야 별 특허의 출원개수, 피인용횟수, 패밀리특허의 개수, 패밀리국가수, 국제특허분류(IPC) 개수, 청구항 개수, 출원인수, 발명자수, 및 가치평가금액을 포함하는 상기 특허정보 및 논문의 개수 및 피인용횟수를 포함하는 상기 논문정보를 포함하고,
   상기 전처리부는 상기 분석데이터 중 상기 특허의 출원된 년도가 상기 제2 기준시점을 기준으로 소정의 기간 이내이고, 상기 논문의 공개된 년도가 상기 제2 기준시점을 기준으로 상기 소정의 기간 이내인 제1 분석대상데이터를 추출하고 상기 제2 기준시점은 상기 인공지능학습모델을 생성하는 제1 기준시점을 기준으로 상기 특허가 공개되는데 필요한 기간 이전이고,
   상기 전처리부는 상기 제1 분석대상데이터 중 상기 특허의 출원개수가 미리 설정된 기준출원 개수 미만인 상기 특허정보를 제외하고 상기 논문의 개수가 미리 설정된 기준논문 개수 미만인 상기 논문정보를 제외하여 제2 분석대상데이터를 추출하고,
   상기 전처리부는 상기 제2 분석대상데이터에서 하나 이상의 제1 분석지표를 추출하고 상기 하나 이상의 제1 분석지표는 상기 기술분야 별 대상국가에서의 상기 특허의 출원개수의 비중, 전체 기술분야에서 상기 대상국가의 상기 특허의 출원개수의 비중과 상기 기술분야 별 상기 대상국가의 상기 특허의 출원개수의 비중의 비율, 상기 기술분야 별 전체국가의 상기 특허의 평균 피인용횟수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 피인용횟수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 패밀리특허 개수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 패밀리특허 개수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 패밀리국가수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 패밀리국가수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 국제특허분류 개수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 국제특허분류 개수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 청구항개수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 청구항개수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 발명자수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 발명자수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 출원인수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 출원인수의 비율, 및 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 가치평가금액과 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 가치평가금액의 비율 중 적어도 하나 이상을 포함하고,
   상기 하나 이상의 제1 분석지표는 상기 기술분야 별 대상국가의 상기 논문의 개수의 비율, 전체 기술분야에서 상기 대상국가의 상기 논문의 개수와 상기 기술분야 별 상기 대상국가의 상기 논문의 개수의 비율, 및 상기 기술분야 별 전체국가에서 상기 논문의 평균 피인용횟수와 상기 기술분야 별 상기 대상국가의 상기 논문의 평균 피인용횟수의 비율 중 적어도 하나 이상을 더 포함하고,
   상기 전처리부는 상기 하나 이상의 제1 분석지표에서 기준 임계값 이상인 이상치(outlier)를 제외하여 하나 이상의 제2 분석지표를 포함하는 상기 분석대상데이터를 생성하고,
   상기 모델링부는 상기 하나 이상의 제2 분석지표를 포함하는 상기 분석대상데이터와 상기 제1 기준시점까지의 평가데이터를 이용하여 상기 하나 이상의 제2 분석지표 중 하나 이상의 제3 분석지표를 추출하고,
   상기 모델링부는 상기 하나 이상의 제3 분석지표의 조합으로 구성된 타겟분석지표를 상기 독립변수로 하고 상기 제1 기준시점까지의 평가데이터를 상기 종속변수로 하여 상기 하나 이상의 인공지능학습모델을 생성하고,
   상기 기계학습부는 상기 타겟분석지표 중 일부를 상기 독립변수로하고 상기 제1 기준시점까지의 평가데이터를 상기 종속변수로하여 상기 하나 이상의 인공지능학습모델의 기계학습을 수행하고,
   상기 제어부는 상기 타겟분석지표 중 나머지를 상기 하나 이상의 인공지능학습모델에 입력하여 추출된 평가결과데이터와 상기 제1 기준시점까지 상기 입력부에서 획득한 상기 평가데이터 사이의 평균제곱근편차 또는 평균절대오차를 산출하고, 상기 평균제곱근편차 또는 상기 평균절대오차 중 최소값을 가지는 어느 하나의 인공지능학습모델을 상기 타겟인공지능학습모델로 결정하는,
   인공지능 기반의 기술수준평가시스템.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 입력부에 의해 국가 및 기술분야 별 특허정보와 논문정보를 포함하는 분석데이터 및 상기 국가 및 기술분야 별 기술수준에 대해 국가 및 기술분야 별 전문가에 의해 미리 평가된 평가데이터를 획득하는 단계;
    전처리부에 의해 상기 분석데이터를 전처리하여 하나 이상의 분석지표를 포함하는 분석대상데이터를 생성하는 단계;
    모델링부에 의해 상기 분석데이터 중 현재시점의 이전시점인 제2 기준시점을 기준으로 소정의 기간 이내인 분석데이터를 전처리하여 획득한 상기 분석대상데이터 및 상기 제2 기준시점 이후이고 상기 현재시점의 이전시점인 제1 기준시점까지 획득한 상기 평가데이터를 이용하여 상기 국가 및 기술분야 별 현재시점의 상기 기술수준을 측정하거나 미래시점의 상기 기술수준을 예측하기 위한 하나 이상의 인공지능학습모델을 생성하는 단계;
    기계학습부에 의해 상기 분석대상데이터를 독립변수로하고 상기 평가데이터를 종속변수로 하여 상기 인공지능학습모델의 기계학습을 수행하고, 평가결과데이터를 추출하는 단계; 및
    제어부에 의해 상기 평가결과데이터를 이용하여 상기 하나 이상의 인공지능학습모델 중 상기 국가 및 기술분야 별 현재시점의 상기 기술수준을 측정하거나 미래시점의 상기 기술수준을 예측하기 위한 타겟인공지능학습모델을 결정하는 단계를 포함하고,
    상기 타겟인공지능학습모델은 상기 분석데이터 중 상기 제2 기준시점 이후이고 상기 제1 기준시점 이전의 시점인제3 기준시점을 기준으로 소정의 기간 이내인 상기 분석데이터가 상기 전처리되어 입력값으로 입력된 경우 상기 현재시점에서 기술수준을 측정한 평가데이터를 추출하고 상기 분석데이터 중 상기 제3 기준시점 이후이고 상기 현재시점 이전 시점인 제4 기준시점을 기준으로 소정의 기간 이내인 상기 분석데이터를 상기 전처리되어 입력값으로 입력된 경우 상기 미래시점에서 기술수준을 예측한 평가데이터를 추출하고,
    상기 분석데이터는, 상기 국가 및 기술분야 별 특허의 출원개수, 피인용횟수, 패밀리특허의 개수, 패밀리국가수, 국제특허분류(IPC) 개수, 청구항 개수, 출원인수, 발명자수, 및 가치평가금액을 포함하는 상기 특허정보 및 논문의 개수 및 피인용횟수를 포함하는 상기 논문정보를 포함하고,
    상기 전처리부는 상기 분석데이터 중 상기 특허의 출원된 년도가 상기 제2 기준시점을 기준으로 소정의 기간 이내이고, 상기 논문의 공개된 년도가 상기 제2 기준시점을 기준으로 상기 소정의 기간 이내인 제1 분석대상데이터를 추출하고 상기 제2 기준시점은 상기 인공지능학습모델을 생성하는 제1 기준시점을 기준으로 상기 특허가 공개되는데 필요한 기간 이전이고,
    상기 전처리부는 상기 제1 분석대상데이터 중 상기 특허의 출원개수가 미리 설정된 기준출원 개수 미만인 상기 특허정보를 제외하고 상기 논문의 개수가 미리 설정된 기준논문 개수 미만인 상기 논문정보를 제외하여 제2 분석대상데이터를 추출하고,
    상기 전처리부는 상기 제2 분석대상데이터에서 하나 이상의 제1 분석지표를 추출하고 상기 하나 이상의 제1 분석지표는 상기 기술분야 별 대상국가에서의 상기 특허의 출원개수의 비중, 전체 기술분야에서 상기 대상국가의 상기 특허의 출원개수의 비중과 상기 기술분야 별 상기 대상국가의 상기 특허의 출원개수의 비중의 비율, 상기 기술분야 별 전체국가의 상기 특허의 평균 피인용횟수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 피인용횟수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 패밀리특허 개수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 패밀리특허 개수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 패밀리국가수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 패밀리국가수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 국제특허분류 개수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 국제특허분류 개수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 청구항개수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 청구항개수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 발명자수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 발명자수의 비율, 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 출원인수와 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 출원인수의 비율, 및 상기 기술분야 별 상기 전체국가의 상기 특허의 평균 가치평가금액과 상기 기술분야 별 상기 대상국가의 상기 특허의 평균 가치평가금액의 비율 중 적어도 하나 이상을 포함하고,
    상기 하나 이상의 제1 분석지표는 상기 기술분야 별 대상국가의 상기 논문의 개수의 비율, 전체 기술분야에서 상기 대상국가의 상기 논문의 개수와 상기 기술분야 별 상기 대상국가의 상기 논문의 개수의 비율, 및 상기 기술분야 별 전체국가에서 상기 논문의 평균 피인용횟수와 상기 기술분야 별 상기 대상국가의 상기 논문의 평균 피인용횟수의 비율 중 적어도 하나 이상을 더 포함하고,
    상기 전처리부는 상기 하나 이상의 제1 분석지표에서 기준 임계값 이상인 이상치(outlier)를 제외하여 하나 이상의 제2 분석지표를 포함하는 상기 분석대상데이터를 생성하고,
    상기 모델링부는 상기 하나 이상의 제2 분석지표를 포함하는 상기 분석대상데이터와 상기 제1 기준시점까지의 평가데이터를 이용하여 상기 하나 이상의 제2 분석지표 중 하나 이상의 제3 분석지표를 추출하고,
    상기 모델링부는 상기 하나 이상의 제3 분석지표의 조합으로 구성된 타겟분석지표를 상기 독립변수로 하고 상기 제1 기준시점까지의 평가데이터를 상기 종속변수로 하여 상기 하나 이상의 인공지능학습모델을 생성하고,
    상기 기계학습부는 상기 타겟분석지표 중 일부를 상기 독립변수로하고 상기 제1 기준시점까지의 평가데이터를 상기 종속변수로하여 상기 하나 이상의 인공지능학습모델의 기계학습을 수행하고,
    상기 제어부는 상기 타겟분석지표 중 나머지를 상기 하나 이상의 인공지능학습모델에 입력하여 추출된 평가결과데이터와 상기 제1 기준시점까지 상기 입력부에서 획득한 상기 평가데이터 사이의 평균제곱근편차 또는 평균절대오차를 산출하고, 상기 평균제곱근편차 또는 상기 평균절대오차 중 최소값을 가지는 어느 하나의 인공지능학습모델을 상기 타겟인공지능학습모델로 결정하는,
    인공지능 기반의 기술수준평가방법.
15. 제 14항의 인공지능 기반의 기술수준평가방법을 실행시키는 프로그램이 기록된 컴퓨터로 판독가능한 기록매체.