KR102010579B1 - 전문가 검증방법, 장치 및 프로그램 - Google Patents

전문가 검증방법, 장치 및 프로그램 Download PDF

Info

Publication number
KR102010579B1
KR102010579B1 KR1020180141172A KR20180141172A KR102010579B1 KR 102010579 B1 KR102010579 B1 KR 102010579B1 KR 1020180141172 A KR1020180141172 A KR 1020180141172A KR 20180141172 A KR20180141172 A KR 20180141172A KR 102010579 B1 KR102010579 B1 KR 102010579B1
Authority
KR
South Korea
Prior art keywords
information
expert
expertise
database
evaluating
Prior art date
Application number
KR1020180141172A
Other languages
English (en)
Inventor
김보언
Original Assignee
김보언
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김보언 filed Critical 김보언
Priority to KR1020180141172A priority Critical patent/KR102010579B1/ko
Application granted granted Critical
Publication of KR102010579B1 publication Critical patent/KR102010579B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398Performance of employee with respect to a job function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

컴퓨터에 의하여 수행되는 방법에 있어서, 전문가정보를 수집하는 단계, 상기 전문가정보를 정형정보 및 비정형정보로 분류하는 단계, 상기 정형정보를 평가하는 단계, 상기 비정형정보를 평가하는 단계 및 상기 정형정보 및 상기 비정형정보에 대한 평가결과에 기초하여 전문가의 전문성을 평가하는 단계를 포함하는, 전문가 검증방법이 개시된다.

Description

전문가 검증방법, 장치 및 프로그램{METHOD, APPARATUS AND PROGRAM FOR SPECIALIST VERIFICATION}
본 발명은 전문가 검증방법, 장치 및 프로그램에 관한 것이다.
전문가의 전문성을 평가함에 있어서, 기존에는 이미 인증된 전문가가 서류 혹은 면접을 통해 전문성을 평가하거나, 소정의 테스트를 통해 전문성을 입증하도록 하곤 했다. 예를 들어, 전문가를 평가함에 있어 자격증, 수료증, 학위증 등의 서류와 평가, 면접, 심사 등의 테스트를 통해 그 전문성을 평가하는 것이 일반적이었다.
하지만, 이 경우 전문성을 평가할 수 있는 정보 및 인력이 충분히 갖추어지지 않은 이종분야에 대해서는 전문성을 평가할 수 있는 수단이 없으며, 또한 전문성 평가가 객관적이고 정확하기 어려우며, 실시간으로 업데이트되는 각 전문가들의 전문성을 매번 평가하기 어렵고, 잘못된 평가가 있었던 경우에도 유기적인 피드백을 제공하기 어려운 문제점이 있다.
특히, 4차 산업혁명 시대에서는 초연결 및 초지능을 기반으로, 그 깊이, 속도 및 범위가 크게 확대될 것으로 예상된다. 이에 다양한 산업분야가 생겨날 뿐 아니라, 기존의 산업분야들과 새로운 산업분야들이 서로 융합되는 등 수많은 신규분야가 발생하게 되는데, 해당 분야의 전문가가 없거나 매우 적은 상황이 발생하게 될 것으로 예상된다. 따라서 각 분야의 전문가들을 발굴 및 모집하고, 각 분야의 전문가들이 협업할 수 있는 플랫폼이 필요하게 되었다.
또한, 앞으로 기대수명 연장으로 인해 생산활동 기간이 연장될 것이며, 각 전문가들로 하여금 해당 분야를 단순히 직업이 아닌 평생의 "업"으로 삼을 수 있도록 할 필요가 있다.
또한, 전문가들은 각 분야에서 능력에 기반하여 활동하며 대우받을 수 있도록 하는 것이 바람직하나, 기존의 기업과 같은 조직의 경우 직원들 간의 형평성과, 조직 전체의 안정성을 추구하므로 각 전문가들의 개성을 살리기 어렵고, 능력에 따른 대우가 주어지지 못하며, 경력이 쌓이면 이를 활용하기보다는 관리직으로 전환되는 등의 문제가 있었다.
따라서, 긱(Gig) 경제에 기반하여 전문가들의 자율성을 보장하며 최대한의 효율을 이끌어내되, 최소한의 안정성과 지속성을 보장할 수 있도록 할 필요가 있다.
MICE는 기업회의(Meeting), 포상관광(Incentive trip), 컨벤션(Convention), 전시박람회와 이벤트(Exhibition&Event) 등의 영문 앞 글자를 딴 용어로, 좁은 의미에서는 국제회의와 전시회를 주축으로 한 유망 산업을 뜻하며, 광의적 개념으로는 참여자 중심의 보상관광과 메가 이벤트 등을 포함하는 융복합산업을 뜻한다.
등록특허공보 제10-0849434호, 2008.07.24 등록
본 발명이 해결하고자 하는 과제는 전문가 검증방법, 장치 및 프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 전문가 검증방법은, 전문가정보를 수집하는 단계, 상기 전문가정보를 정형정보 및 비정형정보로 분류하는 단계, 상기 정형정보를 평가하는 단계, 상기 비정형정보를 평가하는 단계 및 상기 정형정보 및 상기 비정형정보에 대한 평가결과에 기초하여 전문가의 전문성을 평가하는 단계를 포함한다.
또한, 상기 전문가정보를 수집하는 단계는, 상기 전문가로부터 입력된 정보를 획득하는 단계 및 상기 전문가에 대하여 크롤링된 정보를 수집하는 단계를 포함할 수 있다.
또한, 상기 전문가정보를 분류하는 단계는, 기 저장된 데이터베이스에 기초하여 상기 데이터베이스에 저장된 정보에 대응하는 전문가정보를 정형정보로 분류하는 단계 및 상기 정형정보를 제외한 상기 전문가정보를 상기 비정형정보로 분류하는 단계를 포함할 수 있다.
또한, 상기 데이터베이스는, 특정 전문분야에 대한 정보 및 상기 특정 전문분야에 해당하는 경력정보가 저장되고, 상기 전문가정보를 분류하는 단계는, 상기 데이터베이스에 저장되지 않은 전문분야에 대한 정보 및 상기 데이터베이스에 저장되지 않은 경력정보에 해당하는 상기 전문가정보를 상기 비정형정보로 분류하는 단계를 포함할 수 있다.
또한, 상기 정형정보를 평가하는 단계는, 상기 데이터베이스에 저장된 평가정보에 기반하여 상기 정형정보를 평가하는 단계를 포함하고, 상기 비정형정보를 평가하는 단계는, 경력정보와 각 전문분야의 전문성 간의 연관관계를 도출하도록 학습된 모델을 이용하여 상기 비정형정보로부터 상기 전문가의 전문분야에 대한 전문성을 추정하는 단계를 포함하고, 상기 학습된 모델은, 상기 데이터베이스에 저장된 정보에 기반하여 학습된 것일 수 있다.
또한, 상기 전문가의 전문성을 평가하는 단계는, 상기 전문가의 전문성 평가 결과에 기초하여 상기 전문가에게 업무를 할당하는 단계, 상기 전문가의 업무 처리결과를 획득하는 단계, 상기 업무 처리결과에 기초하여 상기 전문가의 전문성 평가 결과에 대한 피드백을 생성하는 단계 및 상기 피드백에 기초하여 상기 전문가의 전문성을 업데이트하는 단계를 더 포함할 수 있다.
또한, 상기 전문성을 업데이트하는 단계는, 상기 피드백에 기초하여 상기 학습된 모델의 추정결과를 평가하는 단계 및 상기 추정결과에 대한 평가정보에 기초하여 상기 학습된 모델을 업데이트하는 단계를 더 포함하고, 상기 학습된 모델을 업데이트하는 단계는, 상기 학습된 모델을 업데이트한 결과에 따라 제1 비정형정보와 제1 전문분야 간의 연관성이 기 설정된 기준값을 초과하는 경우, 상기 제1 비정형정보를 상기 제1 전문분야에 대한 정형정보로서 상기 데이터베이스에 저장하고, 상기 제1 전문분야에 대한 정보가 상기 데이터베이스에 저장되어 있지 않은 경우, 상기 제1 전문분야에 대한 정보를 상기 데이터베이스에 저장하는, 단계를 더 포함할 수 있다.
또한, 상기 전문성을 평가하는 단계는, 상기 전문가정보 각각에 대한 전문성 평가결과를 산출하는 단계, 상기 전문가정보 각각에 대응하는 시점을 획득하는 단계, 상기 전문가정보 각각에 대응하는 시점으로부터 현재까지의 기간에 기초하여 상기 산출된 평가결과에 대하여 가중치를 부여하는 단계 및 상기 가중치가 부여된 평가결과에 기초하여 상기 전문성을 평가하는 단계를 포함할 수 있다.
또한, 상기 가중치를 부여하는 단계는, 상기 전문가정보에 포함된 공백기간에 대한 정보를 획득하는 단계, 상기 전문가정보에 포함된 정형정보, 비정형정보 및 공백기간을 시간순으로 정렬하는 단계 및 상기 정렬된 전문가정보 각각에 대한 가중치를 부여하되, 상기 가중치는 상기 전문가정보 각각에 대하여 시간적으로 뒤에 위치한 하나 이상의 전문가정보의 전문성 평가결과에 따라 조정되는, 단계를 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 전문가 검증장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 개시된 실시 예에 따른 전문가 검증방법을 수행한다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 전문가 검증 프로그램은, 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 전문가 검증방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
개시된 실시 예에 따르면, 이종분야의 전문가 및 정형화되지 않은 경력을 갖는 전문가들의 전문성을 평가할 수 있으며, 전문가들의 전문성 변화를 용이하게 업데이트하고, 이에 대응하는 서비스를 제공할 수 있는 장점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 전문가 검증 시스템의 동작을 도시한 개념도이다.
도 2는 일 실시 예에 따른 전문가 검증방법을 도시한 흐름도이다.
도 3은 일 실시 예에 따른 전문가정보 분류 및 평가방법을 도시한 흐름도이다.
도 4는 일 실시 예에 따른 전문성 평가결과에 대한 피드백 방법을 도시한 흐름도이다.
도 5는 일 실시 예에 따른 모델 및 데이터베이스 업데이트 방법을 도시한 흐름도이다.
도 6은 일 실시 예에 따라 가중치에 기반하여 전문성을 평가하는 방법을 도시한 흐름도이다.
도 7은 일 실시 예에 따라 가중치를 조정하는 방법을 도시한 흐름도이다.
도 8은 일 실시 예에 따른 장치의 구성도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 일 실시 예에 따른 전문가 검증 시스템의 동작을 도시한 개념도이다.
도 1에 도시된 각 구성요소들은 반드시 특정한 장치 혹은 모듈을 나타내는 것은 아니며, 데이터 및 데이터가 포함된 데이터베이스, 혹은 특정 동작에 대응하는 단계 등을 의미할 수 있으며, 또한 제한되지 않는다.
개시된 실시 예의 시스템(1)에 따르면, 전문가정보(10)가 개시된다. 전문가정보(10)는 특정 분야의 전문가에 대한 정보를 포함하며, 예를 들어 전문가의 경력정보를 포함할 수 있으나, 이에 제한되는 것은 아니다. 전문가정보는 각 전문가의 전문성을 평가할 수 있는 모든 종류의 정보를 포함할 수 있으며, 전문가의 전문성을 평가할 수 있는 정보라 함은 전문가의 특정 전문분야의 전문성과 소정의 기준값 이상의 연관성을 갖는 정보를 의미할 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서, 전문가는 특정 분야에 대한 소정의 전문성을 갖춘 모든 종류의 사람을 의미하는 것으로 이해될 수 있으며, 그 기준은 제한되지 않는다. 특정 분야의 업무를 수행할 수 있는 모든 종류의 경력자, 혹은 교육을 받은 사람, 혹은 재능을 갖춘 사람을 모두 전문가라 칭할 수 있으나, 바람직하게는 특정 분야의 소정의 경력을 갖춘 사람을 의미하는 것으로 이해될 수 있다.
따라서, 전문가 정보라 함은 해당 전문가의 경력에 대한 정보를 의미할 수 있으며, 실시 예에 따라 경력은 다양한 정보를 포함할 수 있다. 예를 들어, 각 전문가가 근무한 직장, 각 전문가의 학력, 각 전문가가 발표한 논문, 각 전문가가 참여한 프로젝트 등의 정보를 포함할 수 있고, 나아가 각 전문가가 온라인 커뮤니티나 동호회 등에서 활동한 기록, 개인적으로 수행한 프로젝트나 취미로 작성한 자료 등 다양한 정형 및 비정형 정보들을 모두 포괄하는 의미로 이해될 수 있다.
최근에는 온라인 커뮤니티 등의 발달로 인해 기존의 정규 교육기관이나 직장 외에서도 혼자, 혹은 여러 사람들이 프로젝트를 진행하는 경우도 많고, 상대적으로 정보에 접근이 용이해지면서 정보의 불균형이 해소되었고, 비록 정규 교육을 받거나 경력을 쌓은 전문가는 아닐지라도 아마추어 수준에서, 혹은 아마추어 수준을 초월하는 긱(geek)전문가가 다수 발생하게 되었으며, 이들의 전문성이 전통적인 전문가에 비견되거나 오히려 초월하는 경우도 있다.
또한, 전통적인 전문가와 긱 전문가는 이분법적으로 구분될 수 있는 것은 아니고, 전통적인 전문가 또한 긱 전문가적 요소를 함께 갖추고 있을 수 있고, 특정 분야의 전통적인 전문가가 다른 분야 혹은 유사 분야에서는 긱 전문가로 인정될 수도 있다.
또한, 전문가의 전문성을 평가함에 있어서, 기존에는 이미 인증된 전문가가 서류 혹은 면접을 통해 전문성을 평가하거나, 소정의 테스트를 통해 전문성을 입증하도록 하곤 했다. 예를 들어, 전문가를 평가함에 있어 자격증, 수료증, 학위증 등의 서류와 평가, 면접 심사 등의 테스트를 통해 그 전문성을 평가하는 것이 일반적이었다.
하지만, 이 경우 전문성을 평가할 수 있는 정보 및 인력이 충분히 갖추어지지 않은 이종분야에 대해서는 전문성을 평가할 수 있는 수단이 없으며, 또한 전문성 평가가 객관적이고 정확하기 어려우며, 실시간으로 업데이트되는 각 전문가들의 전문성을 매번 평가하기 어렵고, 잘못된 평가가 있었던 경우에도 유기적인 피드백을 제공하기 어려운 문제점이 있다.
특히, 4차 산업혁명 시대에서는 초연결 및 초지능을 기반으로, 그 깊이, 속도 및 범위가 크게 확대될 것으로 예상된다. 이에 다양한 산업분야가 생겨날 뿐 아니라, 기존의 산업분야들과 새로운 산업분야들이 서로 융합되는 등 수많은 신규분야가 발생하게 되는데, 해당 분야의 전문가가 없거나 매우 적은 상황이 발생하게 될 것으로 예상된다. 따라서 각 분야의 전문가들을 발굴 및 모집하고, 각 분야의 전문가들이 협업할 수 있는 플랫폼이 필요하게 되었다.
또한, 앞으로 기대수명 연장으로 인해 생산활동 기간이 연장될 것이며, 각 전문가들로 하여금 해당 분야를 단순히 직업이 아닌 평생의 "업"으로 삼을 수 있도록 할 필요가 있다.
또한, 전문가들은 각 분야에서 능력에 기반하여 활동하며 대우받을 수 있도록 하는 것이 바람직하나, 기존의 기업과 같은 조직의 경우 직원들 간의 형평성과, 조직 전체의 안정성을 추구하므로 각 전문가들의 개성을 살리기 어렵고, 능력에 따른 대우가 주어지지 못하며, 경력이 쌓이면 이를 활용하기보다는 관리직으로 전환되는 등의 문제가 있었다.
따라서, 긱(Gig) 경제에 기반하여 전문가들의 자율성을 보장하며 최대한의 효율을 이끌어내되, 최소한의 안정성과 지속성을 보장할 수 있도록 할 필요가 있다.
이에 기반하여 구축되는 플랫폼은 전문가를 발굴, 모집 및 교육하며, 업무를 제공하고 수익을 창출할 수 있는 인프라를 갖추어야 함은 물론이고, 전문가들이 서로 네트워킹하며 교육, 성장 및 협업할 수 있도록 하는 전문가 생태계를 구축하는 것이 무엇보다 중요하다.
이러한 전문가 생태계의 구축을 위해서는, 일단 전문가를 검증하고, 각 전문가의 전문성 수준을 평가함으로써 적절한 역할을 부여하는 것이 중요하다.
본 명세서에서 개시되는 일 실시 예에서, 전문가는 MICE 분야의 전문가를 의미할 수 있다. MICE는 기업회의(Meeting), 포상관광(Incentive trip), 컨벤션(Convention), 전시박람회와 이벤트(Exhibition&Event) 등의 영문 앞 글자를 딴 용어로, 좁은 의미에서는 국제회의와 전시회를 주축으로 한 유망 산업을 뜻하며, 광의적 개념으로는 참여자 중심의 보상관광과 메가 이벤트 등을 포함하는 융복합산업을 뜻한다.
MICE는 다양한 분야의 융복합산업이므로, 다양한 분야의 전문가를 필요로 하며, 이들 전문가의 협업이 요구된다. 따라서, 개시된 실시 예에 따른 전문가 플랫폼 및 이를 위한 전문가 검증방법은 MICE 전문가들을 대상으로 적용될 수 있으며, 이에 제한되는 것은 아니다.
따라서, 개시된 실시 예에 따른 시스템(1)은 기 저장된 데이터베이스(20)는 물론이고, 이에 기반하여 학습되거나 구성된 모델(30)을 이용하여 전문가정보(10)로부터 다양한 정형 및 비정형정보를 추출, 이종분야의 전문가를 평가할 수 있도록 구성되며, 기존에는 경력으로 산입하기 어려웠던 다양한 경력정보들도 해당 분야의 전문성을 입증하는 데에 다양하게 활용할 수 있도록 구성된다.
또한, 평가결과(40)에 기반하여 전문가 기반 시스템을 운용하되, 실제로 전문가의 전문성에 대한 평가결과가 획득되는 경우 이에 기반하여 피드백(50)을 생성하고, 이에 따라 해당 전문가의 전문성을 업데이트할 수 있고, 이에 기반하여 모델(30) 또한 업데이트하는 것이 가능하다.
개시된 실시 예에서, 전문가의 전문성을 평가할 수 있는 기준은 제한되지 않으며, 기존의 개념적, 통상적, 일반적 기준의 전문가뿐 아니라, 특정 집단에서 요구하는 요구조건을 만족하는 전문가들을 평가하기 위하여 다양한 기준들이 설정될 수 있다.
예를 들어, 특정 분야 혹은 집단에서는 업계의 평판, 협업 평판 혹은 각 분야 혹은 집단의 가치기준에 따른 도덕성 등을 필수요소로 고려하거나, 더 중요하게 평가할 수도 있다.
또한, 특정 집단의 경우 해당 집단의 이념이나 가치를 중요한 평가기준으로 여길 수도 있다.
개시된 실시 예에 따르면, 평가기준의 종류와 무관하게 기 설정된 데이터베이스에 따라 정형정보와 비정형정보로 평가기준 및 전문가 정보를 분류함으로써, 어디에나 적용할 수 있는 전문가 검증 시스템이 제공될 수 있다.
또한, 개시된 실시 예에 따른 방법에 의하여 평가된 전문가의 경우, 소정 기간의 워밍업 기간이 제공될 수 있다. 예를 들어, 전문성 평가 결과와 실제 업무능력에 차이가 있을 수 있으므로, 해당 기간에는 테스트 업무를 통해 실제 전문성을 검증하도록 할 수 있다. 또한, 새로운 환경에 적응하는 시간이 필요할 수 있고, 해당 분야나, 업무, 집단에서의 가치나 이념을 교육하고, 업무 프로세스를 익히기 위해 소정의 시간이 필요할 수 있다. 이 과정에서 인수인계, 테스트 업무, 업무 프로세스 교육, 가치교육 등이 진행될 수 있다.
또한, 해당 전문가의 전문성을 제고하기 위한 교육수단을 제공할 수 있을 뿐 아니라, 소정의 기간마다 업데이트되는 정보를 제공하고, 시대의 흐름과 변화하는 기술 속에서 해당 전문가의 전문성을 유지할 수 있도록 하는 보수교육을 시의적절하게 제공할 수 있다.
이를 통해, 전문가들이 전문성 유지 및 강화에 투여되는 시간을 절약하고, 발전 전략을 수립할 수 있도록 플랫폼이 지원함으로써 궁극적으로 전문가 개인의 혹은 전문 그룹의 수익 및 부가가치를 증대시킬 수 있다.
또한 전문가들 간의 협업을 장려하고, 협업에 따라 실적이 증대할 시 이에 합당한 보상을 지급함으로써, 전문가들 간에 서로의 스페셜티를 적극적으로 공유할 수 있는 장을 마련하고, 이를 통해 전문가들 간의 지식공유뿐 아니라 신입 전문가들에 대한 이론뿐 아니라 산업현장의 투입 기회 및 체험 기회 또한 다양하게 마련될 수 있을 것으로 기대된다. 보상은 금전적 보상을 포함할 수 있으며, 또한 개시된 실시 예에 따른 전문가 플랫폼에서의 활동 내역에 따라 우수한 전문가로 평가되는 경우 더 많은 업무기회나 개인 PR기회를 부여하는 등 다양한 보상이 지급될 수 있다. 이에 따라, 다양한 분야의 기존전문가들과, 후발 또는 하위의 전문가들이 동반성장할 수 있는 플랫폼이 제공될 수 있다.
또한 플랫폼 내에서 전문가별 맞춤형 교육 프로그램을 제공 또는 지원함으로써 본인의 전문분야는 물론 다방면에 걸친 자기계발을 도울 수 있고, 단계에 따른 역할부여 및 수행을 통해 전문가들의 책임감과 신뢰도 상승을 유도할 수 있다. 이에 따라 주요업무에 배치할 수 있는 전문가들이 육성되므로, 나아가 전체 전문가 풀을 성장시킬 수 있는 기반이 마련될 수 있다.
이러한 과정에서, 기존 전문가를 유입하고, 신규 전문가를 발굴하여 교육함으로써 지속가능한 전문가 생태계가 구축되고, 유지될 뿐 아니라 지속적으로 성장가능한 전문가 플랫폼이 마련될 수 있다.
이하에서는, 도면을 참조하여 개시된 실시 예에 따른 전문가 검증방법, 그리고 이에 기반하여 전문가 기반 시스템을 운용하는 방법을 구체적으로 설명한다.
도 2는 일 실시 예에 따른 전문가 검증방법을 도시한 흐름도이다.
단계 S110에서, 컴퓨터는 전문가정보를 수집한다.
상술한 바와 마찬가지로, 전문가정보는 특정 분야의 전문가에 대한 정보를 포함하며, 예를 들어 전문가의 경력정보를 포함할 수 있으나, 이에 제한되는 것은 아니다. 전문가정보는 각 전문가의 전문성을 평가할 수 있는 모든 종류의 정보를 포함할 수 있으며, 전문가의 전문성을 평가할 수 있는 정보라 함은 전문가의 특정 전문분야의 전문성과 소정의 기준값 이상의 연관성을 갖는 정보를 의미할 수 있으나, 이에 제한되는 것은 아니다.
일 실시 예에서, 컴퓨터는 상기 전문가로부터 입력된 정보를 획득할 수 있고, 또한 상기 전문가에 대하여 크롤링된 정보를 수집함으로써 전문가정보를 수집할 수 있다.
예를 들어, 컴퓨터는 전문가의 이력서나, 전문가가 기 설정된 서식에 기초하여 입력하거나, 자유롭게 작성한 정보를 획득할 수 있다. 전문가가 입력한 정보는 전문가의 경력정보와, 전문가가 해당 전문분야에서 내세우고자 하는 다양한 정보들이 포함될 수 있다.
일 실시 예에서, 컴퓨터는 웹 크롤링을 통해 해당 전문가와 연관된 정보들을 수집할 수 있다. 예를 들어, 컴퓨터는 해당 전문가의 개인정보에 기반하여 해당 전문가에 대한 정보를 수집할 수 있다.
컴퓨터는 크롤링을 통해 해당 전문가가 입력하지 않은 정보를 획득할 수도 있으나, 이에 제한되지 않으며, 예를 들어 해당 전문가가 입력한 정보를 검증하거나, 해당 전문가가 입력한 정보에 기반하여 더 많은 정보를 수집하기 위하여 크롤링을 수행할 수도 있다.
예를 들어, 해당 전문가가 특정 커뮤니티 사이트에서 활동한 정보를 입력한 경우, 컴퓨터는 해당 전문가에 대한 정보를 해당 커뮤니티 사이트에서 크롤링할 수 있고, 이 경우 실시 예에 따라 해당 전문가가 입력한 아이디나 닉네임 등을 포함하는 기초정보를 활용하여 크롤링을 수행할 수도 있다. 이는 전문가가 직접 모든 자료를 수집하여 제출할 수 없는 부분을 보완하기 위하여 활용될 수도 있고, 해당 전문가가 입력한 정보를 검증하기 위하여 활용될 수도 있다.
단계 S120에서, 컴퓨터는 상기 전문가정보를 정형정보 및 비정형정보로 분류한다.
예를 들어, 개시된 실시 예에 따른 전문가 및 각 전문가정보(각 전문가가 갖춘 경력정보 등)는 다양하게 설정될 수 있는데, 예를 들면 누구나 알고 있는 전문가나, 객관적 자료로 증명된 전문가들, 그리고 전문가가 되고자 개별적으로 노력한 비전문가로서, 전문가에 준하거나 그 이상의 전문성을 갖추게 된 전문가들, 어느 수준까지는 객관적 자료로 증명된 전문가이나, 거기에 개별적인 노력을 더하여 전문성을 높인 전문가 등이 있을 수 있다.
따라서, 이러한 다양한 전문가들의 전문성을 평가하려면, 전문가정보를 그 성질에 따라 분류할 필요가 있다. 이하에서는 이를 정형정보 및 비정형정보로 분류하고, 이에 따라 각각 상이한 검증방법을 활용하는 실시 예를 구체적으로 설명한다.
일 실시 예에서, 정형정보는 이미 특정 전문분야의 전문성과의 연관성이 정량적으로 입증된 정보들을 의미할 수 있다. 예를 들어, 상술한 바와 같이 전문가를 증명할 수 있는 객관적 자료들이 정형정보에 해당할 수 있다.
예를 들어, 정형정보는 특정 분야의 업체 혹은 부서에서 근무한 경력이나 특정 전문분야의 프로젝트나 과제에 참여한 경력, 특정 분야의 학력이나 논문발표정보 등을 포함할 수 있으며, 이에 제한되는 것은 아니다.
이외에도 자문(위원)활동, 심사 및 평가자 활동, 강의 및 강연활동, 멘토링 활동경력, 사외 경력 등이 전문가정보에 포함될 수 있는데, 이는 정형정보에 속할 수도, 비정형정보에 속할 수도 있다. 예를 들어, 분류 기준은 특정 전문분야의 전문성과의 연관성이 기존에 정량적으로 입증되어 데이터베이스화 되었는지 여부가 될 수 있으나, 이에 제한되는 것은 아니다.
또한, 전문가의 도덕성을 검증할 수 있는 자료 또한 전문가정보에 속할 수 있는데, 예를 들어 해당 업계나 업종, SNS 등에서의 활동 인지도 및 평판, 리베이트 여부, 범죄기록, 사기기록 등 다양한 정보가 활용될 수 있으며, 현실적으로 모든 정보를 이용할 수 없더라도, 외부에 공개되어 수집할 수 있는 정보라면 마찬가지로 전문가의 검증에 활용될 수 있다.
즉, 전문가 검증방법이란 전문가의 전문성을 검증하는 측면을 포함할 수 있고, 전문가정보의 진위를 검증하는 측면을 포함할 수 있으며, 전문가에 대한 전반적인 평가를 내리는 측면을 포함할 수 있다.
일 실시 예에서, 비정형정보는 정형정보에 속하지 않으나, 특정 전문분야와의 연관성을 갖는 모든 종류의 경력정보를 의미할 수 있다. 예를 들어, 상술한 바와 같이 개별적인 노력에 따른 경력정보들이 비정형정보에 속할 수 있다.
예를 들어, 비정형정보는 온라인 커뮤니티나 동호회 등에서 활동한 기록, 개인적으로 수행한 프로젝트나 취미로 작성한 자료, 온라인 교육콘텐츠를 수강한 정보 등을 포함할 수 있으며, 이에 제한되는 것은 아니다.
일 실시 예에서, 기존에 정형정보가 저장되지 않은 새로운 전문분야에 대한 전문가정보가 획득될 수 있다. 이 경우, 해당 전문분야에 대해서는 평가할 수 있는 기준이 되는 정형정보가 전혀 저장된 바 없으므로, 모든 전문가정보가 비정형정보로 평가될 수 있다.
예를 들어, 특정 전문분야의 직장이나 부서에서 근무한 정보, 프로젝트나 과제를 수행한 정보라 할지라도 해당 전문분야에 대하여 기 평가되거나 저장된 정보가 없는 경우, 비정형정보와 같이 평가하여 해당 전문분야에 대한 각 전문가의 전문성을 평가하는 데 활용할 수 있다.
단계 S130에서, 컴퓨터는 상기 정형정보를 평가한다.
일 실시 예에서, 컴퓨터는 각각의 정형정보를 개별적으로 평가할 수도 있고, 복수의 정형정보를 종합적으로 평가할 수도 있으며, 그 방법은 제한되지 않는다.
단계 S140에서, 컴퓨터는 상기 비정형정보를 평가한다.
일 실시 예에서, 컴퓨터는 각각의 비정형정보를 개별적으로 평가할 수도 있고, 복수의 비정형정보를 종합적으로 평가할 수도 있으며, 그 방법은 제한되지 않는다.
단계 S150에서, 컴퓨터는 상기 정형정보 및 상기 비정형정보에 대한 평가결과에 기초하여 전문가의 전문성을 평가한다.
일 실시 예에서, 컴퓨터는 각각의 전문가정보를 개별적으로 평가하고, 개별적으로 평가된 결과를 합산하는 방식으로 전문가의 전문성을 평가할 수도 있고, 복수의 전문가정보를 종합적으로 평가할 수도 있으며, 일부 전문가 정보를 그룹화하여 각각의 그룹에 대한 전문성을 평가하고, 전체 전문성 평가결과를 합산하는 방식으로 전문성을 평가할 수도 있으며, 그 방법은 제한되지 않는다.
전문가정보를 분류하고, 전문성을 평가하는 구체적인 방법에 대해서는 이하 도면들을 참조하여 후술한다.
도 3은 일 실시 예에 따른 전문가정보 분류 및 평가방법을 도시한 흐름도이다.
단계 S210에서, 컴퓨터는 전문가정보를 분류함에 있어서, 기 저장된 데이터베이스에 기초하여 상기 데이터베이스에 저장된 정보에 대응하는 전문가정보를 정형정보로 분류할 수 있다.
일 실시 예에서, 데이터베이스에는 각 전문분야에 대한 정보와, 각 전문분야에 대응하는 경력정보(즉, 해당 전문분야와 연관성을 갖는 경력정보)가 미리 저장될 수 있다.
컴퓨터는 데이터베이스를 이용하여, 해당 데이터베이스에 이미 저장된 정보를 정형정보인 것으로 판단할 수 있다. 일 실시 예에서, 컴퓨터는 해당 데이터베이스에 저장된 정보와, 전문가정보를 매칭하는 과정을 수행할 수 있다. 예를 들어, 전문가가 입력하거나 크롤링된 전문가정보와 데이터베이스에 기 저장된 정보가 정확하게 일치하지는 않을 수도 있으므로, 서로 유사한 정보를 매칭함으로써 정형정보 여부를 판단하는 과정을 수행할 수 있다. 예를 들어, 데이터베이스에 저장된 정보와 소정의 기준값 이상의 일치율을 보이는 정보는 정형정보인 것으로 판단할 수 있다.
일 실시 예에서, 컴퓨터는 전문가에 의한 입력단계에서 매칭되는 데이터베이스 정보를 표시하고, 전문가가 직접 대응하는 데이터베이스 정보를 매칭하도록 함으로써 입력단계에서 정형정보를 필터링할 수도 있다.
일 실시 예에서, 컴퓨터는 데이터베이스에 기반하여 분류된 정형정보를 제외한 전문가정보를 비정형정보로 분류할 수 있다.
즉, 데이터베이스에 기 저장되어 있는 정보와 매칭되지 않는 정보들을 비정형정보로 분류하여, 모델 기반 전문성 평가를 수행하도록 할 수 있다.
일 실시 예에서, 복수의 데이터베이스가 계층적으로 구성될 수도 있다. 예를 들어, 제1 데이터베이스에는 각 전문분야에 대한 정보와, 각 전문분야에 대응하는 경력정보가 저장되며, 제1 데이터베이스에 저장된 정보에 대응하는 전문가 정보는 정형정보로 분류되도록 할 수 있다.
또한, 제2 데이터베이스에도 각 전문분야에 대한 정보와, 각 전문분야에 대응하는 경력정보가 저장될 수 있으나, 해당 데이터베이스에 저장된 정보에 대응하는 전문가 정보는 비정형정보로 분류되며, 제1 데이터베이스 및 제2 데이터베이스에 모두 저장되지 않은 정보는 마찬가지로 비정형정보로 분류되도록 할 수 있다.
또한, 실시 예에 따라 제2 데이터베이스에 저장된 정보에 대응하는 전문가 정보는 비정형 정보로 분류하되, 제2 데이터베이스에 저장된 정보를 해당 비정형 정보의 평가에 활용할 수 있다.
즉, 제2 데이터베이스에 저장된 정보는 비정형정보와 정형정보의 중간단계에 해당할 수 있으나, 제2 데이터베이스에 저장된 정보가 정형정보로 평가되지는 않도록 할 수 있다. 다만 이는 일 실시 예에 해당할 뿐이고, 데이터베이스의 구성 및 그 활용방법은 제한되지 않는다.
단계 S220에서, 컴퓨터는 데이터베이스에 저장된 평가정보에 기반하여 정형정보를 평가할 수 있다.
예를 들어, 데이터베이스에는 각 정형정보에 대응하는 전문성 평가정보가 이미 저장되어 있을 수 있으며, 컴퓨터는 데이터베이스에 저장된 정보에 기반하여 각각의 정형정보에 대응하는 점수를 정량적으로 산출할 수 있다.
예를 들어, 데이터베이스에는 특정 전문분야에 대하여 특정한 경력정보가 어떠한 연관성을 갖는지, 해당 경력정보의 기간 및 해당 경력정보에서 전문가가 수행한 역할에 기반하여 어느 정도의 전문성을 인정할 수 있는가에 대한 정보가 미리 저장될 수 있다.
미리 저장되는 정보는 해당 분야의 전문가에 의하여 입력될 수도 있고, 기 수집된 빅데이터에 기반하여 산출된 정보에 기초하여 결정될 수도 있다. 예를 들어, 해당 분야에 대한 레퍼런스 데이터가 많은 경우, 이를 활용하여 빅 데이터를 구축하고, 기계학습 등 학습방법을 활용하여 각 분야와 경력정보 간의 상관관계를 판단할 수 있으며, 나아가 각 경력정보의 세부정보에 따라 정량적으로 전문성을 평가할 수 있는 정보를 획득할 수 있다.
이러한 정보들은 데이터베이스에 미리 저장되어, 정형정보로 분류된 전문가정보들을 평가하는 데 활용될 수 있다.
단계 S230에서, 컴퓨터는 비정형정보를 평가함에 있어서, 경력정보와 각 전문분야의 전문성 간의 연관관계를 도출하도록 학습된 모델을 이용하여 상기 비정형정보로부터 상기 전문가의 전문분야에 대한 전문성을 추정할 수 있다.
예를 들어, 도 1에 도시된 바와 같은 모델(30)은 기계학습 방법을 이용하여 학습된 모델일 수 있으나, 이에 제한되는 것은 아니다.
학습된 모델은 특정 경력정보와 각 전문분야의 전문성 간의 연관관계를 도출하여, 비정형 정보로부터 해당 전문가의 전문성을 추정할 수 있도록 학습된 모델일 수 있다.
일 실시 예에서, 학습된 모델은 데이터베이스에 기 저장된 특정 전문분야에 대하여 새로운 비정형정보가 획득되는 경우, 해당 비정형정보와 전문분야 간의 연관성을 추정할 수 있다.
또한, 학습된 모델은 데이터베이스에 저장되지 않은 새로운 전문분야와 해당 전문분야의 새로운 비정형정보에 대해서도, 상호 연관성을 추정할 수 있다.
일 실시 예에서, 학습된 모델은 데이터베이스에 저장된 정보에 기반하여 학습된 것일 수 있다. 컴퓨터는 데이터베이스에 저장된 정보에 기반하여 다양한 학습 데이터를 생성할 수 있으며, 예를 들어 데이터베이스에 기 저장된 특정 전문분야와 새로운 비정형정보 간의 연관성을 추정할 수 있도록, 데이터베이스에 기 저장된 전문분야에 대한 연관성이 미리 라벨링된 경력정보들을 포함하는 학습 데이터를 생성하고, 이에 기반하여 모델을 학습시킬 수 있다.
다른 예로, 데이터베이스에 기 저장되지 않은 특정 전문분야와 새로운 비정형정보 간의 연관성을 추정할 수 있도록, 특정 전문분야에 대하여 추출된 특징정보와, 특정 경력정보에 대하여 추출된 특징정보 및 각 특징정보 간의 상관관계를 미리 라벨링한 학습 데이터를 생성하고, 이에 기반하여 모델을 학습시킬 수 있다.
즉, 컴퓨터는 데이터베이스 및 데이터베이스에 기반하여 학습된 모델을 이용하여, 전문가의 정형정보 및 비정형정보를 분류하고, 분류된 각각의 정보에 대한 전문성을 평가함으로써 각 전문가의 전문성을 평가할 수 있다.
도 4는 일 실시 예에 따른 전문성 평가결과에 대한 피드백 방법을 도시한 흐름도이다.
상술한 전문가의 전문성을 평가하는 단계에서, 컴퓨터는 상기 전문가의 전문성 평가 결과에 기초하여 상기 전문가에게 업무를 할당하는 단계(S310)를 수행할 수 있다.
개시된 실시 예에 따라서, 전문성이 평가된 전문가들을 포함하는 전문가 풀이 형성될 수 있다. 컴퓨터는 전문가 풀에 포함된 전문가들에 대하여, 업무를 할당할 수 있다.
각 전문가에 대하여 평가된 전문성 정보는 정형정보에 기반하여 평가된 정보와, 비정형정보에 기반하여 추정된 정보를 포함할 수 있어, 각 전문가의 실제 전문성과 오차가 발생할 수 있다. 또한, 각 전문가의 경력정보에 비해 해당 전문가의 전문성이 떨어질 수도 있고, 경력정보에 누락이 발생했거나, 경력정보로 표현될 수 없는 전문영역이 있을 수 있으므로, 해당 전문가의 전문성이 평가된 정보에 비해 높을수도 있다.
또한, 전문성 평가가 완료된 전문가라 할지라도 이후 경력을 쌓으면서 전문성이 향상될 수도 있고, 경력에 공백이 발생하는 경우 전문성이 떨어질 수 있다.
또한, 컴퓨터는 상기 전문가의 업무 처리결과를 획득하는 단계(S320)를 수행할 수 있다.
즉, 상기와 같은 전문성의 오차 및 변동을 반영하기 위하여, 컴퓨터는 각 전문가의 업무 수행결과를 수집한다.
수집되는 전문가의 업무 수행결과는 과제 혹은 프로젝트의 수행결과를 포함할 수 있고, 이러한 수행결과들은 정량적으로 평가될 수 있다.
또한, 수집되는 전문가의 업무 수행결과는 함께 업무를 수행한 전문가들이나, 과제 혹은 프로젝트의 담당자, 클라이언트 등으로부터 수집되는 해당 전문가에 대한 평가정보가 포함될 수 있다.
예를 들어, 특정 전문가에 대하여, 해당 전문가와 함께 같은 팀에서 업무를 수행한 다른 전문가들의 평가정보가 수집될 수 있다.
또한, 컴퓨터는 상기 업무 처리결과에 기초하여 상기 전문가의 전문성 평가 결과에 대한 피드백을 생성하는 단계(S330)를 수행할 수 있다.
피드백의 종류는 제한되지 않으나, 해당 전문가에 대하여 평가 및 추정된 전문성과, 업무 처리결과에 기초하여 획득된 정보 간의 차이에 대한 정보가 피드백에 포함될 수 있다.
또한, 컴퓨터는 상기 피드백에 기초하여 상기 전문가의 전문성을 업데이트하는 단계(S340)를 수행할 수 있다.
즉, 컴퓨터는 피드백에 기초하여 전문가의 전문성 평가결과를 유지하거나, 상승시키거나, 하락시킬 수 있다.
또한, 컴퓨터는 해당 전문가의 전문성 평가결과에 변동이 발생하는 경우, 해당 전문가의 전문성을 활용하거나, 해당 전문가의 전문성을 제고할 수 있는 수단을 제공할 수 있다.
예를 들어, 전문가의 전문성이 상승되는 방향으로 업데이트되는 경우, 해당 전문가에게 할당하는 과제 및 프로젝트의 종류나, 해당 과제 및 프로젝트에서 담당하는 과업의 종류가 변경될 수 있다.
또한, 전문가의 전문성이 하락되는 방향으로 업데이트되는 경우에도 해당 전문가에게 할당하는 과제 및 프로젝트의 종류나, 해당 과제 및 프로젝트에서 담당하는 과업의 종류가 변경될 수 있고, 또한 해당 전문가의 전문성을 제고할 수 있는 교육정보가 제공될 수 있다.
또한, 비정형정보에 기반한 전문성 추정결과와 실제 평가된 전문성이 상이한 경우, 이에 기반하여 모델을 업데이트할 수 있다.
도 5는 일 실시 예에 따른 모델 및 데이터베이스 업데이트 방법을 도시한 흐름도이다.
상술한, 전문가의 전문성을 업데이트하는 단계에서, 컴퓨터는 상기 피드백에 기초하여 상기 학습된 모델의 추정결과를 평가하는 단계(S410)를 수행할 수 있다.
예를 들어, 상술한 방법과 같이 학습된 모델을 이용하여 비정형정보로부터 전문가의 전문성을 추정할 수 있으며, 이는 해당 전문가의 실제 업무 수행결과에 기초하여 평가될 수 있다.
추정된 전문성은 과대평가 혹은 과소평가된 것으로 평가될 수 있고, 또는 알맞게 추정된 것으로 평가될 수도 있다.
또한, 컴퓨터는 상기 추정결과에 대한 평가정보에 기초하여 상기 학습된 모델을 업데이트하는 단계(S420)를 수행할 수 있다.
컴퓨터는 해당 전문가의 비정형정보와, 실제 업무 수행결과를 포함하는 정보를 새로운 학습 데이터로 하거나, 기존의 학습 데이터에 추가하여 학습을 수행함으로써, 학습된 모델을 업데이트할 수 있다.
마찬가지로, 추정 결과 및 이에 대한 피드백에 기초하여, 컴퓨터는 강화학습을 통해 학습된 모델을 업데이트하는 것도 가능하다.
또한, 상술한 학습된 모델을 업데이트하는 단계(S420)에서, 컴퓨터는 상기 학습된 모델을 업데이트한 결과에 따라 제1 비정형정보와 제1 전문분야 간의 연관성이 기 설정된 기준값을 초과하는 경우에, 상기 제1 전문분야에 대한 정보가 상기 데이터베이스에 저장되어 있지 않은 경우, 상기 제1 전문분야에 대한 정보를 상기 데이터베이스에 저장하는, 단계(S430)를 수행할 수 있다.
또한, 컴퓨터는 상기 학습된 모델을 업데이트한 결과에 따라 제1 비정형정보와 제1 전문분야 간의 연관성이 기 설정된 기준값을 초과하는 경우에, 상기 제1 비정형정보를 상기 제1 전문분야에 대한 정형정보로서 상기 데이터베이스에 저장하는 단계(S440)를 수행할 수 있다.
즉, 비정형정보라 할지라도 해당 비정형정보와 연관된 레퍼런스들이 충분히 쌓여서 특정 전문분야와의 연관성을 기 설정된 기준값 이상 확인할 수 있는 경우, 해당 비정형정보 및 이에 대응하는 전문분야에 대한 정보를 데이터베이스에 추가함으로써, 해당 비정형정보를 정형정보로 등록할 수 있다.
예를 들어, 특정 온라인 커뮤니티 활동은 처음에는 비정형정보로 취급될 수 있으나, 해당 온라인 커뮤니티에서 활발하게 활동한 전문가들의 전문성이 입증되는 경우, 해당 온라인 커뮤니티의 활동정보는 정형정보로 등록될 수 있다.
또한, 데이터베이스에 기 저장되지 않은 전문분야의 경우에도, 하나 이상의 비정형정보와 소정의 기준값 이상의 연관성을 확보하는 경우, 해당 전문분야에 대한 정보와, 이에 대응하는 비정형정보를 정형정보로서 데이터베이스에 등록하는 것이 가능하다.
도 6은 일 실시 예에 따라 가중치에 기반하여 전문성을 평가하는 방법을 도시한 흐름도이다.
상술한, 전문가의 전문성을 평가하는 단계에서, 컴퓨터는 상기 전문가정보 각각에 대한 전문성 평가결과를 산출하는 단계(S510)를 수행할 수 있다.
또한, 컴퓨터는 상기 전문가정보 각각에 대응하는 시점을 획득하는 단계(S520)를 수행할 수 있다.
예를 들어, 시점은 근무기간, 프로젝트 참여기간(시작시점 및 종료시점 포함), 온라인 커뮤니티 활동기간, 논문발표 시점 등에 대한 정보를 포함할 수 있으며, 이에 제한되지 않는다.
또한, 컴퓨터는 상기 전문가정보 각각에 대응하는 시점으로부터 현재까지의 기간에 기초하여 상기 산출된 평가결과에 대하여 가중치를 부여하는 단계(S530)를 수행할 수 있다.
예를 들어, 컴퓨터는 오래된 전문가정보일수록 평가결과를 감소시키도록 가중치를 부여할 수 있다. 즉, 오래된 경력정보의 경우 시간이 흐름에 따라 망각될 수 있고, 전문가의 지식과 감각이 둔해질 수 있으므로, 시간이 흐름에 따라 해당 전문가정보에 대한 평가결과를 감소시키는 가중치를 부여할 수 있다.
마찬가지로, 컴퓨터는 각 경력정보의 기간이 길수록 평가결과를 증가시키는 가중치를 부여할 수 있고, 최근의 경력정보일수록 평가결과를 증가시키는 가중치를 부여할 수도 있다.
또한, 컴퓨터는 상기 가중치가 부여된 평가결과에 기초하여 상기 전문성을 평가하는 단계(S540)를 포함할 수 있다.
가중치를 부여하는 방법에 있어서, 기간뿐 아니라 서로 다른 전문가정보 간의 연관관계 또한 고려될 수 있다.
도 7은 일 실시 예에 따라 가중치를 조정하는 방법을 도시한 흐름도이다.
상술한, 가중치를 부여하는 단계에서, 컴퓨터는 상기 전문가정보에 포함된 공백기간에 대한 정보를 획득하는 단계(S610)를 수행할 수 있다.
즉, 전문가정보는 정형정보, 비정형정보 및 공백기간을 포함할 수 있으며, 하나 이상의 정형정보 및 비정형정보는 서로 중첩될 수도 있다.
공백기간은 정형정보가 없는 기간을 의미할 수도 있고, 정형정보 및 비정형정보 모두가 없는 기간을 의미할 수도 있다. 또한, 공백기간의 단위는 적게는 몇 시간에서부터, 길게는 일, 주, 월, 년 등의 다양한 단위로 구분될 수 있다.
또한, 컴퓨터는 상기 전문가정보에 포함된 정형정보, 비정형정보 및 공백기간을 시간순으로 정렬하는 단계(S620)를 수행할 수 있다.
또한, 컴퓨터는 상기 정렬된 전문가정보 각각에 대한 가중치를 부여하되, 상기 가중치는 상기 전문가정보 각각에 대하여 시간적으로 뒤에 위치한 하나 이상의 전문가정보의 전문성 평가결과에 따라 조정되는, 단계(S630)를 수행할 수 있다.
예를 들어, 특정 전문가정보에 후행하는 공백정보가 있는 경우, 공백기간 동한 해당 전문가정보에 대한 평가결과는 하락되도록, 가중치가 조절될 것이다. 반면, 오랜 시간이 지난 정보라 할지라도 그 이후에 동일 전문범위의 경력이 지속적으로 등록되어 있다면, 평가결과가 하락하지 않거나, 실시 예에 따라 증가하도록 가중치가 설정될 수도 있다.
또한, 정형정보의 공백기간에는 비정형정보가 배치될 수도 있는데, 이 경우 해당 정형정보의 공백기간에 수행된 경력정보에 대응하는 비정형정보를 평가하고, 평가 결과 기 설정된 기준값 이상의 전문성이 인정되는 경우에는 해당 위치를 공백영역으로 여기지 않고, 연속되는 경력정보로 평가할 수 있다.
일 실시 예에서, 기 설정된 기간 이하의 공백영역은 무시될 수도 있다.
특정 분야의 전문성을 입증할 수 있는 전문가정보는 오래 지속될수록 더 높은 가치를 인정받을 수 있어, 가중치 또한 이에 합당하도록 조정될 수 있다. 각 전문가정보에 대한 평가결과가 높을수록, 그 이전의 전문가정보에 대한 가중치 또한 전문성을 높게 인정하는 방향으로 조정될 수 있으나, 이에 제한되는 것은 아니다.
도 8은 일 실시 예에 따른 장치(100)의 구성도이다.
프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 8과 관련하여 설명된 방법을 수행한다.
예를 들어, 프로세서(102)는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 전문가정보를 수집하고, 상기 전문가정보를 정형정보 및 비정형정보로 분류하고, 상기 정형정보를 평가하고, 상기 비정형정보를 평가하고, 상기 정형정보 및 상기 비정형정보에 대한 평가결과에 기초하여 전문가의 전문성을 평가할 수 있다.
한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (11)

  1. 컴퓨터에 의하여 수행되는 방법에 있어서,
    전문가정보를 수집하는 단계;
    상기 전문가정보를 정형정보 및 비정형정보로 분류하는 단계;
    상기 정형정보를 평가하는 단계;
    상기 비정형정보를 평가하는 단계; 및
    상기 정형정보 및 상기 비정형정보에 대한 평가결과에 기초하여 전문가의 전문성을 평가하는 단계; 를 포함하고,
    상기 전문성을 평가하는 단계는,
    상기 전문가정보 각각에 대한 전문성 평가결과를 산출하는 단계;
    상기 전문가정보 각각에 대응하는 시점을 획득하는 단계;
    상기 전문가정보 각각에 대응하는 시점으로부터 현재까지의 기간에 기초하여 상기 산출된 평가결과에 대하여 가중치를 부여하는 단계; 및
    상기 가중치가 부여된 평가결과에 기초하여 상기 전문성을 평가하는 단계; 를 포함하고,
    상기 가중치를 부여하는 단계는,
    상기 전문가정보에 포함된 공백기간에 대한 정보를 획득하는 단계;
    상기 전문가정보에 포함된 정형정보, 비정형정보 및 공백기간을 시간순으로 정렬하는 단계; 및
    상기 정렬된 전문가정보 각각에 대한 가중치를 부여하되, 상기 가중치는 상기 전문가정보 각각에 대하여 시간적으로 뒤에 위치한 하나 이상의 전문가정보의 전문성 평가결과에 따라 조정되는, 단계; 를 포함하는,
    전문가 검증방법.
  2. ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈
    제1 항에 있어서,
    상기 전문가정보를 수집하는 단계는,
    상기 전문가로부터 입력된 정보를 획득하는 단계; 및
    상기 전문가에 대하여 크롤링된 정보를 수집하는 단계; 를 포함하는,
    전문가 검증방법.
  3. 제1 항에 있어서,
    상기 전문가정보를 분류하는 단계는,
    기 저장된 데이터베이스에 기초하여 상기 데이터베이스에 저장된 정보에 대응하는 전문가정보를 정형정보로 분류하는 단계; 및
    상기 정형정보를 제외한 상기 전문가정보를 상기 비정형정보로 분류하는 단계; 를 포함하는,
    전문가 검증방법.
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제3 항에 있어서,
    상기 데이터베이스는, 특정 전문분야에 대한 정보 및 상기 특정 전문분야에 해당하는 경력정보가 저장되고,
    상기 전문가정보를 분류하는 단계는,
    상기 데이터베이스에 저장되지 않은 전문분야에 대한 정보 및 상기 데이터베이스에 저장되지 않은 경력정보에 해당하는 상기 전문가정보를 상기 비정형정보로 분류하는 단계; 를 포함하는,
    전문가 검증방법.
  5. 제3 항에 있어서,
    상기 정형정보를 평가하는 단계는,
    상기 데이터베이스에 저장된 평가정보에 기반하여 상기 정형정보를 평가하는 단계; 를 포함하고,
    상기 비정형정보를 평가하는 단계는,
    경력정보와 각 전문분야의 전문성 간의 연관관계를 도출하도록 학습된 모델을 이용하여 상기 비정형정보로부터 상기 전문가의 전문분야에 대한 전문성을 추정하는 단계; 를 포함하고,
    상기 학습된 모델은,
    상기 데이터베이스에 저장된 정보에 기반하여 학습된 것인,
    전문가 검증방법.
  6. 제5 항에 있어서,
    상기 전문가의 전문성을 평가하는 단계는,
    상기 전문가의 전문성 평가 결과에 기초하여 상기 전문가에게 업무를 할당하는 단계;
    상기 전문가의 업무 처리결과를 획득하는 단계;
    상기 업무 처리결과에 기초하여 상기 전문가의 전문성 평가 결과에 대한 피드백을 생성하는 단계; 및
    상기 피드백에 기초하여 상기 전문가의 전문성을 업데이트하는 단계; 를 더 포함하는,
    전문가 검증방법.
  7. 제6 항에 있어서,
    상기 전문성을 업데이트하는 단계는,
    상기 피드백에 기초하여 상기 학습된 모델의 추정결과를 평가하는 단계; 및
    상기 추정결과에 대한 평가정보에 기초하여 상기 학습된 모델을 업데이트하는 단계; 를 더 포함하고,
    상기 학습된 모델을 업데이트하는 단계는,
    상기 학습된 모델을 업데이트한 결과에 따라 제1 비정형정보와 제1 전문분야 간의 연관성이 기 설정된 기준값을 초과하는 경우, 상기 제1 비정형정보를 상기 제1 전문분야에 대한 정형정보로서 상기 데이터베이스에 저장하고, 상기 제1 전문분야에 대한 정보가 상기 데이터베이스에 저장되어 있지 않은 경우, 상기 제1 전문분야에 대한 정보를 상기 데이터베이스에 저장하는, 단계; 를 더 포함하는,
    전문가 검증방법.
  8. 삭제
  9. 삭제
  10. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 항의 방법을 수행하는, 장치.
  11. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
KR1020180141172A 2018-11-15 2018-11-15 전문가 검증방법, 장치 및 프로그램 KR102010579B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180141172A KR102010579B1 (ko) 2018-11-15 2018-11-15 전문가 검증방법, 장치 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180141172A KR102010579B1 (ko) 2018-11-15 2018-11-15 전문가 검증방법, 장치 및 프로그램

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020190095487A Division KR102144087B1 (ko) 2019-08-06 2019-08-06 정형정보 및 비정형 정보를 이용한 전문가 검증방법, 장치 및 프로그램
KR1020190095485A Division KR102144086B1 (ko) 2019-08-06 2019-08-06 크롤링을 이용한 전문가 검증방법, 장치 및 프로그램

Publications (1)

Publication Number Publication Date
KR102010579B1 true KR102010579B1 (ko) 2019-08-13

Family

ID=67624301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180141172A KR102010579B1 (ko) 2018-11-15 2018-11-15 전문가 검증방법, 장치 및 프로그램

Country Status (1)

Country Link
KR (1) KR102010579B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155881B1 (ko) * 2020-04-13 2020-09-15 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검수자 능력 평가를 통한 검수자 트레이드 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060113068A (ko) * 2005-04-29 2006-11-02 주식회사 로마켓아시아 전문직 종사자에 대한 전문성지수 관리서버 및 상기전문성지수 관리서버에서 실행가능한 전문성지수 처리/제공방법 및 그 방법을 실현시키기 위한 프로그램데이터를기록한 컴퓨터로 읽을 수있는 기록매체
KR100849434B1 (ko) 2007-12-27 2008-07-30 주식회사 크릭앤리버코리아 전문가들을 근무 경력과 노력을 평가하여 프로모션하는에이전트 관리 장치 및 방법
KR20150061485A (ko) * 2013-11-27 2015-06-04 한국과학기술정보연구원 외부 인적자원의 평가를 이용한 핵심기술과 수행주체 선정 장치, 시스템 및 방법
KR20180041478A (ko) * 2016-10-14 2018-04-24 김영후 기계학습을 활용한 월렛 시스템 기반 인재 매칭 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060113068A (ko) * 2005-04-29 2006-11-02 주식회사 로마켓아시아 전문직 종사자에 대한 전문성지수 관리서버 및 상기전문성지수 관리서버에서 실행가능한 전문성지수 처리/제공방법 및 그 방법을 실현시키기 위한 프로그램데이터를기록한 컴퓨터로 읽을 수있는 기록매체
KR100849434B1 (ko) 2007-12-27 2008-07-30 주식회사 크릭앤리버코리아 전문가들을 근무 경력과 노력을 평가하여 프로모션하는에이전트 관리 장치 및 방법
KR20150061485A (ko) * 2013-11-27 2015-06-04 한국과학기술정보연구원 외부 인적자원의 평가를 이용한 핵심기술과 수행주체 선정 장치, 시스템 및 방법
KR20180041478A (ko) * 2016-10-14 2018-04-24 김영후 기계학습을 활용한 월렛 시스템 기반 인재 매칭 시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155881B1 (ko) * 2020-04-13 2020-09-15 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검수자 능력 평가를 통한 검수자 트레이드 방법

Similar Documents

Publication Publication Date Title
Bornmann What is societal impact of research and how can it be assessed? A literature survey
Kumar et al. An extended model of theory of planned behaviour: Entrepreneurial intention, regional institutional infrastructure and perceived gender discrimination in India
Korauš et al. Sustainable economic development through human resource management: social intelligence of managers and performance.
Singh et al. Impact of Artificial Intelligence on HR practices in the UAE
Maheshwari et al. Role of training and development practices in implementing change
Jiang et al. A triple theory approach to link corporate social performance and green human resource management
Yeheyis et al. Evaluating motivation of construction workers: A comparison of fuzzy rule-based model with the traditional expectancy theory
Sepehrirad et al. Developing a hybrid mathematical model for 360-degree performance appraisal: A case study
Richtel How big data is playing recruiter for specialized workers
Vodák HOW TO MEASURE RETURN ON INVESTMENT INTO HUMAN CAPITAL DEVELOPMENT.
Minni Making the invisible hand visible: Managers and the allocation of workers to jobs
KR102144087B1 (ko) 정형정보 및 비정형 정보를 이용한 전문가 검증방법, 장치 및 프로그램
Arellano et al. Manufacturing network integration and culture: an institution-based view
Sarpin Developing people capabilities for the promotion of sustainability in facility management practices
KR102222991B1 (ko) 전문성 평가 결과를 바탕으로 전문가 플랫폼의 전문가 풀을 관리하기 위한 방법 및 시스템
KR102010579B1 (ko) 전문가 검증방법, 장치 및 프로그램
KR102061332B1 (ko) 전문가 플랫폼의 전문가 풀 관리 방법 및 시스템
Ferwerda et al. Leveraging the power of place: A data-driven decision helper to improve the location decisions of economic immigrants
KR102222990B1 (ko) 정형정보 및 비정형정보를 바탕으로 생성된 전문가 풀 관리 방법 및 시스템
KR102144086B1 (ko) 크롤링을 이용한 전문가 검증방법, 장치 및 프로그램
Orsoni et al. A competency framework for software development organizations
Bronnikova et al. Application of crowdsourcing technology in terms of digitization of supply chain strategy
KR102222989B1 (ko) 전문가 정보를 바탕으로 전문가 플랫폼의 전문가 풀을 관리하기 위한 방법 및 시스템
Tetteh Determinants of project success for international construction joint ventures in Ghana
Richardson et al. Radical and incremental innovation and the role of university scientist

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant