KR20220029017A

KR20220029017A - 준지도 학습 알고리즘을 사용하여 업무 숙련도가 낮은 비전문 작업 인원들이 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 방법 및 장치

Info

Publication number: KR20220029017A
Application number: KR1020200110830A
Authority: KR
Inventors: 박찬; 김혜린; 정서우
Original assignee: 주식회사 하얀에이아이
Priority date: 2020-09-01
Filing date: 2020-09-01
Publication date: 2022-03-08

Abstract

준지도 학습 알고리즘을 사용하는 지원 뉴럴 네트워크를 사용하여, 업무 숙련도가 임계치 이하인 저숙련 집단에 포함된 비전문 작업 인원들이, 소정 목적을 달성하기 위해 설계된 메인 뉴럴 네트워크를 학습하는 데에 사용될 수 있는 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 방법이 개시된다. 즉, (a) 컴퓨팅 장치가, 상기 지원 뉴럴 네트워크로 하여금, 상기 학습용 데이터셋을 생성하기 위해 사용되는 원본 데이터셋에 포함된 적어도 하나의 특정 원본 데이터에 대응하는 레퍼런스 학습 데이터를 사용하여 상기 준지도 학습 알고리즘을 수행함으로써 상기 원본 데이터셋에 포함된, 상기 특정 원본 데이터를 제외한 나머지 원본 데이터에 대응하는 예비 학습 데이터를 생성하도록 하는 단계; (b) 상기 컴퓨팅 장치가, 상기 저숙련 집단에 포함된 각각의 상기 비전문 작업 인원에게, 기설정된 제1 최적화 포맷 내지 제N 최적화 포맷 - 상기 N은 1 이상의 정수임 - 중 적어도 하나를 이용하여 상기 예비 학습 데이터 중 적어도 일부를 제공함으로써 상기 작업 인원들로부터 상기 예비 학습 데이터 중 적어도 일부에 대응하는 보정 데이터를 획득하는 단계; (c) 상기 컴퓨팅 장치가, 상기 예비 학습 데이터 및 상기 보정 데이터를 참조로 하여 상기 학습용 데이터셋을 생성하도록 지원하는 단계를 포함하는 것을 특징으로 하는 방법이 개시된다.

Description

준지도 학습 알고리즘을 사용하여 업무 숙련도가 낮은 비전문 작업 인원들이 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 방법 및 장치{METHOD AND DEVICE FOR SUPPORTING UNPROFESSIONAL WORKERS WHOSE TASK PROFICIENCIES ARE LOW TO READILY GENERATE TRAINING DATASETS BY USING SEMI-SUPERVISED LEARNING ALGORITHMS}

본 발명은 준지도 학습 알고리즘을 사용하는 지원 뉴럴 네트워크를 사용하여, 업무 숙련도가 임계치 이하인 저숙련 집단에 포함된 작업 인원들이, 소정 목적을 달성하기 위해 설계된 메인 뉴럴 네트워크를 학습하는 데에 사용되는 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 방법에 관한 것이다.

인간의 신경망 구조를 본딴 구조로 만들어진 인공신경망 Alex가 2012년 ImageNet 대회에서 압도적인 성적으로 우승한 이후로, 딥 러닝 기술은 크게 발전하여 산업 전 분야에 이용되기 이르렀다. 이에 따라 딥 러닝 기술은 많은 분야에서 인간의 생산성을 따라잡을 정도로 발전하였으나, 여전히 딥 러닝 기술은 여러 가지 한계점을 가지고 있는데, 이들 중 하나는, 양질의 학습 데이터를 얻기 위해서는 비용이 많이 든다는 점이다.

구체적으로 설명하면, 널리 알려져 있듯, 인공신경망은 학습 데이터를 연산한 후, 자신이 산출한 값과 해당 학습 데이터의 정답 값을 비교하는 방식으로 학습한다. 따라서, 단순히 데이터만 있다고 인공신경망이 학습할 수 있는 것이 아니다. 각 데이터별로, 인공신경망이 해당 데이터에 대해 산출하기를 바라는 값을 라벨링해둔 상태여야 실제로 인공신경망이 이를 학습 데이터로서 사용할 수 있게 되는 것이다.

이와 같은 라벨링 과정은, 기본적으로 사람에 의해 이루어지고 있다. 따라서, 작업 인원들을 고용하는 데에 필요한 비용이 크므로 전술한 학습 비용의 문제가 발생하는 것이다. 더욱이, 학습 데이터의 라벨링 과정이 복잡한 경우, 전문적인 작업 인원을 고용해야 하므로 더욱 더 많은 학습 비용이 들게 된다. 이와 같은 문제를 해결하기 위해 비지도 학습을 사용한 자동 라벨링 방법이 연구되기도 하였으나, 실제 산업 현장에 적용할 만한 큰 성과를 보여준 방법은 없었던 것이 사실이다.

한편, 우리 나라에서 노인 및 중장년층을 포괄하는 상대적 노령 집단인 시니어 집단의 빈곤 문제는 큰 사회적 문제로 대두하고 있다. 사회의 노령화가 진행되면서 시니어 집단의 수는 점점 많아지고 있지만, 이들이 최소한의 생활을 할 수 있게 할 복지 예산은 부족하고, 그렇다고 이들이 노동을 통해 생활비를 벌 수 있는 기회도 현실적으로 많이 주어지지 않고 있다.

이와 같은 상황에서, 시간과 의욕이 충분하지만 일자리가 없는 시니어 집단의 노동 수요와, 비용을 절감하면서도 많은 학습 데이터를 얻고자 하는 기업들의 고용 수요가 맞아떨어진다면 이상적일 것이나, 라벨링 과정은 시니어 집단이 수행하기에 다소 복잡하여 이러한 이상적인 수요-공급의 매칭은 일어나지 않고 있다. 이와 같은 바, 복잡한 라벨링 과정을, 시니어 집단도 수행할 수 있을 정도로 쉽고 간단하게 만들 수 있다면, 시니어 집단과 기업들에게만 아니라 사회적으로도 큰 이득이 있을 것이나, 해당 측면에서의 접근은 이루어지지 않고 있다.

본 발명은 업무 숙련도가 다소 낮은 시니어 집단에 속하는 인원도 데이터를 가공할 수 있도록, 작업 인원들이 할 라벨링 및 데이터 가공 작업들을 단순화 및 간소화하는 것을 목적으로 한다.

또한 본 발명은, 작업 인원들이 할 작업들을 단순화 및 간소화하기 위해, 준지도 학습 알고리즘을 사용하여 학습 데이터에 대한 1차적인 가공을 수행하는 것을 목적으로 한다.

또한 본 발명은, 작업 인원들 중 더 뛰어난 인원이 더 많은 작업을 수행함으로써 전체 결과가 개선되도록 하기 위해, 작업 인원들 각각을 평가하고, 그 평가 결과를 바탕으로 하여 작업을 분배할 수 있는 자동화 알고리즘을 제시하는 것을 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, 준지도 학습 알고리즘을 사용하는 지원 뉴럴 네트워크를 사용하여, 업무 숙련도가 임계치 이하인 저숙련 집단에 포함된 비전문 작업 인원들이, 소정 목적을 달성하기 위해 설계된 메인 뉴럴 네트워크를 학습하는 데에 사용될 수 있는 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 방법에 있어서, (a) 컴퓨팅 장치가, 상기 지원 뉴럴 네트워크로 하여금, 상기 학습용 데이터셋을 생성하기 위해 사용되는 원본 데이터셋에 포함된 적어도 하나의 특정 원본 데이터에 대응하는 레퍼런스 학습 데이터를 사용하여 상기 준지도 학습 알고리즘을 수행함으로써 상기 원본 데이터셋에 포함된, 상기 특정 원본 데이터를 제외한 나머지 원본 데이터에 대응하는 예비 학습 데이터를 생성하도록 하는 단계; (b) 상기 컴퓨팅 장치가, 상기 저숙련 집단에 포함된 각각의 상기 비전문 작업 인원에게, 기설정된 제1 최적화 포맷 내지 제N 최적화 포맷 - 상기 N은 1 이상의 정수임 - 중 적어도 하나를 이용하여 상기 예비 학습 데이터 중 적어도 일부를 제공함으로써 상기 작업 인원들로부터 상기 예비 학습 데이터 중 적어도 일부에 대응하는 보정 데이터를 획득하는 단계; (c) 상기 컴퓨팅 장치가, 상기 예비 학습 데이터 및 상기 보정 데이터를 참조로 하여 상기 학습용 데이터셋을 생성하도록 지원하는 단계를 포함하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (a) 단계 이전에, (a0) 상기 컴퓨팅 장치가, 상기 원본 데이터셋에 포함된 각각의 원본 데이터에 대응하는 각각의 특성 벡터가 획득되면, 상기 특성 벡터를 참조로 하여 비지도 샘플링 알고리즘을 수행함으로써 상기 원본 데이터 중 상기 특정 원본 데이터를 선택하는 단계를 더 포함하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 컴퓨팅 장치가, M개 - M은 1 이상의 정수임 - 의 상기 특정 원본 데이터를 선택하기 위해 상기 비지도 샘플링 알고리즘을 수행하되, 상기 비지도 샘플링 알고리즘을 수행함으로써 상기 원본 데이터들 중 서로 간의 관련도가 임계치 이상인 제K 유사 원본 데이터 - K는 1 이상 M 이하의 정수임 - 를 대표하는, 상기 M개의 특정 원본 데이터 중 제K 특정 원본 데이터를 선택하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (a0) 단계는, 상기 컴퓨팅 장치가, 각각의 상기 원본 데이터를 참조로 하여 비지도 학습 알고리즘을 수행함으로써 각각의 상기 원본 데이터에 대응하는 각각의 상기 특성 벡터를 생성하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (a) 단계는, 상기 컴퓨팅 장치가, 소정 비지도 학습을 통해 초기 학습된 상기 지원 뉴럴 네트워크로 하여금, 상기 레퍼런스 학습 데이터를 참조로 하여 학습을 수행함으로써 자신의 파라미터들을 fine-tuning하도록 한 후, 상기 나머지 원본 데이터에 상기 파라미터들을 사용한 지원 뉴럴 네트워크 연산을 가하도록 함으로써 상기 예비 학습 데이터를 생성하도록 하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (a) 단계는, 상기 컴퓨팅 장치가, 상기 특정 원본 데이터를, 상기 업무 숙련도가 상기 임계치 이상인 고숙련 집단에 포함된 전문 작업 인원들에게 제공함으로써 상기 레퍼런스 학습 데이터를 획득하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (b) 단계는, 상기 컴퓨팅 장치가, 상기 예비 학습 데이터 중 하나인 특정 예비 학습 데이터를 상기 제1 최적화 포맷 내지 상기 제N 최적화 포맷 중 하나인 특정 최적화 포맷을 통해 상기 비전문 작업 인원 중 하나인 특정 비전문 작업 인원에게 제공함으로써, 상기 특정 비전문 작업 인원이 상기 특정 예비 학습 데이터의 상태에 대한 특정 인디케이팅 밸류를 입력할 수 있도록 지원하고, 이를 통해 상기 보정 데이터 중 적어도 일부인 특정 보정 데이터를 획득하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (b) 단계는, 상기 컴퓨팅 장치는, 소정 데이터베이스에 저장된, 각각의 상기 비전문 작업 인원들에 대한 각각의 업무 평가 스코어를 참조로 하여 상기 예비 학습 데이터를 상기 비전문 작업 인원들에게 분배하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 업무 평가 스코어는, 각각의 상기 비전문 작업 인원들의 정답률 값, 커리어 정보 및 참여도 값 중 적어도 일부를 포함하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 컴퓨팅 장치는, 상기 비전문 작업 인원들 중 하나인 특정 비전문 작업 인원에게, 상기 예비 학습 데이터 외에, 그 정답 정보가 기획득된 검증용 데이터를 함께 제공하고, 상기 특정 비전문 작업 인원이 상기 검증용 데이터에 대해 생성한 검증용 보정 데이터가 상기 정답 정보에 합치하는지 판단한 후, 상기 판단 결과를 참조로 하여 상기 특정 비전문 작업 인원에 대한 특정 정답률 값을 업데이트하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 컴퓨팅 장치는, 상기 특정 비전문 작업 인원에게, 상기 특정 정답률 값과, 상기 검증용 데이터의 양에 대한 상기 예비 학습 데이터의 양의 비율이 비례하도록 하여 상기 검증용 데이터 및 상기 예비 학습 데이터를 제공하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (b) 단계는, 상기 컴퓨팅 장치가, 상기 비전문 작업 인원들 중 하나인 제1 특정 비전문 작업 인원에 대응하는 제1 특정 정답률 값을 참조로 하여, 상기 제1 최적화 포맷 내지 제N 최적화 포맷 중 제K1 최적화 포맷 - K1은 1 이상 N 이하의 정수임 - 을 선택한 후 상기 제K1 최적화 포맷을 통해 상기 예비 학습 데이터 중 적어도 일부를 제공하고, 상기 비전문 작업 인원들 중 하나인 제2 특정 비전문 작업 인원에 대응하는 제2 특정 정답률 값을 참조로 하여, 상기 제1 최적화 포맷 내지 제N 최적화 포맷 중 제K2 최적화 포맷 - K2는 1 이상 N 이하의 정수임 - 을 선택한 후 상기 제K2 최적화 포맷을 통해 상기 예비 학습 데이터 중 적어도 일부를 제공하되, 상기 제1 특정 정답률 값이 상기 제2 특정 정답률 값보다 큰 경우, 상기 제K1 최적화 포맷의 복잡도 값은 상기 제K2 최적화 포맷의 복잡도 값보다 큰 것을 특징으로 하는 방법이 개시된다.

본 발명의 다른 태양에 따르면, 준지도 학습 알고리즘을 사용하는 지원 뉴럴 네트워크를 사용하여, 업무 숙련도가 임계치 이하인 저숙련 집단에 포함된 비전문 작업 인원들이, 소정 목적을 달성하기 위해 설계된 메인 뉴럴 네트워크를 학습하는 데에 사용될 수 있는 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 컴퓨팅 장치에 있어서, 인스트럭션들을 저장하는 하나 이상의 메모리; 및 상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는. (I) 상기 지원 뉴럴 네트워크로 하여금, 상기 학습용 데이터셋을 생성하기 위해 사용되는 원본 데이터셋에 포함된 적어도 하나의 특정 원본 데이터에 대응하는 레퍼런스 학습 데이터를 사용하여 상기 준지도 학습 알고리즘을 수행함으로써 상기 원본 데이터셋에 포함된, 상기 특정 원본 데이터를 제외한 나머지 원본 데이터에 대응하는 예비 학습 데이터를 생성하도록 하는 프로세스; (II) 상기 저숙련 집단에 포함된 각각의 상기 비전문 작업 인원에게, 기설정된 제1 최적화 포맷 내지 제N 최적화 포맷 - 상기 N은 1 이상의 정수임 - 중 적어도 하나를 이용하여 상기 예비 학습 데이터 중 적어도 일부를 제공함으로써 상기 작업 인원들로부터 상기 예비 학습 데이터 중 적어도 일부에 대응하는 보정 데이터를 획득하는 프로세스; (III) 상기 예비 학습 데이터 및 상기 보정 데이터를 참조로 하여 상기 학습용 데이터셋을 생성하도록 지원하는 프로세스를 수행하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.

일례로서, 상기 (I) 프로세스 이전에, (I0) 상기 프로세서가, 상기 원본 데이터셋에 포함된 각각의 원본 데이터에 대응하는 각각의 특성 벡터가 획득되면, 상기 특성 벡터를 참조로 하여 비지도 샘플링 알고리즘을 수행함으로써 상기 원본 데이터 중 상기 특정 원본 데이터를 선택하는 프로세스를 더 수행하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.

일례로서, 상기 프로세서가, M개 - M은 1 이상의 정수임 - 의 상기 특정 원본 데이터를 선택하기 위해 상기 비지도 샘플링 알고리즘을 수행하되, 상기 비지도 샘플링 알고리즘을 수행함으로써 상기 원본 데이터들 중 서로 간의 관련도가 임계치 이상인 제K 유사 원본 데이터 - K는 1 이상 M 이하의 정수임 - 를 대표하는, 상기 M개의 특정 원본 데이터 중 제K 특정 원본 데이터를 선택하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (I0) 프로세스는, 상기 프로세서가, 각각의 상기 원본 데이터를 참조로 하여 비지도 학습 알고리즘을 수행함으로써 각각의 상기 원본 데이터에 대응하는 각각의 상기 특성 벡터를 생성하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (I) 프로세스는, 상기 프로세서가, 소정 비지도 학습을 통해 초기 학습된 상기 지원 뉴럴 네트워크로 하여금, 상기 레퍼런스 학습 데이터를 참조로 하여 학습을 수행함으로써 자신의 파라미터들을 fine-tuning하도록 한 후, 상기 나머지 원본 데이터에 상기 파라미터들을 사용한 지원 뉴럴 네트워크 연산을 가하도록 함으로써 상기 예비 학습 데이터를 생성하도록 하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (I) 프로세스는, 상기 프로세서가, 상기 특정 원본 데이터를, 상기 업무 숙련도가 상기 임계치 이상인 고숙련 집단에 포함된 전문 작업 인원들에게 제공함으로써 상기 레퍼런스 학습 데이터를 획득하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (II) 프로세스는, 상기 프로세서가, 상기 예비 학습 데이터 중 하나인 특정 예비 학습 데이터를 상기 제1 최적화 포맷 내지 상기 제N 최적화 포맷 중 하나인 특정 최적화 포맷을 통해 상기 비전문 작업 인원 중 하나인 특정 비전문 작업 인원에게 제공함으로써, 상기 특정 비전문 작업 인원이 상기 특정 예비 학습 데이터의 상태에 대한 특정 인디케이팅 밸류를 입력할 수 있도록 지원하고, 이를 통해 상기 보정 데이터 중 적어도 일부인 특정 보정 데이터를 획득하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (II) 프로세스는, 상기 프로세서는, 소정 데이터베이스에 저장된, 각각의 상기 비전문 작업 인원들에 대한 각각의 업무 평가 스코어를 참조로 하여 상기 예비 학습 데이터를 상기 비전문 작업 인원들에게 분배하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 업무 평가 스코어는, 각각의 상기 비전문 작업 인원들의 정답률 값, 커리어 정보 및 참여도 값 중 적어도 일부를 포함하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 프로세서는, 상기 비전문 작업 인원들 중 하나인 특정 비전문 작업 인원에게, 상기 예비 학습 데이터 외에, 그 정답 정보가 기획득된 검증용 데이터를 함께 제공하고, 상기 특정 비전문 작업 인원이 상기 검증용 데이터에 대해 생성한 검증용 보정 데이터가 상기 정답 정보에 합치하는지 판단한 후, 상기 판단 결과를 참조로 하여 상기 특정 비전문 작업 인원에 대한 특정 정답률 값을 업데이트하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 프로세서는, 상기 특정 비전문 작업 인원에게, 상기 특정 정답률 값과, 상기 검증용 데이터의 양에 대한 상기 예비 학습 데이터의 양의 비율이 비례하도록 하여 상기 검증용 데이터 및 상기 예비 학습 데이터를 제공하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (II) 프로세스는, 상기 프로세서가, 상기 비전문 작업 인원들 중 하나인 제1 특정 비전문 작업 인원에 대응하는 제1 특정 정답률 값을 참조로 하여, 상기 제1 최적화 포맷 내지 제N 최적화 포맷 중 제K1 최적화 포맷 - K1은 1 이상 N 이하의 정수임 - 을 선택한 후 상기 제K1 최적화 포맷을 통해 상기 예비 학습 데이터 중 적어도 일부를 제공하고, 상기 비전문 작업 인원들 중 하나인 제2 특정 비전문 작업 인원에 대응하는 제2 특정 정답률 값을 참조로 하여, 상기 제1 최적화 포맷 내지 제N 최적화 포맷 중 제K2 최적화 포맷 - K2는 1 이상 N 이하의 정수임 - 을 선택한 후 상기 제K2 최적화 포맷을 통해 상기 예비 학습 데이터 중 적어도 일부를 제공하되, 상기 제1 특정 정답률 값이 상기 제2 특정 정답률 값보다 큰 경우, 상기 제K1 최적화 포맷의 복잡도 값은 상기 제K2 최적화 포맷의 복잡도 값보다 큰 것을 특징으로 하는 장치가 개시된다.

본 발명은 업무 숙련도가 다소 낮은 시니어 집단에 속하는 인원도 데이터를 가공할 수 있도록, 작업 인원들이 할 라벨링 및 데이터 가공 작업들을 단순화 및 간소화할 수 있는 효과가 있다.

또한 본 발명은, 작업 인원들이 할 작업들을 단순화하기 위해, 준지도 학습 알고리즘을 사용하여 학습 데이터에 대한 1차적인 가공을 수행할 수 있는 효과가 있다.

또한 본 발명은, 작업 인원들 중 더 뛰어난 인원이 더 많은 작업을 수행함으로써 전체 결과가 개선되도록 하기 위해, 작업 인원들 각각을 평가하고, 그 평가 결과를 바탕으로 하여 작업을 분배할 수 있는 자동화 알고리즘을 제시할 수 있는 효과가 있다.

도 1은 본 발명의 일 태양에 따른, 준지도 학습 알고리즘을 사용하는 지원 뉴럴 네트워크를 사용하여, 업무 숙련도가 임계치 이하인 저숙련 집단에 포함된 비전문 작업 인원들이, 소정 목적을 달성하기 위해 설계된 메인 뉴럴 네트워크를 학습하는 데에 사용되는 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 방법을 수행하는 컴퓨팅 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 태양에 따른, 준지도 학습 알고리즘을 사용하는 지원 뉴럴 네트워크를 사용하여, 업무 숙련도가 임계치 이하인 저숙련 집단에 포함된 비전문 작업 인원들이, 소정 목적을 달성하기 위해 설계된 메인 뉴럴 네트워크를 학습하는 데에 사용되는 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 방법을 나타낸 흐름도이다.
도 3a 및 3b는 본 발명의 일 태양에 따른, 준지도 학습 알고리즘을 사용하는 지원 뉴럴 네트워크를 사용하여, 업무 숙련도가 임계치 이하인 저숙련 집단에 포함된 비전문 작업 인원들이, 소정 목적을 달성하기 위해 설계된 메인 뉴럴 네트워크를 학습하는 데에 사용되는 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 방법을 수행하기 위해 사용되는 제1 최적화 포맷 및 제2 최적화 포맷의 예시를 나타낸 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 태양에 따른, 준지도 학습 알고리즘을 사용하는 지원 뉴럴 네트워크를 사용하여, 업무 숙련도가 임계치 이하인 저숙련 집단에 포함된 비전문 작업 인원들이, 소정 목적을 달성하기 위해 설계된 메인 뉴럴 네트워크를 학습하는 데에 사용되는 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 방법을 수행하는 컴퓨팅 장치의 구성을 나타낸 도면이다.

도 1을 참조하면, 컴퓨팅 장치(100)는 지원 뉴럴 네트워크(130)를 포함할 수 있다. 이 때, 지원 뉴럴 네트워크(130)의 입출력 및 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 다만, 도 1에서는 통신부(110) 및 프로세서(120)의 구체적인 연결 관계를 생략하였다. 또한, 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 프로세서(120)는 메모리에 저장된 인스트럭션들을 수행하도록 됨으로써 추후 설명할 프로세스들을 수행하여 본 발명을 수행할 수 있다. 이와 같이 컴퓨팅 장치(100)가 묘사되었다고 하여, 컴퓨팅 장치(100)가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.

여기서 지원 뉴럴 네트워크(130)는 어떠한 인공신경망의 형태도 띌 수 있다. 예를 들어, 복수 개의 가상 뉴런을 포함하는 가상 레이어를 여러 개 포함하는 형태일 수 있고, 각각의 레이어는 컨벌루션, Fully-Connected(FC) 연산 및 풀링 연산 등의 각종 연산을 수행하기 위해 설계된 것일 수 있다. 이와 같은 인공신경망의 형태는 많이 연구된 바 있고, 어떠한 인공신경망의 형태도 본 발명의 지원 뉴럴 네트워크(130)를 설계하기 위해 사용될 수 있는 바, 더욱 구체적인 설명은 생략하도록 한다.

이상 본 발명의 컴퓨팅 장치(100)의 구성에 대하여 설명한 바, 본 발명의 방법에 대해 도 2를 참조로 하여 구체적으로 살필 것이다.

도 2는 본 발명의 일 태양에 따른, 준지도 학습 알고리즘을 사용하는 지원 뉴럴 네트워크를 사용하여, 업무 숙련도가 임계치 이하인 저숙련 집단에 포함된 비전문 작업 인원들이, 소정 목적을 달성하기 위해 설계된 메인 뉴럴 네트워크를 학습하는 데에 사용되는 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 방법을 나타낸 흐름도이다.

도 2를 참조하면, 먼저, 컴퓨팅 장치(100)는, 각각의 원본 데이터를 참조로 하여 비지도 학습 알고리즘을 수행함으로써 각각의 원본 데이터에 대응하는 각각의 특성 벡터를 생성할 수 있다(S01). 그리고, 컴퓨팅 장치(100)는, 각각의 특성 벡터를 참조로 하여 비지도 샘플링 알고리즘을 수행함으로써, 원본 데이터 중 특정 원본 데이터를 선택할 수 있다(S02). 이후, 컴퓨팅 장치(100)는, 특정 원본 데이터를 전문 작업 인원들에게 제공함으로써 각각의 특정 원본 데이터에 대응하는 각각의 레퍼런스 학습 데이터를 획득할 수 있다(S03). 다음으로, 컴퓨팅 장치(100)는, 지원 뉴럴 네트워크(130)로 하여금, 레퍼런스 학습 데이터를 사용하여 준지도 학습 알고리즘을 수행함으로써 원본 데이터 중 특정 원본 데이터를 제외한 나머지 원본 데이터에 대응하는 예비 학습 데이터를 생성하도록 할 수 있다(S04). 그리고, 컴퓨팅 장치(100)는, 비전문 작업 인원에게, 기설정된 제1 최적화 포맷 내지 제N 최적화 포맷 - N은 1 이상의 정수임 - 중 적어도 하나를 이용하여 예비 학습 데이터 중 적어도 일부를 제공함으로써, 비전문 작업 인원들로부터 예비 학습 데이터 중 적어도 일부에 대응하는 보정 데이터를 획득할 수 있다(S05). 이후, 컴퓨팅 장치(100)는, 예비 학습 데이터 및 보정 데이터를 참조로 하여 학습용 데이터셋을 생성할 수 있다(S06).

이하 각각의 단계에 대해 더욱 구체적으로 설명하도록 한다.

컴퓨팅 장치(100)은, 전술한 바와 같이, 각각의 원본 데이터를 이용해 비지도 학습 알고리즘을 수행함으로써 각 원본 데이터에 대응하는 특성 벡터를 생성할 수 있다. 여기서 특성 벡터란, 각각의 원본 데이터의 특징을 다른 차원의 벡터로 맵핑한 것일 수 있다. 이를 위해 사용될 수 있는 비지도 학습 알고리즘은, 전통적인 Variable Autoencoder(VAE) 및 Pretrained CNN 모델 사용법 또는 최신의 Rotation, Momentum Contrast(MoCo), Simple Framework for Contrastive Learning of Visual Representations(simCLR) 및 Unsupervised Data Augmentation 등을 들 수 있다. 상기의 방법들 자체는 딥 러닝 분야의 통상의 기술자가 기존 문헌을 보고 쉬이 이해할 수 있을 것이므로 더욱 자세한 설명은 생략하도록 한다.

다만 여기서 특성 벡터를 비지도 학습 알고리즘을 통해서만 생성해야 하는 것은 아니다. 물론, 이를 비지도 학습 알고리즘을 통해 생성함으로써 추가적인 학습 과정을 줄이고 이에 따라 overhead를 줄일 수 있는 장점이 있으며, 추후 설명할 준지도 학습 알고리즘 수행 과정에서 다소의 이득을 줄 수 있는 장점도 있다. 그러나, 비지도 학습 알고리즘 대신 지도 학습 알고리즘 또는 데이터로부터 특성을 추출할 수 있는 것으로 알려진 어떠한 기존 기술이라도 특성 벡터를 생성하는 데에 사용될 수 있을 것이다.

이후, 컴퓨팅 장치(100)는, 각각의 특성 벡터를 참조로 하여 비지도 샘플링 알고리즘을 수행함으로써 원본 데이터 중 특정 원본 데이터를 선택할 수 있다. 여기서 특정 원본 데이터는, 서로의 특성 벡터간의 관계가 가장 sparse한 것들일 수 있다. 쉽게 설명하면, 원본 데이터들을 몇 개의 그룹으로 나누었을 때 각 그룹을 대표할 수 있는 데이터들일 수 있다. 예를 들어, 원본 데이터가 M개 - M은 1 이상의 정수임 - 의 그룹으로 나누어질 수 있다고 가정하자. 여기서 K번째 그룹에는 서로 간의 관련도가 임계치 이상인 제K 유사 원본 데이터가 포함되어 있을 것인데, 이들 중 이를 대표할 수 있는 제K 특정 원본 데이터가 선택될 수 있는 것이다.

이와 같은 프로세스는 전술한 바와 같이 비지도 샘플링 알고리즘을 사용해 수행될 수 있는데, 예를 들어, 통상의 기술자에게 널리 알려진 Distance and Density Based Sampling(DIDES), Density-based Sampling for Clustering Algorithm(DENDIS) 및 Probability Traversing Sampling Algorithm(ProTraS)과 같은 비지도 샘플링 알고리즘이 사용될 수 있다. 이 역시, 단지 서로의 특성 벡터 간의 관계가 가장 sparse한 특정 원본 데이터를 뽑을 수 있어야 한다는 것이 중요한 점인 프로세스이므로, 전술한 알고리즘 외의 다른 비지도 샘플링 알고리즘 또는 비지도 샘플링이 아닌 다른 알고리즘들이 사용되어도 무방할 것이다.

그 다음으로, 컴퓨팅 장치(100)는, 특정 원본 데이터를, 업무 숙련도가 임계치 이상인 고숙련 집단에 포함된 전문 작업 인원들에게 제공함으로써, 레퍼런스 학습 데이터를 획득할 수 있다. 레퍼런스 학습 데이터는, 특정 원본 데이터에 대한 라벨링 데이터일 수 있고, 또는 메인 뉴럴 네트워크의 학습에 필요한 형태로 특정 원본 데이터를 조정한 것일 수 있다. 특정 원본 데이터의 수는 원본 데이터의 수에 비해 훨씬 적으며, 이에 따라서 전문 작업 인원들의 수는 전술한 비전문 작업 인원들의 수에 비해 훨씬 적어도 될 것이다. 이에 따라, 숙련된 전문 작업 인원들의 필요 수가 더 적어지고, 결국 이는 비용의 절감을 불러올 수 있다.

여기서 업무 숙련도란, 일반적으로 통용되는 의미와 같은 것으로, 데이터를 잘 가공할 수 있는 능력을 의미한다. 이에 따라, 일 예로, 고숙련 집단은, 데이터 가공을 수행하고자 설립된 회사에 고용된 전문적 인력을 포함하는 집단일 수 있고, 저숙련 집단은 이와 같은 회사에 고용될 정도는 아닌, 일반적인 사람 또는 기술에 대한 친화도가 더욱 낮은 시니어 집단에 속하는 인원을 포함할 수 있다.

다음으로, 컴퓨팅 장치(100)는, 지원 뉴럴 네트워크(130)로 하여금, 레퍼런스 학습 데이터를 사용하여 준지도 학습 알고리즘을 수행함으로써 원본 데이터 중 특정 원본 데이터를 제외한 나머지 원본 데이터에 대응하는 예비 학습 데이터를 생성하도록 할 수 있다. 여기서 준지도 학습 알고리즘이란, 주어진 데이터 중 일부에만 라벨링이 되어 있을 때, 그 일부만을 사용하여 전체 데이터에 대한 결과 값을 산출할 수 있는 알고리즘이다. 이와 같은 준지도 학습 알고리즘에는 여러 가지 방식이 존재하는데, 일 예로, 초기 학습된 네트워크를, 라벨링된 일부의 데이터를 사용해 fine-tuning 하는 방법을 제안할 수 있다.

즉, 일 예로, 컴퓨팅 장치(100)는, 도 2의 S01 단계에서, 지원 뉴럴 네트워크(130)로 하여금 비지도 학습을 수행하여 원본 데이터들에 대한 특성 벡터들을 생성하면서 초기 학습이 되도록 한 후, 도 2의 S04 단계에서 레퍼런스 학습 데이터를 참조로 하여 학습을 수행함으로써 파라미터들을 fine-tuning 하도록 할 수 있다는 것이다. 이와 같은 fine-tuning 과정을 통해, 전문 작업 인원들이 수행한 가공의 결과, 즉 레퍼런스 학습 데이터가 각각의 파라미터에 적절히 반영될 수 있는 것이다. 또한 지원 뉴럴 네트워크(130)가 비지도 학습을 통해 특성 벡터를 생성한 경우, 이 과정을 통해 초기 학습된 후 준지도 학습되도록 함으로써, 지원 뉴럴 네트워크(130)가 원본 데이터에 대해 더욱 fitting되어 더욱 적절한 결과를 낼 수 있도록 할 수 있다. 이와 같은 fine-tuning 과정에서, Virtual Adversarial Training(VAT) 및 Control Entropy Minimization(EntMin) 기법을 응용할 수 있을 것이다. 상기 기법들은 딥 러닝 분야의 통상의 기술자에게 알려진 것이므로 추가적인 설명은 생략하도록 한다.

상기 설명에서는, 레퍼런스 학습 데이터를 사용해 지원 뉴럴 네트워크(130)을 fine-tuning하는 방식에 대해 설명하였으나, 이외의 다른 어떠한 준지도 학습 방식도 사용될 수 있을 것이다. 일 예로, 초기 학습 없이 지원 뉴럴 네트워크(130)를 지도 학습 기반으로 레퍼런스 학습 데이터를 이용해 학습시킴으로써 준지도 학습을 수행할 수도 있을 것이다.

그리고, 컴퓨팅 장치(100)는, 비전문 작업 인원에게, 기설정된 제1 최적화 포맷 내지 제N 최적화 포맷 - N은 1 이상의 정수임 - 중 적어도 하나를 이용하여 예비 학습 데이터 중 적어도 일부를 제공함으로써, 비전문 작업 인원들로부터 예비 학습 데이터 중 적어도 일부에 대응하는 보정 데이터를 획득할 수 있다. 여기서 제1 최적화 포맷 내지 제N 최적화 포맷은, 비전문 작업 인원들의 업무 숙련도가 떨어지더라도, 그들의 작업 결과는 신뢰할 수 있도록 작업을 단순하고 간소하게 만들어 주는 포맷일 수 있다. 제1 최적화 포맷 내지 제N 최적화 포맷의 예시를 살피기 위해 도 3a 및 3b를 참조하도록 한다.

도 3a 및 3b는 본 발명의 일 태양에 따른, 준지도 학습 알고리즘을 사용하는 지원 뉴럴 네트워크를 사용하여, 업무 숙련도가 임계치 이하인 저숙련 집단에 포함된 비전문 작업 인원들이, 소정 목적을 달성하기 위해 설계된 메인 뉴럴 네트워크를 학습하는 데에 사용되는 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 방법을 수행하기 위해 사용되는 제1 최적화 포맷 및 제2 최적화 포맷의 예시를 나타낸 도면이다.

도 3a를 참조하면, 컴퓨팅 장치(100)는, 메인 뉴럴 네트워크가 차량 인식에 사용될 것이고, 원본 데이터가 메인 뉴럴 네트워크의 학습을 위해 사용될 사진일 경우, 도 3a에 나타난 제1 최적화 포맷(200)과 같은 형태로, 지원 뉴럴 네트워크(130)가 생성한 예비 학습 데이터를 제공할 수 있다. 도 3에 나타난 제1 최적화 포맷(200)을 보면, 비전문 작업 인원들이 사진을 보고 단순히 차량에 바운딩 박스가 잘 표시되어 있는지 여부만을 확인하면 되도록 설계되어 있으므로, 이를 사용하여, 비전문 작업 인원들의 업무 숙련도가 다소 낮더라도 신뢰성 있는 결과 값을 얻을 수 있다는 점을 알 수 있다.

또한, 도 3b를 참조하면, 컴퓨팅 장치(100)는, 메인 뉴럴 네트워크가 사람이 그린 그림과 유사한 그림을 생성하도록 사용될 것이고, 원본 데이터가 이를 학습하기 위해 사용될 그림인 경우, 제2 최적화 포맷(300)과 같은 형태로 예비 학습 데이터를 제공할 수 있다. 도 3b에 나타난 제2 최적화 포맷(300)을 보면, 이 또한 비전문 작업 인원들이 단순히 어느 그림이 더 사실적인지 여부만을 판단하면 되므로, 비전문 작업 인원들의 낮은 업무 숙련도에도 불구하고 그 결과 값을 신뢰할 수 있게 된다. 도 3b에는 단순히 양 그림 중 더 사실적인 것을 선택하는 구성의 포맷이 도시되었으나, 물론 이에 한정할 것이 아니다. 추가적인 예로, 각 그림 별로 각 그림이 얼마나 현실적인지 나타내는 스코어를 표시하도록 포맷이 구성될 수 있고, 이와 같은 human score 정보를 이용해 더욱 수준 높은 학습을 도모할 수 있을 것이다. 도 3a의 포맷 구성의 경우에도 이와 같이 응용된 포맷을 적용할 수 있음은 자명하다.

이상 제1 최적화 포맷(100) 및 제2 최적화 포맷(200)의 예시에 대해 설명한 바, 보정 데이터에 대해 설명하도록 한다. 즉, 컴퓨팅 장치(100)는, 예비 학습 데이터 중 하나인 특정 예비 학습 데이터를 상기 제1 최적화 포맷 내지 상기 제N 최적화 포맷 중 하나인 특정 최적화 포맷을 통해 상기 작업 인원 중 하나인 특정 비전문 작업 인원에게 제공함으로써, 상기 특정 비전문 작업 인원이 상기 특정 예비 학습 데이터의 상태에 대한 특정 인디케이팅 밸류를 입력할 수 있도록 지원하고, 이를 통해 상기 보정 데이터 중 일부인 특정 보정 데이터를 획득할 수 있다. 여기서 특정 인디케이팅 밸류는, 특정 예비 학습 데이터가 복수 개의 기설정된 상태 중 어느 상태에 해당하는지를 나타내거나, 또는 특정 예비 학습 데이터에 대한 주관적인 표현을 나타낼 수 있다. 후자의 경우, 특정 인디케이팅 밸류는 자연어의 형태일 수 있으며, 이를 분석하기 위해 널리 알려진 자연어 처리 알고리즘을 추가로 사용할 수 있을 것이다. 예를 들어, 도 3a의 제1 최적화 포맷(200)을 통해 특정 예비 학습 데이터가 특정 비전문 작업 인원에게 제공된 경우, 특정 비전문 작업 인원은, 특정 예비 학습 데이터 상의 바운딩 박스가 적절하게 위치되었는지 여부를 판단하여, 특정 예비 학습 데이터의 상태를 컴퓨팅 장치(100)에 입력할 수 있을 것이다. 추가적으로, 바운딩 박스의 위치 또는 크기가 적절하지 않은 경우, 특정 비전문 작업 인원은 바운딩 박스의 적절한 위치와 크기를 지정하여 입력할 수도 있을 것이다. 이 경우 특정 보정 데이터는 결과적으로 바운딩 박스의 적절성 및 부적절한 경우 적절한 크기 및 위치에 대한 정보를 포함할 수 있다.

이와 같이 제1 최적화 포맷 내지 제N 최적화 포맷 중 적어도 하나를 사용해 보정 데이터를 획득한 후, 컴퓨팅 장치(100)는, 예비 학습 데이터 및 보정 데이터를 참조로 하여 학습용 데이터셋을 생성할 수 있도록 지원할 수 있다. 즉, 컴퓨팅 장치(100) 자신이 직접 학습용 데이터셋을 생성하거나, 또는 다른 컴퓨팅 장치가 위 데이터들을 참조로 하여 학습용 데이터셋을 생성하도록 지원할 수 있다. 일 예로, 자신이 직접 보정 데이터에 따라 예비 학습 데이터를 보정한 후, 이를 학습용 데이터셋에 포함시키거나, 다른 컴퓨팅 장치로 하여금 위와 같이 학습용 데이터셋을 생성 하도록 할 수 있다. 이와 같은 경우, 학습용 데이터셋은, 지원 뉴럴 네트워크(130)가 전문 작업 인원이 라벨링한 데이터를 기반으로 하여 1차적으로 생성한 후, 비전문 작업 인원들이 2차적으로 검수 및 수정을 가한 데이터를 포함할 수 있다. 또한 이 경우 학습용 데이터셋은 레퍼런스 학습 데이터도 포함할 수 있을 것이다.

이에 따라, 비용이 많이 드는 전문 작업 인원의 업무량을 최대한 줄이고, 비용이 다소 적게 드는 비전문 작업 인원들의 업무량을 늘림으로써 사용자는 비용의 이득을 얻을 수 있게 된다. 또한, 상대적으로 업무 숙련도가 떨어져 직업을 얻기 어려운 사람들, 시니어 집단 또는 장애인과 같은 사람들도 단순화되고 간소화된 업무를 할 수 있는 직업을 가질 수 있는 바, 이들에게도 도움이 되고, 사회적으로도 큰 이득이 될 수 있다.

여기서, 아무리 작업이 쉽도록 만들었다 하더라도, 개개인의 능력 차이가 있으므로, 이를 보완하기 위한 프로세스가 필요할 수 있다. 이하 이에 대해 설명하도록 한다.

즉, 컴퓨팅 장치(100)는, 소정 데이터베이스에 저장된, 각각의 비전문 작업 인원들에 대한 각각의 업무 평가 스코어를 참조로 하여 예비 학습 데이터를 작업 인원들에게 분배할 수 있다. 업무 평가 스코어는, 각각의 비전문 작업 인원들의 능력을 평가하는 척도가 될 수 있는 것으로서, 이는 각각의 비전문 작업 인원들의 커리어 정보, 참여도 값 및 정답률 값 중 적어도 일부를 포함할 수 있다.

먼저 커리어 정보란, 각각의 비전문 작업 인원들이 이전에 어떠한 직업에 종사하였는지를 나타내는 정보일 수 있다. 예를 들어, IT 분야에 종사하였던 비전문 작업 인원들은 다른 분야에 종사하였던 작업 인원들보다 더 실력이 뛰어날 수 있으므로 이와 같은 정보를 반영할 수 있는 것이다.

참여도 값이란, 각각의 비전문 작업 인원들이 지금까지 어느 정도의 빈도로 데이터 가공 작업에 참여하였는지를 나타내는 정보일 수 있다. 작업을 지속적으로 해 온 사람이 더욱 안정적인 퍼포먼스를 보일 것이라고 예상하는 것이 타당하므로 이와 같은 값도 반영할 수 있는 것이다.

마지막으로 정답률은, 실제로 사용될 예비 학습 데이터뿐만 아니라, 정답 정보가 이미 획득되어 있는 검증용 데이터를 함께 비전문 작업 인원에게 중간중간 제공함으로써 계산될 수 있다. 즉, 예를 들어, 컴퓨팅 장치(100)는, 비전문 작업 인원들 중 하나인 특정 비전문 작업 인원에게, 예비 학습 데이터 외에, 그 정답 정보가 기획득된 검증용 데이터를 함께 제공하고, 특정 비전문 작업 인원이 상기 검증용 데이터에 대해 생성한 검증용 보정 데이터가 정답 정보에 합치하는지 판단한 후, 그 판단 결과를 참조로 하여 상기 특정 비전문 작업 인원에 대한 특정 정답률 값을 업데이트할 수 있을 것이다.

또한, 이와 같이 정답률 값이 각각 계산되면, 컴퓨팅 장치(100)는, 특정 비전문 작업 인원에게, 그 특정 정답률 값과, 검증용 데이터의 양에 대한 예비 학습 데이터의 양의 비율이 비례하도록 하여 검증용 데이터 및 예비 학습 데이터를 제공할 수 있을 것이다. 이와 같은 방식을 통해, 더 정확하게 작업하는 비전문 작업 인원에게 더 많은 업무를 부여하여 급여를 더 받을 수 있는 기회를 부여함으로써 인센티브를 주고, 더 나은 학습용 데이터셋을 얻을 수 있게 된다.

또한, 메인 뉴럴 네트워크의 종류에 따라, 상대적으로 더 어려운 작업이 있을 수 있는데, 이 경우 어떻게 업무를 나누어 분배할 수 있는지에 대해서 설명하고자 한다.

이 경우에도 전술한 정답률 값을 사용할 수 있는데, 업무가 더 어려울 경우 그에 대응하는 최적화 포맷도 상대적으로 복잡해지게 된다. 따라서, 컴퓨팅 장치(100)가, 비전문 작업 인원들 중 하나인 제1 특정 비전문 작업 인원에 대응하는 제1 특정 정답률 값을 참조로 하여, 제1 최적화 포맷 내지 제N 최적화 포맷 중 제K1 최적화 포맷 - K1은 1 이상 N 이하의 정수임 - 을 선택한 후 제K1 최적화 포맷을 통해 예비 학습 데이터 중 일부를 제공하고, 작업 인원들 중 하나인 제2 특정 비전문 작업 인원에 대응하는 제2 특정 정답률 값을 참조로 하여, 제1 최적화 포맷 내지 제N 최적화 포맷 중 제K2 최적화 포맷 - K2는 1 이상 N 이하의 정수임 - 을 선택한 후 제K2 최적화 포맷을 통해 상기 예비 학습 데이터 중 일부를 제공할 수 있다. 여기서, 제1 특정 정답률 값이 제2 특정 정답률 값보다 큰 경우, 제K1 최적화 포맷의 복잡도 값은 제K2 최적화 포맷의 복잡도 값보다 클 수 있다. 즉, 더 실력이 좋은 제1 특정 비전문 작업 인원에게 더 어려운 작업을 수행하도록 할 수 있다는 것이다. 이와 같은 방식을 통해, 더욱 큰 효율성을 도모할 수 있게 된다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기계로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

준지도 학습 알고리즘을 사용하는 지원 뉴럴 네트워크를 사용하여, 업무 숙련도가 임계치 이하인 저숙련 집단에 포함된 비전문 작업 인원들이, 소정 목적을 달성하기 위해 설계된 메인 뉴럴 네트워크를 학습하는 데에 사용될 수 있는 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 방법에 있어서,
(a) 컴퓨팅 장치가, 상기 지원 뉴럴 네트워크로 하여금, 상기 학습용 데이터셋을 생성하기 위해 사용되는 원본 데이터셋에 포함된 적어도 하나의 특정 원본 데이터에 대응하는 레퍼런스 학습 데이터를 사용하여 상기 준지도 학습 알고리즘을 수행함으로써 상기 원본 데이터셋에 포함된, 상기 특정 원본 데이터를 제외한 나머지 원본 데이터에 대응하는 예비 학습 데이터를 생성하도록 하는 단계;
(b) 상기 컴퓨팅 장치가, 상기 저숙련 집단에 포함된 각각의 상기 비전문 작업 인원에게, 기설정된 제1 최적화 포맷 내지 제N 최적화 포맷 - 상기 N은 1 이상의 정수임 - 중 적어도 하나를 이용하여 상기 예비 학습 데이터 중 적어도 일부를 제공함으로써 상기 작업 인원들로부터 상기 예비 학습 데이터 중 적어도 일부에 대응하는 보정 데이터를 획득하는 단계;
(c) 상기 컴퓨팅 장치가, 상기 예비 학습 데이터 및 상기 보정 데이터를 참조로 하여 상기 학습용 데이터셋을 생성하도록 지원하는 단계
를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 (a) 단계 이전에,
(a0) 상기 컴퓨팅 장치가, 상기 원본 데이터셋에 포함된 각각의 원본 데이터에 대응하는 각각의 특성 벡터가 획득되면, 상기 특성 벡터를 참조로 하여 비지도 샘플링 알고리즘을 수행함으로써 상기 원본 데이터 중 상기 특정 원본 데이터를 선택하는 단계
를 더 포함하는 것을 특징으로 하는 방법.
제 2항에 있어서,
상기 컴퓨팅 장치가, M개 - M은 1 이상의 정수임 - 의 상기 특정 원본 데이터를 선택하기 위해 상기 비지도 샘플링 알고리즘을 수행하되, 상기 비지도 샘플링 알고리즘을 수행함으로써 상기 원본 데이터들 중 서로 간의 관련도가 임계치 이상인 제K 유사 원본 데이터 - K는 1 이상 M 이하의 정수임 - 를 대표하는, 상기 M개의 특정 원본 데이터 중 제K 특정 원본 데이터를 선택하는 것을 특징으로 하는 방법.
제 2항에 있어서,
상기 (a0) 단계는,
상기 컴퓨팅 장치가, 각각의 상기 원본 데이터를 참조로 하여 비지도 학습 알고리즘을 수행함으로써 각각의 상기 원본 데이터에 대응하는 각각의 상기 특성 벡터를 생성하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 (a) 단계는,
상기 컴퓨팅 장치가, 소정 비지도 학습을 통해 초기 학습된 상기 지원 뉴럴 네트워크로 하여금, 상기 레퍼런스 학습 데이터를 참조로 하여 학습을 수행함으로써 자신의 파라미터들을 fine-tuning하도록 한 후, 상기 나머지 원본 데이터에 상기 파라미터들을 사용한 지원 뉴럴 네트워크 연산을 가하도록 함으로써 상기 예비 학습 데이터를 생성하도록 하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 (a) 단계는,
상기 컴퓨팅 장치가, 상기 특정 원본 데이터를, 상기 업무 숙련도가 상기 임계치 이상인 고숙련 집단에 포함된 전문 작업 인원들에게 제공함으로써 상기 레퍼런스 학습 데이터를 획득하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 (b) 단계는,
상기 컴퓨팅 장치가, 상기 예비 학습 데이터 중 하나인 특정 예비 학습 데이터를 상기 제1 최적화 포맷 내지 상기 제N 최적화 포맷 중 하나인 특정 최적화 포맷을 통해 상기 비전문 작업 인원 중 하나인 특정 비전문 작업 인원에게 제공함으로써, 상기 특정 비전문 작업 인원이 상기 특정 예비 학습 데이터의 상태에 대한 특정 인디케이팅 밸류를 입력할 수 있도록 지원하고, 이를 통해 상기 보정 데이터 중 적어도 일부인 특정 보정 데이터를 획득하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 (b) 단계는,
상기 컴퓨팅 장치는, 소정 데이터베이스에 저장된, 각각의 상기 비전문 작업 인원들에 대한 각각의 업무 평가 스코어를 참조로 하여 상기 예비 학습 데이터를 상기 비전문 작업 인원들에게 분배하는 것을 특징으로 하는 방법.
제 8항에 있어서,
상기 업무 평가 스코어는, 각각의 상기 비전문 작업 인원들의 정답률 값, 커리어 정보 및 참여도 값 중 적어도 일부를 포함하는 것을 특징으로 하는 방법.
제 9항에 있어서,
상기 컴퓨팅 장치는, 상기 비전문 작업 인원들 중 하나인 특정 비전문 작업 인원에게, 상기 예비 학습 데이터 외에, 그 정답 정보가 기획득된 검증용 데이터를 함께 제공하고, 상기 특정 비전문 작업 인원이 상기 검증용 데이터에 대해 생성한 검증용 보정 데이터가 상기 정답 정보에 합치하는지 판단한 후, 상기 판단 결과를 참조로 하여 상기 특정 비전문 작업 인원에 대한 특정 정답률 값을 업데이트하는 것을 특징으로 하는 방법.
제 10항에 있어서,
상기 컴퓨팅 장치는, 상기 특정 비전문 작업 인원에게, 상기 특정 정답률 값과, 상기 검증용 데이터의 양에 대한 상기 예비 학습 데이터의 양의 비율이 비례하도록 하여 상기 검증용 데이터 및 상기 예비 학습 데이터를 제공하는 것을 특징으로 하는 방법.
제 9항에 있어서,
상기 (b) 단계는,
상기 컴퓨팅 장치가, 상기 비전문 작업 인원들 중 하나인 제1 특정 비전문 작업 인원에 대응하는 제1 특정 정답률 값을 참조로 하여, 상기 제1 최적화 포맷 내지 제N 최적화 포맷 중 제K1 최적화 포맷 - K1은 1 이상 N 이하의 정수임 - 을 선택한 후 상기 제K1 최적화 포맷을 통해 상기 예비 학습 데이터 중 적어도 일부를 제공하고, 상기 비전문 작업 인원들 중 하나인 제2 특정 비전문 작업 인원에 대응하는 제2 특정 정답률 값을 참조로 하여, 상기 제1 최적화 포맷 내지 제N 최적화 포맷 중 제K2 최적화 포맷 - K2는 1 이상 N 이하의 정수임 - 을 선택한 후 상기 제K2 최적화 포맷을 통해 상기 예비 학습 데이터 중 적어도 일부를 제공하되,
상기 제1 특정 정답률 값이 상기 제2 특정 정답률 값보다 큰 경우, 상기 제K1 최적화 포맷의 복잡도 값은 상기 제K2 최적화 포맷의 복잡도 값보다 큰 것을 특징으로 하는 방법.
준지도 학습 알고리즘을 사용하는 지원 뉴럴 네트워크를 사용하여, 업무 숙련도가 임계치 이하인 저숙련 집단에 포함된 비전문 작업 인원들이, 소정 목적을 달성하기 위해 설계된 메인 뉴럴 네트워크를 학습하는 데에 사용될 수 있는 학습용 데이터셋을 용이하게 생성할 수 있도록 지원하는 컴퓨팅 장치에 있어서,
인스트럭션들을 저장하는 하나 이상의 메모리; 및
상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는. (I) 상기 지원 뉴럴 네트워크로 하여금, 상기 학습용 데이터셋을 생성하기 위해 사용되는 원본 데이터셋에 포함된 적어도 하나의 특정 원본 데이터에 대응하는 레퍼런스 학습 데이터를 사용하여 상기 준지도 학습 알고리즘을 수행함으로써 상기 원본 데이터셋에 포함된, 상기 특정 원본 데이터를 제외한 나머지 원본 데이터에 대응하는 예비 학습 데이터를 생성하도록 하는 프로세스; (II) 상기 저숙련 집단에 포함된 각각의 상기 비전문 작업 인원에게, 기설정된 제1 최적화 포맷 내지 제N 최적화 포맷 - 상기 N은 1 이상의 정수임 - 중 적어도 하나를 이용하여 상기 예비 학습 데이터 중 적어도 일부를 제공함으로써 상기 작업 인원들로부터 상기 예비 학습 데이터 중 적어도 일부에 대응하는 보정 데이터를 획득하는 프로세스; (III) 상기 예비 학습 데이터 및 상기 보정 데이터를 참조로 하여 상기 학습용 데이터셋을 생성하도록 지원하는 프로세스를 수행하는 것을 특징으로 하는 컴퓨팅 장치.
제 13항에 있어서,
상기 (I) 프로세스 이전에,
(I0) 상기 프로세서가, 상기 원본 데이터셋에 포함된 각각의 원본 데이터에 대응하는 각각의 특성 벡터가 획득되면, 상기 특성 벡터를 참조로 하여 비지도 샘플링 알고리즘을 수행함으로써 상기 원본 데이터 중 상기 특정 원본 데이터를 선택하는 프로세스
를 더 수행하는 것을 특징으로 하는 컴퓨팅 장치.
제 14항에 있어서,
상기 프로세서가, M개 - M은 1 이상의 정수임 - 의 상기 특정 원본 데이터를 선택하기 위해 상기 비지도 샘플링 알고리즘을 수행하되, 상기 비지도 샘플링 알고리즘을 수행함으로써 상기 원본 데이터들 중 서로 간의 관련도가 임계치 이상인 제K 유사 원본 데이터 - K는 1 이상 M 이하의 정수임 - 를 대표하는, 상기 M개의 특정 원본 데이터 중 제K 특정 원본 데이터를 선택하는 것을 특징으로 하는 장치.
제 14항에 있어서,
상기 (I0) 프로세스는,
상기 프로세서가, 각각의 상기 원본 데이터를 참조로 하여 비지도 학습 알고리즘을 수행함으로써 각각의 상기 원본 데이터에 대응하는 각각의 상기 특성 벡터를 생성하는 것을 특징으로 하는 장치.
제 13항에 있어서,
상기 (I) 프로세스는,
상기 프로세서가, 소정 비지도 학습을 통해 초기 학습된 상기 지원 뉴럴 네트워크로 하여금, 상기 레퍼런스 학습 데이터를 참조로 하여 학습을 수행함으로써 자신의 파라미터들을 fine-tuning하도록 한 후, 상기 나머지 원본 데이터에 상기 파라미터들을 사용한 지원 뉴럴 네트워크 연산을 가하도록 함으로써 상기 예비 학습 데이터를 생성하도록 하는 것을 특징으로 하는 장치.
제 13항에 있어서,
상기 (I) 프로세스는,
상기 프로세서가, 상기 특정 원본 데이터를, 상기 업무 숙련도가 상기 임계치 이상인 고숙련 집단에 포함된 전문 작업 인원들에게 제공함으로써 상기 레퍼런스 학습 데이터를 획득하는 것을 특징으로 하는 장치.
제 13항에 있어서,
상기 (II) 프로세스는,
상기 프로세서가, 상기 예비 학습 데이터 중 하나인 특정 예비 학습 데이터를 상기 제1 최적화 포맷 내지 상기 제N 최적화 포맷 중 하나인 특정 최적화 포맷을 통해 상기 비전문 작업 인원 중 하나인 특정 비전문 작업 인원에게 제공함으로써, 상기 특정 비전문 작업 인원이 상기 특정 예비 학습 데이터의 상태에 대한 특정 인디케이팅 밸류를 입력할 수 있도록 지원하고, 이를 통해 상기 보정 데이터 중 적어도 일부인 특정 보정 데이터를 획득하는 것을 특징으로 하는 장치.
제 13항에 있어서,
상기 (II) 프로세스는,
상기 프로세서는, 소정 데이터베이스에 저장된, 각각의 상기 비전문 작업 인원들에 대한 각각의 업무 평가 스코어를 참조로 하여 상기 예비 학습 데이터를 상기 비전문 작업 인원들에게 분배하는 것을 특징으로 하는 장치.
제 20항에 있어서,
상기 업무 평가 스코어는, 각각의 상기 비전문 작업 인원들의 정답률 값, 커리어 정보 및 참여도 값 중 적어도 일부를 포함하는 것을 특징으로 하는 장치.
제 21항에 있어서,
상기 프로세서는, 상기 비전문 작업 인원들 중 하나인 특정 비전문 작업 인원에게, 상기 예비 학습 데이터 외에, 그 정답 정보가 기획득된 검증용 데이터를 함께 제공하고, 상기 특정 비전문 작업 인원이 상기 검증용 데이터에 대해 생성한 검증용 보정 데이터가 상기 정답 정보에 합치하는지 판단한 후, 상기 판단 결과를 참조로 하여 상기 특정 비전문 작업 인원에 대한 특정 정답률 값을 업데이트하는 것을 특징으로 하는 장치.
제 22항에 있어서,
상기 프로세서는, 상기 특정 비전문 작업 인원에게, 상기 특정 정답률 값과, 상기 검증용 데이터의 양에 대한 상기 예비 학습 데이터의 양의 비율이 비례하도록 하여 상기 검증용 데이터 및 상기 예비 학습 데이터를 제공하는 것을 특징으로 하는 장치.
제 21항에 있어서,
상기 (II) 프로세스는,
상기 프로세서가, 상기 비전문 작업 인원들 중 하나인 제1 특정 비전문 작업 인원에 대응하는 제1 특정 정답률 값을 참조로 하여, 상기 제1 최적화 포맷 내지 제N 최적화 포맷 중 제K1 최적화 포맷 - K1은 1 이상 N 이하의 정수임 - 을 선택한 후 상기 제K1 최적화 포맷을 통해 상기 예비 학습 데이터 중 적어도 일부를 제공하고, 상기 비전문 작업 인원들 중 하나인 제2 특정 비전문 작업 인원에 대응하는 제2 특정 정답률 값을 참조로 하여, 상기 제1 최적화 포맷 내지 제N 최적화 포맷 중 제K2 최적화 포맷 - K2는 1 이상 N 이하의 정수임 - 을 선택한 후 상기 제K2 최적화 포맷을 통해 상기 예비 학습 데이터 중 적어도 일부를 제공하되,
상기 제1 특정 정답률 값이 상기 제2 특정 정답률 값보다 큰 경우, 상기 제K1 최적화 포맷의 복잡도 값은 상기 제K2 최적화 포맷의 복잡도 값보다 큰 것을 특징으로 하는 장치.