KR20210154069A - 모델을 트레이닝하는 방법, 장치, 기기 및 저장 매체 - Google Patents

Abstract

본 출원은 지식 그래프, 자연어 처리, 심층학습 기술 분야에 관한 것으로, 모델을 트레이닝하는 방법, 장치, 기기 및 저장 매체를 개시한다. 구체적인 구현 방안으로는, 제1 레이블 데이터 세트를 획득하고 - 제1 레이블 데이터 세트는 샘플 데이터와 샘플 데이터에 대응되는 레이블 분류 결과를 포함함 -, 제1 레이블 데이터 세트에 따라 사전 설정된 초기 분류 모델을 트레이닝하여 중간 모델을 획득하고, 중간 모델을 이용하여 제1 레이블 데이터 세트 내의 샘플 데이터에 대해 예측을 수행하여 샘플 데이터에 대응되는 예측 분류 결과를 획득하고, 샘플 데이터, 대응되는 레이블 분류 결과 및 대응되는 예측 분류 결과에 따라 제2 레이블 데이터 세트를 생성하고 제2 레이블 데이터 세트에 따라 중간 모델을 트레이닝하여 분류 모델을 획득하는 것이다. 본 구현방식은 고 노이즈의 레이블 데이터를 효율적으로 활용하여, 훈련을 통해 활용성이 높은 모델을 얻을 수 있으므로, 데이터의 활용도를 향상시킬 수 있다.

Description

모델을 트레이닝하는 방법, 장치, 기기 및 저장 매체{METHOD, APPARATUS, DEVICE AND STORAGE MEDIUM FOR TRAINING MODEL}

본 출원은 컴퓨터 기술 분야에 관한 것으로, 구체적으로 지식 그래프 분야, 자연어 처리, 심층학습 분야에 관한 것이고, 특히 모델을 트레이닝하는 방법, 장치, 기기 및 저장 매체에 관한 것이다.

시맨틱(어의) 매칭 기술은 자연어 처리 분야의 중요한 기술 방향으로, 업무에도 광범위하게 응용되고 있고 응용의 초석 역할을 하고 있다. 시맨틱 매칭 기술은 간단히 말하면 2개의 문자열을 어의 이해를 거쳐, 그 어의에 따라 유사도 매칭을 수행하는 기술이다. 시맨틱 매칭 기술은 자연어 처리 분야에서 줄곧 상당히 중요한 위치를 차지할 뿐만 아니라, 랭킹, 추천 및 질문-응답 등 다양한 업무 분야에 광범위하게 응용되는 바, 연구 및 업무에 있어서 없어서는 안되는 부분이다.

그러나 시맨틱 매칭 모델을 트레이닝하는 데이터는 줄곧 과학 연구와 업무에서의 그 광범위한 응용을 제한하는 근원이었다. 시맨틱 매칭 모델을 트레이닝하는 데이터에 있어서, 일부 표준이 보다 모호한 매칭 수요에 대해, 데이터 레이블링이 상대적으로 어려워, 틀린 레이블링이 아주 많이 나타나게 되고, 또한 아주 많은 노이즈가 발생하게 된다. 따라서, 노이즈를 극복하고 고효율적이고 정확한 시맨틱 매칭 모델을 트레이닝하는 것이 시맨틱 매칭 모델 효과를 더욱 추진할 수 있는 방법이 될 수 있다.

모델을 트레이닝하는 방법, 장치, 기기 및 저장 매체가 제공된다.

첫 번째 측면에 따르면, 모델을 트레이닝하는 방법이 제공되는 바, 제1 레이블 데이터 세트를 획득하는 단계 - 상술한 제1 레이블 데이터 세트는 샘플 데이터와 샘플 데이터에 대응되는 레이블 분류 결과를 포함하고 샘플 데이터는 텍스트 데이터, 이미지 데이터, 음성 데이터 또는 영상 데이터를 포함함 - ; 상술한 제1 레이블 데이터 세트에 따라 사전 설정된 초기 분류 모델을 트레이닝하여 중간 모델을 획득하는 단계; 상술한 중간 모델을 이용하여 상술한 제1 레이블 데이터 세트 내의 샘플 데이터에 대해 예측을 수행하여 상술한 샘플 데이터에 대응되는 예측 분류 결과를 획득하는 단계; 상술한 샘플 데이터, 대응되는 레이블 분류 결과 및 대응되는 예측 분류 결과에 따라 제2 레이블 데이터 세트를 생성하는 단계; 및 상술한 제2 레이블 데이터 세트에 따라 상술한 중간 모델을 트레이닝하여 분류 모델을 획득하는 단계를 포함한다.

두 번째 측면에 따르면, 모델을 트레이닝하는 장치가 제공되는 바, 제1 레이블 데이터 세트를 획득하도록 구성되는 획득 유닛 - 상술한 제1 레이블 데이터 세트는 샘플 데이터와 샘플 데이터에 대응되는 레이블 분류 결과를 포함하고 샘플 데이터는 텍스트 데이터, 이미지 데이터, 음성 데이터 또는 영상 데이터를 포함함 - ; 상술한 제1 레이블 데이터 세트에 따라 사전 설정된 초기 분류 모델을 트레이닝하여 중간 모델을 획득하도록 구성되는 제1 트레이닝 유닛; 상술한 중간 모델을 이용하여 상술한 제1 레이블 데이터 세트 내의 샘플 데이터에 대해 예측을 수행하여 상술한 샘플 데이터에 대응되는 예측 분류 결과를 획득하도록 구성되는 예측 유닛; 상술한 샘플 데이터, 대응되는 레이블 분류 결과 및 대응되는 예측 분류 결과에 따라 제2 레이블 데이터 세트를 생성하도록 구성되는 생성 유닛; 및 상술한 제2 레이블 데이터 세트에 따라 상술한 중간 모델을 트레이닝하여 분류 모델을 획득하도록 구성되는 제2 트레이닝 유닛을 포함한다.

세 번째 측면에 따르면, 모델을 트레이닝하는 전자 기기가 제공되는 바, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 통신적으로 연결되는 메모리를 포함하고, 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되어 있고, 상기 명령어는 적어도 하나의 프로세서에 의해 실행됨으로써 적어도 하나의 프로세서에 의해 제1 측면에 따른 방법을 수행될 수 있도록 한다.

네 번째 측면에 따르면, 컴퓨터 명령어가 저장되어 있는 비일시적 컴퓨터 판독 가능한 저장 매체가 제공되는 바, 상술한 컴퓨터 명령어는 컴퓨터가 제1 측면에 따른 방법을 수행하도록 한다.

본 출원의 기술에 따르면 고 노이즈의 레이블링된 데이터를 효율적으로 활용하여, 훈련을 통해 활용성이 높은 모델을 얻을 수 있으므로, 데이터의 활용도를 향상시킬 수 있다.

이 부분에서 설명하는 내용은 본 개시의 실시예의 핵심 또는 중요 특징을 표식하고자 하는 것이 아니며 본 개시의 범위를 한정하고자 하는 것도 아님을 이해하여야 한다. 본 개시의 기타의 특징은 아래의 명세서를 통해 이해하기 용이해질 것이다.

첨부도면은 본 방안을 더 잘 이해하기 위한 것으로, 본 출원을 한정하지 않는다. 여기서,
도 1은 본 출원의 일 실시예가 응용될 수 있는 예시적인 시스템 아키텍처 도면이다.
도 2는 본 출원에 따른 모델을 트레이닝하는 방법의 일 실시예의 흐름도이다.
도 3은 본 출원에 따른 모델을 트레이닝하는 방법의 일 응용 시나리오의 개략도이다.
도 4는 본 출원에 따른 모델을 트레이닝하는 방법의 다른 일 실시예의 흐름도이다.
도 5는 본 출원에 따른 모델을 트레이닝하는 장치의 일 실시예의 개략적인 구조도이다.
도 6은 본 출원의 실시예의 모델을 트레이닝하는 방법을 구현하기 위한 전자 기기의 블록도이다.

아래, 첨부도면과 결부하여 본 출원의 예시적인 실시예를 설명하고자 하는데, 여기에는 이해를 도모하고자 본 출원의 실시예의 다양한 세부사항이 포함되어 있는 바, 이는 단지 예시적인 것으로만 간주되어야 한다. 따라서, 당업자라면 본 출원의 범위와 사상에 위배되지 않는 한 여기서 설명하는 실시예에 대해 다양한 변경 및 수정이 가능하다는 것을 이해할 것이다. 마찬가지로, 간단명료한 설명을 위해, 이하에서 공지된 기능과 구조에 대한 설명을 생략하기로 한다.

부연하면, 상충되지 않는 한, 본 출원의 실시예 및 실시예에서의 특징은 서로 조합될 수 있다. 아래, 첨부도면을 참조하고 실시예를 결부하여 본 출원을 상세히 설명하고자 한다.

도 1은 본 출원의 모델을 트레이닝하는 방법 또는 모델을 트레이닝하는 장치의 실시예를 응용 가능한 예시적인 시스템 아키텍처(100)를 도시한다. 도 1에 도시한 바와 같이, 시스템 아키텍처(100)는 단말 기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말 기기(101, 102, 103) 및 서버(105) 사이에서 통신 링크를 제공하는 매체이다. 네트워크(104)는 다양한 연결 유형, 예컨대 유선, 무선 통신 링크 또는 광섬유 케이블 등을 포함할 수 있다.

사용자는 단말 기기(101, 102, 103)를 사용하여 네트워크(104)를 통해 서버(105)와 인터랙션함으로써 메세지 등을 수신 또는 송신할 수 있다. 단말 기기(101, 102, 103)에는 다양한 메시징 클라이언트 애플리케이션, 예컨대 웹페이지 브라우징 애플리케이션, 음성 인식 애플리케이션 등이 설치될 수 있다.

단말 기기(101, 102, 103)는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 단말 기기(101, 102, 103)가 하드웨어인 경우, 다양한 전자 기기일 수 있는 바, 스마트폰, 태블릿 컴퓨터, 전자책 리더, 차량 탑재 컴퓨터, 랩톱 휴대형 컴퓨터 및 데스크톱 컴퓨터 등을 포함하나 이에 한정되지 않는다. 단말 기기(101, 102, 103)가 소프트웨어인 경우, 이상 나열한 전자 기기에 설치될 수 있다. 이는 복수의 소프트웨어 또는 소프트웨어 모듈(예컨대 분산 서비스를 제공함)로 구현될 수도 있고 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 이에 대한 특별한 제한은 없다.

서버(105)는 다양한 서비스를 제공하는 서버, 예컨대 단말 기기(101, 102, 103)에 분류 모델을 제공하는 백스테이지 서버일 수 있다. 백스테이지 서버는 트레이닝 샘플 데이터를 이용하여 초기 분류 모델을 트레이닝하여 타깃 분류 모델을 획득하고 타깃 분류 모델을 단말 기기(101, 102, 103)에 피드백할 수 있다.

부연하면, 서버(105)는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 서버(105)가 하드웨어인 경우, 복수의 서버로 구성되는 분산 서버 클러스터로 구현될 수도 있고 하나의 서버로 구현될 수도 있다. 서버(105)가 소프트웨어인 경우, 복수의 소프트웨어 또는 소프트웨어 모듈(예컨대 분산 서비스를 제공함)로 구현될 수도 있고 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 이에 대한 특별한 제한은 없다.

부연하면, 본 출원의 실시예에 의해 제공되는 모델을 트레이닝하는 방법은 일반적으로 서버(105)에 의해 수행된다. 따라서, 모델을 트레이닝하는 장치는 일반적으로 서버(105)에 설치된다.

도 1에서의 단말 기기, 네트워크 및 서버의 수는 단지 예시적인 것임을 이해하여야 한다. 구현의 필요에 따라, 임의 수의 단말 기기, 네트워크 및 서버가 구비될 수 있다.

계속하여 도 2를 참조하면, 본 출원에 따른 모델을 트레이닝하는 방법의 일 실시예의 흐름(200)이 도시되어 있다. 본 실시예의 모델을 트레이닝하는 방법은 하기 단계들을 포함한다.

단계201, 제1 레이블 데이터 세트를 획득한다.

본 실시예에서, 모델을 트레이닝하는 방법의 수행주체(예컨대 도 1에 도시한 서버(105))는 우선 제1 레이블 데이터 세트를 획득할 수 있다. 상술한 제1 레이블 데이터 세트는 샘플 데이터 및 샘플 데이터에 대응되는 레이블 분류 결과를 포함할 수 있다. 상술한 샘플 데이터는 텍스트 데이터, 이미지 데이터, 영상 데이터, 음성 데이터 등을 포함할 수 있다. 레이블 분류 결과는 샘플 데이터에 대해 수동으로 레이블링한 것일 수 있고, 이는 샘플 데이터가 속하는 카테고리를 표시할 수 있다. 예컨대, 샘플 데이터가 자동차 이미지인 경우, 레이블 분류 결과는 ‘자동차’일 수 있다.

단계202, 제1 레이블 데이터 세트에 따라 사전 설정된 초기 분류 모델을 트레이닝하여 중간 모델을 획득한다.

본 실시예에서, 수행주체는 제1 레이블 데이터 세트를 획득한 후, 제1 레이블 데이터 세트를 이용하여 사전 설정된 초기 분류 모델을 트레이닝하여 중간 모델을 획득할 수 있다. 트레이닝 시, 제1 레이블 데이터 세트 내의 일부 데이터 또는 모든 데이터를 이용하여 초기 분류 모델을 트레이닝할 수 있다. 수행주체는 제1 레이블 데이터 세트 내의 샘플 데이터를 초기 분류 모델의 입력으로 하고 입력된 샘플 데이터에 대응되는 레이블 분류 결과를 예상 출력으로 하여 중간 모델을 획득할 수 있다. 상술한 초기 분류 모델은 임의의 심층학습 모델, 예컨대 신경망 등을 포함할 수 있다.

단계203, 중간 모델을 이용하여 제1 레이블 데이터 세트 내의 샘플 데이터에 대해 예측을 수행하여 샘플 데이터에 대응되는 예측 분류 결과를 획득한다.

중간 모델을 트레이닝하여 획득한 후, 수행주체는 제1 레이블 데이터 세트 내의 샘플 데이터를 상술한 중간 모델에 입력하여 제1 레이블 데이터 세트 내의 샘플 데이터에 대해 예측을 수행할 수 있다. 중간 모델은 샘플 데이터가 사전 설정된 각 카테고리에 속하게 되는 확률을 판단하여 예측 분류 결과를 획득할 수 있다. 여기서, 예측 분류 결과는 복수의 예측 확률값을 포함할 수도 있고 샘플 데이터가 속하는 카테고리를 포함할 수도 있다. 예컨대, 사전 설정된 카테고리는 카테고리1, 2, 3, 4를 포함할 수 있다. 중간 모델에 의해 획득한 예측 분류 결과는 0.2, 0.3, 0.1, 0.4일 수도 있고 카테고리4일 수도 있다. 여기서 카테고리4는 예측 확률값 중의 최대치에 대응되는 카테고리이다.

단계204, 샘플 데이터, 대응되는 레이블 분류 결과 및 대응되는 예측 분류 결과에 따라 제2 레이블 데이터 세트를 생성한다.

수행주체는 예측 분류 결과를 획득한 후, 샘플 데이터 및 레이블 분류 결과를 결합하여 제2 레이블 데이터 세트를 생성할 수 있다. 제2 레이블 데이터 세트는 샘플 데이터 및 샘플 데이터에 대응되는 업데이트된 레이블링 결과를 포함할 수도 있다는 것을 이해할 수 있다. 여기서, 제2 레이블 데이터 세트 내의 샘플 데이터는 제1 레이블 데이터 세트 내의 샘플 데이터와 같을 수 있고, 업데이트된 레이블링 결과는 레이블 분류 결과 및 예측 분류 결과를 포함할 수 있다. 예컨대, 샘플 데이터A에 있어서, 그 레이블 분류 결과는 1이고 예측 분류 결과는 2이다. 제2 레이블링된 데이터 세트는 샘플 데이터A 및 업데이트된 레이블링 결과1과 2를 포함할 수 있다.

본 실시예의 일부 선택적인 구현방식에서, 예측 분류 결과는 사전 설정 카테고리의 예측 확률값을 포함한다. 수행주체는 도 2에 도시하지 않은, 레이블 분류 결과 및 각 예측 확률값에 따라 샘플 데이터의 업데이트된 레이블링 결과를 결정하는 단계 및 샘플 데이터 및 업데이트된 레이블링 결과에 따라 제2 레이블 데이터 세트를 생성하는 단계를 통해 제2 레이블 데이터 세트를 생성할 수 있다.

본 구현방식에서, 수행주체는 레이블 분류 결과 및 각 예측 확률값에 따라 샘플 데이터의 업데이트된 레이블링 결과를 결정할 수 있다. 상술한 업데이트된 레이블링 결과는 레이블 분류 결과에 대응되는 카테고리도 포함하고 각 예측 확률값 또는 예측된 카테고리도 포함한다. 그 다음, 수행주체는 샘플 데이터 및 업데이트된 레이블링 결과에 따라 제2 레이블 데이터 세트를 생성할 수 있다. 구체적으로, 수행주체는 하기 두 가지 구현방식으로 업데이트된 레이블링 결과를 결정할 수 있다.

구현방식1: 각 예측 확률값 및 레이블 분류 결과에 포함되는 카테고리를 사전 설정 순서에 따라 정렬하고 정렬 결과를 업데이트된 레이블링 결과로 한다.

본 구현방식에서, 수행주체는 각 예측 확률값 및 레이블 분류 결과에 포함되는 카테고리를 사전 설정 순서에 따라 정렬하고, 정렬 결과를 업데이트된 레이블링 결과로 할 수 있다. 예컨대, 사전 설정된 카테고리는 카테고리1, 2, 3, 4를 포함할 수 있다. 중간 모델에 의해 획득된 예측 분류 결과는 0.2, 0.3, 0.1, 0.4일 수 있다. 레이블 분류 결과에 포함되는 카테고리는 3이다. 업데이트된 레이블링 결과는 0.2, 0.3, 0.1, 0.4, 3일 수도 있고 3, 0.2, 0.3, 0.1, 0.4일 수도 있다.

구현방식2: 각 예측 확률값 중의 최대치에 대응되는 카테고리를 결정하고, 결정된 카테고리와 레이블 분류 결과에 포함되는 카테고리를 조합하여 업데이트된 레이블링 결과를 획득한다.

본 구현방식에서, 수행주체는 우선 각 예측 확률값 중의 최대치에 대응되는 카테고리를 결정할 수 있다. 예컨대, 사전 설정된 카테고리는 카테고리1, 2, 3, 4를 포함할 수 있다. 중간 모델에 의해 획득된 예측 분류 결과는 0.2, 0.3, 0.1, 0.4일 수 있는 바, 최대치에 대응되는 카테고리는 4이다. 레이블 분류 결과에 포함되는 카테고리가 3인 경우, 업데이트된 레이블링 결과는 4, 3일 수 있다.

단계205, 제2 레이블 데이터 세트에 따라 중간 모델을 트레이닝하여 분류 모델을 획득한다.

수행주체는 제2 레이블 데이터 세트를 획득한 후, 제2 레이블 데이터 세트를 이용하여 중간 모델을 트레이닝하여 분류 모델을 획득할 수 있다. 구체적으로, 레이블 분류 결과가 예측 분류 결과와 같은 경우, 수행주체는 당해 샘플을 양성 샘플로 할 수 있다. 레이블 분류 결과가 예측 분류 결과와 상이할 경우, 수행주체는 당해 샘플을 음성 샘플로 할 수 있다. 수행주체는 양성 샘플 및 음성 샘플을 각각 이용하여 중간 모델을 트레이닝하여 분류 모델을 획득할 수 있다.

계속하여 도 3을 참조하면, 이는 본 출원에 따른 모델을 트레이닝하는 방법의 일 응용 시나리오의 개략도를 도시한다. 도 3의 응용 시나리오에서, 서버(301)는 단말 기기(302)로부터 제1 레이블 데이터 세트를 획득할 수 있다. 그리고 제1 레이블 데이터 세트를 이용하여 사전 설정된 초기 분류 모델을 트레이닝하여 중간 모델을 획득할 수 있다. 그 다음, 제1 레이블 데이터 세트 및 예측 분류 결과에 따라 제2 레이블 데이터 세트를 획득할 수 있다. 서버(301)는 제2 레이블 데이터 세트를 이용하여 중간 모델을 계속하여 훈련하여 분류 모델을 획득할 수 있다. 그 다음, 수행주체는 분류 모델을 단말 기기(302)에 반환할 수 있다.

본 출원의 상술한 실시예에 의해 제공되는 모델을 트레이닝하는 방법은 고 노이즈의 레이블링된 데이터를 효율적으로 활용하여, 훈련을 통해 활용성이 높은 모델을 얻을 수 있으므로, 데이터의 활용도를 향상시킬 수 있다.

계속하여 도 4를 참조하면, 이는 본 출원에 따른 모델을 트레이닝하는 방법의 다른 일 실시예의 흐름(400)을 도시한다. 도 4에 도시한 바와 같이, 본 실시예의 모델을 트레이닝하는 방법은 하기 단계들을 포함할 수 있다.

단계401, 제1 레이블 데이터 세트를 획득한다.

단계402, 제1 레이블 데이터 세트에 따라 사전 설정된 초기 분류 모델을 트레이닝하여 중간 모델을 획득한다.

단계403, 중간 모델을 이용하여 제1 레이블 데이터 세트 내의 샘플 데이터에 대해 예측을 수행하여 샘플 데이터에 대응되는 예측 분류 결과를 획득한다.

단계404, 샘플 데이터, 대응되는 레이블 분류 결과 및 대응되는 예측 분류 결과에 따라 제2 레이블 데이터 세트를 생성한다.

단계401 내지 단계404의 원리는 단계201 내지 단계204의 원리와 유사하므로, 여기서 상세한 설명은 생략하기로 한다.

단계405, 제2 레이블 데이터 세트 내의 샘플 데이터를 중간 모델에 입력하여 출력 결과를 결정한다.

수행주체는 제2 레이블 데이터 세트 내의 샘플 데이터를 중간 모델에 입력하여 출력 결과를 획득할 수 있다. 당해 출력 결과는 각 분류에 대응되는 예측 확률을 포함한다.

단계406, 출력 결과, 레이블 분류 결과 및 예측 분류 결과에 따라 중간 모델의 손실함수 값을 결정한다.

본 실시예에서, 수행주체는 출력 결과, 레이블 분류 결과 및 예측 분류 결과에 따라 중간 모델의 손실함수 값을 결정할 수 있다. 구체적으로, 수행주체는 출력 결과와 레이블 분류 결과 및 예측 분류 결과를 각각 비교하여 출력 결과와 레이블 분류 결과 및 예측 분류 결과 간의 차이를 결정할 수 있다. 차이가 상대적으로 큰 비교 결과에 따라 중간 모델의 손실함수 값을 결정한다.

본 실시예의 일부 선택적인 구현방식에서, 수행주체는 도 4에 도시하지 않은, 출력 결과 및 레이블 분류 결과에 따라 제1 손실함수 값을 결정하는 단계; 출력 결과 및 예측 분류 결과에 따라 제2 손실함수 값을 결정하는 단계; 및 제1 손실함수 값 및 제2 손실함수 값에 따라 중간 모델의 손실함수 값을 결정하는 단계에 따라 중간 모델의 손실함수 값을 결정할 수 있다.

수행주체는 출력 결과와 레이블 분류 결과를 사전 설정된 손실함수에 대입하여 제1 손실함수 값을 획득할 수 있다. 여기서, 제1 손실함수 값은 하나의 값일 수도 있고 복수의 값일 수도 있다. 제1 손실함수가 하나의 값인 경우, 이는 최대 예측 확률값에 대응되는 카테고리에 해당한다. 제1 손실함수가 복수의 값인 경우, 이는 각 예측 확률값에 대응되는 카테고리에 해당한다.

마찬가지로, 수행주체는 출력 결과와 예측 분류 결과를 사전 설정된 손실함수에 대입하여 제2 손실함수 값을 획득할 수도 있다.

수행주체는 제1 손실함수 값과 제2 손실함수 값을 획득한 후, 양자를 가중하여 하나의 값을 얻고 당해 값을 중간 모델의 손실함수 값으로 할 수 있다.

본 실시예의 일부 선택적인 구현방식에서, 수행주체는, 제1 손실함수 값에 대응되는 제1 가중 및 제2 손실함수 값에 대응되는 제2 가중을 결정하는 단계; 및 제1 가중, 제2 가중, 제1 손실함수 값 및 제2 손실함수 값에 따라 중간 모델의 손실함수 값을 결정하는 단계를 통해 중간 모델의 손실함수 값을 결정할 수 있다.

본 구현방식에서, 우선 제1 손실함수 값에 대응되는 제1 가중 및 제2 손실함수 값에 대응되는 제2 가중을 결정할 수 있다. 여기서, 제1 가중과 제2 가중은 수동으로 입력할 수도 있고 다른 알고리즘(예컨대 무작위 알고리즘, 심층학습 알고리즘 등)에 의해 획득할 수도 있다. 그 다음, 제1 가중과 제1 손실함수 값을 곱하여 하나의 곱을 획득할 수 있다. 제2 가중과 제2 손실함수 값을 곱하여 다른 곱을 획득할 수 있다. 2개의 곱을 더하여 획득된 합의 값을 중간 모델의 손실함수 값으로 할 수 있다.

본 실시예의 일부 선택적인 구현방식에서, 상술한 제1 가중과 제2 가중은, 제1 레이블 데이터 세트 내의 노이즈 데이터의 비율에 따라 제1 가중과 제2 가중을 결정하는 단계를 통해 획득할 수 있다.

본 구현방식에서는 또한, 제1 레이블 데이터 세트 내의 노이즈 데이터의 비율을 결정할 수 있다. 구체적으로, 수행주체는 제1 레이블 데이터 세트에 대해 여러 회 샘플링할 수 있다. 매 회 샘플링에 의해 획득된 데이터에 대하여, 당해 데이터의 레이블링이 정확한지 여부를 결정한다. 정확한 경우, 당해 데이터는 노이즈 데이터에 속하지 않는다. 정확하지 않은 경우, 당해 데이터는 노이즈 데이터에 속한다고 간주한다. 샘플링된 데이터를 통계함으로써 제1 레이블 데이터 세트 내의 노이즈 데이터의 비율을 결정할 수 있다. 그 다음, 수행주체는 당해 비율에 따라 제1 가중과 제2 가중을 결정할 수 있다. 구체적으로, 제1 레이블 데이터 세트 내의 노이즈 데이터의 비율이 큰 경우, 제1 가중의 값을 적당히 낮출 수 있다. 비율이 비교작 경우, 제1 가중의 값을 적당히 높일 수 있다. 즉, 제1 가중의 값은 상술한 비율의 값에 반비례한다.

단계407, 손실함수 값에 따라 중간 모델의 파라미터를 조정하여 분류 모델을 획득한다.

수행주체는 상술한 손실함수 값에 따라 중간 모델의 파라미터를 조정하여 중간 모델의 파라미터에 대한 최적화를 구현하여 분류 모델을 획득할 수 있다.

본 출원의 상술한 실시예에 의해 제공되는 모델을 트레이닝하는 방법은, 출력 결과에 따라 2개의 손실함수 값을 획득하고 이러한 2개의 손실함수 값에 따라 최종의 손실함수 값을 계산할 수 있음으로써, 중간 모델 트레이닝의 정확도를 향상시키고 획득된 분류 모델이 더 정확하도록 한다.

나아가 도 5를 참조하면, 상술한 각 도면에 도시한 방법에 대한 구현으로, 본 출원은 모델을 트레이닝하는 장치의 일 실시예를 제공하는 바, 당해 장치 실시예는 도 2에 도시한 방법 실시예에 대응되고, 당해 장치는 구체적으로 다양한 전자 기기에 적용될 수 있다.

도 5에 도시한 바와 같이, 본 실시예의 모델을 트레이닝하는 장치(500)는 획득 유닛(501), 제1 트레이닝 유닛(502), 예측 유닛(503), 생성 유닛(504) 및 제2 트레이닝 유닛(505)을 포함한다.

획득 유닛(501)은 제1 레이블 데이터 세트를 획득하도록 구성된다. 여기서, 제1 레이블 데이터 세트는 샘플 데이터와 샘플 데이터에 대응되는 레이블 분류 결과를 포함하고 샘플 데이터는 텍스트 데이터, 이미지 데이터, 음성 데이터 또는 영상 데이터를 포함한다.

제1 트레이닝 유닛(502)은 제1 레이블 데이터 세트에 따라 사전 설정된 초기 분류 모델을 트레이닝하여 중간 모델을 획득하도록 구성된다.

예측 유닛(503)은 중간 모델을 이용하여 제1 레이블 데이터 세트 내의 샘플 데이터에 대해 예측을 수행하여 샘플 데이터에 대응되는 예측 분류 결과를 획득하도록 구성된다.

생성 유닛(504)은 샘플 데이터, 대응되는 레이블 분류 결과 및 대응되는 예측 분류 결과에 따라 제2 레이블 데이터 세트를 생성하도록 구성된다.

제2 트레이닝 유닛(505)은 제2 레이블 데이터 세트에 따라 중간 모델을 트레이닝하여 분류 모델을 획득하도록 구성된다.

본 실시예의 일부 선택적인 구현방식에서, 예측 분류 결과는 사전 설정 카테고리의 예측 확률값을 포함한다. 생성 유닛(504)은 도 5에 도시하지 않은 결정 모듈과 생성 모듈을 더 포함할 수 있다.

결정 모듈은 레이블 분류 결과 및 각 예측 확률값에 따라 샘플 데이터의 업데이트된 레이블링 결과를 결정하도록 구성된다.

생성 모듈은 샘플 데이터 및 업데이트된 레이블링 결과에 따라 제2 레이블 데이터 세트를 생성하도록 구성된다.

본 실시예의 일부 선택적인 구현방식에서, 결정 모듈은 나아가, 각 예측 확률값 및 레이블 분류 결과에 포함되는 카테고리를 사전 설정 순서에 따라 정렬하고, 상술한 정렬의 결과를 업데이트된 레이블링 결과로 하도록 구성된다.

본 실시예의 일부 선택적인 구현방식에서, 결정 모듈은 나아가, 각 예측 확률값 중의 최대치에 대응되는 카테고리를 결정하고, 결정된 카테고리와 레이블 분류 결과에 포함되는 카테고리를 조합하여 업데이트된 레이블링 결과를 획득하도록 구성된다.

본 실시예의 일부 선택적인 구현방식에서, 제2 트레이닝 유닛은 도 5에 도시하지 않은 출력 결과 결정 모듈, 손실함수 값 결정 모듈 및 모델 트레이닝 모듈을 더 포함할 수 있다.

출력 결과 결정 모듈은 제2 레이블 데이터 세트 내의 샘플 데이터를 중간 모델에 입력하여 출력 결과를 결정하도록 구성된다.

손실함수 값 결정 모듈은 출력 결과, 레이블 분류 결과 및 예측 분류 결과에 따라 중간 모델의 손실함수 값을 결정하도록 구성된다.

모델 트레이닝 모듈은 손실함수 값에 따라 중간 모델의 파라미터를 조정하여 분류 모델을 획득하도록 구성된다.

본 실시예의 일부 선택적인 구현방식에서, 손실함수 값 결정 모듈은 나아가, 출력 결과 및 레이블 분류 결과에 따라 제1 손실함수 값을 결정하고, 출력 결과 및 예측 분류 결과에 따라 제2 손실함수 값을 결정하고, 제1 손실함수 값 및 제2 손실함수 값에 따라 중간 모델의 손실함수 값을 결정하도록 구성된다.

본 실시예의 일부 선택적인 구현방식에서, 손실함수 값 결정 모듈은 나아가, 제1 손실함수 값에 대응되는 제1 가중 및 제2 손실함수 값에 대응되는 제2 가중을 결정하고, 제1 가중, 제2 가중, 제1 손실함수 값 및 제2 손실함수 값에 따라 중간 모델의 손실함수 값을 결정하도록 구성된다.

본 실시예의 일부 선택적인 구현방식에서, 손실함수 값 결정 모듈은 나아가, 제1 레이블 데이터 세트 내의 노이즈 데이터의 비율에 따라 제1 가중과 제2 가중을 결정하도록 구성된다.

모델을 트레이닝하는 장치(500)에서 기재한 유닛(501) 내지 유닛(505)는 각각 도 2를 참조하여 설명한 방법의 각 단계에 대응된다는 것을 이해하여야 한다. 이에 따라, 모델을 트레이닝하는 방법에 대하여 설명한 상술한 동작 및 특징들은 마찬가지로 장치(500) 및 이에 포함되는 유닛에 적용되므로, 여기서 상세한 설명은 생략하기로 한다.

본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 비일시적 컴퓨터 판독 가능한 저장 매체를 더 제공한다.

도 6에 도시한 바는, 본 출원의 실시예의 모델을 트레이닝하는 방법을 수행하는 전자 기기의 블록도이다. 전자 기기는 다양한 형식의 디지털 컴퓨터, 예컨대 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크벤치, 개인용 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 기타의 적합한 컴퓨터를 나타내고자 하는 것이다. 전자 기기는 또한 다양한 형태의 이동 장치, 예컨대 개인용 디지털 보조기, 셀룰러 폰, 스마트폰, 웨어러블 기기 및 기타의 유사한 컴퓨팅 장치를 나타낼 수 있다. 본 명세서에서 제시하는 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시일 뿐, 본 명세서에서 설명한 및/또는 요구하는 본 출원의 구현을 한정하고자 하는 것이 아니다.

도 6에 도시한 바와 같이, 당해 전자 기기는 하나 또는 복수의 프로세서(601), 메모리(602) 및 각 부품을 연결하는 인터페이스(고속 인터페이스 및 저속 인터페이스가 포함됨)를 포함한다. 각 부품은 서로 다른 버스를 이용하여 서로 연결되고 공통 메인보드에 설치되거나 또는 필요에 따라 기타의 방식으로 설치될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령어를 처리할 수 있는 바, 메모리 내 또는 메모리에는 저장되어 외부 입력/출력 장치(예컨대 인터페이스에 접속되는 디스플레이 기기)에 GUI의 그래픽 정보를 표시하는 명령어가 포함된다. 기타의 실시예에서, 필요에 따라 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있는 바, 각 전자 기기는 일부 필요한 동작을 제공한다(예컨대 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티프로세서 시스템으로서 동작함). 도 6에서는 하나의 프로세서(601)를 예로 들었다.

메모리(602)는 본 출원에 의해 제공되는 비일시적 컴퓨터 판독 가능한 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되어 있으며, 이에 따라 상기 적어도 하나의 프로세서에 의해 본 출원에서 제공되는 모델을 트레이닝하는 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능한 저장 매체는 컴퓨터 명령어를 저장하고, 당해 컴퓨터 명령어는 컴퓨터가 본 출원에 의해 제공되는 모델을 트레이닝하는 방법을 수행하도록 한다.

메모리(602)는 비일시적 컴퓨터 판독 가능한 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예를 들어 본 출원의 실시예의 모델을 트레이닝하는 방법에 대응되는 프로그램 명령어/모듈(예컨대 도9에 도시한 획득 유닛(501), 제1 트레이닝 유닛(502), 예측 유닛(503) 및 생성 유닛(504) 및 제2 트레이닝 유닛(505))을 저장할 수 있다. 프로세서(601)는 메모리(602)에 저장된 비일시적 소프트웨어 프로그램, 명령어 및 모듈을 실행함으로써 서버의 다양한 기능 응용 및 데이터 처리를 수행하는 바, 즉 상술한 방법 실시예의 모델을 트레이닝하는 방법을 구현한다.

메모리(602)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있고, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 있어서 필요한 응용 프로그램을 저장할 수 있고, 데이터 저장 영역은 모델 트레이닝을 수행하는 전자 기기의 사용에 따라 구축되는 데이터 등을 저장할 수 있다. 이 외에도, 메모리(602)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비일시적 메모리, 예컨대 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 기타의 비일시적 고체 상태 저장 디바이스를 더 포함할 수도 있다. 일부 실시예에서, 메모리(602)는 선택적으로 프로세서(601)에 대해 원격으로 설치되는 메모리를 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 모델 트레이닝을 수행하는 전자 기기에 연결될 수 있다. 상술한 네트워크의 실시예는 인터넷, 인트라넷, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.

모델을 트레이닝하는 방법을 수행하는 전자 기기는 입력 장치(603)와 출력 장치(604)를 더 포함할 수 있다. 프로세서(601), 메모리(602), 입력 장치(603) 및 출력 장치(604)는 기타의 방식으로 연결될 수 있는 바, 도 6에서는 버스를 통한 연결을 예로 든다.

입력 장치(603)는 입력되는 숫자 또는 문자(character) 정보를 수신하고 모델 트레이닝을 수행하는 전자 기기의 사용자 설정 및 기능 제어에 관련되는 키 신호 입력을 발생시킬 수 있는 바, 예컨대 숫자 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조종 스틱 등 입력 장치가 있다. 출력 장치(604)는 디스플레이 기기, 보조 조명장치(예컨대 LED) 및 촉각 피드백 장치(예컨대 진동 모터) 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시예에서 디스플레이 기기는 터치 스크린일 수 있다.

여기서 설명하는 시스템과 기술의 다양한 실시예는 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형ASIC(주문형 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시예는 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행되거나 및/또는 분석될 수 있고, 당해 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 당해 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터와 명령어를 수신하고, 데이터와 명령어를 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치로 전송할 수 있다.

이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램 가능 프로세서의 기계 명령어를 포함하며, 고급 절차 및/또는 객체지향 프로그래밍 언어, 및/또는 어셈블리어/기계어를 이용하여, 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용한 바와 같이, 용어 '기계 판독 가능한 매체'와 '컴퓨터 판독 가능한 매체'는 기계 명령어 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예컨대 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 가리키는 바, 기계 판독 가능한 신호로서의 기계 명령어를 수신하는 기계 판독 가능한 매체를 포함한다. 용어 '기계 판독 가능한 신호'는 기계 명령어 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 가리킨다.

사용자와의 인터랙션을 제공하기 위해, 여기서 설명하는 시스템과 기술을 컴퓨터에서 실시할 수 있는 바, 당해 컴퓨터는 사용자한테 정보를 디스플레이하기 위한 디스플레이 장치(예컨대 CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터) 및 키보드와 포인팅 장치(예컨대 마우스 또는 트랙볼) 를 포함하고, 사용자는 당해 키보드와 당해 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 기타 종류의 장치도 사용자와의 인터랙션을 제공하는 데 사용될 수 있는 바; 예를 들어, 사용자한테 제공되는 피드백은 임의 형식의 감각 피드백(예를 들어 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 임의 형식(소리 입력, 음성 입력 또는 촉각 입력을 포함함)으로 사용자로부터의 입력이 수신될 수 있다.

여기서 설명하는 시스템과 기술을 백스테이지 부품을 포함하는 컴퓨팅 시스템(예컨대 데이터 서버로서), 미들웨어를 포함하는 컴퓨팅 시스템(예컨대 애플리케이션 서버), 프런트 엔드 부품을 포함하는 컴퓨팅 시스템(예컨대 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터일 수 있는 바, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 네트워크 브라우저를 통하여, 여기서 설명하는 시스템 및 기술의 실시예과 인터랙션할 수 있음) 또는 이러한 백스테이지 부품, 미들웨어 또는 프런트 엔드 부품의 임의 조합을 포함하는 컴퓨팅 시스템에서 구현할 수 있다. 임의 형식 또는 매체의 디지털 데이터 통신(예컨대 통신 네트워크)으로 시스템의 부품을 서로 연결시킬 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 광대역 통신망(WAN) 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고, 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 이루는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계가 발생된다.

본 출원의 실시예에 따른 기술 방안은, 고 노이즈의 레이블링된 데이터를 효율적으로 활용하여, 훈련을 통해 활용성이 높은 모델을 얻을 수 있으므로, 데이터의 활용도를 향상시킬 수 있다.

위에서 제시한 다양한 형식의 흐름을 적용하여 단계들을 재배치, 증가 또는 삭제할 수 있음을 이해하여야 한다. 예컨대 본 출원에 기재된 각 단계들은, 본 출원에서 개시하는 기술 방안에 대한 기대 효과를 구현할 수만 있다면, 병행으로 실행될 수도 있고, 순차로 실행될 수도 있고, 서로 다른 순서로 실행될 수도 있는 것으로, 본 명세서는 이에 대해 한정하지 않는다.

상술한 구체적인 실시예는 본 출원의 보호 범위를 한정하지 않는다. 설계 요구와 기타 요소에 따른 다양한 수정, 조합, 서브 조합 및 치환이 가능하다는 점은 당업자에 있어서 자명할 것이다. 본 출원의 사상과 원칙 범위 내의 임의의 수정, 등가 치환 및 개량 등은 모두 본 출원의 보호 범위에 포함되어야 한다.

Claims (18)

1. 모델을 트레이닝하는 방법으로,
   제1 레이블 데이터 세트를 획득하는 단계 - 상기 제1 레이블 데이터 세트는 샘플 데이터와 샘플 데이터에 대응되는 레이블 분류 결과를 포함하고 상기 샘플 데이터는 텍스트 데이터, 이미지 데이터, 음성 데이터 또는 영상 데이터를 포함함 - ;
   상기 제1 레이블 데이터 세트에 따라 사전 설정된 초기 분류 모델을 트레이닝하여 중간 모델을 획득하는 단계;
   상기 중간 모델을 이용하여 상기 제1 레이블 데이터 세트 내의 샘플 데이터에 대해 예측을 수행하여 상기 샘플 데이터에 대응되는 예측 분류 결과를 획득하는 단계;
   상기 샘플 데이터, 대응되는 레이블 분류 결과 및 대응되는 예측 분류 결과에 따라 제2 레이블 데이터 세트를 생성하는 단계; 및
   상기 제2 레이블 데이터 세트에 따라 상기 중간 모델을 트레이닝하여 분류 모델을 획득하는 단계;
   를 포함하는 것을 특징으로 하는 모델을 트레이닝하는 방법.
2. 제1항에 있어서,
   상기 예측 분류 결과는 사전 설정 카테고리의 예측 확률값을 포함하고,
   상기 샘플 데이터, 대응되는 레이블 분류 결과 및 대응되는 예측 분류 결과에 따라 제2 레이블 데이터 세트를 생성하는 단계는,
   상기 레이블 분류 결과 및 각 예측 확률값에 따라 상기 샘플 데이터의 업데이트된 레이블링 결과를 결정하는 단계; 및
   상기 샘플 데이터 및 상기 업데이트된 레이블링 결과에 따라 제2 레이블 데이터 세트를 생성하는 단계;
   를 포함하는 것을 특징으로 하는 모델을 트레이닝하는 방법.
3. 제2항에 있어서,
   상기 레이블 분류 결과 및 각 예측 확률값에 따라 상기 샘플 데이터의 업데이트된 레이블링 결과를 결정하는 단계는,
   각 예측 확률값 및 상기 레이블 분류 결과에 포함되는 카테고리를 사전 설정 순서에 따라 정렬하는 단계; 및
   상기 정렬한 결과를 상기 업데이트된 레이블링 결과로 하는 단계;
   를 포함하는 것을 특징으로 하는 모델을 트레이닝하는 방법.
4. 제2항에 있어서,
   상기 레이블 분류 결과 및 각 예측 확률값에 따라 상기 샘플 데이터의 업데이트된 레이블링 결과를 결정하는 단계는,
   각 예측 확률값 중의 최대치에 대응되는 카테고리를 결정하는 단계; 및
   결정된 카테고리와 상기 레이블 분류 결과에 포함되는 카테고리를 조합하여 상기 업데이트된 레이블링 결과를 획득하는 단계;
   를 포함하는 것을 특징으로 하는 모델을 트레이닝하는 방법.
5. 제1항에 있어서,
   상기 제2 레이블 데이터 세트에 따라 상기 중간 모델을 트레이닝하여 분류 모델을 획득하는 단계는,
   상기 제2 레이블 데이터 세트 내의 샘플 데이터를 상기 중간 모델에 입력하여 출력 결과를 결정하는 단계;
   상기 출력 결과, 상기 레이블 분류 결과 및 상기 예측 분류 결과에 따라 상기 중간 모델의 손실함수 값을 결정하는 단계; 및
   상기 손실함수 값에 따라 상기 중간 모델의 파라미터를 조정하여 상기 분류 모델을 획득하는 단계;
   를 포함하는 것을 특징으로 하는 모델을 트레이닝하는 방법.
6. 제5항에 있어서,
   상기 출력 결과, 상기 레이블 분류 결과 및 상기 예측 분류 결과에 따라 상기 중간 모델의 손실함수 값을 결정하는 단계는,
   상기 출력 결과 및 상기 레이블 분류 결과에 따라 제1 손실함수 값을 결정하는 단계;
   상기 출력 결과 및 상기 예측 분류 결과에 따라 제2 손실함수 값을 결정하는 단계; 및
   상기 제1 손실함수 값 및 상기 제2 손실함수 값에 따라 상기 중간 모델의 손실함수 값을 결정하는 단계;
   를 포함하는 것을 특징으로 하는 모델을 트레이닝하는 방법.
7. 제6항에 있어서,
   상기 제1 손실함수 값 및 상기 제2 손실함수 값에 따라 상기 중간 모델의 손실함수 값을 결정하는 단계는,
   상기 제1 손실함수 값에 대응되는 제1 가중 및 상기 제2 손실함수 값에 대응되는 제2 가중을 결정하는 단계; 및
   상기 제1 가중, 상기 제2 가중, 상기 제1 손실함수 값 및 상기 제2 손실함수 값에 따라 상기 중간 모델의 손실함수 값을 결정하는 단계;
   를 포함하는 것을 특징으로 하는 모델을 트레이닝하는 방법.
8. 제7항에 있어서,
   상기 제1 손실함수 값에 대응되는 제1 가중 및 상기 제2 손실함수 값에 대응되는 제2 가중을 결정하는 단계는,
   상기 제1 레이블 데이터 세트 내의 노이즈 데이터의 비율에 따라 상기 제1 가중과 상기 제2 가중을 결정하는 단계를 포함하는 것을 특징으로 하는 모델을 트레이닝하는 방법.
9. 모델을 트레이닝하는 장치로서,
   제1 레이블 데이터 세트를 획득하도록 구성되는 획득 유닛 - 상기 제1 레이블 데이터 세트는 샘플 데이터와 샘플 데이터에 대응되는 레이블 분류 결과를 포함하고 상기 샘플 데이터는 텍스트 데이터, 이미지 데이터, 음성 데이터 또는 영상 데이터를 포함함 - ;
   상기 제1 레이블 데이터 세트에 따라 사전 설정된 초기 분류 모델을 트레이닝하여 중간 모델을 획득하도록 구성되는 제1 트레이닝 유닛;
   상기 중간 모델을 이용하여 상기 제1 레이블 데이터 세트 내의 샘플 데이터에 대해 예측을 수행하여 상기 샘플 데이터에 대응되는 예측 분류 결과를 획득하도록 구성되는 예측 유닛;
   상기 샘플 데이터, 대응되는 레이블 분류 결과 및 대응되는 예측 분류 결과에 따라 제2 레이블 데이터 세트를 생성하도록 구성되는 생성 유닛; 및
   상기 제2 레이블 데이터 세트에 따라 상기 중간 모델을 트레이닝하여 분류 모델을 획득하도록 구성되는 제2 트레이닝 유닛;
   을 포함하는 것을 특징으로 하는 모델을 트레이닝하는 장치.
10. 제9항에 있어서,
    상기 예측 분류 결과는 사전 설정 카테고리의 예측 확률값을 포함하고,
    상기 생성 유닛은
    상기 레이블 분류 결과 및 각 예측 확률값에 따라 상기 샘플 데이터의 업데이트된 레이블링 결과를 결정하도록 구성되는 결정 모듈; 및
    상기 샘플 데이터 및 상기 업데이트된 레이블링 결과에 따라 제2 레이블 데이터 세트를 생성하도록 구성되는 생성 모듈;
    을 포함하는 것을 특징으로 하는 모델을 트레이닝하는 장치.
11. 제9항에 있어서,
    상기 결정 모듈은 나아가,
    각 예측 확률값 및 상기 레이블 분류 결과에 포함되는 카테고리를 사전 설정 순서에 따라 정렬하고,
    상기 정렬한 결과를 상기 업데이트된 레이블링 결과로 하도록 더 구성되는 것을 특징으로 하는 모델을 트레이닝하는 장치.
12. 제10항에 있어서,
    상기 결정 모듈은 나아가,
    각 예측 확률값 중의 최대치에 대응되는 카테고리를 결정하고,
    결정된 카테고리와 상기 레이블 분류 결과에 포함되는 카테고리를 조합하여 상기 업데이트된 레이블링 결과를 획득하도록 더 구성되는 것을 특징으로 하는 모델을 트레이닝하는 장치.
13. 제9항에 있어서,
    상기 제2 트레이닝 유닛은
    상기 제2 레이블 데이터 세트 내의 샘플 데이터를 상기 중간 모델에 입력하여 출력 결과를 결정하도록 구성되는 출력 결과 결정 모듈;
    상기 출력 결과, 상기 레이블 분류 결과 및 상기 예측 분류 결과에 따라 상기 중간 모델의 손실함수 값을 결정하도록 구성되는 손실함수 값 결정 모듈; 및
    상기 손실함수 값에 따라 상기 중간 모델의 파라미터를 조정하여 상기 분류 모델을 획득하도록 구성되는 모델 트레이닝 모듈;
    을 포함하는 것을 특징으로 하는 모델을 트레이닝하는 장치.
14. 제13항에 있어서,
    상기 손실함수 값 결정 모듈은 나아가,
    상기 출력 결과 및 상기 레이블 분류 결과에 따라 제1 손실함수 값을 결정하고,
    상기 출력 결과 및 상기 예측 분류 결과에 따라 제2 손실함수 값을 결정하고,
    상기 제1 손실함수 값 및 상기 제2 손실함수 값에 따라 상기 중간 모델의 손실함수 값을 결정하도록 더 구성되는 것을 특징으로 하는 모델을 트레이닝하는 장치.
15. 제14항에 있어서,
    상기 손실함수 값 결정 모듈은 나아가,
    상기 제1 손실함수 값에 대응되는 제1 가중 및 상기 제2 손실함수 값에 대응되는 제2 가중을 결정하고,
    상기 제1 가중, 상기 제2 가중, 상기 제1 손실함수 값 및 상기 제2 손실함수 값에 따라 상기 중간 모델의 손실함수 값을 결정하도록 더 구성되는 것을 특징으로 하는 모델을 트레이닝하는 장치.
16. 제15항에 있어서,
    상기 손실함수 값 결정 모듈은 나아가,
    상기 제1 레이블 데이터 세트 내의 노이즈 데이터의 비율에 따라 상기 제1 가중과 상기 제2 가중을 결정하도록 더 구성되는 것을 특징으로 하는 모델을 트레이닝하는 장치.
17. 모델을 트레이닝하는 전자 기기로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 통신적으로 연결되는 메모리를 포함하고,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되어 있고, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행됨으로써 상기 적어도 하나의 프로세서가 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행할 수 있도록 하는 것을 특징으로 하는 모델을 트레이닝하는 전자 기기.
18. 컴퓨터 명령어가 저장되어 있는 비일시적 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 명령어는 컴퓨터가 제1항 내지 제8항 중 어느 한 항의 방법을 수행하도록 하는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능한 저장 매체.

Images