KR102514325B1

KR102514325B1 - 모델 훈련 시스템 및 방법과, 저장 매체

Info

Publication number: KR102514325B1
Application number: KR1020207018467A
Authority: KR
Inventors: 푸 첸; 퀴아오보 리아오
Original assignee: 화웨이 클라우드 컴퓨팅 테크놀러지 컴퍼니 리미티드
Priority date: 2017-11-29
Filing date: 2018-11-06
Publication date: 2023-03-24
Also published as: CN113762504A; KR20200093007A; US20200285978A1; JP7144117B2; CN109840591B; EP3709226A4; CA3091405A1; AU2018374912B2; AU2018374912A1; CN109840591A; JP2021504832A; EP3709226A1; JP7222036B2; JP2022000757A; WO2019105189A1

Abstract

본 발명은 모델 훈련 시스템 및 방법과, 저장 매체를 제공하고, 머신 러닝 분야에 관련된다. 모델 훈련 시스템은 클라우드 데이터 저장 플랫폼 및 클라우드 모델 훈련 플랫폼을 포함한다. 클라우드 데이터 저장 플랫폼은: 훈련 데이터를 저장하고; 훈련 데이터 호출 요청을 수신하고, 훈련 데이터 호출 요청에 기반하여 클라우드 모델 훈련 플랫폼에 데이터 호출 명령에 대응하는 훈련 데이터를 이출하도록 구성된다. 클라우드 모델 훈련 플랫폼은: 훈련 대상 모델을 획득하기 위해 모델 훈련 생성 명령을 수신하고; 훈련 데이터 호출 요청을 생성하고, 훈련 데이터 호출 요청을 클라우드 데이터 저장 플랫폼에 발신하며; 훈련 결과 모델을 획득하기 위해, 클라우드 데이터 저장 플랫폼으로부터 이출된 훈련 데이터를 사용함으로써 훈련 대상 모델을 훈련하도록 구성된다. 본 발명의 기술적 해결안에서, 훈련 데이터를 누설할 위험성이 감소될 수 있다.

Description

모델 훈련 시스템 및 방법과, 저장 매체

본 발명은 머신 러닝(machine learning) 분야에 관련되고, 특히, 모델 훈련(model training) 시스템 및 방법과, 저장 매체에 관련된다.

인공 지능(artificial intelligence) 및 컴퓨터 비전(computer vision)과 같은 분야에 딥 러닝(deep learning)이 널리 적용된다. 딥 러닝에서 모델 훈련이 수행될 필요가 있다. 모델 훈련 프로세스에서, 모델 개발자는 특정 모델을 설계할 필요가 있고, 데이터 세트(data set)를 사용함으로써 복수의 횟수의 반복적인 훈련을 수행하여, 기대되는 요구사항을 충족시키는 딥 러닝 모델을 획득한다. 데이터 세트는 훈련된 모델의 안정성 및 정확도가 기대되는 요구사항을 충족시키는지를 판정하는 데에 관건이다. 데이터 세트는 데이터 제공자에 의해 제공될 수 있다.

이 국면에서, 사용자는 데이터 제공자에서 데이터 다운로드 권한(data download permission)을 구매할 수 있다. 데이터 다운로드 권한이 승인된 후, 사용자는 데이터를 다운로드하고 데이터를 로컬로(locally) 저장할 수 있다. 모델 훈련이 수행될 필요가 있는 경우에, 로컬로 저장된 다운로드된 데이터는 모델 훈련을 구현하기 위해 모델 훈련 시스템에 복사된다. 그러나, 로컬로 저장된 다운로드된 데이터를 누설할 비교적 큰 위험이 있다.

훈련 데이터를 누설할 위험을 줄이기 위해, 이 출원은 모델 훈련 시스템 및 방법과, 저장 매체를 제공한다.

제1 측면에 따르면, 이 출원은 클라우드 데이터 저장 플랫폼(cloud data storage platform) 및 클라우드 모델 훈련 플랫폼(cloud model training platform)을 포함하는 모델 훈련 시스템(model training system)을 제공한다. 클라우드 데이터 저장 플랫폼은: 훈련 데이터를 저장하고; 훈련 데이터 호출 요청을 수신하고, 훈련 데이터 호출 요청에 기반하여 클라우드 모델 훈련 플랫폼에 데이터 호출 명령에 대응하는 훈련 데이터를 이출하도록(export) 구성된다. 클라우드 모델 훈련 플랫폼은: 모델 훈련 생성 명령을 수신하여 훈련 대상 모델(to-be-trained model)을 획득하고; 훈련 데이터 호출 요청을 생성하고, 훈련 데이터 호출 요청을 클라우드 데이터 저장 플랫폼에 발신하며; 훈련 대상 모델을 클라우드 데이터 저장 플랫폼으로부터 이출된 훈련 데이터를 사용함으로써 훈련하여, 훈련 결과 모델(training result model)을 획득하도록 구성된다.

제1 측면에 따르면, 제1 측면의 제1 가능한 구현에서, 모델 훈련 시스템은 데이터 검색 플랫폼(data retrieval platform) 및 인증 센터(authentication center)를 더 포함하고, 클라우드 데이터 저장 플랫폼은 인가 게이트웨이(authority gateway)를 포함한다. 데이터 검색 플랫폼은: 데이터 제공자에 의해 제공된 훈련 데이터에 기반하여 데이터 인덱스 테이블(data index table)을 수립하고; 검색 명령을 수신하고, 검색 명령에 따라 데이터 인덱스 테이블 내에서 데이터 검색을 수행하며, 검색 결과를 생성하고; 검색 결과에 대한 사용자 단말의 데이터 선택 명령을 수신하고, 데이터 선택 명령에 따라 인증 센터에 인증 허가 요청을 개시하도록(initiate) 구성되되, 인증 허가 요청은 훈련 데이터의 데이터 식별자를 포함한다. 인증 센터는: 인증 허가 요청을 수신하고, 인증 허가 요청에 기반하여 데이터 식별자의 데이터 토큰(data token)을 생성하며, 데이터 토큰을 인가 게이트웨이 및 사용자 단말에 전달하도록 구성된다. 클라우드 모델 훈련 플랫폼은 또한 인가 게이트웨이에 훈련 데이터 호출 요청을 발신하도록 구성되되, 훈련 데이터 호출 요청은 인증 센터에 의해 사용자 단말에 전달된 데이터 토큰을 포함한다. 인가 게이트웨이는: 제1 대응관계를 수립하고(제1 대응관계는 데이터 식별자 및 데이터 토큰 간의 일대일 대응관계(one-to-one correspondence)임); 훈련 데이터 호출 요청을 수신하고, 훈련 데이터 호출 요청 내의 데이터 토큰에 기반하여 타겟(target) 데이터 식별자를 찾으려 제1 대응관계를 탐색하며(타겟 데이터 식별자는 훈련 데이터 호출 요청 내의 데이터 토큰에 대응하는 데이터 식별자임); 클라우드 모델 훈련 플랫폼에 타겟 데이터 식별자에 대응하는 훈련 데이터를 이출하도록 구성된다.

제1 측면에 따르면, 제1 측면의 제2 가능한 구현에서, 모델 훈련 시스템은 데이터 검색 플랫폼 및 인증 센터를 더 포함하고, 클라우드 데이터 저장 플랫폼은 인가 게이트웨이 및 적어도 하나의 데이터 저장 서버를 포함한다. 데이터 검색 플랫폼은: 데이터 제공자에 의해 제공된 훈련 데이터에 기반하여 데이터 인덱스 테이블을 수립하고; 검색 명령을 수신하고, 검색 명령에 따라 데이터 인덱스 테이블 내에서 데이터 검색을 수행하며, 검색 결과를 생성하고; 검색 결과에 대한 사용자 단말의 데이터 선택 명령을 수신하고, 데이터 선택 명령에 따라 인증 센터에 인증 허가 요청을 개시하도록 구성되되, 인증 허가 요청은 훈련 데이터의 데이터 식별자를 포함한다. 인증 센터는: 인증 허가 요청을 수신하고, 인증 허가 요청에 기반하여 데이터 식별자의 데이터 토큰을 생성하며, 데이터 토큰을 인가 게이트웨이 및 사용자 단말에 전달하도록 구성된다. 클라우드 모델 훈련 플랫폼은 인가 게이트웨이에 훈련 데이터 호출 요청을 발신하도록 또한 구성되되, 훈련 데이터 호출 요청은 인증 센터에 의해 사용자 단말에 전달된 데이터 토큰을 포함한다. 인가 게이트웨이는: 제2 대응관계를 수립하고(제2 대응관계는 데이터 토큰 및 데이터 루트(data route) 간의 대응관계이고, 데이터 루트는 훈련 데이터의 유니폼 리소스 로케이터(uniform resource locator) 경로를 포함함); 훈련 데이터 호출 요청을 수신하고, 훈련 데이터 호출 요청 내의 데이터 토큰에 기반하여 타겟 데이터 루트를 찾으려 제2 대응관계를 탐색하며(타겟 데이터 루트는 훈련 데이터 호출 요청 내의 데이터 토큰에 대응하는 데이터 루트임); 타겟 데이터 저장 서버 내의 타겟 데이터 루트에 의해 지시된(indicated) 훈련 데이터를 클라우드 모델 훈련 플랫폼에 이출하기 위해 타겟 데이터 저장 서버를 액세스하도록(타겟 데이터 저장 서버는 타겟 데이터 루트에 대응하는 데이터 저장 서버임) 구성된다.

제1 측면의 제2 가능한 구현에 따르면, 제1 측면의 제3 가능한 구현에서, 모델 훈련 시스템은 액세스 라우터(access router)를 더 포함하고, 인가 게이트웨이는 액세스 라우터 내의 사전결정된 표준 액세스 인터페이스를 통해서 타겟 데이터 저장 서버로부터 타겟 데이터 루트에 의해 지시된 훈련 데이터를 이출한다.

제1 측면의 제1 가능한 구현 또는 제2 가능한 구현에 따르면, 제1 측면의 제4 가능한 구현에서, 인가 게이트웨이는 또한: 업데이트 판정 파라미터(update determining parameter)를 획득하고, 업데이트 판정 파라미터가 업데이트 조건을 충족시키는지를 판정하며; 만일 업데이트 판정 파라미터가 업데이트 조건을 충족시킴을 판정하는 경우 인증 센터에 업데이트 요청을 발신하고; 인증 센터와 동기식으로(synchronously) 데이터 토큰을 업데이트하도록 구성된다. 인증 센터는 또한: 업데이트 요청을 수신하고, 업데이트 요청에 기반하여 데이터 토큰을 업데이트하도록 구성된다.

제1 측면의 제4 가능한 구현에 따르면, 제1 측면의 제5 가능한 구현에서, 업데이트 판정 파라미터는 인증 허가 요청을 거절함의 총수(count)를 포함한다. 인가 게이트웨이는 또한: 인증 센터에 의해 인증 허가 요청을 처리하는 프로세스를 검출하고, 만일 인증 센터에 의해 인증 허가 요청을 거절함의 총수가 업데이트 조건 내의 거절 총수 업데이트 임계를 초과함을 검출하는 경우 인증 센터에 업데이터 요청을 발신하도록 구성된다.

제1 측면의 제5 가능한 구현에 따르면, 제1 측면의 제6 가능한 구현에서, 업데이트 판정 파라미터는 훈련 데이터를 호출함의 총수를 포함한다. 인가 게이트웨이는 또한: 시간 기간 내에 훈련 데이터를 호출함의 총수를 획득하고, 만일 시간 기간 내에 동일한 훈련 데이터를 호출함의 총수가 업데이터 조건 내의 호출 총수 업데이트 임계를 초과하는 경우 인증 센터에 업데이트 요청을 발신하도록 구성된다.

제1 측면에 따르면, 제1 측면의 제7 가능한 구현에서, 클라우드 모델 훈련 플랫폼은 또한: 훈련을 통해서 훈련 결과 모델을 획득한 후에, 클라우드 모델 훈련 플랫폼 내에서 훈련 결과 모델을 훈련하기 위해 사용된 훈련 데이터 및 훈련 대상 모델을 파기하도록 구성된다.

제1 측면에 따르면, 제1 측면의 제8 가능한 구현에서, 모델 훈련 시스템은 데이터 감사 시스템(data audit system)을 더 포함한다. 데이터 감사 시스템은: 데이터 제공자에 의해 업로드된 훈련 데이터에 대해 유효성 확인(validity verification)을 수행하고, 유효성 확인에서 실패한 훈련 데이터를 클라우드 데이터 저장 플랫폼 내에 저장하는 것을 거절하도록 구성된다.

제1 측면에 따르면, 제1 측면의 제9 가능한 구현에서, 모델 훈련 시스템은 클라우드 모델 저장 플랫폼(cloud model storage platform)을 더 포함한다. 클라우드 모델 저장 플랫폼은: 훈련 대상 모델을 제공하고, 훈련 결과 모델을 저장하도록 구성된다.

제1 측면의 제9 가능한 구현에 따르면, 제1 측면의 제10 가능한 구현에서, 모델 훈련 시스템은 미러 플랫폼(mirror platform) 및 모델 추론 플랫폼(model inference platform)을 더 포함한다. 미러 플랫폼은 모델 추론 런타임(runtime) 환경을 저장하도록 구성된다. 모델 추론 플랫폼은: 추론 요청을 수신하고(추론 요청은 처리 대상 데이터(to-be-processed data)를 포함함); 미러 플랫폼으로부터 모델 추론 런타임 환경을 로드하고(load), 클라우드 모델 저장 플랫폼으로부터 훈련 결과 모델을 호출하며, 처리 대상 데이터를 훈련 결과 모델 내에 모델 추론을 위해 이입하도록(import) 구성된다.

제2 측면에 따르면, 이 출원은 다음을 포함하는 모델 훈련 방법을 제공한다: 훈련 대상 모델을 획득하기 위해 모델 훈련 생성 명령을 클라우드 모델 훈련 플랫폼에 의해 수신하는 것; 클라우드 모델 훈련 플랫폼에 의해, 훈련 데이터 호출 요청을 생성하는 것과, 클라우드 데이터 저장 플랫폼 내에 저장된 훈련 데이터를 호출하기 위해, 클라우드 데이터 저장 플랫폼에 훈련 데이터 호출 요청을 발신하는 것; 클라우드 데이터 저장 플랫폼에 의해, 훈련 데이터 호출 요청을 수신하는 것과, 클라우드 모델 훈련 플랫폼에 훈련 데이터 호출 요청에 대응하는 훈련 데이터를 이출하는 것; 및 훈련 결과 모델을 획득하기 위해, 클라우드 데이터 저장 플랫폼으로부터 이출된 훈련 데이터를 사용함으로써 훈련 대상 모델을 클라우드 모델 훈련 플랫폼에 의해 훈련하는 것.

제2 측면에 따르면, 제2 측면의 제1 가능한 구현에서, 모델 훈련 방법은 다음을 더 포함한다: 데이터 검색 플랫폼에 의해, 데이터 제공자에 의해 제공된 훈련 데이터에 기반하여 데이터 인덱스 테이블을 수립하는 것; 데이터 검색 플랫폼에 의해, 검색 명령을 수신하는 것과, 검색 명령에 따라 데이터 인덱스 테이블 내에서 데이터 검색을 수행하는 것과, 검색 결과를 생성하는 것; 데이터 검색 플랫폼에 의해, 사용자 단말의 데이터 선택 명령을 수신하는 것과, 데이터 선택 명령에 따라 인증 센터에 인증 허가 요청을 개시하는 것(인증 허가 요청은 훈련 데이터의 데이터 식별자를 포함함); 인증 센터에 의해, 인증 허가 요청을 수신하는 것과, 인증 허가 요청에 기반하여 데이터 식별자의 데이터 토큰을 생성하는 것과, 데이터 토큰을 인가 게이트웨이 및 사용자 단말에 전달하는 것; 및 인가 게이트웨이에 의해, 전달된 데이터 토큰에 기반하여 제1 대응관계를 수립하는 것(제1 대응관계는 데이터 식별자 및 데이터 토큰 간의 일대일 대응관계임).

제2 측면의 제1 가능한 구현에 따르면, 제2 측면의 제2 가능한 구현에서, 클라우드 모델 훈련 플랫폼에 의해, 훈련 데이터 호출 요청을 생성하는 것과, 훈련 데이터 호출 요청을 클라우드 데이터 저장 플랫폼에 발신하는 것은 다음을 포함한다: 클라우드 모델 훈련 플랫폼에 의해, 훈련 데이터 호출 요청을 생성하는 것과, 훈련 데이터 호출 요청을 인가 게이트웨이에 발신하는 것(훈련 데이터 호출 요청은 인증 센터에 의해 사용자 단말에 전달된 데이터 토큰을 포함함). 클라우드 데이터 저장 플랫폼에 의해, 훈련 데이터 호출 요청을 수신하는 것과, 클라우드 모델 훈련 플랫폼에 훈련 데이터 호출 요청에 대응하는 훈련 데이터를 이출하는 것은 다음을 포함한다: 클라우드 데이터 저장 플랫폼 내의 인가 게이트웨이에 의해, 훈련 데이터 호출 요청을 수신하는 것과, 훈련 데이터 호출 요청 내의 데이터 토큰에 기반하여 타겟 데이터 식별자를 찾으려 제1 대응관계를 탐색하는 것과, 클라우드 모델 훈련 플랫폼에 타겟 데이터 식별자에 대응하는 훈련 데이터를 이출하는 것(타겟 데이터 식별자는 훈련 데이터 호출 요청 내의 데이터 토큰에 대응하는 데이터 식별자임).

제2 측면에 따르면, 제2 측면의 제3 가능한 구현에서, 모델 훈련 방법은 다음을 더 포함한다: 데이터 검색 플랫폼에 의해, 데이터 제공자에 의해 제공된 훈련 데이터에 기반하여 데이터 인덱스 테이블을 수립하는 것; 데이터 검색 플랫폼에 의해, 검색 명령을 수신하는 것과, 검색 명령에 따라 데이터 인덱스 테이블 내에서 데이터 검색을 수행하는 것과, 검색 결과를 생성하는 것과, 검색 결과를 발신하는 것; 데이터 검색 플랫폼에 의해, 검색 결과에 대한 사용자 단말의 데이터 선택 명령을 수신하는 것과, 데이터 선택 명령에 따라 인증 센터에 인증 허가 요청을 개시하는 것(인증 허가 요청은 훈련 데이터의 데이터 식별자를 포함함); 인증 센터에 의해, 인증 허가 요청을 수신하는 것과, 인증 허가 요청에 기반하여 데이터 식별자의 데이터 토큰을 생성하는 것과, 데이터 토큰을 인가 게이트웨이 및 사용자 단말에 전달하는 것; 및 인가 게이트웨이에 의해, 전달된 데이터 토큰에 기반하여 제2 대응관계를 수립하는 것(제2 대응관계는 데이터 토큰 및 데이터 루트 간의 대응관계이고, 데이터 루트는 훈련 데이터의 유니폼 리소스 로케이터 경로를 포함함).

제2 측면의 제3 가능한 구현에 따르면, 제2 측면의 제4 가능한 구현에서, 클라우드 모델 훈련 플랫폼에 의해, 훈련 데이터 호출 요청을 생성하는 것과, 훈련 데이터 호출 요청을 클라우드 데이터 저장 플랫폼에 발신하는 것은 다음을 포함한다: 클라우드 모델 훈련 플랫폼에 의해, 훈련 데이터 호출 요청을 생성하는 것과, 훈련 데이터 호출 요청을 인가 게이트웨이에 발신하는 것(훈련 데이터 호출 요청은 인증 센터에 의해 사용자 단말에 전달된 데이터 토큰을 포함함). 클라우드 데이터 저장 플랫폼에 의해, 훈련 데이터 호출 요청을 수신하는 것과, 클라우드 모델 훈련 플랫폼에 훈련 데이터 호출 요청에 대응하는 훈련 데이터를 이출하는 것은 다음을 포함한다: 클라우드 데이터 저장 플랫폼 내의 인가 게이트웨이에 의해, 훈련 데이터 호출 요청을 수신하는 것과, 훈련 데이터 호출 요청 내의 데이터 토큰에 기반하여 타겟 데이터 루트를 찾으려 제2 대응관계를 탐색하는 것(타겟 데이터 루트는 훈련 데이터 호출 요청 내의 데이터 토큰에 대응하는 데이터 루트임); 및 타겟 데이터 저장 서버 내에서 타겟 데이터 루트에 의해 지시된 훈련 데이터를 클라우드 모델 훈련 플랫폼에 이출하기 위해 타겟 데이터 저장 서버를 인가 게이트웨이에 의해 액세스하는 것(타겟 데이터 저장 서버는 타겟 데이터 루트에 대응하는 데이터 저장 서버임).

제2 측면 또는 제2 측면의 제1 가능한 구현 내지 제4 가능한 구현 중 임의의 것에 따르면, 제2 측면의 제5 가능한 구현에서, 모델 훈련 방법은 다음을 더 포함한다: 인가 게이트웨이에 의해, 업데이트 판정 파라미터를 획득하는 것과, 업데이트 판정 파라미터가 업데이트 조건을 충족시키는지를 판정하는 것; 인가 게이트웨이에 의해, 만일 업데이트 판정 파라미터가 업데이트 조건을 충족시킴을 판정하는 경우 인증 센터에 업데이트 요청을 발신하는 것; 인증 센터에 의해, 업데이트 요청을 수신하는 것과, 업데이트 요청에 기반하여 데이터 토큰을 업데이트하는 것; 및 인가 게이트웨이에 의해, 인증 센터와 동기식으로 데이터 토큰을 업데이트하는 것.

제2 측면의 제5 가능한 구현에 따르면, 제2 측면의 제6 가능한 구현에서, 업데이트 판정 파라미터는 인증 허가 요청을 거절함의 총수를 포함한다. 인가 게이트웨이에 의해, 업데이트 판정 파라미터를 판정하는 것과, 업데이트 판정 파라미터가 업데이트 조건을 충족시키는지를 판정하는 것은 다음을 포함한다: 인가 게이트웨이에 의해, 인증 센터에 의해 인증 허가 요청을 처리하는 프로세스를 검출하는 것과, 인증 센터에 의해 인증 허가 요청을 거절함의 총수를 획득하는 것과, 인증 센터에 의해 인증 허가 요청을 거절함의 총수가 업데이트 조건 내의 거절 총수 업데이트 임계를 초과하는지를 판정하는 것. 인가 게이트웨이에 의해, 만일 업데이트 판정 파라미터가 업데이트 조건을 충족시킴을 판정하는 경우 인증 센터에 업데이트 요청을 발신하는 것은 다음을 포함한다: 만일 인증 센터에 의해 인증 허가 요청을 거절함의 총수가 업데이트 조건 내의 거절 총수 업데이트 임계를 초과함이 검출되는 경우 인증 센터에 업데이트 요청을 발신하는 것.

제2 측면의 제5 가능한 구현에 따르면, 제2 측면의 제7 가능한 구현에서, 업데이트 판정 파라미터는 훈련 데이터를 호출함의 총수를 포함한다. 인가 게이트웨이에 의해, 업데이트 판정 파라미터를 획득하는 것과, 업데이트 판정 파라미터가 업데이트 조건을 충족시키는지를 판정하는 것은 다음을 포함한다: 인가 게이트웨이에 의해, 시간 기간 내에 훈련 데이터를 호출함의 총수를 획득하는 것과, 시간 기간 내에 동일한 훈련 데이터를 호출함의 총수가 업데이트 조건 내의 호출 총수 업데이트 임계를 초과하는지를 판정하는 것. 인가 게이트웨이에 의해, 만일 업데이트 판정 파라미터가 업데이트 조건을 충족시킴을 판정하는 경우 인증 센터에 업데이트 요청을 발신하는 것은 다음을 포함한다: 만일 시간 기간 내에 동일한 훈련 데이터를 호출함의 총수가 업데이트 조건 내의 호출 총수 업데이트 임계를 초과하는 경우 인증 센터에 업데이트 요청을 발신하는 것.

제2 측면에 따르면, 제2 측면의 제8 가능한 구현에서, 훈련 결과 모델을 획득하기 위해, 클라우드 데이터 저장 플랫폼으로부터 이출된 훈련 데이터를 사용함으로써 훈련 대상 모델을 클라우드 모델 훈련 플랫폼에 의해 훈련하는 것 후에, 방법은 다음을 더 포함한다: 클라우드 모델 훈련 플랫폼에 의해, 클라우드 모델 훈련 플랫폼 내에서 훈련 결과 모델을 훈련하기 위해 사용된 훈련 데이터 및 훈련 대상 모델을 파기하는 것.

제2 측면에 따르면, 제2 측면의 제9 가능한 구현에서, 모델 훈련 방법은 다음을 더 포함한다: 데이터 감사 시스템에 의해, 데이터 제공자에 의해 업로드된 훈련 데이터에 대한 유효성 확인을 수행하는 것; 및 데이터 감사 시스템에 의해, 유효성 확인에서 실패한 훈련 데이터를 클라우드 데이터 저장 플랫폼 내에 저장하는 것을 거부하는 것.

제2 측면에 따르면, 제2 측면의 제10 가능한 구현에서, 훈련 결과 모델을 획득하기 위해, 클라우드 데이터 저장 플랫폼으로부터 이출된 훈련 데이터를 사용함으로써 훈련 대상 모델을 클라우드 모델 훈련 플랫폼에 의해 훈련하는 것 후에, 방법은 다음을 더 포함한다: 클라우드 모델 저장 플랫폼에 의해, 훈련 결과 모델을 저장하는 것.

제2 측면의 제10 가능한 구현에 따르면, 제2 측면의 제11 가능한 구현에서, 모델 훈련 방법은 다음을 더 포함한다: 모델 추론 플랫폼에 의해, 추론 요청을 수신하는 것(추론 요청은 처리 대상 데이터를 포함함); 및 모델 추론 플랫폼에 의해, 미러 플랫폼으로부터 모델 추론 런타임 환경을 로드하는 것과, 클라우드 모델 저장 플랫폼으로부터 훈련 결과 모델을 호출하는 것과, 처리 대상 데이터를 훈련 결과 모델 내에 모델 추론을 위해 이입하는 것.

제3 측면에 따르면, 이 출원은 저장 매체를 제공하는데, 저장 매체는 프로그램을 저장하고, 프로그램이 프로세서에 의해 실행되는 경우에, 전술된 기술적 해결안에서의 모델 훈련 방법이 구현된다.

이 출원은 딥 러닝 시나리오에 적용될 수 있는 모델 훈련 시스템 및 방법과, 저장 매체를 제공한다. 모델 훈련 시스템은 클라우드 데이터 저장 플랫폼 및 클라우드 모델 훈련 플랫폼을 포함할 수 있다. 클라우드 데이터 저장 플랫폼은 훈련 데이터를 저장한다. 클라우드 모델 훈련 플랫폼은 모델 훈련의 실행을 트리거하기(trigger) 위해 사용자로부터 모델 훈련 생성 명령을 수신한다. 클라우드 모델 훈련 플랫폼은 클라우드 데이터 저장 플랫폼 내에 저장된 훈련 데이터를 호출하기 위해 클라우드 데이터 저장 플랫폼에 훈련 데이터 호출 요청을 발신한다. 클라우드 모델 훈련 플랫폼은 클라우드 데이터 저장 플랫폼으로부터 이출된 획득된 훈련 대상 모델 및 훈련 데이터를 사용함으로써 모델 훈련을 수행한다. 이 출원에서, 클라우드 데이터 저장 플랫폼 및 클라우드 모델 훈련 플랫폼은 서로 독립적이어서, 훈련 데이터 저장 및 모델 훈련의 두 기능이 분리된다. 클라우드 데이터 저장 플랫폼 및 클라우드 모델 훈련 플랫폼은 양자 모두 클라우드 시스템에 기반하여 구현되고, 클라우드 시스템 내에서 모델 훈련 프로세스가 수행된다. 모델 훈련을 수행하는 사용자는 훈련 데이터를 로컬로 다운로드할 수 없고, 훈련 데이터는 클라우드 데이터 저장 플랫폼 내에, 그리고 모델 훈련을 수행하고 있는 클라우드 모델 훈련 플랫폼 내에 저장된다. 다시 말해, 훈련 데이터는 로컬 사용자 측으로부터 누설될 수 없는바, 이로써 훈련 데이터를 누설하는 위험을 감소시킨다.

도 1은 본 발명의 실시예에 따른 모델 훈련 시스템의 적용 시나리오의 개략도이고,
도 2는 본 발명의 실시예에 따른 모델 훈련 시스템의 개략적인 구조도이며,
도 3은 본 발명의 다른 실시예에 따른 모델 훈련 시스템의 개략적인 구조도이고,
도 4는 본 발명의 또 다른 실시예에 따른 모델 훈련 시스템의 개략적인 구조도이며,
도 5는 본 발명의 실시예에 따른 모델 훈련 방법의 흐름도이고,
도 6은 본 발명의 실시예에 따른 모델 훈련 방법의 구체적인 구현의 흐름도이며,
도 7은 본 발명의 실시예에 따른 모델 훈련 방법의 다른 구체적인 구현의 흐름도이다.

본 발명의 실시예는 모델 훈련 시스템 및 방법과, 저장 매체를 제공하는데, 이는 딥 러닝(Deep Learning) 모델의 훈련 및 딥 러닝 모델의 적용을 구현하기 위해, 딥 러닝 시나리오에 적용될 수 있다. 예를 들어, 훈련된 딥 러닝 모델을 사용함으로써 추론이 수행된다. 본 발명의 실시예에서의 모델 훈련 시스템은 클라우드에서 모델 훈련 및 모델 추론과 같은 기능을 성취할 수 있다. 도 1은 본 발명의 실시예에 따른 모델 훈련 시스템의 적용 시나리오의 개략도이다. 도 1에 도시된 바와 같이, 모델 훈련 시스템은 클라우드 서비스 시스템에서 가동될 수 있고, 클라우드 서비스 시스템은 클라우드 시스템과, 외부 액세스 인터페이스를 제공하는 시스템 클러스터 게이트웨이를 포함할 수 있다. 사용자는 계정 및 암호를 사용함으로써 사용자 단말 및 네트워크를 통해서 클라우드 시스템을 액세스할 수 있다. 클라우드 시스템은 복수의 내부 네트워크 상호연동 서버를 포함한다. 모델 훈련 시스템은 데이터 모델 저장소를 사용함으로써 훈련 데이터 및 훈련 모델을 저장하고 제공할 수 있다. 모델 훈련 시스템은 딥 러닝 데이터베이스를 사용함으로써 모델 훈련 시스템 및 사용자 간의 사람-머신 상호작용(man-machine interaction)을 구현하고, 인증 서비스 시스템을 사용함으로써 사용자 및 모델 훈련 시스템의 다양한 권리에 대한 인증을 완료하며, 훈련 및 추론 시스템을 사용함으로써 모델 훈련 및 추론을 완료할 수 있다.

도 2는 본 발명의 실시예에 따른 모델 훈련 시스템의 개략적인 구조도이다. 도 2에 도시된 바와 같이, 모델 훈련 시스템은 클라우드 데이터 저장 플랫폼(11) 및 클라우드 모델 훈련 플랫폼(12)을 포함한다.

클라우드 데이터 저장 플랫폼(11)은: 훈련 데이터를 저장하고; 훈련 데이터 호출 요청을 수신하고, 훈련 데이터 호출 요청에 기반하여 클라우드 모델 훈련 플랫폼(12)에 데이터 호출 명령에 대응하는 훈련 데이터를 이출하도록 구성된다.

훈련 데이터는 훈련 모델에 의해 요구되는 데이터이다. 클라우드 데이터 저장 플랫폼(11)은 복수 개의 훈련 데이터를 저장할 수 있다. 훈련 데이터는 복수 개의 데이터를 포함하는 데이터 세트로서 간주될 수 있다. 훈련 데이터는 이미지, 비디오, 오디오 및 유사한 것을 포함할 수 있고, 여기에서 한정되지 않는다. 클라우드 데이터 저장 플랫폼(11)이 훈련 데이터를 저장하는 경우에, 데이터 식별자가 훈련 데이터에 할당될 수 있고, 데이터 식별자는 훈련 데이터를 식별하는 데에 사용되며 데이터 저장 위치를 탐색하기 위한 식별자로서 사용될 수 있다. 예에서, 상이한 훈련 데이터 간을 구별하기 위해, 훈련 데이터는 고유한 데이터 식별자를 갖는다. 다시 말해, 상이한 훈련 데이터의 데이터 식별자는 상이하다.

클라우드 데이터 저장 플랫폼(11)은 데이터 제공자에 의해 업로드된 훈련 데이터를 수신할 수 있다. 예를 들어, 데이터 제공자는 정보를 클라우드 데이터 저장 플랫폼(11)과 교환하기 위해, 하이퍼텍스트 전송 프로토콜(HyperText Transfer Protocol, HTTP)을 사용함으로써 클라이언트를 통해서 클라우드 시스템의 백엔드(back end)를 액세스할 수 있다. 예에서, 클라우드 데이터 저장 플랫폼(11)은 훈련 데이터를 업로드하기 위한 표준 프로토콜을 데이터 제공자에 제공할 수 있고, 표준 프로토콜은 데이터 포맷, 압축 포맷, 데이터 타입 및 유사한 것을 포함할 수 있다. 클라우드 데이터 저장 플랫폼(11)은 데이터 제공자에 의해 업로드된 훈련 데이터를 검출할 수 있고, 만일 데이터 제공자에 의해 업로드된 훈련 데이터가 표준 프로토콜에 부합하지 않음을 판정하는 경우, 클라우드 데이터 저장 플랫폼(11)은 표준 프로토콜에 부합하지 않는 훈련 데이터를 저장하는 것을 거절할 수 있다.

클라우드 데이터 저장 플랫폼(11) 내에 백업(backup) 영역이 설정될 수 있고, 백업 영역은 데이터 사고, 예를 들어, 오동작으로 인해 데이터가 복원될 수 없음을 피하기 위해 훈련 데이터를 백업하는 데에 사용될 수 있다.

훈련 데이터 호출 요청은 클라우드 모델 훈련 플랫폼(12)에 의해 생성되고 발신되며, 클라우드 모델 훈련 플랫폼(12)이 호출할 것을 요청하는 훈련 데이터가 훈련 데이터 호출 요청에 기반하여 학습될 수 있다. 예에서, 훈련 데이터 호출 요청은 데이터 식별자를 포함할 수 있다. 클라우드 데이터 저장 플랫폼(11)은 훈련 데이터 호출 요청을 수신하며, 훈련 데이터 호출 요청이 호출할 것을 요구하는 훈련 데이터에 대해 탐색하고, 클라우드 모델 훈련 플랫폼(12)이 이출된 훈련 데이터를 사용함으로써 모델 훈련을 수행하도록, 호출되도록 요청된 훈련 데이터를 클라우드 모델 훈련 플랫폼(12)에 이출할 수 있다.

클라우드 모델 훈련 플랫폼(12)은: 훈련 대상 모델(to-be-trained model)을 획득하기 위해 모델 훈련 생성 명령을 수신하고; 훈련 데이터 호출 요청을 생성하고, 훈련 데이터 호출 요청을 클라우드 데이터 저장 플랫폼(11)에 발신하며; 훈련 결과 모델을 획득하기 위해, 클라우드 데이터 저장 플랫폼(11)으로부터 이출된 훈련 데이터를 사용함으로써 훈련 대상 모델을 훈련하도록 구성된다.

클라우드 모델 훈련 플랫폼(12)은 사용자 또는 모델 제공자에 의해 업로드된 훈련 대상 모델을 획득할 수 있거나, 클라우드 시스템 내의 모델 데이터베이스로부터 훈련 대상 모델을 획득할 수 있다.

예에서, 사용자는 정보를 클라우드 모델 훈련 플랫폼(12)과 교환하기 위해, 하이퍼텍스트 전송 프로토콜을 사용함으로써 사용자 단말(20)을 통해서 클라우드 시스템의 백엔드를 액세스할 수 있다. 사용자는 모델 훈련 작업을 생성하도록 클라우드 모델 훈련 플랫폼(12)을 트리거하기 위해, 사용자 단말(20)을 사용함으로써 클라우드 모델 훈련 플랫폼(12)에 모델 훈련 생성 요청을 발신할 수 있다. 클라우드 모델 훈련 플랫폼(12)은 훈련 대상 모델 및 훈련 데이터를 사용함으로써 모델 훈련을 수행할 수 있다. 예를 들어, 모델 훈련은, 훈련된 모델, 즉, 훈련 결과 모델을 획득하기 위해, 복수의 횟수의 반복적 훈련을 위해 훈련 데이터가 훈련 대상 모델 내에 이입됨을 의미할 수 있다.

사용자, 데이터 제공자, 또는 모델 제공자는 사용자 단말(20)을 사용할 수 있음에 유의하여야 한다.

본 발명의 이 실시예에서의 클라우드 데이터 저장 플랫폼(11)은 도 1에서의 데이터 모델 저장소의 일부로서 간주될 수 있다. 본 발명의 이 실시예에서의 클라우드 모델 훈련 플랫폼(12)은 도 1에서의 훈련 및 추론 시스템의 일부로서 간주될 수 있다.

본 발명의 이 실시예에서, 클라우드 데이터 저장 플랫폼(11) 및 클라우드 모델 훈련 플랫폼(12)은 서로 독립적이어서, 훈련 데이터 저장 및 모델 훈련의 두 기능이 분리된다. 클라우드 데이터 저장 플랫폼(11) 및 클라우드 모델 훈련 플랫폼(12)은 양자 모두 클라우드 시스템에 기반하여 구현되고, 클라우드 시스템 내에서 모델 훈련 프로세스가 수행된다. 모델 훈련을 수행하는 사용자는 훈련 데이터를 로컬로 다운로드할 수 없고, 훈련 데이터는 클라우드 데이터 저장 플랫폼(11) 내에, 그리고 모델 훈련을 수행하고 있는 클라우드 모델 훈련 플랫폼(12) 내에 저장된다. 다시 말해, 훈련 데이터는 로컬 사용자 측으로부터 누설될 수 없는바, 이로써 훈련 데이터를 누설하는 위험을 감소시킨다.

도 3은 본 발명의 다른 실시예에 따른 모델 훈련 시스템의 개략적인 구조도이다. 도 3은 도 2에서의 클라우드 데이터 저장 플랫폼(11)이 도 3에서의 인가 게이트웨이(111)를 더 포함한다는 점에서 도 2와 상이하고 도 3에 도시된 모델 훈련 시스템은 데이터 검색 플랫폼(13), 인증 센터(14), 데이터 감사 시스템(15), 클라우드 모델 저장 플랫폼(16), 미러 플랫폼(17) 및 모델 추론 플랫폼(18)을 더 포함할 수 있다.

데이터 검색 플랫폼(13)은 데이터 제공자에 의해 제공된 훈련 데이터에 기반하여 데이터 인덱스 테이블을 수립하도록 구성된다. 사용자는 데이터 검색 플랫폼(13)을 사용함으로써, 클라우드 데이터 저장 플랫폼(11) 내에 저장된 훈련 데이터에 대해 탐색하고 질의할 수 있다.

예에서, 데이터 제공자가 훈련 데이터를 업로드한 후에, 데이터 검색 플랫폼(13)은, 사용자가 훈련 데이터의 기본적인 정보를 알 수 있도록, 데이터 세트 크기, 데이터 세트 규모, 데이터 소유자 정보 및 데이터 업로드 일자와 같은 훈련 데이터의 기본적인 데이터 정보를 획득하기 위해 훈련 데이터를 분석하고 처리할 수 있다.

예에서, 클라우드 데이터 저장 플랫폼(11)은 데이터 제공자가 훈련 데이터를 업로드하는 경우에 훈련 데이터의 라벨(label)을 제공할 것을 데이터 제공자에게 또한 요구할 수 있다. 훈련 데이터의 라벨은 훈련 데이터의 특징을 나타낼 수 있다. 구체적으로, 훈련 데이터의 라벨은 훈련 데이터에 의해 나타내어진 콘텐트(content)의 키워드(keyword)일 수 있다. 예를 들어, 데이터 제공자가 훈련 데이터를 업로드하는 경우에, 훈련 데이터를 위해 표시된 라벨은 "면허증" 및 "소형 차"이다. 데이터 인덱스 테이블을 수립하는 프로세스에서, 훈련 데이터를 검색하는 경우에 사용자가 검색을 위해 훈련 데이터의 특징을 사용할 수 있도록, 데이터 검색 플랫폼(13)은 또한 데이터 인덱스 테이블에 훈련 데이터의 라벨을 추가할 수 있다.

데이터 검색 플랫폼(13)은: 검색 명령을 수신하고, 검색 명령에 따라 데이터 인덱스 테이블 내에서 데이터 검색을 수행하며, 검색 결과를 생성하도록 구성된다. 구체적으로, 검색 명령은 하나 이상의 검색 키워드를 포함할 수 있고, 검색 키워드에 기반하여 데이터 인덱스 테이블 내의 훈련 데이터의 라벨에서 탐색이 수행될 수 있다. 검색 결과는 검색 명령 내의 검색 키워드에 관련된 훈련 데이터에 대한 정보, 예컨대 훈련 데이터의 명칭, 번호 및 키워드, 그리고 훈련 데이터 내의 일부 데이터 예를 포함할 수 있다. 예에서, 사용자가 검색 키워드에 가장 관련된 훈련 데이터를 더욱 직관적으로 획득할 수 있도록, 검색 결과는 검색 키워드에 대한 관련도에 기반하여 순차적으로 배열된 훈련 데이터에 대한 정보를 포함할 수 있다. 다른 예에서, 고정된 개수의 훈련 데이터에 대한 정보가 검색 키워드에 기반하여 검색된 훈련 데이터에 대한 정보로부터 검사를 통해서 무작위로 선택될 수 있고 사용자에 제공된다. 예를 들어, 각각의 검색 동안에 생성된 검색 결과는 약 10개의 훈련 데이터에 대한 정보를 포함한다. 데이터 검색 플랫폼(13)은 검색 결과를 사용자 단말(20)에 발신할 수 있고, 사용자 단말(20)은 검색 결과를 디스플레이할 수 있다.

검색 결과를 수신한 후에, 사용자는 사용자 단말(20)을 사용함으로써 검색 결과에 대한 데이터 선택 명령을 또한 발신할 수 있다. 데이터 검색 플랫폼은 검색 결과에 대한 사용자 단말(20)의 데이터 선택 명령을 수신하고, 데이터 선택 명령에 따라 인증 센터(140)에 인증 허가 요청을 개시한다. 데이터 선택 명령은 모델 훈련을 위해 요구되는 훈련 데이터를 판정하기 위해, 검색 결과 내의 한 개 이상의 훈련 데이터에 대한 정보를 선택할 것을 명령하는 데에 사용될 수 있다.

모델 훈련을 위해 요구되는 훈련 데이터가 판정된 후에, 인증 허가 요청은 인증 센터(14)에로 개시되는데, 인증 허가 요청은 훈련 데이터의 데이터 식별자를 포함할 수 있고; 훈련 데이터의 호출 권한이 인증 센터(14)에게 요청된다.

본 발명의 이 실시예에서의 데이터 검색 플랫폼(13)은 도 1에서의 딥 러닝 데이터베이스의 적어도 일부로서 간주될 수 있다.

인증 센터(14)는: 인증 허가 요청을 수신하고, 인증 허가 요청에 기반하여 데이터 식별자의 데이터 토큰을 생성하며, 데이터 토큰을 인가 게이트웨이(111) 및 사용자 단말(20)에 전달하도록 구성된다.

인증 허가 요청은 훈련 데이터의 호출 권한을 요청하는 데에 사용된다. 인증 센터(14)는 데이터 검색 플랫폼(13)에 의해 발신된 인증 허가 요청을 승인할 것인지를 판정할 수 있다. 예를 들어, 인증 허가 요청은 훈련 데이터를 위한 지불 정보를 포함할 수 있다. 만일 지불 정보가 사용자가 훈련 데이터에 대해 성공적으로 지불하였음을 지시하는 경우, 인증 센터(14)는 인증 허가 요청을 승인하고, 데이터 식별자의 데이터 토큰을 생성할 수 있다. 인증 허가 요청을 승인한 후에, 인증 센터(14)는 또한 데이터 인증 정보를 생성하고 저장할 수 있다. 데이터 인증 정보는 사용자 식별자 및 데이터 식별자를 포함할 수 있다. 예를 들어, 데이터 인증 정보는 유효 지속기간을 가질 수 있는데, 즉, 만일 사용자가 유효 지속기간 내에 다시 동일한 훈련 데이터를 요청하는 경우, 인증 센터(14)는 감사 없이 인증 허가 요청을 직접적으로 승인할 수 있다. 유효 지속기간은 동작 시나리오 및 동작 요구사항에 기반하여 설정될 수 있고, 여기에서 한정되지 않는다. 예를 들어, 유효 지속기간은 1년이거나 영구적일 수 있다.

데이터 토큰은 동작에서의 훈련 데이터를 식별할 수 있고 데이터 호출을 위한 보안 크리덴셜(security credential)로서 사용된다. 예를 들어, 데이터 토큰은 차후의 프로세스에서 데이터 호출 동작에서의 훈련 데이터를 식별한다. 예에서, 데이터 토큰은 보안 플러그인(security plug-in)으로서 구현될 수 있다. 인가 게이트웨이(111)를 사용함으로써 클라우드 데이터 저장 플랫폼(11)으로부터 데이터 토큰에 대응하는 훈련 데이터를 이출하기 위해 사용자 단말(20)이 데이터 토큰을 사용할 수 있도록, 인증 센터(14)는 생성된 데이터 토큰을 사용자 단말(20)에 전달한다. 추가로, 인증 센터(14)는 또한 생성된 데이터 토큰을 인증 센터(14) 내에 저장한다.

클라우드 모델 훈련 플랫폼(12)은 또한 인가 게이트웨이(111)에 훈련 데이터 호출 요청을 발신하도록 구성되는데, 훈련 데이터 호출 요청은 인증 센터(14)에 의해 사용자 단말(20)에 전달된 데이터 토큰을 포함한다.

예를 들어, 훈련 데이터를 요청하는 경우에, 사용자 단말(20)은 모델 훈련 생성 명령에 데이터 토큰을 추가할 수 있다. 클라우드 모델 훈련 플랫폼(12)은 사용자 단말(20)에 전달된 데이터 토큰을 획득하기 위해 모델 훈련 생성 명령을 파싱하고(parse), 사용자 단말(20)에 전달된 데이터 토큰을 훈련 데이터 호출 요청에 추가할 수 있다. 클라우드 모델 훈련 플랫폼(12)은 훈련 데이터 호출 요청 내의 데이터 토큰을 사용함으로써 클라우드 데이터 저장 플랫폼(11)으로부터 데이터 토큰에 대응하는 훈련 데이터를 호출한다.

구현에서, 클라우드 데이터 저장 플랫폼(11)은 구체적으로 제3자 공용 서버로서 구현될 수 있다. 제3자 공용 서버는 데이터 제공자, 모델 제공자 및 사용자에게 속하지 않으며, 훈련 데이터를 저장하고 훈련 데이터를 이출하기 위한 공통의 서버이다. 훈련 데이터는 데이터 토큰 및 데이터 식별자 간의 대응관계를 사용함으로써 인가(authorization)를 통해서 호출될 수 있다.

인가 게이트웨이(111)는 제1 대응관계를 수립하도록 구성되는데, 제1 대응관계는 데이터 식별자 및 데이터 토큰 간의 대응관계이다. 데이터 식별자는 데이터 토큰과의 일대일 대응관계에 있고, 데이터 토큰은 고유하다. 다시 말해, 상이한 데이터 식별자는 상이한 데이터 토큰에 대응한다. 훈련 데이터 호출 요청을 수신한 후에, 인가 게이트웨이(111)는 훈련 데이터 호출 요청 내의 데이터 토큰에 기반하여 타겟 데이터 식별자를 찾으려 제1 대응관계를 탐색하고(타겟 데이터 식별자는 훈련 데이터 호출 요청 내의 데이터 토큰에 대응하는 데이터 식별자임); 클라우드 모델 훈련 플랫폼(12)에 타겟 데이터 식별자에 대응하는 훈련 데이터를 이출한다.

클라우드 데이터 저장 플랫폼(11)이 훈련 데이터 호출 요청을 수신한 후에, 인가 게이트웨이(111)는 훈련 데이터 호출 요청 내의 데이터 토큰을 인가 게이트웨이(111) 내에 저장된 데이터 토큰과 비교한다. 만일 훈련 데이터 호출 요청 내의 데이터 토큰이 인가 게이트웨이(111) 내에 저장된 데이터 토큰과 매칭될 수 있는 경우, 훈련 데이터는 호출될 수 있게 되고, 훈련 데이터 호출 요청 내의 데이터 토큰에 대응하는 훈련 데이터가 이출된다.

모델 훈련 프로세스에서 데이터 보안을 보장하고 훈련 데이터의 인가되지 않은 사용을 피하기 위해, 데이터 토큰은 실제의 상황에 기반하여 업데이트될 수 있다. 인가 게이트웨이(111)는: 업데이트 판정 파라미터를 획득하고, 업데이트 판정 파라미터가 업데이트 조건을 충족시키는지를 판정하도록 구성될 수 있다. 인가 게이트웨이(111)는 만일 업데이트 판정 파라미터가 업데이트 조건을 충족시킴을 판정하는 경우 인증 센터(14)에 업데이트 요청을 발신하고, 인증 센터(14)와 동기식으로 데이터 토큰을 업데이트한다. 인증 센터(14)는 또한: 업데이트 요청을 수신하고, 업데이트 요청에 기반하여 데이터 토큰을 업데이트한다.

업데이트 판정 파라미터는 인증 허가 요청을 거절함의 총수, 훈련 데이터를 호출함의 총수 및 데이터 토큰의 존재 지속기간과 같은 파라미터 중 하나 이상을 포함할 수 있다.

예를 들어, 업데이트 판정 파라미터는 인증 허가 요청을 거절함의 총수를 포함한다. 인가 게이트웨이(111)는 인증 센터(14)에 의해 인증 허가 요청을 거절함의 총수를 획득하기 위해, 인증 센터(14)에 의해 인증 허가 요청을 처리하는 프로세스를 검출할 수 있다. 인가 게이트웨이(111)는 만일 인증 센터(14)에 의해 인증 허가 요청을 거절함의 총수가 업데이트 조건 내의 거절 총수 업데이트 임계를 초과함을 검출하는 경우 인증 센터(14)에 업데이트 요청을 발신한다.

거절 총수 업데이트 임계는 동작 시나리오 및 동작 요구사항에 기반하여 설정될 수 있고, 여기에서 한정되지 않는다. 인증 센터(14)는 원래의 데이터 토큰을 삭제하고, 새로운 데이터 토큰을 생성하며, 새로운 데이터 토큰을 사용자 단말 및 인가 게이트웨이(111)에 전달하여서, 인가 게이트웨이(111)가 인증 센터(14)와 동기식으로 데이터 토큰을 업데이트할 수 있다. 데이터 토큰이 인증 센터(14) 및 인가 게이트웨이(111)에서 업데이트되는 경우에, 훈련 데이터 호출 요청의 실행은 중지될 필요가 있다. 인증 센터(14) 및 인가 게이트웨이(111) 내의 데이터 토큰에 대한 업데이트가 완료된 후에, 훈련 데이터 호출 요청이 실행된다. 데이터 토큰에 대한 업데이트가 완료된 후에, 만일 훈련 데이터 호출 요청이 여전히 원래의 데이터 토큰을 포함하는 경우, 훈련 데이터 호출 요청 내의 원래의 데이터 토큰은 무효이며(invalid), 훈련 데이터는 호출될 수 없다.

다른 예를 들면, 업데이트 판정 파라미터는 훈련 데이터를 호출함의 총수를 포함한다. 인가 게이트웨이(111)는 시간 기간 내에 훈련 데이터를 호출함의 총수를 획득할 수 있다. 인가 게이트웨이(111)는 만일 시간 기간 내에 동일한 훈련 데이터를 호출함의 총수가 업데이트 조건 내의 호출 총수 업데이트 임계를 초과함을 검출하는 경우 인증 센터(14)에 업데이트 요청을 발신한다. 훈련 데이터를 세기 위한 시간 기간 및 호출 총수 업데이트 임계는 동작 시나리오 및 동작 요구사항에 기반하여 설정될 수 있고, 여기에서 한정되지 않는다.

다른 예를 들면, 업데이트 판정 파라미터는 데이터 토큰의 존재 지속기간을 포함한다. 인가 게이트웨이(111)는 데이터 토큰의 업데이트 사이클 지속기간(update cycle duration)을 설정하고 데이터 토큰의 존재 지속기간을 기록할 수 있다. 인가 게이트웨이(111)는 만일 데이터 토큰의 존재 지속기간이 업데이트 사이클 지속기간에 도달함을 판정하는 경우 인증 센터(14)에 업데이트 요청을 발신한다. 업데이트 사이클 지속기간은 동작 시나리오 및 동작 요구사항에 기반하여 설정될 수 있고, 여기에서 한정되지 않는다.

업데이트 판정 파라미터 및 업데이트 조건은 전술된 예에서 한정되지 않음에 유의하여야 한다. 인가 게이트웨이(111)는 대안적으로 업데이트 정책 구성 명령을 사용자로부터 수신하고, 업데이트 정책 구성 명령에 따라 업데이트 판정 파라미터 및 업데이트 조건을 설정할 수 있다.

클라우드 모델 저장 플랫폼(16)은: 훈련 대상 모델을 제공하고, 훈련 결과 모델을 저장하도록 구성된다. 클라우드 모델 저장 플랫폼(16)은 모델 제공자에 의해 업로드된 모델, 또는 훈련을 통해서 클라우드 모델 훈련 플랫폼(12)에 의해 획득된 훈련 결과 모델을 저장할 수 있다.

예에서, 훈련을 통해서 훈련 결과 모델을 획득한 후에, 클라우드 모델 훈련 플랫폼(12)은 훈련 결과 모델을 저장을 위해 클라우드 모델 저장 플랫폼(16)에 발신하고, 클라우드 모델 훈련 플랫폼(12)에서 훈련 결과 모델을 훈련하기 위해 사용된 훈련 데이터 및 훈련 대상 모델을 파기할 수 있고, 또한 클라우드 모델 훈련 플랫폼(12) 내의 훈련 결과 모델을 파기할 수 있는데, 클라우드 모델 훈련 플랫폼(12)에서의 훈련 데이터, 훈련 대상 모델 및 훈련 결과 모델의 누설을 방지하기 위함이다.

예에서, 클라우드 데이터 저장 플랫폼(11)에 앞서, 데이터 감사 시스템(15)은 데이터 제공자에 의해 업로드된 훈련 데이터를 수신한다. 데이터 감사 시스템(15)은: 데이터 제공자에 의해 업로드된 훈련 데이터에 대해 유효성 확인을 수행하고, 유효성 확인에서 실패한 훈련 데이터를 클라우드 데이터 저장 플랫폼(11) 내에 저장하는 것을 거절하도록 구성된다. 예를 들어, 만일 데이터 제공자에 의해 업로드된 훈련 데이터가 클라우드 데이터 저장 플랫폼(11) 내에 저장된 훈련 데이터와 중복되거나, 데이터 제공자에 의해 업로드된 데이터의 데이터 포맷이 클라우드 데이터 저장 플랫폼(11)의 표준 프로토콜에 부합하지 않는 경우, 데이터 감사 시스템(15)은 데이터 제공자에 의해 업로드된 훈련 데이터가 무효임을 판정하는데, 즉, 업로드된 훈련 데이터는 유효성 확인에서 실패한다. 만일 데이터 감사 시스템(15)이 데이터 제공자에 의해 업로드된 훈련 데이터가 유효임을 판정하는 경우, 클라우드 데이터 저장 플랫폼(11)이 데이터 제공자에 의해 업로드된 훈련 데이터를 영구적으로 저장하도록, 데이터 검색 플랫폼(13)을 사용함으로써 클라우드 데이터 저장 플랫폼(11)에 저장 명령이 발신될 수 있다.

데이터 제공자에 의해 업로드된 훈련 데이터에 대한 유효성 확인을 수행하는 방식은 전술된 방식에 한정되지 않음에 유의하여야 한다. 데이터 감사 시스템(15)은 모델 훈련 시스템에서 사용되는 훈련 데이터의 실제 유효성을 보장할 수 있다.

미러 플랫폼(17)은 모델 추론 런타임 환경을 저장하도록 구성된다. 구체적으로, 모델 추론 런타임 환경은 시스템 환경 및 훈련 결과 모델에 대응하는 런타임 프레임워크 환경을 포함할 수 있다.

모델 추론 플랫폼(18)은 추론 요청을 수신할 수 있는데, 추론 요청은 처리 대상 데이터를 포함한다. 추론 요청은 사용자 단말(20)에 의해 발신될 수 있다. 예를 들어, 사용자 단말(20)은 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API)를 통해서 모델 추론 플랫폼(18)에 추론 요청을 발신할 수 있다. 추론 요청을 수신한 후에, 모델 추론 플랫폼(18)은 미러 플랫폼(17)으로부터 모델 추론 런타임 환경을 로드하고, 클라우드 모델 저장 플랫폼(16)으로부터 훈련 결과 모델을 호출하며, 처리 대상 데이터를 훈련 결과 모델 내에 모델 추론을 위해 이입한다.

본 발명의 이 실시예에서의 데이터 검색 플랫폼은 도 1에서의 딥 러닝 데이터베이스의 적어도 일부로서 간주될 수 있다. 본 발명의 이 실시예에서의 인증 센터(14)는 도 1에서의 인증 서비스 시스템의 적어도 일부로서 간주될 수 있다. 본 발명의 이 실시예에서의 모델 추론 플랫폼(18)은 도 1에서의 훈련 및 추론 시스템의 일부로서 간주될 수 있다.

도 4는 본 발명의 또 다른 실시예에 따른 모델 훈련 시스템의 개략적인 구조도이다. 도 4에 도시된 모델 훈련 시스템은 클라우드 데이터 저장 플랫폼(11)이 데이터 제공자의 적어도 하나의 사설 서버로서 구현될 수 있다는 점에서 도 3에 도시된 모델 훈련 시스템과 상이하다.

만일 클라우드 데이터 저장 플랫폼(11)이 인가 게이트웨이(111) 및 적어도 하나의 데이터 저장 서버(112), 즉, 사설 서버를 포함하는 경우, 데이터 토큰 및 데이터 루트 간의 대응관계를 사용함으로써 인가를 통해서 훈련 데이터가 호출될 수 있다.

데이터 루트는 훈련 데이터의 유니폼 리소스 로케이터(Uniform Resource Locator, URL) 경로를 포함할 수 있고, 데이터 액세스 방법과, 클라우드 데이터 저장 플랫폼(11)으로부터 훈련 데이터를 이출하기 위한 표준을 더 포함할 수 있다. 훈련 데이터를 업로드하는 경우에, 데이터 제공자는 데이터 검색 플랫폼(13)에 훈련 데이터에 대응하는 데이터 루트를 또한 업로드할 수 있다.

데이터 검색 플랫폼(13)은 또한 데이터 루트의 유효성을 검출할 수 있다. 만일 데이터 루트가 무효임이 판정되는 경우, 데이터 루트의 저장은 거절된다. 예를 들어, 데이터 검색 플랫폼(13)은 만일 데이터 루트가 액세스될 수 없음 또는 데이터 루트의 포맷이 모델 훈련 시스템 내에 사전설정된 표준에 부합하지 않음을 판정하는 경우에 데이터 루트를 저장하는 것을 거절한다. 예를 들어, 데이터 검색 플랫폼(13)은, 인가 게이트웨이(111) 및 인증 센터(14) 양자 모두가 루트 데이터를 저장하는 것을 거절하도록, 인가 게이트웨이(111) 및 인증 센터(14)에 거절 명령을 발신할 수 있다.

인가 게이트웨이(111)는 제2 대응관계를 수립할 수 있는데, 제2 대응관계는 데이터 토큰 및 데이터 루트 간의 대응관계이다. 예를 들어, 제2 대응관계는 데이터 루트 테이블로서 구현될 수 있다. 훈련 데이터는 대응하는 데이터 루트를 갖고, 훈련 데이터는 데이터 토큰과의 일대일 대응관계에 있으며, 데이터 토큰은 또한 데이터 루트와의 일대일 대응관계에 있다. 데이터 검색 플랫폼(13)이 데이터 인덱스 테이블을 수립하는 경우에, 대응하는 데이터 루트는 인가 게이트웨이(111) 내에 저장될 수 있다.

훈련 데이터 호출 요청을 수신한 후에, 인가 게이트웨이(111)는 훈련 데이터 호출 요청 내의 데이터 토큰에 기반하여 타겟 데이터 루트를 찾으려 제2 대응관계를 탐색한다. 타겟 데이터 루트는 훈련 데이터 호출 요청 내의 데이터 토큰에 대응하는 데이터 루트이다. 인가 게이트웨이(111)는 타겟 데이터 저장 서버(112) 내에서 타겟 데이터 루트에 의해 지시된 훈련 데이터를, 클라우드 모델 훈련 플랫폼(12)에 이출하기 위해, 데이터 토큰에 대응하는 데이터 루트에 기반하여 타겟 데이터 저장 서버(112)를 액세스할 수 있다. 타겟 데이터 저장 서버(112)는 타겟 데이터 루트에 대응하는 데이터 저장 서버(112)이다.

데이터 저장 서버(112), 즉, 사설 서버 내의 훈련 데이터의 보안을 보장하기 위해, 보안적인 암호화된 원격 액세스가 수립될 수 있다. 예에서, 모델 훈련 시스템은 액세스 라우터를 더 포함할 수 있다. 인가 게이트웨이(111)는 액세스 라우터 내의 사전결정된 표준 액세스 인터페이스를 통해서 타겟 데이터 저장 서버(112)로부터 타겟 데이터 루트에 의해 지시된 훈련 데이터를 이출한다. 예를 들어, 표준 액세스 인터페이스는 restful 액세스 인터페이스이고, restful 액세스 인터페이스의 경로가 데이터 루트로서 사용될 수 있다.

예에서, 데이터 저장 서버(112) 내의 훈련 데이터의 보안을 더 보장하기 위해, 인가 게이트웨이(111)는 데이터 토큰을 무작위로 선택하고 데이터 토큰의 유효성을 확인할 수 있다. 만일 인가 게이트웨이(111)가 데이터 토큰이 무효임을 판정하는 경우, 인가 게이트웨이(111)는 데이터 루트 테이블을 업데이트하는데, 즉, 제2 대응관계를 업데이트하고, 구체적으로 제2 대응관계 내의 데이터 토큰을 업데이트할 수 있다.

도 5는 본 발명의 실시예에 따른 모델 훈련 방법의 흐름도이다. 모델 훈련 방법은 전술된 실시예에서의 모델 훈련 시스템에 적용될 수 있다. 도 5에 도시된 바와 같이, 모델 훈련 방법은 단계(S201) 내지 단계(S204)를 포함할 수 있다.

단계(S201)에서, 클라우드 모델 훈련 플랫폼은 훈련 대상 모델을 획득하기 위해 모델 훈련 생성 명령을 수신한다.

단계(S202)에서, 클라우드 모델 훈련 플랫폼은 훈련 데이터 호출 요청을 생성하고, 클라우드 데이터 저장 플랫폼 내에 저장된 훈련 데이터를 호출하기 위해, 클라우드 데이터 저장 플랫폼에 훈련 데이터 호출 요청을 발신한다.

단계(S203)에서, 클라우드 데이터 저장 플랫폼은 훈련 데이터 호출 요청을 수신하고, 클라우드 모델 훈련 플랫폼에 훈련 데이터 호출 요청에 대응하는 훈련 데이터를 이출한다.

단계(S204)에서, 클라우드 모델 훈련 플랫폼은 훈련 결과 모델을 획득하기 위해, 클라우드 데이터 저장 플랫폼으로부터 이출된 훈련 데이터를 사용함으로써 훈련 대상 모델을 훈련한다.

단계(S201) 내지 단계(S204)의 설명에 대해, 전술된 실시예에서의 클라우드 모델 훈련 플랫폼 및 클라우드 데이터 저장 플랫폼의 관련된 설명을 참조하시오.

본 발명의 이 실시예에서, 클라우드 데이터 저장 플랫폼 및 클라우드 모델 훈련 플랫폼은 서로 독립적이어서, 훈련 데이터 저장 및 모델 훈련의 두 기능이 분리된다. 클라우드 데이터 저장 플랫폼 및 클라우드 모델 훈련 플랫폼은 양자 모두 클라우드 시스템에 기반하여 구현되고, 클라우드 시스템 내에서 모델 훈련 프로세스가 수행된다. 모델 훈련을 수행하는 사용자는 훈련 데이터를 로컬로 다운로드할 수 없고, 훈련 데이터는 클라우드 데이터 저장 플랫폼 내에, 그리고 모델 훈련을 수행하고 있는 클라우드 모델 훈련 플랫폼 내에 저장된다. 다시 말해, 훈련 데이터는 로컬 사용자 측으로부터 누설될 수 없는바, 이로써 훈련 데이터를 누설하는 위험을 감소시킨다.

도 6은 본 발명의 실시예에 따른 모델 훈련 방법의 구체적인 구현의 흐름도이다. 도 6에 도시된 바와 같이, 모델 훈련 방법은 단계(S301) 내지 단계(S315)를 포함할 수 있다.

단계(301)에서, 데이터 감사 시스템은 데이터 제공자에 의해 업로드된 훈련 데이터에 대해 유효성 확인을 수행한다.

단계(302)에서, 데이터 감사 시스템은 유효성 확인에서 실패한 훈련 데이터를 클라우드 데이터 저장 플랫폼 내에 저장하는 것을 거절한다.

단계(303)에서, 데이터 검색 플랫폼은 데이터 제공자에 의해 제공된 훈련 데이터에 기반하여 데이터 인덱스 테이블을 수립한다.

단계(304)에서, 데이터 검색 플랫폼은 검색 명령을 수신하고, 검색 명령에 따라 데이터 인덱스 테이블 내에서 데이터 검색을 수행하며, 검색 결과를 생성한다.

단계(305)에서, 데이터 검색 플랫폼은 사용자 단말의 데이터 선택 명령을 수신하고, 데이터 선택 명령에 따라 인증 센터에 인증 허가 요청을 개시한다.

인증 허가 요청은 훈련 데이터의 데이터 식별자를 포함한다.

단계(306)에서, 인증 센터는 인증 허가 요청을 수신하고, 인증 허가 요청에 기반하여 데이터 식별자의 데이터 토큰을 생성하며, 데이터 토큰을 클라우드 데이터 저장 플랫폼 내의 인가 게이트웨이 및 사용자 단말에 전달한다.

단계(307)에서, 클라우드 데이터 저장 플랫폼 내의 인가 게이트웨이는 전달된 데이터 토큰에 기반하여 제1 대응관계를 수립한다.

제1 대응관계는 데이터 식별자 및 데이터 토큰 간의 대응관계이다.

단계(308)에서, 클라우드 모델 훈련 플랫폼은 훈련 대상 모델을 획득하기 위해 모델 훈련 생성 명령을 수신한다.

단계(309)에서, 클라우드 모델 훈련 플랫폼은 훈련 데이터 호출 요청을 생성하고, 클라우드 데이터 저장 플랫폼 내에 저장된 훈련 데이터를 호출하기 위해, 클라우드 데이터 저장 플랫폼 내의 인가 게이트웨이에 훈련 데이터 호출 요청을 발신한다.

훈련 데이터 호출 요청은 인증 센터에 의해 사용자 단말에 전달된 데이터 토큰을 포함한다.

단계(310)에서, 클라우드 데이터 저장 플랫폼 내의 인가 게이트웨이는 훈련 데이터 호출 요청을 수신하고, 훈련 데이터 호출 요청 내의 데이터 토큰에 기반하여 타겟 데이터 식별자를 찾으려 제1 대응관계를 탐색하며, 클라우드 모델 훈련 플랫폼에 타겟 데이터 식별자에 대응하는 훈련 데이터를 이출한다.

타겟 데이터 식별자는 훈련 데이터 호출 요청 내의 데이터 토큰에 대응하는 데이터 식별자이다.

단계(311)에서, 클라우드 모델 훈련 플랫폼은 훈련 결과 모델을 획득하기 위해, 클라우드 데이터 저장 플랫폼으로부터 이출된 훈련 데이터를 사용함으로써 훈련 대상 모델을 훈련한다.

단계(312)에서, 클라우드 모델 저장 플랫폼은 훈련 결과 모델을 저장한다.

단계(313)에서, 클라우드 모델 훈련 플랫폼은 클라우드 모델 훈련 플랫폼에서 훈련 결과 모델을 훈련하기 위해 사용된 훈련 데이터 및 훈련 대상 모델을 파기한다.

단계(314)에서, 모델 추론 플랫폼은 추론 요청을 수신하는데, 추론 요청은 처리 대상 데이터를 포함한다.

단계(315)에서, 모델 추론 플랫폼은 미러 플랫폼으로부터 모델 추론 런타임 환경을 로드하고, 클라우드 모델 저장 플랫폼으로부터 훈련 결과 모델을 호출하며, 처리 대상 데이터를 훈련 결과 모델 내에 모델 추론을 위해 이입한다.

도 7은 본 발명의 실시예에 따른 모델 훈련 방법의 다른 구체적인 구현의 흐름도이다. 도 7은 도 6에서의 단계(S307)가 도 7에서의 단계(S316)로 대체될 수 있고, 도 6에서의 단계(S310)가 도 7에서의 단계(S317) 및 단계(S318)로 대체될 수 있다는 점에서 도 6과 상이하다.

단계(S316)에서, 클라우드 데이터 저장 플랫폼 내의 인가 게이트웨이는 전달된 데이터 토큰에 기반하여 제2 대응관계를 수립한다.

제2 대응관계는 데이터 토큰 및 데이터 루트 간의 대응관계이다. 데이터 루트는 훈련 데이터의 유니폼 리소스 로케이터 경로를 포함한다.

단계(S317)에서, 클라우드 데이터 저장 플랫폼 내의 인가 게이트웨이는 훈련 데이터 호출 요청을 수신하고, 훈련 데이터 호출 요청 내의 데이터 토큰에 기반하여 타겟 데이터 식별자를 찾으려 제2 대응관계를 탐색한다.

타겟 데이터 루트는 훈련 데이터 호출 요청 내의 데이터 토큰에 대응하는 데이터 루트이다.

단계(S318)에서, 클라우드 데이터 저장 플랫폼 내의 인가 게이트웨이는 클라우드 데이터 저장 서버 내에서 타겟 데이터 루트에 의해 지시된 훈련 데이터를, 클라우드 모델 훈련 플랫폼에 이출하기 위해 타겟 데이터 저장 서버를 액세스한다.

타겟 데이터 저장 서버는 타겟 데이터 루트에 대응하는 데이터 저장 서버이다.

예에서, 데이터 토큰은 훈련 데이터의 보안을 보장하기 위해 구체적인 시나리오에 기반하여 또한 업데이트될 수 있다. 인가 게이트웨이는 업데이트 판정 파라미터를 획득하고, 업데이트 판정 파라미터가 업데이트 조건을 충족시키는지를 판정한다. 인가 게이트웨이는 만일 업데이트 판정 파라미터가 업데이터 조건을 충족시킴을 판정하는 경우 인증 센터에 업데이트 요청을 발신한다. 인증 센터는 업데이트 요청을 수신하고, 업데이트 요청에 기반하여 데이터 토큰을 업데이트한다. 인가 게이트웨이는 인증 센터와 동기식으로 데이터 토큰을 업데이트한다.

예를 들어, 업데이트 판정 파라미터는 인증 허가 요청을 거절함의 총수를 포함한다. 데이터 토큰을 업데이트하는 프로세스는 구체적으로 다음일 수 있다: 인가 게이트웨이는 인증 센터에 의해 인증 허가 요청을 처리하는 프로세스를 검출하고, 인증 센터에 의해 인증 허가 요청을 거절함의 총수를 획득하며, 인증 센터에 의해 인증 허가 요청을 거절함의 총수가 업데이트 조건 내의 거절 총수 업데이트 임계를 초과하는지를 판정하고; 만일 인증 센터에 의해 인증 허가 요청을 거절함의 총수가 업데이트 조건 내의 거절 총수 업데이트 임계를 초과함을 검출하는 경우 인증 센터에 업데이트 요청을 발신한다.

예를 들면, 업데이트 판정 파라미터는 훈련 데이터를 호출함의 총수를 포함한다. 데이터 토큰을 업데이트하는 프로세스는 구체적으로 다음일 수 있다: 인가 게이트웨이는 시간 기간 내에 훈련 데이터를 호출함의 총수를 획득하고, 시간 기간 내에 동일한 훈련 데이터를 호출함의 총수가 업데이트 조건 내의 호출 총수 업데이트 임계를 초과하는지를 판정하며; 만일 시간 기간 내에 동일한 훈련 데이터를 호출함의 총수가 업데이트 조건 내의 호출 총수 업데이트 임계를 초과하는 경우 인증 센터에 업데이트 요청을 발신한다.

전술된 방법 실시예에서의 단계의 설명에 대해, 전술된 시스템 실시예에서의 관련된 설명을 참조하시오.

본 발명의 실시예는 또한 저장 매체를 제공할 수 있는데, 저장 매체는 프로그램을 저장하고, 프로그램이 프로세서에 의해 실행되는 경우에, 전술된 실시예에서의 모델 훈련 방법이 구현된다.

Claims

클라우드 서비스를 제공하는 모델 훈련 시스템으로서,
클라우드 데이터 저장 플랫폼(cloud data storage platform), 클라우드 모델 훈련 플랫폼(cloud model training platform) 및 클라우드 모델 저장 플랫폼(cloud model storage platform)을 포함하되,
상기 클라우드 데이터 저장 플랫폼은 훈련 데이터를 저장하도록 구성 ― 상기 훈련 데이터는 데이터 제공자에 의해 상기 클라우드 데이터 저장 플랫폼으로 업로드됨 ― 되고,
상기 클라우드 모델 저장 플랫폼은 훈련 대상 모델(to-be-trained model)을 저장하도록 구성 ― 상기 훈련 대상 모델은 사용자 또는 모델 제공자에 의해 상기 클라우드 데이터 모델 플랫폼으로 업로드됨 ― 되고,
상기 클라우드 모델 훈련 플랫폼은, 상기 사용자에 의해 입력된 모델 훈련 생성 명령을 수신하고, 상기 모델 훈련 생성 명령에 따라 상기 클라우드 모델 저장 플랫폼으로부터 상기 훈련 대상 모델을 획득하고, 상기 클라우드 데이터 저장 플랫폼에 저장된 훈련 데이터를 호출하고, 상기 훈련 데이터를 사용함으로써 상기 훈련 대상 모델을 훈련하여 훈련 결과 모델을 획득하도록 구성되는,
시스템.
제1항에 있어서,
인증 센터(authentication center)를 더 포함하되,
상기 인증 센터는, 상기 사용자에 의해 입력된 인증 허가 요청을 수신하도록 구성되고,
상기 인증 허가 요청은 상기 훈련 데이터의 인가를 결정하는 데 사용되는,
시스템.
제1항 또는 제2항에 있어서,
상기 클라우드 데이터 저장 플랫폼은, 상기 데이터 제공자에 의해 제공된 상기 훈련 데이터의 라벨(label)을 수신하도록 더 구성되며,
상기 훈련 데이터의 라벨은 상기 훈련 데이터의 콘텐트(content)를 나타내는데 사용되는,
시스템.
제3항에 있어서,
데이터 검색 플랫폼(data retrieval platform)를 더 포함하되,
상기 데이터 검색 플랫폼은, 상기 훈련 데이터의 정보를 획득하도록 구성되며,
상기 훈련 데이터의 정보는 상기 훈련 데이터의 업로드 일자 및 상기 훈련 데이터의 데이터 소유자 정보 중 어느 하나 또는 이들 둘 모두를 포함하는,
시스템.
제4항에 있어서,
상기 데이터 검색 플랫폼은,
상기 훈련 데이터의 정보 및 상기 훈련 데이터의 라벨 중 적어도 하나에 기초하여 데이터 인덱스 테이블을 수립하고,
상기 사용자에 의해 입력되고 검색 키워드를 포함하는 검색 명령을 수신하며,
상기 검색 명령에 따라 상기 데이터 인덱스 테이블 내에서 데이터 검색을 수행하여 검색 결과를 생성하도록 더 구성되되,
상기 검색 결과는, 상기 키워드에 대응하는 상기 훈련 데이터의 정보 또는 상기 키워드에 대응하는 상기 훈련 데이터의 라벨을 포함하는,
시스템.
제5항에 있어서,
상기 데이터 검색 플랫폼은,
상기 사용자를 위해 상기 검색 결과를 디스플레이하도록 상기 검색 결과를 사용자 단말로 발신하고,
상기 사용자 단말에서 발신되는 상기 검색 결과에 대한 데이터 선택 명령을 수신하도록 더 구성되되,
상기 데이터 선택 명령은 상기 검색 결과로부터 상기 훈련 데이터를 결정하도록 상기 데이터 검색 플랫폼에 명령하기 위해 사용되는,
시스템.
제1항에 있어서,
상기 클라우드 모델 훈련 플랫폼은, 상기 훈련 결과 모델을 획득한 후, 상기 클라우드 모델 저장 플랫폼에 상기 훈련 결과 모델을 발신하도록 구성되는,
시스템.
제1항 또는 제2항에 있어서,
데이터 감사 시스템(data audit system)을 더 포함하되,
상기 데이터 감사 시스템은 상기 데이터 제공자에 의해 업로드된 훈련 데이터에 대한 유효성(validity)을 결정하도록 구성되는,
시스템.
제1항 또는 제2항에 있어서,
상기 클라우드 데이터 저장 플랫폼은 제1 액세스 인터페이스를 이용하여 구성되고, 상기 제1 액세스 인터페이스는 상기 데이터 제공자에 의해 업로드된 훈련 데이터를 수신하는데 사용되며,
상기 클라우드 모델 훈련 플랫폼은 제2 액세스 인터페이스를 이용하여 구성되고, 상기 제2 액세스 인터페이스는 상기 사용자에 의해 입력된 상기 모델 훈련 생성 명령을 수신하는 데 사용되는,
시스템.
제1항 또는 제2항에 있어서,
모델 추론 플랫폼(model inference platform)을 더 포함하되,
상기 모델 추론 플랫폼은,
상기 사용자에 의해 입력되고 처리 대상 데이터(to-be-processed data)를 포함하는 추론 요청을 수신하고,
상기 훈련 결과 모델을 호출하여, 모델 추론을 위해 상기 처리 대상 데이터를 상기 훈련 결과 모델 내로 이입하도록(import) 구성되는,
시스템.
제1항 또는 제2항에 있어서,
상기 훈련 데이터는 데이터 루트(data route)를 이용하여 구성되고,
상기 클라우드 모델 훈련 플랫폼은 상기 데이터 루트에 따라 상기 훈련 데이터를 호출하도록 더 구성되는,
시스템.
제11항에 있어서,
상기 데이터 루트는 상기 훈련 데이터의 유니폼 리소스 로케이터(uniform resource locator) 경로를 포함하는,
시스템.
제1항 또는 제2항에 있어서,
미러 플랫폼(mirror platform) 및 모델 추론 플랫폼(model inference platform)을 더 포함하되,
상기 미러 플랫폼은 모델 추론 런타임(runtime) 환경을 저장하도록 구성되고, 상기 모델 추론 런타임 환경은 상기 훈련 결과 모델에 대응하는 런타임 프레임워크 환경을 포함하며,
상기 모델 추론 플랫폼은, 추론 요청을 수신하고, 상기 미러 플랫폼으로부터 상기 모델 추론 런타임 환경을 로드하고(load), 상기 클라우드 모델 저장 플랫폼으로부터 상기 훈련 결과 모델을 호출하며, 상기 모델 추론 런타임 환경에서 모델 추론을 위해 처리 대상 데이터를 상기 훈련 결과 모델 내로 이입하도록(import) 구성되는,
시스템.
클라우드 서비스를 제공하는 모델 훈련 방법으로서,
클라우드 데이터 저장 플랫폼(cloud data storage platform)에 의해, 훈련 데이터를 저장하는 단계 ― 상기 훈련 데이터는 데이터 제공자에 의해 상기 클라우드 데이터 저장 플랫폼으로 업로드됨 ― 와,
클라우드 모델 저장 플랫폼(cloud model storage platform)에 의해, 훈련 대상 모델(to-be-trained model)을 저장하는 단계 ― 상기 훈련 대상 모델은 사용자 또는 모델 제공자에 의해 상기 클라우드 데이터 모델 플랫폼으로 업로드됨 ― 와,
클라우드 모델 훈련 플랫폼(cloud model training platform)에 의해, 모델 훈련 생성 명령을 수신하는 단계 ― 상기 모델 훈련 생성 명령은 상기 사용자에 의해 입력됨 ― 와,
상기 클라우드 모델 훈련 플랫폼에 의해, 상기 모델 훈련 생성 명령에 따라 상기 클라우드 모델 저장 플랫폼으로부터 상기 훈련 대상 모델을 획득하는 단계와,
상기 클라우드 모델 훈련 플랫폼에 의해, 상기 클라우드 데이터 저장 플랫폼에 저장된 훈련 데이터를 호출하는 단계와,
상기 클라우드 모델 훈련 플랫폼에 의해, 상기 훈련 데이터를 사용함으로써 상기 훈련 대상 모델을 훈련하여 훈련 결과 모델을 획득하는 단계를 포함하되,
상기 클라우드 데이터 저장 플랫폼 및 상기 클라우드 모델 훈련 플랫폼은 클라우드 서비스를 제공하는 모델 훈련 시스템상에서 실행되는,
방법.
제14항에 있어서,
인증 센터(authentication center)에 의해, 상기 사용자에 의해 입력된 인증 허가 요청을 수신하는 단계를 더 포함하되,
상기 인증 허가 요청은 상기 훈련 데이터의 인가를 결정하는 데 사용되고,
상기 인증 센터는 클라우드 서비스를 제공하는 상기 모델 훈련 시스템상에서 실행되는,
방법.
제14항 또는 제15항에 있어서,
상기 클라우드 데이터 저장 플랫폼에 의해, 상기 데이터 제공자에 의해 제공된 상기 훈련 데이터의 라벨(label)을 수신하는 단계를 더 포함하되,
상기 훈련 데이터의 라벨은 상기 훈련 데이터의 콘텐트(content)를 나타내는데 사용되는,
방법.
제16항에 있어서,
데이터 검색 플랫폼(data retrieval platform)에 의해, 상기 훈련 데이터의 정보를 획득하는 단계를 더 포함하되,
상기 훈련 데이터의 정보는 상기 훈련 데이터의 업로드 일자 및 상기 훈련 데이터의 데이터 소유자 정보 중 어느 하나 또는 이들 둘 모두를 포함하고,
상기 데이터 검색 플랫폼은 클라우드 서비스를 제공하는 상기 모델 훈련 시스템상에서 실행되는,
방법.
제17항에 있어서,
상기 데이터 검색 플랫폼에 의해, 상기 훈련 데이터의 정보 및 상기 훈련 데이터의 라벨 중 적어도 하나에 기초하여 데이터 인덱스 테이블을 수립하는 단계와,
상기 데이터 검색 플랫폼에 의해, 상기 사용자에 의해 입력되고 검색 키워드를 포함하는 검색 명령을 수신하는 단계와,
상기 데이터 검색 플랫폼에 의해, 상기 검색 명령에 따라 상기 데이터 인덱스 테이블 내에서 데이터 검색을 수행하는 단계와,
상기 데이터 검색 플랫폼에 의해, 검색 결과를 생성하는 단계를 더 포함하되,
상기 검색 결과는, 상기 키워드에 대응하는 상기 훈련 데이터의 정보 또는 상기 키워드에 대응하는 상기 훈련 데이터의 라벨을 포함하는,
방법.
제18항에 있어서,
상기 데이터 검색 플랫폼에 의해, 상기 사용자를 위해 상기 검색 결과를 디스플레이하도록 상기 검색 결과를 사용자 단말로 발신하는 단계와,
상기 데이터 검색 플랫폼에 의해, 상기 사용자 단말에서 발신되는 상기 검색 결과에 대한 데이터 선택 명령을 수신하는 단계를 더 포함하되,
상기 데이터 선택 명령은 상기 검색 결과로부터 상기 훈련 데이터를 결정하도록 상기 데이터 검색 플랫폼에 명령하기 위해 사용되는,
방법.
제19항에 있어서,
상기 클라우드 모델 훈련 플랫폼에 의해, 상기 훈련 결과 모델을 획득한 후, 상기 클라우드 모델 저장 플랫폼에 상기 훈련 결과 모델을 발신하는 단계를 더 포함하는,
방법.
제14항 또는 제15항에 있어서,
데이터 감사 시스템(data audit system)에 의해, 상기 데이터 제공자에 의해 업로드된 훈련 데이터에 대한 유효성(validity)을 결정하는 단계를 더 포함하고,
상기 데이터 감사 시스템은 클라우드 서비스를 제공하는 상기 모델 훈련 시스템상에서 실행되는,
방법.
제14항 또는 제15항에 있어서,
상기 클라우드 데이터 저장 플랫폼은 제1 액세스 인터페이스를 이용하여 구성되고, 상기 제1 액세스 인터페이스는 상기 데이터 제공자에 의해 업로드된 훈련 데이터를 수신하는데 사용되며,
상기 클라우드 모델 훈련 플랫폼은 제2 액세스 인터페이스를 이용하여 구성되고, 상기 제2 액세스 인터페이스는 상기 사용자에 의해 입력된 상기 모델 훈련 생성 명령을 수신하는 데 사용되는,
방법.
제14항 또는 제15항에 있어서,
모델 추론 플랫폼(model inference platform)에 의해, 상기 사용자에 의해 입력되고 처리 대상 데이터(to-be-processed data)를 포함하는 추론 요청을 수신하는 단계와,
상기 모델 추론 플랫폼에 의해, 상기 훈련 결과 모델을 호출하는 단계와,
상기 모델 추론 플랫폼에 의해, 모델 추론을 위해 상기 처리 대상 데이터를 상기 훈련 결과 모델 내로 이입(import)하는 단계를 더 포함하되,
상기 모델 추론 플랫폼은 클라우드 서비스를 제공하는 상기 모델 훈련 시스템상에서 실행되는,
방법.
제14항 또는 제15항에 있어서,
상기 훈련 데이터는 데이터 루트(data route)를 이용하여 구성되고,
상기 클라우드 모델 훈련 플랫폼에 의해, 상기 클라우드 데이터 저장 플랫폼에 저장된 훈련 데이터를 호출하는 단계는,
상기 클라우드 모델 훈련 플랫폼에 의해, 상기 데이터 루트에 따라 상기 훈련 데이터를 호출하는 것을 포함하는,
방법.
제24항에 있어서,
상기 데이터 루트는 상기 훈련 데이터의 유니폼 리소스 로케이터(uniform resource locator) 경로를 포함하는,
방법.
제14항 또는 제15항에 있어서,
미러 플랫폼(mirror platform) 및 모델 추론 플랫폼(model inference platform)을 더 포함하되,
미러 플랫폼(mirror platform)에 의해, 모델 추론 런타임(runtime) 환경을 저장하는 단계 ― 상기 모델 추론 런타임 환경은 상기 훈련 결과 모델에 대응하는 런타임 프레임워크 환경을 포함함 ― 와,
모델 추론 플랫폼(model inference platform)에 의해, 추론 요청을 수신하는 단계와,
상기 모델 추론 플랫폼에 의해, 상기 미러 플랫폼으로부터 상기 모델 추론 런타임 환경을 로드(load)하는 단계와,
상기 모델 추론 플랫폼에 의해, 상기 클라우드 모델 저장 플랫폼으로부터 상기 훈련 결과 모델을 호출하는 단계와,
상기 모델 추론 플랫폼에 의해, 상기 모델 추론 런타임 환경에서 모델 추론을 위해 처리 대상 데이터를 상기 훈련 결과 모델 내로 이입(import)하는 단계를 더 포함하는,
방법.