KR20220004692A - 데이터 증강 정책의 업데이트 방법, 장치, 기기 및 저장 매체 - Google Patents

데이터 증강 정책의 업데이트 방법, 장치, 기기 및 저장 매체 Download PDF

Info

Publication number
KR20220004692A
KR20220004692A KR1020217038153A KR20217038153A KR20220004692A KR 20220004692 A KR20220004692 A KR 20220004692A KR 1020217038153 A KR1020217038153 A KR 1020217038153A KR 20217038153 A KR20217038153 A KR 20217038153A KR 20220004692 A KR20220004692 A KR 20220004692A
Authority
KR
South Korea
Prior art keywords
data
policy
training
data augmentation
processing model
Prior art date
Application number
KR1020217038153A
Other languages
English (en)
Inventor
케유 티안
첸 린
밍 순
준지에 얀
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20220004692A publication Critical patent/KR20220004692A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예는 데이터 증강 정책의 업데이트 방법, 장치, 기기 및 저장 매체를 제공한다. 상기 방법은, 초기의 데이터 증강 정책을 획득하는 단계; 데이터 증강 정책 및 기설정된 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 기설정된 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하는 단계; 및 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 데이터 증강 정책을 업데이트하여, 업데이트된 데이터 증강 정책을 획득하는 단계를 포함한다.

Description

데이터 증강 정책의 업데이트 방법, 장치, 기기 및 저장 매체
관련 출원의 상호 참조
본 발명은 출원번호가 202010519507.3이고, 출원일이 2020년 6월 9일인 중국 특허 출원을 기반으로 제출되고, 해당 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 발명에 인용된다.
본 발명의 실시예는 머신 러닝 분야에 관한 것으로, 데이터 증강 정책의 업데이트 방법, 장치, 기기 및 저장 매체에 관한 것이다.
딥 러닝 기술의 응용 효과는 대량의 트레이닝 데이터에 의존하며, 수량이 제한된 트레이닝 데이터로 트레이닝하여 획득된 데이터 처리 모델에는 일반적으로 과적합 현상이 나타난다. 데이터 처리 모델의 트레이닝 효과를 향상시키고 모델 트레이닝에 필요한 인력을 줄이기 위해, 자동 데이터 증강 기술이 트레이닝 데이터의 데이터량 및 다양성을 향상시키기 위해 점차 사용되고 있다.
자동 데이터 증강 기술은 자동 머신 러닝 기술을 통해 데이터 증강 과정을 자동화하는 것을 가리키므로, 하나의 적합한 데이터 증강 정책을 찾는 것이 매우 중요하다. 일반적으로, 데이터 처리 모델의 트레이닝 효과를 기반으로, 강화 학습 알고리즘을 통해 데이터 증강 정책을 최적화할 수 있다.
트레이닝 데이터의 크기가 일반적으로 비교적 크고 데이터 처리 모델 트레이닝도 시간이 비교적 소모되므로, 데이터 증강 정책의 생성 효율이 향상될 필요가 있다.
본 발명의 실시예는 데이터 증강 정책의 업데이트 방법, 장치, 기기 및 저장 매체를 제공한다.
제1 측면에서, 본 발명의 실시예는,
초기의 데이터 증강 정책을 획득하는 단계;
상기 데이터 증강 정책 및 기설정된 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 기설정된 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하는 단계; 및
제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 상기 데이터 증강 정책을 업데이트하여, 업데이트된 후의 상기 데이터 증강 정책을 획득하는 단계를 포함하는 데이터 증강 정책의 업데이트 방법을 제공한다.
일 가능한 구현 형태에서, 상기 방법은,
M회차 업데이트된 상기 데이터 증강 정책을 획득하는 단계 - 상기 M은 1보다 크거나 같음 - ;
M회차 업데이트된 상기 데이터 증강 정책 및 상기 트레이닝 데이터에 따라, 상기 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하는 단계; 및
제2 단계 트레이닝을 거친 데이터 증강 모델에 따라, 상기 데이터 증강 정책에 대해 M+1회차 업데이트를 수행하는 단계를 더 포함한다.
일 가능한 구현 형태에서, 상기 초기의 데이터 증강 정책의 수량은 복수 개이고, 각 상기 데이터 증강 정책의 업데이트는 병렬 수행되며; 상기 방법은,
기설정된 업데이트 횟수마다, 상기 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 업데이트된 후의 각 상기 데이터 증강 정책에서 최적 정책을 선택하는 단계; 및
업데이트된 후의 상기 데이터 증강 정책에서, 상기 최적 정책을 제외한 각 상기 데이터 증강 정책을 상기 최적의 데이터 증강 정책으로 각각 대체하는 단계를 더 포함한다.
일 가능한 구현 형태에서, 상기 데이터 증강 정책은 복수 개의 기설정된 데이터 증강 조작을 포함하고; 상기 데이터 증강 정책 및 기설정된 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 기설정된 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하는 단계는,
각 상기 데이터 증강 조작에 따라, 상기 트레이닝 데이터에 대해 데이터 증강을 순차적으로 수행하는 단계; 및
데이터 증강된 후의 상기 트레이닝 데이터를 통해, 상기 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하는 단계를 포함한다.
일 가능한 구현 형태에서, 상기 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 상기 데이터 증강 정책을 업데이트하는 단계는,
상기 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 기설정된 정책 모델을 업데이트하는 단계;
업데이트된 후의 상기 정책 모델을 통해, 각각의 기설정 정책의 선택 확률을 결정하는 단계; 및
각 상기 기설정 정책의 선택 확률에 따라, 각 상기 기설정 정책에서 업데이트된 후의 상기 데이터 증강 정책을 선택하는 단계를 포함한다.
일 가능한 구현 형태에서, 상기 데이터 증강 정책의 업데이트 횟수가 여러 번일 경우, 상기 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 기설정된 정책 모델을 업데이트하는 단계는,
기설정된 검증 데이터에 따라, 상기 제2 단계 트레이닝을 거친 데이터 처리 모델을 검사하여 검사 결과를 획득하는 단계;
상기 데이터 증강 정책의 앞의 N-1회 업데이트 중 제2 단계를 거친 상기 데이터 처리 모델의 이력 검사 결과를 획득하는 단계 - 상기 N은 상기 데이터 증강 정책이 현재 업데이트된 총 횟수임 - ; 및
상기 이력 검사 결과 및 상기 검사 결과에 따라, 상기 정책 모델을 업데이트하는 단계를 포함한다.
일 가능한 구현 형태에서, 상기 이력 검사 결과 및 상기 검사 결과에 따라, 상기 정책 모델을 업데이트하는 단계는,
상기 이력 검사 결과의 평균값을 결정하는 단계;
상기 검사 결과와 상기 평균값의 차이값을 결정하는 단계; 및
상기 차이값에 따라, 상기 정책 모델 중의 정책 파라미터를 업데이트하는 단계를 포함한다.
일 가능한 구현 형태에서, 상기 초기의 데이터 증강 정책을 획득하는 단계 전에, 상기 방법은,
각각의 기설정 정책에서, 상기 제1 단계 트레이닝 중의 데이터 증강 정책을 균일하게 랜덤으로 선택하는 단계; 및
상기 제1 단계 트레이닝 중의 데이터 증강 정책 및 상기 트레이닝 데이터에 따라, 상기 데이터 처리 모델에 대해 상기 제1 단계 트레이닝을 수행하는 단계를 더 포함한다.
제2 측면에서, 본 발명의 실시예는,
처리할 데이터를 획득하는 단계;
미리 트레이닝된 데이터 처리 모델을 통해, 상기 처리할 데이터를 처리하는 단계를 포함하고, 상기 데이터 처리 모델은 제1 단계 트레이닝 및 제2 단계 트레이닝을 순차적으로 거치며, 상기 제2 트레이닝 단계에서 기설정된 데이터 증강 정책 및 기설정된 트레이닝 데이터를 통해 상기 데이터 처리 모델을 트레이닝하고, 상기 데이터 증강 정책은 제1 측면 또는 제1 측면의 각 가능한 구현 형태에 따른 방법을 사용하여 생성되는 데이터 처리 방법을 제공한다.
일 가능한 구현 형태에서, 상기 방법은,
상기 트레이닝 데이터에 따라, 상기 데이터 처리 모델에 대해 상기 제1 단계 트레이닝을 수행하는 단계;
상기 데이터 증강 정책을 통해 상기 트레이닝 데이터에 대해 데이터 증강을 수행하는 단계; 및
데이터 증강된 후의 상기 트레이닝 데이터에 따라, 상기 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 상기 제2 단계 트레이닝을 수행하는 단계를 더 포함한다.
일 가능한 구현 형태에서, 상기 트레이닝 데이터에 따라, 상기 데이터 처리 모델에 대해 상기 제1 단계 트레이닝을 수행하는 단계는,
각 기설정 정책에서, 상기 제1 단계 트레이닝 중의 데이터 증강 정책을 균일하게 랜덤으로 선택하는 단계; 및
상기 제1 단계 트레이닝 중의 데이터 증강 정책 및 상기 트레이닝 데이터에 따라, 상기 데이터 처리 모델에 대해 상기 제1 단계 트레이닝을 수행하는 단계를 포함한다.
일 가능한 구현 형태에서, 상기 처리할 데이터 및 상기 트레이닝 데이터는 이미지 데이터 또는 텍스트 데이터이다.
제3 측면에서, 본 발명의 실시예는,
초기의 데이터 증강 정책을 획득하도록 구성되는 획득 부분;
상기 데이터 증강 정책 및 기설정된 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 기설정된 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하도록 구성되는 트레이닝 부분; 및
제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 상기 데이터 증강 정책을 업데이트하여, 업데이트된 후의 상기 데이터 증강 정책을 획득하도록 구성되는 업데이트 부분을 포함하는 데이터 증강 정책의 업데이트 장치를 제공한다.
제4 측면에서, 본 발명의 실시예는,
처리할 데이터를 획득하도록 구성되는 획득 부분; 및
미리 트레이닝된 데이터 처리 모델을 통해, 상기 처리할 데이터를 처리하도록 구성되는 처리 부분을 포함하고, 상기 데이터 처리 모델은 제1 단계 트레이닝 및 제2 단계 트레이닝을 순차적으로 거치며, 상기 제2 트레이닝 단계에서 기설정된 데이터 증강 정책 및 기설정된 트레이닝 데이터를 통해 상기 데이터 처리 모델을 트레이닝하고, 상기 데이터 증강 정책은 제1 측면 또는 제1 측면의 각 가능한 구현 형태에 따른 방법을 사용하여 생성되는 데이터 처리 장치를 제공한다.
제5 측면에서, 본 발명의 실시예는 메모리 및 프로세서를 포함하는 전자 기기를 제공하고,
상기 메모리에는 프로그램 명령이 저장되며,
상기 프로세서는 상기 메모리 중의 프로그램 명령을 호출하여, 제1 측면, 제1 측면의 각 가능한 구현 형태, 제2 측면, 또는 제2 측면의 각 가능한 구현 형태에 따른 방법이 수행되도록 한다.
제6 측면에서, 본 발명의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 프로그램이 실행될 경우, 제1 측면, 제1 측면의 각 가능한 구현 형태, 제2 측면, 또는 제2 측면의 각 가능한 구현 형태에 따른 방법이 구현된다.
제7 측면에서, 본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중의 프로세서는 제1 측면, 제1 측면의 각 가능한 구현 형태, 제2 측면, 또는 제2 측면의 각 가능한 구현 형태에 따른 방법을 수행한다.
본 발명의 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법은, 데이터 처리 모델의 트레이닝 단계를 제1 단계와 제2 단계 전후 두 단계로 나누고, 데이터 증강 정책을 업데이트할 경우, 데이터 증강 정책 및 트레이닝 데이터를 기반으로, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행한 다음, 제2 단계 트레이닝을 거친 데이터 처리 모델을 기반으로 데이터 증강 정책을 업데이트함으로써, 데이터 증강 정책의 업데이트 과정에서 데이터 처리 모델에 대해 처음부터 트레이닝을 수행할 필요없고, 데이터 증강 정책 품질을 보장하면서 데이터 증강 정책의 생성 효율을 향상시킨다. 이 밖에, 생성된 데이터 증강 정책은 트레이닝 데이터의 동일한 유형의 데이터에 적용될 수 있으며, 전이 가능성이 있다.
위의 일반적인 설명 및 후술되는 세부사항에 대한 설명은 예시적이고 해석을 위한 것일 뿐, 본 발명을 제한하기 위함이 아님을 이해해야 한다.
여기서의 도면은 명세서에 병합되어 본 명세서의 일부분을 구성하고, 본 발명에 부합되는 실시예를 나타내며, 명세서와 함께 본 발명의 원리를 해석한다.
도 1은 데이터 증강과 이미지 분류 모델의 트레이닝 효과 사이의 관계 예시도이다.
도 2는 본 발명의 일 실시예에서 제공되는 네트워크 아키텍처 모식도이다.
도 3은 본 발명의 일 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법의 흐름 모식도이다.
도 4는 본 발명의 다른 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법의 흐름 모식도이다.
도 5는 본 발명의 다른 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법의 흐름 모식도이다.
도 6은 본 발명의 다른 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법의 흐름 모식도이다.
도 7은 본 발명의 다른 실시예에서 제공되는 복수 개의 데이터 증강 정책이 병렬 업데이트되는 예시도이다.
도 8은 본 발명의 일 실시예에서 제공되는 데이터 처리 방법의 흐름 모식도이다.
도 9는 본 발명의 일 실시예에서 제공되는 데이터 증강 정책의 업데이트 장치의 구조 모식도이다.
도 10은 본 발명의 일 실시예에서 제공되는 데이터 처리 장치의 구조 모식도이다.
도 11은 본 발명의 일 실시예에서 제공되는 전자 기기의 구조 모식도이다.
도 12는 본 발명의 실시예에 따라 제공되는 데이터 증강 정책의 업데이트 장치의 블록도이다.
상기 도면을 통해 본 발명의 명확한 실시예를 도시하였으며, 후술되는 내용에서 더욱 상세히 설명하기로 한다. 이러한 도면 및 문자는 임의의 방식으로 본 발명의 구상의 범위를 제한하려는 것이 아니라, 특정 실시예를 참조함으로써 본 기술분야의 통상의 기술자에게 본 발명의 개념을 설명하기 위한 것이다.
여기서 예시적인 실시예를 상세하게 설명하고, 그 예시는 도면에 도시된다. 아래 도면에 관한 설명에서, 별도로 설명하지 않는 한, 상이한 도면에서의 동일한 숫자는 동일하거나 유사한 요소를 표시한다. 아래 예시적인 실시예에서 설명되는 실시형태는 본 발명과 일치한 모든 실시형태를 대표하지 않는다. 반대로, 이들은 단지 첨부된 특허청구범위에 상세하게 설명된 본 발명의 일부 양태와 일치한 장치와 방법의 예이다.
우선, 본 발명의 실시예에서 언급된 명사를 해석하기로 한다.
제1 단계 트레이닝, 제2 단계 트레이닝은, 데이터 처리 모델의 트레이닝 총 횟수에 따라, 데이터 처리 모델의 트레이닝을 전후 순서에 따라 제1 단계 트레이닝과 제2 단계 트레이닝으로 구분하는 것을 가라킨다. 예를 들어, 데이터 처리 모델의 트레이닝 총 횟수를 300회라고 미리 설정하면, 앞의 100회 트레이닝을 제1 단계 트레이닝이라고 하고, 뒤의 200회 트레이닝을 제2 단계 트레이닝이라고 할 수 있다. 여기서, 제1 단계 트레이닝 중의 트레이닝 횟수 및 제2 단계 트레이닝 중의 트레이닝 횟수에 대해 제한하지 않는다.
데이터 증강 조작은, 트레이닝 데이터의 데이터량 및 다양성을 증가시키도록, 트레이닝 데이터에 대해 미세 조절을 수행하는 조작을 가리킨다. 예를 들어, 이미지 데이터를 예로 들면, 이미지 데이터에 대해 사이즈, 컬러 조절을 수행하는 것이다.
데이터 증강 정책은, 트레이닝 데이터에 대해 데이터 증강을 수행하는 방안을 가리킨다. 여기서, 데이터 증강 정책은 데이터 증강 조작을 포함한다. 예를 들어, 데이터 증강 정책 중의 데이터 증강 조작은 이미지 수평 크롭이고, 이미지 수평 크롭에 대응되는 크롭폭은 0.1 너비이며, 즉 매번 이미지 수평 크롭핑되는 너비는 이미지 원래 너비의 10%이다.
딥 러닝 기술은 여러 분야에 널리 응용되어 현저한 효과를 거두었다. 이미지 시각 분야를 예로 들면, 딥 러닝 기술로 처리할 수 있는 태스크에는 이미지 분류, 타깃 검출, 이미지 분할, 인체 포즈 추정 등과 같은 것이 있다. 이러한 태스크들을 훌륭하게 수행하기 위해, 딥 러닝 기술을 사용한 데이터 처리 모델은 일반적으로 대량의 트레이닝 데이터로 트레이닝해야 하며, 그렇지 않을 경우, 트레이닝하여 획득된 모델은 과적합 현상이 나타나게 된다. 따라서, 데이터 증강은 트레이닝 데이터의 데이터량 및 다양성을 증가시키기 위해 흔히 사용되는 방식이 되었으며, 적합한 데이터 증강 정책을 설계하는 것은 데이터 처리 모델 트레이닝 효과를 향상시키는 핵심 요소가 된다.
일반적으로, 전문가가 수동으로 데이터 증강 정책을 설계할 수 있지만, 이러한 방식은 시간과 인건비가 높을 뿐만아니라, 데이터 증강 정책의 재사용성이 높지 않고, 일반적으로 특정된 데이터 처리 모델의 트레이닝에만 적합하다. 데이터 증강 정책을 자동으로 생성하는 방식은 전문가가 수동으로 데이터 증강 정책을 설계하는 것에 비해, 데이터 증강 정책의 생성 효율을 향상시킬 수 있을 뿐만아니라, 더 나은 데이터 증강 정책을 생성할 수 있다.
일반적으로, 데이터 증강 정책을 자동으로 생성하는 방식에서, 데이터 처리 모델의 트레이닝 효과에 의해, 강화 학습 알고리즘을 통해 데이터 증강 정책을 최적화할 수 있다. 발명자는 상기 방식에서 데이터 처리 모델의 전체 트레이닝 과정을 지속적으로 반복해야 할 뿐만아니라, 트레이닝 데이터의 규모가 작지 않고 전체적인 계산량이 크며 시간 소모가 많아 데이터 증강 정책의 생성 효율이 높지 않음을 발견하였다.
딥 러닝 기술에서, 데이터 처리 모델의 과적합은 일반적으로 후기 트레이닝 단계에서 발생된다. 따라서, 발명자는 데이터 증강이 데이터 처리 모델에 대한 트레이닝 효과의 향상은 주로 데이터 처리 모델의 후기 트레이닝 단계에서 발생된다고 추측하였다. 데이터 증강 정책의 생성 효율을 향상시키고, 상기 데이터 증강 정책을 기반으로 트레이닝을 수행하는 데이터 처리 모델의 트레이닝 효과를 확보하기 위해, 발명자는 데이터 증강 정책에 기반한 모델 트레이닝 과정을 깊게 연구하여 상기 추측을 검증하였다.
데이터 처리 모델이 이미지 분류 모델이고, 이미지 분류 모델의 트레이닝 총 횟수가 300회인 것을 예로 들면, 발명자는 도 1에 도시된 결과를 얻는다. 도 1은 데이터 증강과 이미지 분류 모델의 트레이닝 효과 사이의 관계를 도시하였고, 가로 좌표는 이미지 분류 모델의 300회 트레이닝의 데이터 증강 라운드수이며, 세로 좌표는 300회 트레이닝된 후의 이미지 분류 모델의 분류 정확도이다. 점선은 트레이닝 후기의 데이터 증강 라운드수와 이미지 분류 모델의 분류 정확도의 관계이고, 실선은 트레이닝 전기의 데이터 증강 라운드수와 이미지 분류 모델의 분류 정확도의 관계이다.
여기서, 트레이닝 후기의 데이터 증강 라운드수는 이미지 분류 모델의 마지막 트레이닝으로부터 앞으로 연속 계산된 것이며, 예를 들어, 트레이닝 후기의 데이터 증강 라운드수가 50이면, 이미지 분류 모델의 뒤의 50회 트레이닝에서 데이터 증강을 수행함을 나타낸다. 트레이닝 전기의 데이터 증강 라운드수는 이미지 분류 모델의 처음 트레이닝으로부터 뒤로 연속 계산된 것이며, 예를 들어, 트레이닝 전기의 데이터 증강 라운드수가 50이면, 이미지 분류 모델의 앞의 50회 트레이닝에서 데이터 증강을 수행함을 나타낸다.
도 1에 의해 하기와 같은 것을 얻을 수 있다. 1. 데이터 증강 라운드수가 일치할 경우, 점선은 항상 실선의 상측에 위치하므로, 데이터 증강 라운드수가 일치할 경우, 트레이닝 후기에서 데이터 증강을 수행하여 획득된 이미지 분류 모델의 분류 정확도는 트레이닝 전기에서 데이터 증강을 수행하여 획득된 이미지 분류 모델의 분류 정확도보다 높다. 2. 이미지 분류 모델의 분류 정확도가 일치할 경우, 점선은 항상 실선의 좌측에 위치하므로, 이미지 분류 모델의 분류 정확도가 일치할 경우, 트레이닝 후기에서 데이터 증강을 수행하는데 필요한 데이터 증강 라운드수는 트레이닝 전기에서 데이터 증강을 수행하는데 필요한 데이터 증강 라운드수보다 적다. 실선과 점선 상의 첫 번째 점은 모두 데이터 증강이 수행된 라운드수가 0임을 나타내고, 실선과 점선 상의 마지막 점은 모두 데이터 증강이 수행된 라운드수가 300임을 나타내므로, 상기 비교 과정에서는 이 4개의 점을 고려하지 않는 것에 유의해야 한다.
발명자의 상기 발견을 기반으로, 본 발명의 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법은, 초기의 데이터 증강 정책을 획득하고, 데이터 증강 정책 및 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 기설정된 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하며, 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 데이터 증강 정책을 업데이트함으로써, 데이터 정책 모델을 업데이트하는 과정에서 데이터 처리 모델에 대한 제2 단계 트레이닝만 수행하면 되므로, 데이터 증강 정책의 품질 보장은 물론, 데이터 증강 정책의 생성 효율도 향상시킨다.
본 발명의 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법은 도 2에 도시된 네트워크 아키텍처에 적용될 수 있다. 도 2에 도시된 바와 같이, 상기 네트워크 아키텍처는 단말 기기(201) 또는 서버(202)를 적어도 포함하고, 단말 기기(201)에 제1 단계 트레이닝을 거친 데이터 처리 모델을 저장하며, 데이터 처리 모델의 제2 단계 트레이닝 및 데이터 증강 정책의 업데이트를 수행할 수 있다. 또한, 서버(202)에 제1 단계 트레이닝을 거친 데이터 처리 모델을 저장하고, 데이터 처리 모델의 제2 단계 트레이닝 및 데이터 증강 정책의 업데이트를 수행할 수도 있다. 또한, 단말 기기(201)에 제1 단계 트레이닝을 거친 데이터 처리 모델을 저장하고, 서버(202)에서 데이터 처리 모델의 제2 단계 트레이닝 및 데이터 증강 정책의 업데이트를 수행하거나, 또는, 서버(202)에 제1 단계 트레이닝을 거친 데이터 처리 모델을 저장하며, 단말 기기(201)에서 데이터 처리 모델의 제2 단계 트레이닝 및 데이터 증강 정책의 업데이트를 수행할 수도 있다.
상기 단말 기기는 컴퓨터, 태블릿 PC, 스마트폰 등 기기일 수 있고, 상기 서버는 단일 서버 또는 다수의 서버로 이루어진 서버 그룹일 수 있다.
이하, 본 발명의 실시예의 기술적 해결수단 및 본 발명의 기술적 해결수단이 상기 기술적 과제를 해결하는 방법을 상세하게 설명한다. 이하, 몇 개의 실시예는 서로 조합될 수 있고, 동일하거나 유사한 개념 또는 과정은 일부 실시예에서 설명되지 않을 수 있다. 이하, 도면을 결부하여 본 발명의 실시예를 설명한다.
도 3은 본 발명의 일 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법의 흐름 모식도이다. 도 3에 도시된 바와 같이, 상기 방법은 하기와 같은 단계를 포함한다.
단계 S301에서, 초기의 데이터 증강 정책을 획득한다.
일 가능한 구현 형태에서, 단계 S301에서는 각각의 기설정된 데이터 증강 정책에서 초기의 데이터 증강 정책을 획득할 수 있다. 여기서, 각각의 기설정된 데이터 증강 정책과 현재 사용되는 데이터 증강 정책을 구분하기 위해, 설명적으로, 각각의 기설정된 데이터 증강 정책을 각각의 기설정 정책이라고 하고, 현재 사용되는 데이터 증강 정책을 데이터 증강 정책이라고 한다.
일 가능한 구현 형태에서, 각각의 기설정 정책에서 초기의 데이터 증강 정책을 획득하는 것 외에, 사용자에 의해 미리 설정된 초기의 데이터 증강 정책에서 상기 설정된 데이터 증강 정책을 직접 획득할 수도 있다. 또는, 각각의 기설정된 데이터 증강 조작에서 초기의 데이터 증강 조작을 획득하여, 초기의 데이터 증강 정책을 획득할 수도 있다.
단계 S302에서, 데이터 증강 정책 및 기설정된 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 기설정된 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행한다.
여기서, 데이터 처리 모델에 대해 제1 단계 트레이닝을 미리 수행하여, 제1 단계 트레이닝을 거친 데이터 처리 모델을 획득할 수 있다. 트레이닝 데이터를 미리 수집할 수 있고, 트레이닝 데이터는 데이터베이스의 형식으로 저장될 수 있다.
일 가능한 구현 형태에서, 초기의 데이터 증강 정책이 획득된 후, 데이터 증강 정책을 통해 트레이닝 데이터에 대해 데이터 증강을 수행하고, 데이터 증강된 후의 트레이닝 데이터를 통해, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하여, 제2 단계 트레이닝을 거친 데이터 처리 모델을 획득할 수 있어, 데이터 처리 모델의 후기 트레이닝에서 트레이닝 데이터에 대해 데이터 증강을 수행하고, 데이터 증강이 데이터 처리 모델의 후기 트레이닝에 대해 더 큰 영향을 미치는 특징을 충분히 이용한다.
여기서, 데이터 처리 모델에 대해 사용된 트레이닝 알고리즘에 대해 제한하지 않는다.
단계 S303에서, 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 데이터 증강 정책을 업데이트한다.
일 가능한 구현 형태에서, 데이터 처리 모델은 제1 단계 트레이닝 및 제2 단계 트레이닝을 거친 후, 즉 그 트레이닝 과정이 완료되어 트레이닝된 처리 모델을 획득한다. 따라서, 제2 단계 트레이닝을 거친 데이터 처리 모델의 트레이닝 효과를 검사하여 검사 결과를 획득할 수 있다. 예를 들어, 데이터 처리 모델의 태스크가 이미지 분류 태스크일 경우, 데이터 처리 모델의 검사 결과는 데이터 처리 모델의 이미지 분류 정확도이다.
일 가능한 구현 형태에서, 데이터 처리 모델의 검사 결과를 획득하면, 데이터 증강 정책을 통해 트레이닝 데이터에 대해 데이터 증강을 수행할 경우, 데이터 증강된 후의 트레이닝 데이터를 기반으로 트레이닝하여 획득된 데이터 처리 모델의 트레이닝 효과를 이해할 수 있으며, 보다시피, 데이터 처리 모델의 검사 결과는 데이터 증강 정책의 품질을 반영한다. 예를 들어, 데이터 처리 모델의 이미지 분류 정확도가 높을수록 데이터 증강 정책의 품질이 향상됨을 나타낸다. 따라서, 데이터 처리 모델의 검사 결과에 따라, 데이터 증강 정책을 업데이트할 수 있다. 데이터 증강 정책을 업데이트하는 과정에서, 정책 업데이트 공간 중의 기설정 정책을 획득하여 업데이트된 후의 데이터 증강 정책으로 사용할 수 있다.
본 발명의 실시예에서는 초기의 데이터 증강 정책 및 트레이닝 데이터를 통해, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하고, 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 데이터 증강 정책을 업데이트함으로써, 데이터 증강 정책이 데이터 처리 모델의 후기 트레이닝에 대해 더 큰 영향을 미치는 특징을 충분히 이용하여, 데이터 증강 정책 품질을 보장하면서 데이터 증강 정책의 생성 효율을 향상시킨다.
도 4는 본 발명의 다른 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법의 흐름 모식도이다. 도 4에 도시된 바와 같이, 상기 방법은 하기와 같은 단계를 포함한다.
단계 S401에서, 초기의 데이터 증강 정책을 획득한다.
일 가능한 구현 형태에서, 각각의 기설정 정책에서 초기의 데이터 증강 정책을 획득할 수 있다.각각의 기설정 정책에서 초기의 데이터 증강 정책을 획득하는 것 외에, 사용자에 의해 미리 설정된 초기의 데이터 증강 정책에서 상기 설정된 데이터 증강 정책을 직접 획득할 수도 있다. 또는, 각각의 기설정된 데이터 증강 조작에서 초기의 데이터 증강 조작을 획득하여, 초기의 데이터 증강 정책을 획득할 수도 있다.
일 가능한 구현 형태에서, 데이터 증강 정책은 복수 개의 기설정된 데이터 증강 조작을 포함하여, 데이터 증강 정책의 품질을 향상시킨다. 후속적으로 제1 단계를 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행할 경우, 데이터 증강 정책 중의 각각의 데이터 증강 조작에 따라, 트레이닝 데이터에 대해 데이터 증강을 순차적으로 수행하며, 데이터 증강된 후의 트레이닝 데이터를 통해, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행할 수 있다.
트레이닝 데이터가 이미지 데이터인 것을 예로 들면, 표 1에 나타난 각각의 데이터 증강 조작 및 각각의 데이터 증강 조작에 대응되는 각각의 조작 폭을 미리 설정할 수 있다. 표 1에는 총 14가지 데이터 증강 조작의 유형이 있고, 11가지 데이터 증강 조작에는 3가지 조작 폭이 각각 설정되어 있으며, 또한 3가지 데이터 증강 조작은 조작 폭을 설정하지 않아도 되고, 상이한 조작 폭의 동일한 데이터 증강 조작을 상이한 데이터 증강 조작으로 간주할 수 있으므로, 표 1에는 총 36개의 데이터 증강 조작이 있다. 데이터 증강 정책이 두 개의 데이터 증강 조작을 포함할 경우, 표 1의 데이터 증강 조작은 조합되어 36×36개의 데이터 증강 정책을 획득할 수 있다. 따라서, 표 1에 따르면, 36×36개의 기설정 정책을 설정할 수 있다.
표 1 이미지 데이터 증강 조작 및 각 증강 조작 폭
데이터 증강 조작 조작 폭 폭 단위
수평 크롭 {0.1, 0.2, 0.3} 너비 비율
수직 크롭 {0.1, 0.2, 0.3} 높이 비율
수평 평행 이동 {0.15, 0.3, 0.45} 너비 비율
수직 평행 이동 {0.15, 0.2, 0.45} 높이 비율
이미지 회전 {10, 20, 30} 각도값
컬러 조절 {0.3, 0.6, 0.9} 컬러 균형도
색조 분리 {4.4, 5.6, 6.8} 픽셀 비트값
일광화 {26, 102, 179} 픽셀 임계값
콘트라스트 조절 {1.3, 1.6, 1.9} 콘트라스트 비율
선명도 조절 {1.3, 1.6, 1.9} 선명화 비율
밝기 조절 {1.3, 1.6, 1.9} 밝기 비율
자동 콘트라스트 없음 없음
평활화 없음 없음
색상 반전 없음 없음
단계 S402에서, 데이터 증강 정책 및 기설정된 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 기설정된 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행한다.일 가능한 구현 형태에서, 초기의 데이터 증강 정책이 획득된 후, 데이터 증강 정책을 통해 트레이닝 데이터에 대해 데이터 증강을 수행하고, 데이터 증강된 후의 트레이닝 데이터를 통해, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하여, 제2 단계 트레이닝을 거친 데이터 처리 모델을 획득할 수 있어, 데이터 처리 모델의 후기 트레이닝에서 트레이닝 데이터에 대해 데이터 증강을 수행하고, 데이터 증강이 데이터 처리 모델의 후기 트레이닝에 대해 더 큰 영향을 미치는 특징을 충분히 이용한다.
단계 S403에서, 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 데이터 증강 정책을 업데이트한다.
일 가능한 구현 형태에서, 데이터 처리 모델은 제1 단계 트레이닝 및 제2 단계 트레이닝을 거친 후, 즉 그 트레이닝 과정이 완료되어 트레이닝된 처리 모델을 획득한다. 따라서, 제2 단계 트레이닝을 거친 데이터 처리 모델의 트레이닝 효과를 검사하여 검사 결과를 획득할 수 있다.
일 가능한 구현 형태에서, 데이터 처리 모델의 검사 결과를 획득하면, 데이터 증강 정책을 통해 트레이닝 데이터에 대해 데이터 증강을 수행할 경우, 데이터 증강된 후의 트레이닝 데이터를 기반으로 트레이닝하여 획득된 데이터 처리 모델의 트레이닝 효과를 이해할 수 있으며, 보다시피, 데이터 처리 모델의 검사 결과는 현재 사용되는 데이터 증강 정책의 품질을 반영한다. 따라서, 데이터 처리 모델의 검사 결과에 따라, 데이터 증강 정책을 업데이트할 수 있다. 데이터 증강 정책을 업데이트하는 과정에서, 정책 업데이트 공간 중의 기설정 정책을 획득하여 업데이트된 후의 데이터 증강 정책으로 사용할 수 있다.
단계 S404에서, 업데이트된 후의 데이터 증강 정책이 기설정 조건을 만족하는지 여부를 결정한다.
일 가능한 구현 형태에서, 업데이트된 후의 데이터 증강 정책이 기설정 조건을 만족할 경우, 단계 S406를 수행하고, 업데이트된 후의 데이터 증강 정책이 기설정 조건을 만족하지 않을 경우, 단계 S405를 수행한다.
단계 S405에서, 초기의 데이터 증강 정책을 업데이트된 후의 데이터 증강 정책으로 업데이트한다.
일 가능한 구현 형태에서, 초기의 데이터 증강 정책을 업데이트된 후의 데이터 증강 정책으로 업데이트하고, 즉 현재 사용되는 데이터 증강 정책을 업데이트된 후의 데이터 증강 정책으로 업데이트하며, 단계 S402를 수행하여, 데이터 증강 정책에 대해 업데이트를 여러 번 수행한다.
단계 S406에서, 최종적인 데이터 증강 정책을 획득한다.
일 가능한 구현 형태에서, 업데이트된 후의 데이터 증강 정책이 기설정 조건을 만족할 경우, 데이터 증강 정책에 대한 업데이트를 정지하고, 모든 업데이트 과정에서 제2 단계 트레이닝을 거친 데이터 처리 모델을 선택하는 검사 결과가 가장 높을 경우, 사용된 데이터 증강 정책을 최종적인 데이터 증강 정책으로 사용함으로써, 데이터 증강 정책의 품질을 효과적으로 향상시킨다.
일 가능한 구현 형태에서, M회차 업데이트된 데이터 증강 정책을 획득하고, M은 1보다 크거나 같으며, M회차 업데이트된 데이터 증강 정책 및 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하고, 제2 단계 트레이닝을 거친 데이터 증강 모델에 따라, 데이터 증강 정책에 대해 M+1회차 업데이트를 수행한다.
일 가능한 구현 형태에서, 데이터 증강 정책의 업데이트 횟수가 기설정된 횟수 임계값에 도달하는지 여부를 결정하여, 업데이트된 후의 데이터 증강 정책이 기설정 조건을 만족하는지 여부를 결정할 수 있다. 업데이트 횟수가 횟수 임계값에 도달할 경우, 업데이트된 후의 데이터 증강 정책이 기설정 조건을 만족하는 것으로 결정된다. 업데이트 횟수가 횟수 임계값에 도달하지 못할 경우, 업데이트된 후의 데이터 증강 정책이 기설정 조건을 만족하지 않는 것으로 결정됨으로써, 업데이트 횟수를 통해 데이터 증강 정책의 업데이트를 계속할지 여부를 제어하여, 데이터 증강 정책이 지속적으로 업데이트되는 것을 방지한다.
일 가능한 구현 형태에서, 데이터 증강 정책의 업데이트 횟수가 기설정된 횟수 임계값에 도달하였는지 여부를 결정하여, 데이터 증강 정책에 대한 지속적인 업데이트를 정지할지 여부를 결정하는 것 외에, 제2 단계 트레이닝을 거친 데이터 처리 모델의 검사 결과가 기설정 조건을 만족하는지 여부를 결정하여, 데이터 증강 정책에 대한 지속적인 업데이트를 정지할지 여부를 결정할 수도 있다.
여기서, 데이터 처리 모델의 검사 결과와 기설정된 검사 임계값을 비교하고, 데이터 처리 모델의 검사 결과가 검사 임계값보다 클 경우, 제2 트레이닝 단계를 거친 데이터 처리 모델이 기설정 조건을 만족하는 것으로 결정되어, 데이터 증강 정책을 최종적인 데이터 증강 정책으로 설정하고, 데이터 처리 모델의 검사 결과가 상기 검사 임계값보다 작거나 같을 경우, 제2 트레이닝 단계를 거친 데이터 처리 모델이 기설정 조건을 만족하지 않는 것으로 결정되어, 데이터 증강 정책의 업데이트를 계속하여 수행할 수 있다.
일 가능한 구현 형태에서, 매번 업데이트되는 과정에서 데이터 증강 정책의 수량은 복수 개이고, 각각의 데이터 증강 정책의 업데이트는 병렬 수행됨으로써, 데이터 증강 정책의 생성 효율을 효과적으로 향상시킨다.
일 가능한 구현 형태에서, 기설정된 업데이트 횟수마다, 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 업데이트된 후의 각 데이터 증강 정책에서, 최적의 데이터 증강 정책을 선택하고, 업데이트된 후의 데이터 증강 정책에서, 최적 정책을 제외한 각 데이터 증강 정책을 최적의 데이터 증강 정책으로 각각 대체함으로써, 업데이트 과정의 수렴성 및 데이터 증강 정책의 생성 효율을 향상시킨다. 여기서, 최적의 데이터 증강 정책을 선택하는 과정에서, 제2 단계 트레이닝을 거친 데이터 처리 모델의 트레이닝 효과를 검사하여 획득된 검사 결과에 따라 선택한다.
일 가능한 구현 형태에서, 트레이닝 데이터는 이미지 데이터 또는 텍스트 데이터이고, 트레이닝 데이터가 이미지 데이터일 경우, 데이터 처리 모델은 이미지 처리 모델이며, 트레이닝 데이터가 텍스트 데이터일 경우, 데이터 처리 모델은 자연 언어 처리 모델이다. 따라서, 본 발명의 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법은 이미지 처리 분야의 데이터 증강 정책의 생성 및 자연 언어 분야의 데이터 증강 정책의 생성에 적용될 수 있다.
본 발명의 실시예에서는 초기의 데이터 증강 정책 및 트레이닝 데이터를 통해, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하고, 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 데이터 증강 정책에 대해 업데이트를 여러번 수행함으로써, 데이터 증강 정책이 데이터 처리 모델의 후기 트레이닝에 대해 더 큰 영향을 미치는 특징을 충분히 이용하여, 데이터 증강 정책 품질을 보장하면서 데이터 증강 정책의 생성 효율을 향상시킨다.
도 5는 본 발명의 다른 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법의 흐름 모식도이고, 도 5에 도시된 바와 같이, 상기 방법은 하기와 같은 단계를 포함한다.
단계 S501에서, 초기의 데이터 증강 정책을 획득한다.
일 가능한 구현 형태에서, 각각의 기설정 정책에서 초기의 데이터 증강 정책을 획득할 수 있다. 각각의 기설정 정책에서 초기의 데이터 증강 정책을 획득하는 것 외에, 사용자에 의해 미리 설정된 초기의 데이터 증강 정책을 직접획득할 수도 있다. 또는, 각각의 기설정된 데이터 증강 조작에서 초기의 데이터 증강 조작을 획득하여, 초기의 데이터 증강 정책을 획득할 수도 있다.
일 가능한 구현 형태에서, 각각의 기설정 정책에서 초기의 데이터 증강 정책을 획득할 경우, 각각의 기설정 정책에서 하나 또는 복수 개의 기설정 정책을 균일하게 랜덤으로 선택하여, 초기의 데이터 증강 정책으로 사용함으로써, 초기의 데이터 증강 정책 선택의 공정성을 향상시킨다. 여기서, 각각의 기설정 정책에서 하나 또는 복수 개의 기설정 정책을 균일하게 랜덤으로 선택하는 것은, 각각의 기설정 정책이 선택되는 확률이 동일함을 나타낸다.
일 가능한 구현 형태에서, 각각의 기설정 정책에서 복수 개의 기설정 정책을 균일하게 랜덤으로 선택하여 초기의 데이터 증강 정책으로 사용할 경우, 초기의 데이터 증강 정책이 복수 개임을 나타내고, 후속되는 업데이트 과정에서는 각각의 데이터 증강 정책에 대해 동기화 업데이트를 수행함으로써, 데이터 증강 정책의 생성 효율을 향상시킨다.
단계 S502에서, 데이터 증강 정책 및 기설정된 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 기설정된 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행한다.
일 가능한 구현 형태에서, 데이터 증강 정책 중의 데이터 증강 조작을 통해, 트레이닝 데이터에 대해 데이터 증강을 수행하고, 데이터 증강 정책에 복수 개의 데이터 증강 조작이 포함될 경우, 데이터 증강 정책 중의 각각의 데이터 증강 조작을 통해, 트레이닝 데이터에 대해 데이터 증강을 순차적으로 수행하여, 데이터 증강된 후의 트레이닝 데이터를 획득한다. 데이터 증강된 후의 트레이닝 데이터를 통해, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하여, 제2 단계 트레이닝을 거친 데이터 처리 모델을 획득한다.
단계 S503에서, 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 기설정된 정책 모델을 업데이트한다.
여기서, 정책 모델은 하나의 파라미터화 모델이고, 그 파라미터는 기설정된 정책 파라미터이며, 정책 조작을 조절함으로써 정책 모델의 출력을 조절할 수 있다. 정책 모델의 출력은 각각의 기설정 정책의 선택 확률이고, 즉 데이터 증강 정책이 업데이트의 경우, 각각의 기설정 정책이 업데이트된 후의 데이터 증강 정책으로 선택되는 확률이다. 따라서, 정책 모델은 하나의 다항식 분포로 이해될 수 있다.
일 가능한 구현 형태에서, 기설정된 검증 데이터를 획득할 수 있고, 검증 데이터는 입력 데이터 및 입력 데이터에 대응되는 라벨 데이터를 포함한다. 예를 들어, 이미지 데이터를 예로 들면, 검증 데이터가 이미지 데이터이고, 데이터 처리 모델의 태스크가 이미지 분류 태스크일 경우, 검증 데이터는 입력 이미지 및 입력 이미지에 대응되는 분류 라벨을 포함하며, 여기서, 분류 라벨은 입력 데이터의 카테고리이다.
일 가능한 구현 형태에서, 검증 데이터 중의 입력 데이터를 제2 단계 트레이닝을 거친 데이터 처리 모델에 입력하여, 데이터 처리 모델의 출력 결과를 획득하고, 데이터 처리 모델의 출력 결과와 입력 데이터에 대응되는 라벨 데이터를 비교하면, 데이터 처리 모델을 검사한 검사 결과를 획득할 수 있다. 여기서, 데이터 처리 모델을 검사한다는 것은, 데이터 처리 모델의 트레이닝 효과를 검사하는 것을 가리킨다. 예를 들어, 이미지 데이터를 예로 들면, 검증 데이터가 이미지 데이터이고, 데이터 처리 모델의 태스크가 이미지 분류 태스크일 경우, 입력 이미지를 데이터 처리 모델에 입력하고, 데이터 처리 모델의 출력과 입력 이미지에 대응되는 분류 라벨을 비교하면, 데이터 처리 모델의 분류 정확도를 획득할 수 있다.
일 가능한 구현 형태에서, 데이터 처리 모델의 검사 결과가 획득된 후, 상기 검사 결과에 따라, 정책 모델의 정책 파라미터를 업데이트하여, 업데이트된 후의 정책 모델을 획득할 수 있다.
단계 S504에서, 업데이트된 후의 정책 모델을 통해, 각각의 기설정 정책의 선택 확률을 결정한다.
단계 S505에서, 각 기설정 정책의 선택 확률에 따라, 각 기설정 정책에서 업데이트된 후의 데이터 증강 정책을 선택한다.
일 가능한 구현 형태에서, 업데이트된 후의 정책 모델에 따라, 각각의 기설정 정책의 선택 확률을 재결정하고, 각각의 기설정 정책의 선택 확률에 따라, 각각의 기설정 정책에서 하나의 기설정 정책을 선택하여 업데이트 된 후의 데이터 증강 정책으로 사용할 수 있다.
일 가능한 구현 형태에서, 정책 파라미터에는 각각의 기설정 정책에 대응되는 가중치가 포함되고, 정책 파라미터를 업데이트한다는 것은 각각의 기설정 정책에 대응되는 가중치를 업데이트하는 것이다. 초기의 데이터 증강 정책을 획득하는 과정에서, 각각의 기설정 정책에 동일한 가중치를 설정함으로써, 각각의 기설정 정책에서 초기의 데이터 증강 정책을 균일하게 랜덤으로 선택할 수 있다. 정책 파라미터를 업데이트하는 과정에서, 각각의 기설정 정책의 가중치가 상이하게 변경되고, 각각의 기설정 정책의 선택 확률이 점차 상이해진다. 따라서, 제2 단계 트레이닝을 거친 데이터 모델의 트레이닝 효과에 따라, 정책 파라미터를 조절한 다음, 정책 모델에 따라 각각의 기설정 정책의 선택 확률을 재결정함으로써, 각각의 기설정 정책에서 품질이 더 나은 데이터 증강 정책을 지속적으로 선택하므로, 데이터 증강 정책의 생성 효율의 향상은 물론, 데이터 증강 정책의 품질도 보장한다.
일 가능한 구현 형태에서, 정책 모델은 공식 (1)로 표시될 수 있다.
Figure pct00001
(1);
여기서,
Figure pct00002
는 자연 로그의 밑수이고,
Figure pct00003
는 정책 파라미터
Figure pct00004
중의 k번째 가중치이며, 즉 k번째 기설정 정책에 대응되는 가중치이고, K는 기설정 정책의 총 개수를 나타내며,
Figure pct00005
는 k번째 기설정 정책을 나타내고,
Figure pct00006
는 k번째 기설정 정책의 선택 확률을 나타낸다. 따라서, 정책 모델, 및 각각의 기설정 정책에 대응되는 가중치를 포함하는 정책 파라미터를 통해, 각각의 기설정 정책의 선택 확률을 결정할 수 있고, 정책 파라미터를 조절함으로써, 각각의 기설정 정책의 선택 확률을 효과적으로 조절할 수 있어, 데이터 증강 정책의 생성 효율의 향상은 물론, 데이터 증강 정책의 품질도 보장한다.
일 가능한 구현 형태에서, 정책 파라미터의 업데이트는 공식 (2)로 표시될 수 있다.
Figure pct00007
(2);
여기서,
Figure pct00008
는 제2 단계 트레이닝을 거친 데이터 처리 모델의 검사 결과를 나타내고,
Figure pct00009
는 제2 단계 트레이닝을 거친 데이터 처리 모델의 모델 파라미터를 나타내며,
Figure pct00010
는 검증 데이터를 나타낸다.
일 가능한 구현 형태에서, 제2 단계 트레이닝을 거친 데이터 처리 모델의 검사 결과에 따라 정책 파라미터를 업데이트하는 과정에서, 기설정된 발견적 검색 알고리즘을 통해 정책 파라미터의 업데이트를 구현하여, 정책 파라미터 업데이트의 효과를 향상시킬 수 있다.
일 가능한 구현 형태에서, 정책 파라미터 업데이트를 위한 발견적 검색 알고리즘이 강화 학습 알고리즘일 경우, 정책 파라미터의 업데이트는 공식 (3)으로 표시될 수 있다.
Figure pct00011
(3);
여기서,
Figure pct00012
는 정책 파라미터의 그래디언트 값을 나타내고,
Figure pct00013
는 강화 학습 알고리즘의 n번째 검색 궤적을 나타내며,
Figure pct00014
는 강화 학습 알고리즘에서 검색 궤적
Figure pct00015
이 검색되는 확률을 나타내고, N은 강화 학습 알고리즘 중 검색 궤적의 수량을 나타내며,
Figure pct00016
는 제2 단계 트레이닝을 거친 데이터 처리 모델의 검사 결과의 기대값을 나타낸다.
여기서, 강화 학습 알고리즘을 통해 정책 파라미터를 업데이트하는 과정에서, 정책 파라미터의 그래디언트 값
Figure pct00017
을 강화 학습 알고리즘에 기설정된 학습률에 곱하여 곱셈 결과를 획득한 다음, 곱셈 결과와 정책 파라미터를 가산하여 업데이트된 후의 정책 파라미터를 획득할 수 있다. 예를 들어, Adam(adaptive moment estimation, 적응성 모멘트 추정) 알고리즘을 강화 학습 알고리즘으로 사용할 경우, Adam의 학습률은
Figure pct00018
,
Figure pct00019
Figure pct00020
로 설정할 수 있다.
일 가능한 구현 형태에서, 데이터 증강 정책 및 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하는 과정에서, 제2 단계 트레이닝을 거쳐 획득된 데이터 처리 모델의 모델 파라미터는 공식 (4)로 표시될 수 있다.
Figure pct00021
(4);
여기서, x는 트레이닝 데이터 중의 입력 데이터를 나타내고, y는 트레이닝 데이터에서 x에 대응되는 라벨 데이터를 나타내며,
Figure pct00022
는 x에 대해 데이터 증강을 수행함을 나타내고,
Figure pct00023
는 기설정된 손실 함수를 나타내며,
Figure pct00024
는 정책 모델에 의해 획득된 확률 분포에 따라 각각의 기설정 정책에서 데이터 증강 정책을 선택함을 나타내고,
Figure pct00025
는 트레이닝 데이터를 나타내며, Z는 트레이닝 데이터 중 입력 데이터 x의 수량이다.
일 가능한 구현 형태에서, 데이터 처리 모델에 대해 제1 단계 트레이닝을 미리 수행하는 과정에서, 각각의 기설정 정책에서 제1 단계 트레이닝 중의 데이터 증강 정책을 균일하게 랜덤으로 선택하고, 제1 단계의 데이터 증강 정책에 따라 트레이닝 데이터에 대해 데이터 증강을 수행하며, 데이터 증강의 트레이닝 데이터에 따라, 데이터 처리 모델에 대해 제1 단계 트레이닝을 수행함으로써, 제1 단계 트레이닝에서도 트레이닝 데이터에 대해 데이터 증강을 수행하여, 제1 단계 트레이닝을 거친 데이터 처리 모델의 트레이닝 효과를 향상시킨다.
일 가능한 구현 형태에서, 제1 단계 트레이닝을 거쳐 획득된 데이터 처리 모델의 모델 파라미터는 공식 (5)로 표시될 수 있다.
Figure pct00026
(5);
여기서,
Figure pct00027
는 제1 단계 트레이닝을 거쳐 획득된 데이터 처리 모델의 모델 파라미터를 나타내고,
Figure pct00028
는 균일한 확률 분포에 따라 각각의 기설정 정책에서 데이터 증강 정책을 선택함을 나타낸다.
본 발명의 실시예에서는 데이터 증강 정책이 데이터 처리 모델의 후기 트레이닝에 대해 더 큰 영향을 미치는 특징을 충분히 이용하고, 데이터 증강 정책 및 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하며, 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 정책 모델을 업데이트하고, 업데이트된 후의 정책 모델을 통해, 각 기설정 정책의 선택 확률을 결정하며, 각 기설정 정책의 확률을 조절하여, 업데이트된 후의 데이터 증강 정책의 품질을 최적화함으로써, 데이터 증강 정책 품질을 향상시킬 뿐만아니라, 데이터 증강 정책의 생성 효율도 향상시킨다.
도 6은 본 발명의 다른 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법의 흐름 모식도이다. 도 6에 도시된 바와 같이, 상기 방법은 하기와 같은 단계를 포함한다.
단계 S601에서, 초기의 데이터 증강 정책을 획득한다.
단계 S602에서, 데이터 증강 정책 및 기설정된 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 기설정된 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행한다.
단계 S603에서, 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 기설정된 정책 모델을 업데이트한다.
일 가능한 구현 형태에서, 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 정책 모델을 업데이트하는 과정에서, 검증 데이터를 통해, 제2 단계 트레이닝을 거친 데이터 처리 모델의 트레이닝 효과를 검사하여 검사 결과를 획득하고, 데이터 증강 정책의 앞의 N-1회 업데이트 중 제2 단계를 거친 데이터 처리 모델의 검사 결과를 획득한다. 명확한 설명을 위해, 데이터 증강 정책의 앞의 N-1회 업데이트 중 제2 단계를 거친 데이터 처리 모델의 검사 결과를 이력 검사 결과라고 하고, 상기 검사 결과와 이력 검사 결과를 결합하여 정책 모델을 업데이트하여, 매번 업데이트되는 과정에서 상기 정책 모델 업데이트의 안정성을 확보할 수 있고, 나아가 데이터 증강 정책 업데이트 효과를 향상시킨다. 여기서, N은 데이터 증강 정책이 현재 업데이트된 총 횟수이고, N번째 업데이트는 현재 업데이트 과정을 가리킨다.
일 가능한 구현 형태에서, 상기 검사 결과와 이력 검사 결과를 결합하여, 정책 모델을 업데이트하는 과정에서, 이력 검사 결과의 평균값을 결정하고, 검사 결과와 상기 평균값의 차이값을 결정하며, 차이값에 따라 정책 모델 중의 정책 파라미터를 업데이트하여, 매번 업데이트되는 과정에서 상기 정책 모델 업데이트 안정성을 확보할 수 있고, 나아가 데이터 증강 정책 업데이트 효과를 향상시킨다. 정책 파라미터의 업데이트 과정은 발견적 검색 알고리즘을 사용할 수 있으며, 더이상 설명하지 않는다.
단계 S604에서, 업데이트된 후의 정책 모델을 통해, 각각의 기설정 정책의 선택 확률을 결정한다.
단계 S605에서, 각 기설정 정책의 선택 확률에 따라, 각 기설정 정책에서 업데이트된 후의 데이터 증강 정책을 선택한다.
일 가능한 구현 형태에서, 단계 S601 ~ 단계 S605는 단계 S501 ~ 단계 S505의 상세한 설명을 참조할 수 있으므로, 여기서 더이상 설명하지 않는다.
단계 S606에서, 업데이트된 후의 데이터 증강 정책이 기설정 조건을 만족하는지 여부를 결정한다.
일 가능한 구현 형태에서, 업데이트된 후의 데이터 증강 정책이 기설정 조건을 만족할 경우, 단계 S608를 수행하고, 업데이트된 후의 데이터 증강 정책이 기설정 조건을 만족하지 않을 경우, 단계 S607를 수행한다.
단계 S607에서, 초기의 데이터 증강 정책을 업데이트된 후의 데이터 증강 정책으로 업데이트한다.
일 가능한 구현 형태에서, 초기의 데이터 증강 정책을 업데이트된 후의 데이터 증강 정책으로 업데이트하고, 단계 S602를 수행하여, 데이터 증강 정책에 대해 업데이트를 여러 번 수행함으로써, 데이터 증강 정책의 품질을 향상시킨다.
단계 S608에서, 최종적인 데이터 증강 정책을 획득한다.
일 가능한 구현 형태에서, 업데이트된 후의 데이터 증강 정책을 최종적인 데이터 증강 정책으로 설정한다.
일 가능한 구현 형태에서, 데이터 증강 정책의 업데이트 횟수가 기설정된 횟수 임계값에 도달하는지 여부를 결정하여, 업데이트된 후의 데이터 증강 정책이 기설정 조건을 만족하는지 여부를 결정할 수 있고, 업데이트 횟수가 횟수 임계값에 도달할 경우, 업데이트된 후의 데이터 증강 정책이 기설정 조건을 만족하는 것으로 결정되고, 업데이트 횟수가 횟수 임계값에 도달하지 못할 경우, 업데이트된 후의 데이터 증강 정책이 기설정 조건을 만족하지 않는 것으로 결정됨으로써, 업데이트 횟수를 통해 데이터 증강 정책의 업데이트를 계속할지 여부를 제어하여, 데이터 증강 정책이 지속적으로 업데이트되는 것을 방지한다.
일 가능한 구현 형태에서, 데이터 증강 정책의 업데이트 횟수가 기설정된 횟수 임계값에 도달하였는지 여부를 결정하여, 데이터 증강 정책에 대한 지속적인 업데이트를 정지할지 여부를 결정하는 것 외에, 제2 단계 트레이닝을 거친 데이터 처리 모델의 검사 결과가 기설정 조건을 만족하는지 여부를 결정하여, 데이터 증강 정책에 대한 지속적인 업데이트를 정지할지 여부를 결정할 수도 있다.
일 가능한 구현 형태에서, 데이터 처리 모델의 검사 결과와 기설정된 검사 임계값을 비교하고, 데이터 처리 모델의 검사 결과가 검사 임계값보다 클 경우, 제2 트레이닝 단계를 거친 데이터 처리 모델이 기설정 조건을 만족함을 나타내고, 데이터 증강 정책을 최종적인 데이터 증강 정책으로 설정할 수 있다. 데이터 처리 모델의 검사 결과가 상기 검사 임계값보다 작거나 같을 경우, 데이터 증강 정책의 업데이트를 계속하여 수행한다.
일 가능한 구현 형태에서, 기설정된 업데이트 횟수마다, 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 업데이트된 후의 각 데이터 증강 정책에서, 최적의 데이터 증강 정책을 선택하고, 업데이트된 후의 데이터 증강 정책에서, 최적 정책을 제외한 각 데이터 증강 정책을 최적의 데이터 증강 정책으로 각각 대체함으로서, 업데이트 과정의 수렴성 및 데이터 증강 정책의 생성 효율을 향상시킨다. 여기서, 최적의 데이터 증강 정책을 선택하는 과정에서, 제2 단계 트레이닝을 거친 데이터 처리 모델의 트레이닝 효과를 검사하여 획득된 검사 결과에 따라 선택할 수 있다.
예를 들면, 도 7은 복수 개의 데이터 증강 정책이 병렬 업데이트되는 과정을 제공한다. 도 7에 도시된 바와 같이, 각각의 직육면체는 하나의 데이터 증강 정책을 나타내고, 각각의 정육면체는 하나의 데이터 처리 모델을 나타내며, 정확도(Accuracy, ACC)는 제2 단계 트레이닝을 거쳐 획득된 데이터 처리 모델의 검사 결과를 나타내고, 각 행은 하나의 데이터 증강 정책의 업데이트 과정을 나타내며, 각 열은 각각의 데이터 증강 정책의 1회의 업데이트를 나타낸다.
도 7에 도시된 바와 같이, 각각의 기설정 정책에서 하나의 초기의 데이터 증강 정책을 균일하게 랜덤으로 선택하고, 상기 초기의 데이터 증강 정책을 여러개 복사하여 복수 개의 동일한 초기의 데이터 증강 정책을 획득하며, 복수 개의 데이터 증강 정책은 병렬 업데이트되고, 기설정 업데이트 횟수마다, 각각의 업데이트된 후의 데이터 증강 정책에서 최적의 데이터 증강 정책을 선택하며, 점선 화살표에 도시된 정책 복제와 같이, 최적의 데이터 증강 정책을 복제할 수 있고, 여기서 정책 복제는, 각각의 업데이트된 후의 데이터 증강 정책에서 최적의 데이터 증강 정책을 제외한 나머지 데이터 증강 정책을 상기 최적의 데이터 증강 정책으로 대체하는 것이다. 따라서, 데이터 증강 정책의 여러 차례 업데이트의 수렴성을 효과적으로 향상시켜 품질이 우수한 데이터 증강 정책을 획득할 수 있다.
도 7에 도시된 바와 같이, 1회의 업데이트 과정에서, 제1 단계 트레이닝을 거친 데이터 처리 모델의 모델 파라미터
Figure pct00029
를 데이터 처리 모델에 로딩하여 제1 단계 트레이닝을 거친 데이터 처리 모델을 획득하고, 데이터 증강 정책 및 트레이닝 데이터를 통해, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행한 다음, 검증 데이터의 검사를 거쳐 ACC를 획득하며, 즉 제2 단계 트레이닝을 거친 데이터 처리 모델의 검사 결과를 획득하며, 상기 검사 결과를 기반으로, 데이터 증강 정책을 업데이트하여, 업데이트된 후의 데이터 증강 정책을 획득한다.
도 7을 참조하면, 본 발명의 실시예에서는 복수 개의 데이터 증강 정책에 대해 병렬 업데이트를 수행하고, 데이터 증강 정책의 매회 업데이트 과정은 데이터 처리 모델에 대한 제2 단계 트레이닝만 수행하면 되며, 기설정 업데이트 횟수마다, 각각의 업데이트된 후의 데이터 증강 정책을 현재 최적의 데이터 증강 정책으로 대체하고 정책 파라미터 업데이트의 계산량이 적으므로, 데이터 증강 정책 업데이트의 효율을 효과적으로 향상시키고, 데이터 증강 정책의 생성 효율을 향상시키며, 데이터 증강 정책의 품질을 보장하는 것을 보아낼 수 있다.
일 실시예에서는 총 트레이닝 횟수에 대해 제1 단계 트레이닝의 트레이닝 횟수가 차지하는 비율, 또는 총 트레이닝 횟수에 대해 제2 단계 트레이닝의 트레이닝 횟수가 차지하는 비율을 조절하여, 데이터 증강 정책의 생성 효율을 향상시킬 수 있다.
도 8은 본 발명의 일 실시예에서 제공되는 데이터 처리 방법의 흐름 모식도이다. 도 8에 도시된 바와 같이, 상기 방법은 하기와 같은 단계를 포함한다.
단계 S801에서, 처리할 데이터를 획득한다.
여기서, 사용자에 의해 입력된 처리할 데이터를 획득할 수 있고, 미리 수집된 처리할 데이터를 획득할 수도 있다.
단계 S802에서, 미리 트레이닝된 데이터 처리 모델을 통해, 처리할 데이터를 처리하고, 데이터 처리 모델은 제1 단계 트레이닝 및 제2 단계 트레이닝을 순차적으로 거치며, 제2 트레이닝 단계에서 기설정된 데이터 증강 정책 및 기설정된 트레이닝 데이터를 통해 데이터 처리 모델을 트레이닝한다.
여기서, 데이터 처리 모델을 미리 트레이닝하고, 데이터 처리 모델의 트레이닝 과정에서, 먼저 데이터 처리 모델에 대해 제1 단계 트레이닝을 수행한 다음, 데이터 증강 정책 및 트레이닝 데이터에 따라, 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행함으로써, 데이터 증강이 데이터 처리 모델의 후기 트레이닝에 대해 더 큰 영향을 미치는 특징을 충분히 이용하여, 데이터 처리 모델의 데이터 처리 효과 및 모델 트레이닝 효율을 향상시킨다.
일 가능한 구현 형태에서, 처리할 데이터를 데이터 처리 모델에 입력하고, 데이터 처리 모델에 의해 처리할 데이터를 처리하여 상응한 처리 결과를 획득한다.
일 가능한 구현 형태에서, 데이터 처리 모델의 제2 단계 트레이닝에 사용된 데이터 증강 정책은 상기 임의의 실시예에서 제공된 데이터 증강 정책의 업데이트 방법에 의해 획득되어, 데이터 증강 정책의 품질 및 생성 효율을 향상시킬 수 있고, 나아가 데이터 처리 모델의 데이터 처리 효과 및 모델 트레이닝 효율을 향상시킨다.
일 가능한 구현 형태에서, 데이터 처리 모델을 트레이닝하는 과정에서, 먼저 트레이닝 데이터를 통해, 데이터 처리 모델에 대해 제1 단계 트레이닝을 수행하여 제1 단계 트레이닝을 거친 데이터 처리 모델을 얻을 수 있다. 다음, 데이터 증강 정책을 통해 트레이닝 데이터에 대해 데이터 증강을 수행하고, 데이터 증강된 후의 트레이닝 데이터를 기반으로, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하여 트레이닝된 데이터 처리 모델을 획득함으로써, 데이터 증강이 데이터 처리 모델의 후기 트레이닝에 대해 더 큰 영향을 미치는 특징을 충분히 이용하여, 데이터 처리 모델의 데이터 처리 효과 및 모델 트레이닝 효율을 향상시킨다.
일 가능한 구현 형태에서, 데이터 처리 모델에 대해 제1 단계 트레이닝을 수행하는 과정에서, 각 기설정 정책에서 데이터 증강 정책을 균일하게 랜덤으로 선택하여 제1 단계 트레이닝의 데이터 증강 정책으로 사용하고, 선택된 데이터 증강 정책을 통해 트레이닝 데이터에 대해 데이터 증강을 수행하며, 데이터 증강된 트레이닝 데이터를 통해 데이터 처리 모델에 대해 제1 단계 트레이닝을 수행함으로써, 데이터 증강 정책을 균일하게 랜덤으로 선택하여, 모델 트레이닝에 소모되는 지속시간을 최대한 증가시키지 않으면서 데이터 처리 모델의 제1 단계 트레이닝의 트레이닝 효과를 향상시킬 수 있고, 나아가 데이터 처리 모델의 전체 트레이닝 효과를 향상시킨다.
일 가능한 구현 형태에서, 처리할 데이터 및 트레이닝 데이터는 이미지 데이터 또는 텍스트 데이터일 수 있고, 데이터 처리 모델이 이미지 처리 모델일 경우, 처리할 데이터 및 트레이닝 데이터는 이미지 데이터이고, 데이터 처리 모델이 자연 언어 처리 모델일 경우, 처리할 데이터 및 트레이닝 데이터는 텍스트 데이터이며, 이로써 이미지 처리 효과 또는 자연 언어 처리 효과를 향상시킨다.
본 발명의 실시예에서는 미리 트레이닝된 데이터 처리 모델을 통해 처리할 데이터를 처리하고, 상기 데이터 처리 모델의 트레이닝과정은 제1 단계 트레이닝과 제2 단계 트레이닝으로 나뉘며, 제2 단계 트레이닝 과정에서 기설정된 데이터 증강 정책을 사용함으로써, 데이터 처리 모델의 데이터 처리 효과 및 모델 트레이닝 효율을 향상시키고, 나아가 데이터 처리 효과를 향상시킨다.
이하, 하나의 실제 응용 시나리오에서의 본 발명의 실시예의 예시적인 응용을 설명한다.
자동 머신 러닝은 현재 머신 러닝 분야의 핫이슈 분야로서, 그 관련 기술은 많은 분야에서 모델 성능을 향상시키고 최적화 조절에 필요한 인력을 줄이는 역할을 할 수 있다. 이미지 데이터 증강 기술은 이미지 처리 분야에서도 이미 널리 이용되고 있다. 자동 머신 러닝 기술을 통해 이미지 데이터 증강 과정을 자동화하면, 데이트 증강의 지향성을 향상시키고, 불필요한 수동 조절도 줄일 수 있다. 그러나 특정 태스크의 데이터 세트에서 적합한 증강 정책을 찾는 것은 매우 복잡한데, 그 이유는 데이터 세트의 크기가 일반적으로 크고 직접 검색의 오버헤드가 수용될 수 없기 때문이다. 하나의 공통 정책만 찾아 모든 태스크에 응용하면, 모델에 대한 개선 기능이 떨어지게 된다. 기존의 일부 자동 데이터 증강 검색 기술 중 일부는 오버헤드가 여전히 크고, 일부는 개선 효과도 이상적이지 않다. 여기서, 머신 러닝의 일부 또는 전부 과정을 자동화한다. 가장 흔한 태스크는 머신 러닝의 파라미터 조절을 자동 수행하는 것이며, 예를 들어, 적합한 모델 구조, 적합한 데이터 증강 정책, 적합한 손실 함수, 적합한 옵티마이저를 자동으로 찾는 것이다.
본 발명의 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법은, 시간 소모 및 평가 정확성 사이에서 양호한 균형을 달성할 수 있으며, 즉 통상적인 규모의 데이터 세트에서 검색을 직접 수행하고, 안정적인 개선을 획득할 수 있다. 또한, 복수 개의 이미지 분류 데이터 세트에 적용되고, 소정의 전이 가능한 능력을 갖추고 있다. 또한, 각각의 이미지 분류 태스크에 쉽게 임베딩될 수 있다.
일 가능한 구현 형태에서, 상기 데이터 증강 정책의 업데이트 방법은 이미지 데이터 증강 정책의 검색을 포함하고, 검색 과정은 하기와 같은 3개 단계로 나뉘어 수행될 수 있다. 우선, 균일하고 랜덤적인 정책에서 모델에 대해 전기 트레이닝을 수행한다. 다음, One-Shot(검색 정책) 검색 단계를 수행하고, 즉 전기 트레이닝의 종료 상태를 반복적으로 로딩하고 후기 트레이닝을 수행하는 동시에 검색을 수행한다. 검색 목표는 후기 트레이닝을 최적화하는 것이다. 마지막으로, 검색하여 획득된 정책을 원시 태스크에 적용하고 전체 트레이닝을 재수행하여 최종적인 모델 성능을 획득한다. 여기서, One-Shot은 하나의 검색 정책으로, 원래 의도는 매번 전체 검색 공간에서 하나의 “경로”를 취하는 것이며, 여러 번 반복되는 단일 샘플링 업데이트로도 널리 이해될 수 있다. 이 방법의 전기 및 후기 트레이닝 비율에 대한 합리적인 조절을 통해, 검색의 시간 효율을 크게 향상시킬 수 있다. 또한, 발명자가 데이터 증강에 대한 후기 트레이닝의 영향이 더욱 민감하다는 것을 관찰하였기 때문에, 평가 지표의 안정성이 파괴되는 것도 실험에서 관찰되지 않았다. 이 방법을 이용하면 주어진 데이터 세트에서 각각의 이미지 분류 모델의 성능을 향상시킬 수 있고, 복수 개의 태스크 시나리오에서 모델이 더 나은 성능을 획득하도록 도와준다.
본 발명의 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법은 주로 하기와 같은 단계를 포함한다.
단계 A에서, 균일하고 랜덤적인 데이터 증강을 사용하여 전기 트레이닝을 수행한다.
일 가능한 구현 형태에서, 상기 단계 A는, 트레이닝되지 않은 초기 모델을 획득하는 단계; 균일하고 랜덤적인 데이터 증강 하에서 트레이닝하는 단계; 및 전기 트레이닝이 완료된 모델을 획득하는 단계를 포함한다. 여기서, 단계 A의 입력은 지정된 이미지 분류 데이터 세트, 전혀 트레이닝되지 않은 모델이고, 출력은 전기 트레이닝이 완료된 모델이다.
일 가능한 구현 형태에서, 상기 단계 A는,
트레이닝을 거치지 않은 초기 모델을 시작점으로 사용하는 단계를 포함한다. 실험에서, 다양한 모델을 선택하여 실험을 각각 독립적으로 수행할 수 있다.
전기 트레이닝의 과정에서, 이미지는 동일한 확률로 다양한 데이터 증강을 수행한다. 실제 실험 관찰을 통해, 균일한 데이터 증강을 수행하는 것이 데이터 증강을 수행하지 않는 것에 비해 더 나은 효과를 획득할 수 있음을 발견하였다. 공정성을 확보하도록, 우리가 선택한 데이터 증강 조작은 다양한 자동 데이터 증강 조작일 수 있다. 조작 리스트는 표 1에 나타난 바와 같고, 여기서 두 번째 열은 각각의 조작의 상이한 폭값을 나타낸다. 폭값 차이를 고려하면, 가능한 데이터 증강 조작은 총 36개이다. 트레이닝 시 각 사진에 대해 두 개의 조작이 균일하고 랜덤으로 사용된다. 데이터 증강 조작을 거친 후의 사진은 모델에 의해 실제 획득된 입력이다.
전기 트레이닝이 완료된 모델을 저장하여, 후기 트레이닝에 사용한다.
단계 B에서, One-Shot 검색을 수행하고, 즉 후기 트레이닝을 반복적으로 수행하며, 데이터 증강 정책을 지속적으로 업데이트한다.
일 가능한 구현 형태에서, 상기 반복 트레이닝에 대한 자세한 내용은 도 7을 참조할 수 있고, 도 7에 도시된 바와 같이, 각각의 직육면체는 하나의 데이터 증강 정책을 나타내며, 각각의 정육면체는 하나의 데이터 처리 모델을 나타내며, 정확도(Accuracy, ACC)는 제2 단계 트레이닝을 거쳐 획득된 데이터 처리 모델의 검사 결과를 나타내고, 각 행은 하나의 데이터 증강 정책의 업데이트 과정을 나타내며, 각 열은 각각의 데이터 증강 정책의 1회의 업데이트를 나타낸다.
여기서, 1회의 업데이트 과정에는 전기 트레이닝이 완료되어 획득된 모델을 로딩하는 단계가 포함될 수 있다. 즉 매회의 후기 트레이닝은 모두 모델 파라미터를 전기 트레이닝이 완료되어 획득된 파라미터로 재설정한다. 현재 정책을 사용하여 데이터 증강을 제어하여, 후기 트레이닝을 수행한다. 현재 정책은 하나의 파라미터화된 모델이고, 그 파라미터는 각각의 데이터 증강 조작의 확률을 도출해낼 수 있다. 각 사진에 대해 데이터 증강 조작을 2회 수행하기 때문에, 선후 관계를 고려하면, 총 36*36=1296가지 증강 방법이 있다. 유의해야 할 것은, 정책은 매회의 후기 트레이닝 후 재설정되지 않고 전체 검색 기간이 종료될 때까지 항상 업데이트를 유지한다. 후기 트레이닝이 완료된 모델을 획득한다. 이때, 모델에 대해 평가를 수행한다. 이미지 분류가 실제 태스크로 선택되므로, 평가 지표는 분류의 정확도이다. 평가 지표의 안정성 및 상대성을 향상시키기 위해, 매 평가에서 과거 지수 이동 평균값을 뺄 수 있다. 이때 모델 평가 지표를 이용하여 정책을 업데이트한다. 여기에서는 강화 학습을 사용하여 업데이트하고, 업데이트의 목표는 모델의 평가 지표를 향상시키는 것이다.
몇 번의 반복적인 트레이닝 및 업데이트를 거치면 최종적인 정책이 획득된다. 최종 정책은 원하는 트레이닝 과정에 편리하게 추가되도록 하나의 짧은 스크립트로 도출될 수 있다.
단계 C에서, 최종 정책을 사용하여 재트레이닝하여, 최종 모델 및 최종 성능을 획득한다. 상기 단계에서 각 사진은 모두 최종 정책의 제어 하에서(대응되는 확률값에서) 데이터 증강을 수행한다. 상기 단계가 완료된 후 최종적인 모델 및 성능을 획득한다.
본 발명의 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법은 One-Shot 사로를 이용하여, 검색 효율 및 평가 정확도 사이에서 양호한 균형을 달성하며, 동일한 조건에서 더 나은 실험 효과를 달성한다. 아울러, 알고리즘 검색의 결과가 용이하게 도출될 수 있고, 다른 태스크에 의해 유연하게 사용될 수 있다.
본 발명의 실시예에서 제공되는 데이터 증강 정책의 업데이트 방법은, 이미지 분류 태스크 또는 다른 이미지 처리 태스크의 트레이닝 과정에서 직접 데이터 증강을 수행하여, 더 나은 성능 및 더 강한 일반성을 달성할 것으로 기대할 수 있고, 지정 데이터 세트 및 지정 모델에서 데이터 증강 정책의 검색을 구현하여, 고도의 맞춤형 데이터 증강 정책을 획득할 수 있으며, 자체 정의 검색 공간과 결합하여, 더 넓은 태스크의 데이터 증강 정책 검색을 수행할 수 있다. 예를 들면, 자연 언어 처리 등 분야이다.
도 9는 본 발명의 일 실시예에서 제공되는 데이터 증강 정책의 업데이트 장치의 구조 모식도이다. 도 9에 도시된 바와 같이, 상기 장치는,
초기의 데이터 증강 정책을 획득하도록 구성되는 획득 부분(901);
데이터 증강 정책 및 기설정된 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 기설정된 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하도록 구성되는 트레이닝 부분(902); 및
제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 데이터 증강 정책을 업데이트하여, 업데이트된 후의 데이터 증강 정책을 획득하도록 구성되는 업데이트 부분(903)을 포함한다.
일 가능한 구현 형태에서, 업데이트 부분(903)은 또한,
초기의 데이터 증강 정책을 업데이트된 후의 데이터 증강 정책으로 업데이트하여, 데이터 증강 정책에 대해 업데이트를 여러 번 수행하도록 구성된다.
일 가능한 구현 형태에서, 데이터 증강 정책의 수량은 복수 개이고, 각 데이터 증강 정책의 업데이트는 병렬 수행되며; 업데이트 부분(903)은 또한,
기설정된 업데이트 횟수마다, 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 업데이트된 후의 각 데이터 증강 정책에서, 최적의 데이터 증강 정책을 선택하고;
업데이트된 후의 데이터 증강 정책에서, 최적 정책을 제외한 각 데이터 증강 정책을 최적의 데이터 증강 정책으로 각각 대체하도록 구성된다.
일 가능한 구현 형태에서, 데이터 증강 정책은 복수 개의 기설정된 데이터 증강 조작을 포함하고; 트레이닝 부분(902)은 또한,
각 데이터 증강 조작에 따라, 트레이닝 데이터에 대해 데이터 증강을 순차적으로 수행하고;
데이터 증강된 후의 트레이닝 데이터를 통해, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하도록 구성된다.
일 가능한 구현 형태에서, 트레이닝 데이터는 이미지 데이터 또는 텍스트 데이터이다.
일 가능한 구현 형태에서, 업데이트 부분(903)은 또한,
제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 기설정된 정책 모델을 업데이트하고;
업데이트된 후의 정책 모델을 통해, 각각의 기설정 정책의 선택 확률을 결정하며;
각 기설정 정책의 선택 확률에 따라, 각 기설정 정책에서 업데이트된 후의 데이터 증강 정책을 선택하도록 구성된다.
일 가능한 구현 형태에서, 데이터 증강 정책의 업데이트 횟수가 여러 번일 경우, 업데이트 부분(903)은 또한,
기설정된 검증 데이터에 따라, 제2 단계 트레이닝을 거친 데이터 처리 모델을 검사하여 검사 결과를 획득하고;
데이터 증강 정책의 앞의 N-1회 업데이트 중 제2 단계를 거친 데이터 처리 모델의 이력 검사 결과를 획득하며, N은 데이터 증강 정책이 현재 업데이트된 총 횟수이고;
이력 검사 결과 및 검사 결과에 따라, 정책 모델을 업데이트하도록 구성된다.
일 가능한 구현 형태에서, 업데이트 부분(903)은 또한,
이력 검사 결과의 평균값을 결정하고;
검사 결과와 평균값의 차이값을 결정하며;
차이값에 따라, 정책 모델 중의 정책 파라미터를 업데이트하도록 구성된다.
일 가능한 구현 형태에서, 트레이닝 부분(902)은 또한,
각각의 기설정 정책에서, 제1 단계 트레이닝 중의 데이터 증강 정책을 균일하게 랜덤으로 선택하고;
제1 단계 트레이닝 중의 데이터 증강 정책 및 트레이닝 데이터에 따라, 데이터 처리 모델에 대해 제1 단계 트레이닝을 수행하도록 구성된다.
도 9에서 제공되는 데이터 증강 정책의 업데이트 장치는 상기 상응한 방법 실시예를 수행할 수 있으며, 그 구현 원리 및 기술 효과는 유사하므로, 여기서 더이상 설명하지 않는다.
도 10은 본 발명의 일 실시예예서 제공되는 데이터 처리 장치의 구조 모식도이다. 도 10에 도시된 바와 같이, 상기 장치는,
처리할 데이터를 획득하도록 구성되는 획득 부분(1001);
미리 트레이닝된 데이터 처리 모델을 통해, 처리할 데이터를 처리하도록 구성되는 처리 부분(1002)을 포함하고, 데이터 처리 모델은 제1 단계 트레이닝 및 제2 단계 트레이닝을 순차적으로 거치며, 제2 트레이닝 단계에서 기설정된 데이터 증강 정책 및 기설정된 트레이닝 데이터를 통해 데이터 처리 모델을 트레이닝한다.
일 가능한 구현 형태에서, 데이터 증강 정책은 상기 임의의 하나의 실시예에 따른 데이터 증강 정책의 업데이트 방법을 사용하여 생성된다.
일 가능한 구현 형태에서, 상기 장치는 트레이닝 부분을 더 포함하고, 트레이닝 부분은 또한,
트레이닝 데이터에 따라, 데이터 처리 모델에 대해 제1 단계 트레이닝을 수행하고;
데이터 증강 정책을 통해 트레이닝 데이터에 대해 데이터 증강을 수행하며;
데이터 증강된 후의 트레이닝 데이터를 따라, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하도록 구성된다.
일 가능한 구현 형태에서, 트레이닝 부분은 또한,
각 기설정 정책에서, 제1 단계 트레이닝 중의 데이터 증강 정책을 균일하게 랜덤으로 선택하고;
제1 단계 트레이닝 중의 데이터 증강 정책 및 트레이닝 데이터에 따라, 데이터 처리 모델에 대해 제1 단계 트레이닝을 수행하도록 구성된다.
일 가능한 구현 형태에서, 처리할 데이터 및 트레이닝 데이터는 이미지 데이터 또는 텍스트 데이터이다.
도 10에서 제공되는 데이터 처리 장치는 상기 상응한 방법 실시예를 수행할 수 있으며, 그 구현 원리 및 기술 효과는 유사하므로, 여기서 더이상 설명하지 않는다.
도 11은 본 발명의 실시예에서 제공되는 전자 기기의 구조 모식도이다. 도 11에 도시된 바와 같이, 상기 단말 기기는 프로세서(1101) 및 메모리(1102)를 포함할 수 있다. 메모리(1102)에는 컴퓨터 실행 명령이 저장되고, 프로세서(1101)에 의해 컴퓨터 프로그램이 실행될 경우, 상기 임의의 하나의 실시예에 따른 방법이 구현된다.
상기 프로세서(1101)는 중앙 처리 장치(central processing unit, CPU), 네트워크 프로세서(network processor, NP) 등을 포함하는 범용 프로세서일 수 있고, 디지털 신호 프로세서(Digital Signal Processing, DSP), 응용 주문형 집적 회로(application-specific integrated circuit, ASIC), 필드 프로그램 가능 게이트 어레이(field-programmable gate array, FPGA) 또는 다른 프로그램 가능 논리 소자, 개별 게이트 또는 트랜지스터 논리 소자, 개별 하드웨어 컴포넌트 등일 수도 있다. 상기 메모리(1102)는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있고, 적어도 하나의 자기 디스크 메모리와 같은 비휘발성 메모리(non-volatile memory)를 포함할 수도 있다.
본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능 저장 매체에는 명령이 저장되며, 컴퓨터에서 실행될 경우, 컴퓨터로 하여금 상기 임의의 하나의 실시예에 따른 방법을 수행하도록 한다.
본 발명의 실시예는 컴퓨터 프로그램을 포함하는 프로그램 제품을 더 제공하고, 상기 컴퓨터 프로그램은 저장 매체에 저장되며, 적어도 하나의 프로세서는 상기 저장 매체에서 상기 컴퓨터 프로그램을 판독할 수 있고, 상기 적어도 하나의 프로세서에 의해 상기 컴퓨터 프로그램이 실행될 경우, 상기 임의의 하나의 실시예의 방법이 구현될 수 있다.
도 12는 본 발명의 실시예에 따라 제공되는 데이터 증강 정책의 업데이트 장치(1200)의 블록도이다. 예를 들어, 장치(1200)는 하나의 서버 또는 컴퓨터로 제공될 수 있다. 도 12를 참조하면, 장치(1200)는 프로세싱 컴포넌트(1201)를 포함하고, 이는 또한 하나 또는 복수 개의 프로세서 및 프로세싱 컴포넌트(1201)에 의해 실행 가능한 명령, 예를 들어 애플리케이션 프로그램을 저장하기 위한, 메모리(1202)를 대표로 하는 메모리 리소스를 포함한다. 메모리(1202)에 저장된 애플리케이션 프로그램은 하나 또는 하나 이상의 각각의 명령에 대응되는 유닛을 포함할 수 있다. 이 외에, 프로세싱 컴포넌트(1201)는 명령을 실행하여 상기 도 3 내지 도 6 중 어느 하나의 실시예의 방법이 수행되도록 구성된다.
장치(1200)는 장치(1200)의 전원 관리를 실행하도록 구성되는 하나의 전원 컴포넌트(1203), 장치(1200)를 네트워크에 연결하도록 구성되는 하나의 유선 또는 무선 네트워크 인터페이스(1204), 및 하나의 입출력(I/O) 인터페이스(1205)를 더 포함할 수 있다. 장치(1200)는 메모리(1202)에 저장된 운영 체제, 예를 들어 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 등과 같은 것을 작동시킬 수 있다.
본 발명의 실시예에서, “적어도 하나”는 하나 이상을 나타내고, “복수 개”는 두 개 또는 두 개 이상을 나타낸다. “및/또는”은 연관 객체를 설명하는 연관 관계로서, 3가지 관계가 존재할 수 있음을 나타낸다. 예를 들면, A 및/또는 B는, A만 존재, A와 B가 동시에 존재, B만 존재하는 3가지 경우를 나타낼 수 있다. 여기서, A, B는 홀수 또는 복수일수 있다. 부호 “/”은 일반적으로 전후 연관 객체가 하나의 “또는” 관계에 있음을 나타낸다. 공식에서 부호 “/”은 전후 연관 객체가 “나눗셈” 관계에 있음을 나타낸다. “적어도 한 항(개)” 또는 이와 유사한 표현은 이러한 항목 중의 임의의 조합, 즉 단일 항목(개) 또는 복수 항목(개)를 포함하는 임의의 조합을 나타낸다. 예를 들어, a, b, 또는 c 중 적어도 한 항(개)는 a, b, c, a-b, a-c, b-c, 또는 a-b-c를 나타낼 수 있고, 여기서, a, b, c는 하나 또는 복수 개일 수도 있다.
본 발명의 실시예에서 언급된 다양한 숫자 번호는 단지 설명의 편의를 위해 구분한 것으로, 본 발명의 실시예의 범위를 제한하기 위함이 아님을 이해할 수 있다.
본 발명의 실시예에서, 상기 각 과정의 번호의 크기는 수행 순서의 선후를 의미하는 것이 아니라, 각 과정의 수행 순서는 그 기능 및 내적 논리에 의해 결정되어야 하며, 본 발명의 실시예의 실시 과정에 대해 어떠한 제한도 구성하여서는 아니됨을 이해할 수 있다.
본 기술분야의 통상의 기술자는 명세서를 고려하고 여기서 개시된 발명을 실시한 후, 본 발명의 다른 구현수단을 용이하게 생각해낼 수 있을 것이다. 본 발명의 실시예는 본 발명의 임의의 변형, 용도 또는 적응성 변화를 포함하도록 의도되며, 이러한 변형, 용도 또는 적응성 변화는 본발명의 일반적인 원리를 따르며 본 발명에 개시되지 않은 본 기술분야의 공지된 상식 또는 일반적인 기술수단을 포함한다. 명세서와 실시예는 단지 예시적인 것으로 간주되어야 하고, 본 발명의 진정한 범위 및 사상은 아래의 특허청구범위에 의해 결정된다.
본 발명은 이상의 설명 및 도면에 도시된 정밀 구조에 제한되지 않으며, 범위를 벗어나지 않으면서 다양한 수정 및 변경이 이루어질 수 있음을 이해해야 한다. 본 발명의 범위는 첨부된 특허청구범위에 의해 제한된다.
산업상 이용 가능성
본 발명의 실시예는 초기의 데이터 증강 정책 및 트레이닝 데이터를 통해, 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하고, 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 데이터 증강 정책을 업데이트한다. 이렇게, 데이터 증강 정책이 데이터 처리 모델의 후기 트레이닝에 대해 더 큰 영향을 미치는 특징을 충분히 이용하여, 데이터 증강 정책 품질을 보장하면서 데이터 증강 정책의 생성 효율을 향상시킬 수 있다.

Claims (17)

  1. 데이터 증강 정책의 업데이트 방법으로서,
    초기의 데이터 증강 정책을 획득하는 단계;
    상기 데이터 증강 정책 및 기설정된 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 기설정된 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하는 단계; 및
    제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 상기 데이터 증강 정책을 업데이트하여, 업데이트된 후의 데이터 증강 정책을 획득하는 단계를 포함하는 데이터 증강 정책의 업데이트 방법.
  2. 제1항에 있어서,
    상기 방법은,
    M회차 업데이트된 상기 데이터 증강 정책을 획득하는 단계 - 상기 M은 1보다 크거나 같음 - ;
    M회차 업데이트된 상기 데이터 증강 정책 및 상기 트레이닝 데이터에 따라, 상기 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하는 단계; 및
    제2 단계 트레이닝을 거친 데이터 증강 모델에 따라, 상기 데이터 증강 정책에 대해 M+1회차 업데이트를 수행하는 단계를 더 포함하는 데이터 증강 정책의 업데이트 방법.
  3. 제2항에 있어서,
    상기 초기의 데이터 증강 정책의 수량은 복수 개이고, 각 상기 데이터 증강 정책의 업데이트는 병렬 수행되며; 상기 방법은,
    기설정된 업데이트 횟수마다, 상기 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 업데이트된 후의 각 상기 데이터 증강 정책에서, 최적의 데이터 증강 정책을 선택하는 단계; 및
    업데이트된 후의 상기 데이터 증강 정책에서, 상기 최적 정책을 제외한 각 상기 데이터 증강 정책을 상기 최적의 데이터 증강 정책으로 각각 대체하는 단계를 더 포함하는 데이터 증강 정책의 업데이트 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 데이터 증강 정책은 복수 개의 기설정된 데이터 증강 조작을 포함하고; 상기 데이터 증강 정책 및 기설정된 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 기설정된 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하는 단계는,
    각 상기 데이터 증강 조작에 따라, 상기 트레이닝 데이터에 대해 데이터 증강을 순차적으로 수행하는 단계; 및
    데이터 증강된 후의 상기 트레이닝 데이터를 통해, 상기 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하는 단계를 포함하는 데이터 증강 정책의 업데이트 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 상기 데이터 증강 정책을 업데이트하는 단계는,
    상기 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 기설정된 정책 모델을 업데이트하는 단계;
    업데이트된 후의 상기 정책 모델을 통해, 각각의 기설정 정책의 선택 확률을 결정하는 단계; 및
    각 상기 기설정 정책의 선택 확률에 따라, 각 상기 기설정 정책에서 업데이트된 후의 상기 데이터 증강 정책을 선택하는 단계를 포함하는 데이터 증강 정책의 업데이트 방법.
  6. 제5항에 있어서,
    상기 데이터 증강 정책의 업데이트 횟수가 여러 번일 경우, 상기 제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 기설정된 정책 모델을 업데이트하는 단계는,
    기설정된 검증 데이터에 따라, 상기 제2 단계 트레이닝을 거친 데이터 처리 모델을 검사하여 검사 결과를 획득하는 단계;
    상기 데이터 증강 정책의 앞의 N-1회 업데이트 중 제2 단계를 거친 상기 데이터 처리 모델의 이력 검사 결과를 획득하는 단계 - 상기 N은 상기 데이터 증강 정책이 현재 업데이트된 총 횟수임 - ; 및
    상기 이력 검사 결과 및 상기 검사 결과에 따라, 상기 정책 모델을 업데이트하는 단계를 포함하는 데이터 증강 정책의 업데이트 방법.
  7. 제6항에 있어서,
    상기 이력 검사 결과 및 상기 검사 결과에 따라, 상기 정책 모델을 업데이트하는 단계는,
    상기 이력 검사 결과의 평균값을 결정하는 단계;
    상기 검사 결과와 상기 평균값의 차이값을 결정하는 단계; 및
    상기 차이값에 따라, 상기 정책 모델 중의 정책 파라미터를 업데이트하는 단계를 포함하는 데이터 증강 정책의 업데이트 방법.
  8. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 초기의 데이터 증강 정책을 획득하는 단계 전에, 상기 방법은,
    각각의 기설정 정책에서, 상기 제1 단계 트레이닝 중의 데이터 증강 정책을 균일하게 랜덤으로 선택하는 단계; 및
    상기 제1 단계 트레이닝 중의 데이터 증강 정책 및 상기 트레이닝 데이터에 따라, 상기 데이터 처리 모델에 대해 상기 제1 단계 트레이닝을 수행하는 단계를 더 포함하는 데이터 증강 정책의 업데이트 방법.
  9. 데이터 처리 방법으로서,
    처리할 데이터를 획득하는 단계; 및
    미리 트레이닝된 데이터 처리 모델을 통해, 상기 처리할 데이터를 처리하는 단계를 포함하고, 상기 데이터 처리 모델은 제1 단계 트레이닝 및 제2 단계 트레이닝을 순차적으로 거치며, 상기 제2 트레이닝 단계에서 기설정된 데이터 증강 정책 및 기설정된 트레이닝 데이터를 통해 상기 데이터 처리 모델을 트레이닝하고, 상기 데이터 증강 정책은 제1항 내지 제8항 중 어느 한 항에 따른 데이터 증강 정책의 업데이트 방법을 사용하여 생성되는 데이터 처리 방법.
  10. 제9항에 있어서,
    상기 방법은,
    상기 트레이닝 데이터에 따라, 상기 데이터 처리 모델에 대해 상기 제1 단계 트레이닝을 수행하는 단계;
    상기 데이터 증강 정책을 통해 상기 트레이닝 데이터에 대해 데이터 증강을 수행하는 단계; 및
    데이터 증강된 후의 상기 트레이닝 데이터에 따라, 상기 제1 단계 트레이닝을 거친 데이터 처리 모델에 대해 상기 제2 단계 트레이닝을 수행하는 단계를 더 포함하는 데이터 처리 방법.
  11. 제10항에 있어서,
    상기 트레이닝 데이터에 따라, 상기 데이터 처리 모델에 대해 상기 제1 단계 트레이닝을 수행하는 단계는,
    각 기설정 정책에서, 상기 제1 단계 트레이닝 중의 데이터 증강 정책을 균일하게 랜덤으로 선택하는 단계; 및
    상기 제1 단계 트레이닝 중의 데이터 증강 정책 및 상기 트레이닝 데이터에 따라, 상기 데이터 처리 모델에 대해 상기 제1 단계 트레이닝을 수행하는 단계를 포함하는 데이터 처리 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 처리할 데이터 및 상기 트레이닝 데이터는 이미지 데이터 또는 텍스트 데이터인 데이터 처리 방법.
  13. 데이터 증강 정책의 업데이트 장치로서,
    초기의 데이터 증강 정책을 획득하도록 구성되는 획득 부분;
    상기 데이터 증강 정책 및 기설정된 트레이닝 데이터에 따라, 제1 단계 트레이닝을 거친 기설정된 데이터 처리 모델에 대해 제2 단계 트레이닝을 수행하도록 구성되는 트레이닝 부분; 및
    제2 단계 트레이닝을 거친 데이터 처리 모델에 따라, 상기 데이터 증강 정책을 업데이트하여, 업데이트된 후의 상기 데이터 증강 정책을 획득하도록 구성되는 업데이트 부분을 포함하는 데이터 증강 정책의 업데이트 장치.
  14. 데이터 처리 장치로서,
    처리할 데이터를 획득하도록 구성되는 획득 부분; 및
    미리 트레이닝된 데이터 처리 모델을 통해, 상기 처리할 데이터를 처리하도록 구성되는 처리 부분을 포함하고, 상기 데이터 처리 모델은 제1 단계 트레이닝 및 제2 단계 트레이닝을 순차적으로 거치며, 상기 제2 트레이닝 단계에서 기설정된 데이터 증강 정책 및 기설정된 트레이닝 데이터를 통해 상기 데이터 처리 모델을 트레이닝하고, 상기 데이터 증강 정책은 제1항 내지 제8항 중 어느 한 항에 따른 데이터 증강 정책의 업데이트 방법을 사용하여 생성되는 데이터 처리 장치.
  15. 전자 기기로서,
    프로그램 명령이 저장되는 메모리; 및
    상기 메모리 중의 상기 프로그램 명령을 호출하여, 제1항 내지 제8항 중 어느 한 항 또는 제9항 내지 제12항 중 어느 한 항에 따른 방법이 수행하는 프로세서; 를 포함하는 전자 기기.
  16. 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되고; 상기 컴퓨터 프로그램이 실행될 경우, 컴퓨터로 하여금 제1항 내지 제8항 중 어느 한 항 또는 제9항 내지 제12항 중 어느 한 항에 따른 방법을 구현하도록 하는 컴퓨터 판독 가능 저장 매체.
  17. 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중의 프로세서로 하여금 제1항 내지 제8항 중 어느 한 항 또는 제9항 내지 제12항 중 어느 한 항에 따른 방법을 수행하도록 하는 컴퓨터 프로그램.
KR1020217038153A 2020-06-09 2020-11-02 데이터 증강 정책의 업데이트 방법, 장치, 기기 및 저장 매체 KR20220004692A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010519507.3 2020-06-09
CN202010519507.3A CN111695624B (zh) 2020-06-09 2020-06-09 数据增强策略的更新方法、装置、设备及存储介质
PCT/CN2020/125967 WO2021248791A1 (zh) 2020-06-09 2020-11-02 数据增强策略的更新方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
KR20220004692A true KR20220004692A (ko) 2022-01-11

Family

ID=72479980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217038153A KR20220004692A (ko) 2020-06-09 2020-11-02 데이터 증강 정책의 업데이트 방법, 장치, 기기 및 저장 매체

Country Status (5)

Country Link
JP (1) JP2022541370A (ko)
KR (1) KR20220004692A (ko)
CN (1) CN111695624B (ko)
TW (1) TWI781576B (ko)
WO (1) WO2021248791A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695624B (zh) * 2020-06-09 2024-04-16 北京市商汤科技开发有限公司 数据增强策略的更新方法、装置、设备及存储介质
CN114462628A (zh) * 2020-11-09 2022-05-10 华为技术有限公司 数据增强方法、装置、计算设备以及计算机可读存储介质
CN113537406B (zh) * 2021-08-30 2023-04-07 重庆紫光华山智安科技有限公司 一种图像自动数据增强方法、系统、介质及终端
CN114665986B (zh) * 2022-03-15 2023-05-16 深圳市百泰实业股份有限公司 一种蓝牙钥匙的测试系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9449283B1 (en) * 2012-08-20 2016-09-20 Context Relevant, Inc. Selecting a training strategy for training a machine learning model
US10817805B2 (en) * 2018-05-18 2020-10-27 Google Llc Learning data augmentation policies
US10814881B2 (en) * 2018-10-16 2020-10-27 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle velocity predictor using neural networks based on V2X data augmentation to enable predictive optimal control of connected and automated vehicles
CN109961098B (zh) * 2019-03-22 2022-03-01 中国科学技术大学 一种机器学习的训练数据选择方法
CN110110861B (zh) * 2019-05-09 2021-11-26 北京市商汤科技开发有限公司 确定模型超参数及模型训练的方法和装置、存储介质
CN110807109A (zh) * 2019-11-08 2020-02-18 北京金山云网络技术有限公司 数据增强策略的生成方法、数据增强方法和装置
CN111127364B (zh) * 2019-12-26 2022-08-02 吉林大学 图像数据增强策略选择方法及人脸识别图像数据增强方法
CN111695624B (zh) * 2020-06-09 2024-04-16 北京市商汤科技开发有限公司 数据增强策略的更新方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2022541370A (ja) 2022-09-26
TWI781576B (zh) 2022-10-21
CN111695624B (zh) 2024-04-16
CN111695624A (zh) 2020-09-22
WO2021248791A1 (zh) 2021-12-16
TW202147180A (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
KR20220004692A (ko) 데이터 증강 정책의 업데이트 방법, 장치, 기기 및 저장 매체
CN110163234B (zh) 一种模型训练方法、装置和存储介质
US11416268B2 (en) Aggregate features for machine learning
US10460230B2 (en) Reducing computations in a neural network
US20170161645A1 (en) Method and apparatus for labeling training samples
US11669711B2 (en) System reinforcement learning method and apparatus, and computer storage medium
CN109754359B (zh) 一种应用于卷积神经网络的池化处理的方法及系统
US20160321265A1 (en) Similarity calculation system, method of calculating similarity, and program
CN110458294A (zh) 模型运行方法、装置、终端及存储介质
US10635078B2 (en) Simulation system, simulation method, and simulation program
US20240185025A1 (en) Flexible Parameter Sharing for Multi-Task Learning
US10810458B2 (en) Incremental automatic update of ranked neighbor lists based on k-th nearest neighbors
WO2015192798A1 (zh) 主题挖掘方法和装置
EP3926546A2 (en) Neural network model splitting method, apparatus, computer device and storage medium
CN112966754A (zh) 样本筛选方法、样本筛选装置及终端设备
CN109992659B (zh) 用于文本排序的方法和装置
US11144179B2 (en) Next user interaction prediction
US11507782B2 (en) Method, device, and program product for determining model compression rate
CN113360218B (zh) 一种业务方案选择方法、装置、设备以及存储介质
CN112100446A (zh) 搜索方法、可读存储介质和电子设备
CN110781194B (zh) 应用程序的表数据处理方法、装置、电子设备及存储介质
CN110826713B (zh) 一种获取专用卷积核的方法及装置
CN116127942B (zh) 文本比对方法、装置、设备和存储介质
CN112507197B (zh) 模型搜索方法、装置、电子设备、存储介质和程序产品
Rafailidis et al. Indexing media storms on flink

Legal Events

Date Code Title Description
A201 Request for examination