KR20210062687A

KR20210062687A - 이미지 분류 모델 훈련 방법, 이미지 처리 방법 및 장치

Info

Publication number: KR20210062687A
Application number: KR1020217012461A
Authority: KR
Inventors: 징루 탄; 창바오 왕; 취안취안 리
Original assignee: 선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date: 2019-11-11
Filing date: 2019-12-23
Publication date: 2021-05-31
Also published as: TW202119288A; JP7266674B2; CN110837869A; TWI752455B; JP2022512065A; WO2021093096A1

Abstract

본 발명은 이미지 분류 모델 훈련 방법, 이미지 처리 방법 및 장치를 제공하여, 분류 모델이 양의 샘플이 비교적 적은 카테고리에 대한 식별 정밀도를 향상시킬 수 있다. 여기서, 상기 방법은, 태그 샘플 이미지 세트를 획득하는 단계 - 상기 태그 샘플 이미지 세트는 복수 개의 태그 샘플 이미지 및 각 태그 샘플 이미지에 각각 대응되는 분류 라벨을 포함함 - ; 상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정하는 단계; 상기 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 이미지 분류 모델의 손실 정보를 결정하는 단계; 및 상기 손실 정보에 기반하여, 상기 이미지 분류 모델을 훈련하는 단계 - 상기 이미지 분류 모델은 식별될 이미지의 카테고리를 결정하기 위한 것임 - 를 포함한다.

Description

이미지 분류 모델 훈련 방법, 이미지 처리 방법 및 장치

관련 출원의 상호 참조

본 출원은 2019년 11월 11일에 중국 특허청에 제출한 출원 번호가 CN201911097069.X이고, 발명의 명칭이 “이미지 분류 모델 훈련 방법, 이미지 처리 방법 및 장치”인 중국 특허 출원의 우선권을 요청하며, 그 전부 내용은 참조로서 본 출원에 인용된다.

본 발명은 데이터 처리 기술분야에 관한 것으로서, 구체적으로, 이미지 분류 모델 훈련 방법, 이미지 처리 방법 및 장치에 관한 것이다.

신경 네트워크 모델에 기반하여 분류 작업을 실행하기 전, 먼저 신경 네트워크 모델을 훈련해야 한다. 그러나 신경 네트워크 모델을 훈련할 경우, 신경 네트워크 모델의 분류 정밀도를 향상시키기 위해, 일반적으로 대량의 태그 샘플에 의존해야 한다.

샘플를 태깅하는 과정 중, 상이한 카테고리에 대응되는 양의 샘플 개수가 균일하지 않은 상황이 나타날 수 있다.

본 발명의 실시예는 이미지 분류 모델 훈련 방법, 이미지 처리 방법 및 장치를 적어도 제공한다.

제1 측면에 있어서, 본 발명의 실시예는 이미지 분류 모델 훈련 방법을 제공하고, 상기 방법은, 태그 샘플 이미지 세트를 획득하는 단계 - 상기 태그 샘플 이미지 세트는 복수 개의 태그 샘플 이미지 및 각 태그 샘플 이미지에 각각 대응되는 분류 라벨을 포함함 - ; 상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정하는 단계; 상기 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 이미지 분류 모델의 손실 정보를 결정하는 단계; 및 상기 손실 정보에 기반하여, 상기 이미지 분류 모델을 훈련하는 단계 - 상기 이미지 분류 모델은 식별될 이미지의 카테고리를 결정하기 위한 것임 - 를 포함한다.

여기서, 분류 모델을 훈련할 경우, 태그 샘플 이미지 및 각 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정한 다음, 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 기반하여 분류 모델의 손실 정보를 결정하여, 상기 손실 정보에 기반하여 분류 모델을 훈련하며, 상기 과정 중, 각 카테고리에 각각 대응되는 주파수 정보 및 각 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여 손실 정보를 결정하는 것이므로, 각 카테고리의 주파수 정보에 따라, 특정된 카테고리의 양음 샘플이 이미지 분류 모델 훈련 과정에서, 이미지 분류 모델에 대한 영향 정도를 조절하는 방식을 통해, 양음 샘플이 각 카테고리에 생성한 영향을 평형시킴으로써, 분류 모델이 양의 샘플이 비교적 적은 카테고리에 대한 식별 정밀도를 향상시킨다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정하는 단계는, 각 카테고리에 대하여, 상기 카테고리에 속한 태그 샘플 이미지 및 각 태그 샘플 이미지에 대응되는 원본 샘플 이미지에 기반하여, 상기 카테고리에 대응되는 원본 샘플 이미지의 개수를 결정하는 단계 - 각 원본 샘플 이미지에는 하나 또는 복수 개의 태그 샘플 이미지가 대응되게 존재함 - ; 및 상기 원본 샘플 이미지의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하는 단계를 포함한다. 여기서, 상기 방식을 사용하여 주파수 정보를 결정하여, 양의 샘플이 비교적 적은 카테고리가 배경 카테고리로 판단되는 것을 방지한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정하는 단계는, 각 카테고리에 대하여, 상기 태그 샘플 이미지 세트에서의 태그 샘플 이미지의 총 개수 및 상기 카테고리에 속한 태그 샘플 이미지의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하는 단계; 또는, 상기 카테고리에 속한 태그 샘플 이미지의 개수를 상기 카테고리에 대응되는 주파수 정보로 사용하는 단계를 포함한다. 여기서, 태그 샘플 이미지의 개수에 따라 카테고리에 대응되는 주파수 정보를 결정하므로, 과정이 더욱 간단하고 신속하다.

한 가지 선택 가능한 실시형태에 있어서, 상기 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 분류 모델의 손실 정보를 결정하는 단계는, 각 태그 샘플 이미지에 대하여, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻는 단계를 포함한다. 여기서, 각 태그 샘플 이미지에 대한 손실 정보를 결정하여, 각 태그 샘플 이미지에 기반하여 이미지 분류 모델의 파라미터를 조정하는 것을 구현하며, 이미지 분류 모델의 훈련을 최종적으로 구현한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻는 단계는, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계; 및 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치에 기반하여, 상기 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻는 단계를 포함한다. 여기서, 분류 라벨 및 주파수 정보에 기반하여, 손실 정보를 결정하여, 이미지 분류 모델이 양의 샘플 개수가 비교적 적은 카테고리에 대한 식별 정밀도를 향상시킨다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는, 어느 한 카테고리에 대하여, 상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 비 배경 태그 샘플 이미지인 것을 나타내고, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하는 단계를 포함한다. 여기서, 이미지 분류 모델 훈련 과정 중, 특정된 카테고리의 양음 샘플이 이미지 분류 모델에 대한 영향 정도를 조절하는 방식을 통해, 분류 모델이 양의 샘플이 비교적 적은 카테고리에 대한 검출 정밀도를 향상시킨다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는, 어느 한 카테고리에 대하여, 상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 배경 태그 샘플 이미지인 것을 나타내는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하는 단계를 포함한다. 여기서, 이미지 분류 모델 훈련 과정 중, 특정된 카테고리의 양음 샘플이 이미지 분류 모델에 대한 영향 정도를 조절하는 방식을 통해, 분류 모델이 양의 샘플이 비교적 적은 카테고리에 대한 검출 정밀도를 향상시킨다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계를 포함한다.

여기서, 상기 양의 샘플 카테고리 세트는, 상기 원본 샘플 이미지에 포함된 적어도 하나의 타깃 대상의 카테고리를 포함하고; 상기 음의 샘플 카테고리 세트는, 상기 원본 샘플 이미지에 포함되지 않은 적어도 하나의 타깃 대상의 카테고리를 포함한다. 여기서, 어느 한 카테고리가 상기 태그 샘플 이미지에 대응되는 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 속하는지 여부를 결정한다. 속하면, 태그 샘플 이미지가 상기 카테고리에 대한 영향을 저하시키거나 심지어 무시하지 않음으로써, 이미지 분류 모델이 상기 어느 한 카테고리의 더욱 많은 특징 및 차이 특징을 학습할 수 있도록 하여, 이미지 분류 모델의 정밀도를 향상시킨다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 이미지 세트로부터, 상기 태그 샘플 이미지와 동일한 원본 샘플 이미지에 대응되는 타깃 태그 샘플 이미지를 결정하는 단계; 상기 태그 샘플 이미지 및 상기 타깃 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 결정하는 단계; 또는, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 제1 보조 분류 라벨에 따라, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 결정하는 단계 - 상기 제1 보조 분류 라벨은 상기 원본 샘플 이미지에 포함된 타깃 대상의 카테고리를 나타내기 위한 것임 - 를 사용하여 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 획득한다. 여기서, 각 태그 샘플 이미지에 대응되는 양의 샘플 카테고리 세트를 빠르게 결정하는데 유리하다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 제2 보조 분류 라벨에 따라, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 음의 샘플 카테고리 세트를 결정하는 단계 - 상기 제2 보조 분류 라벨은 상기 원본 샘플 이미지에 포함되지 않은 타깃 대상의 카테고리를 나타내기 위한 것임 - 를 사용하여 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 음의 샘플 카테고리 세트를 획득한다. 여기서, 각 태그 샘플 이미지에 대응되는 음의 샘플 카테고리 세트를 빠르게 결정하는데 유리하다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는, 어느 한 카테고리에 대하여, 상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 비 배경 태그 샘플 이미지인 것을 나타내고, 상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 및 상기 음의 샘플 카테고리 세트에 속하지 않으며, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하는 단계를 포함한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는, 어느 한 카테고리에 대하여, 상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 배경 태그 샘플 이미지인 것을 나타내는 것, 상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 또는 상기 음의 샘플 카테고리 세트에 속하는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하는 단계를 포함한다. 여기서, 어느 한 카테고리가 상기 태그 샘플 이미지에 대응되는 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 속하는지 여부를 결정한다. 속하면, 태그 샘플 이미지가 상기 카테고리에 대한 영향을 저하시키거나 심지어 무시하지 않음으로써, 이미지 분류 모델이 상기 어느 한 카테고리의 더욱 많은 특징 및 차이 특징을 학습할 수 있도록 하여, 이미지 분류 모델의 정밀도를 향상시킨다.

제2 측면에 있어서, 본 발명의 실시예는 이미지 처리 방법을 제공하고, 상기 방법은, 미리 훈련된 이미지 분류 모델에 기반하여 이미지 처리 작업을 실행하는 단계를 포함하고; 상기 이미지 분류 모델은 상기 제1 측면의 어느 한 항에 따른 이미지 분류 모델 훈련 방법을 통해 훈련하여 얻으며; 상기 이미지 처리 작업은, 이미지 분류, 대상 검출, 키 포인트 검출, 이미지 분할, 인스턴스 분할 중 하나 또는 복수 개를 포함한다.

제3 측면에 있어서, 본 발명의 실시예는 데이터 분류 모델 훈련 방법을 제공하고, 상기 방법은, 태그 샘플 데이터 세트를 획득하는 단계 - 상기 태그 샘플 데이터 세트는 복수 개의 태그 샘플 데이터 및 각 태그 샘플 데이터에 각각 대응되는 분류 라벨을 포함함 - ; 상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정하는 단계; 상기 복수 개의 태그 샘플 데이터에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 데이터 분류 모델의 손실 정보를 결정하는 단계; 및 상기 손실 정보에 기반하여, 상기 데이터 분류 모델을 훈련하는 단계 - 상기 데이터 분류 모델은 식별될 데이터의 카테고리를 결정하기 위한 것임 - 를 포함한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정하는 단계는, 각 카테고리에 대하여, 상기 카테고리에 속한 태그 샘플 데이터 및 각 태그 샘플 데이터에 대응되는 원본 샘플 데이터에 기반하여, 상기 카테고리에 대응되는 원본 샘플 데이터의 개수를 결정하는 단계 - 각 원본 샘플 데이터에는 하나 또는 복수 개의 태그 샘플 데이터가 대응되게 존재함 - ; 및 상기 원본 샘플 데이터의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하는 단계를 포함한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정하는 단계는, 각 카테고리에 대하여, 상기 태그 샘플 데이터 세트에서의 태그 샘플 데이터의 총 개수 및 상기 카테고리에 속한 태그 샘플 데이터의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하는 단계; 또는, 상기 카테고리에 속한 태그 샘플 데이터의 개수를 상기 카테고리에 대응되는 주파수 정보로 사용하는 단계를 포함한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 복수 개의 태그 샘플 데이터에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 분류 모델의 손실 정보를 결정하는 단계는, 각 태그 샘플 데이터에 대하여, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 분류 모델을 사용하여 상기 태그 샘플 데이터를 분류할 경우의 손실 정보를 얻는 단계를 포함한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 분류 모델을 사용하여 상기 태그 샘플 데이터를 분류할 경우의 손실 정보를 얻는 단계는, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계; 및 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치에 기반하여, 상기 분류 모델을 사용하여 상기 태그 샘플 데이터를 분류할 경우의 손실 정보를 얻는 단계를 포함한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는, 어느 한 카테고리에 대하여, 상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 비 배경 태그 샘플 데이터인 것을 나타내고, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하는 단계를 포함한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는, 어느 한 카테고리에 대하여, 상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 배경 태그 샘플 데이터인 것을 나타내는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하는 단계를 포함한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계를 포함한다.

여기서, 상기 양의 샘플 카테고리 세트는, 상기 원본 샘플 데이터에 포함된 적어도 하나의 타깃 대상의 카테고리를 포함하고; 상기 음의 샘플 카테고리 세트는, 상기 원본 샘플 데이터에 포함되지 않은 적어도 하나의 타깃 대상의 카테고리를 포함한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 데이터 세트로부터, 상기 태그 샘플 데이터와 동일한 원본 샘플 데이터에 대응되는 타깃 태그 샘플 데이터를 결정하는 단계; 상기 태그 샘플 데이터 및 상기 타깃 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트를 결정하는 단계; 또는, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 제1 보조 분류 라벨에 따라, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트를 결정하는 단계 - 상기 제1 보조 분류 라벨은 상기 원본 샘플 데이터에 포함된 타깃 대상의 카테고리를 나타내기 위한 것임 - 를 사용하여 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트를 획득한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 제2 보조 분류 라벨에 따라, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 음의 샘플 카테고리 세트를 결정하는 단계 - 상기 제2 보조 분류 라벨은 상기 원본 샘플 데이터에 포함되지 않은 타깃 대상의 카테고리를 나타내기 위한 것임 - 를 사용하여 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 음의 샘플 카테고리 세트를 획득한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는, 어느 한 카테고리에 대하여, 상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 비 배경 태그 샘플 데이터인 것을 나타내고, 상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 및 상기 음의 샘플 카테고리 세트에 속하지 않으며, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하는 단계를 포함한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는, 어느 한 카테고리에 대하여, 상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 배경 태그 샘플 데이터인 것을 나타내는 것, 상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 또는 상기 음의 샘플 카테고리 세트에 속하는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하는 단계를 포함한다.

제4 측면에 있어서, 본 발명의 실시예는 데이터 처리 방법을 제공하고, 상기 방법은, 미리 훈련된 데이터 분류 모델에 기반하여 데이터 처리 작업을 실행하는 단계를 포함하고; 상기 데이터 분류 모델은 상기 제2 측면의 어느 한 항에 따른 데이터 분류 모델 훈련 방법을 통해 훈련하여 얻으며; 상기 데이터 처리 작업은, 데이터 분류, 데이터 분할, 인스턴스 분할 중 하나 또는 복수 개를 포함하며; 상기 데이터는 이미지 데이터 및 텍스트 데이터 중 어느 하나를 포함한다.

제5 측면에 있어서, 본 발명의 실시예는 이미지 분류 모델 훈련 장치를 포함하고, 상기 장치는, 태그 샘플 이미지 세트를 획득하기 위한 제1 획득 모듈 - 상기 태그 샘플 이미지 세트는 복수 개의 태그 샘플 이미지 및 각 태그 샘플 이미지에 각각 대응되는 분류 라벨을 포함함 - ; 상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정하기 위한 제1 주파수 정보 결정 모듈; 상기 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 이미지 분류 모델의 손실 정보를 결정하기 위한 제1 손실 정보 결정 모듈; 및 상기 손실 정보에 기반하여, 상기 이미지 분류 모델을 훈련하기 위한 제1 훈련 모듈 - 상기 이미지 분류 모델은 식별될 이미지의 카테고리를 결정하기 위한 것임 - 을 포함한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제1 주파수 정보 결정 모듈은, 상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정할 경우, 각 카테고리에 대하여, 상기 카테고리에 속한 태그 샘플 이미지 및 각 태그 샘플 이미지에 대응되는 원본 샘플 이미지에 기반하여, 상기 카테고리에 대응되는 원본 샘플 이미지의 개수를 결정하고 - 각 원본 샘플 이미지에는 하나 또는 복수 개의 태그 샘플 이미지가 대응되게 존재함 - ; 상기 원본 샘플 이미지의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제1 주파수 정보 결정 모듈은, 상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정할 경우, 각 카테고리에 대하여, 상기 태그 샘플 이미지 세트에서의 태그 샘플 이미지의 총 개수 및 상기 카테고리에 속한 태그 샘플 이미지의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하거나; 상기 카테고리에 속한 태그 샘플 이미지의 개수를 상기 카테고리에 대응되는 주파수 정보로 사용하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제1 손실 정보 결정 모듈은, 상기 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 분류 모델의 손실 정보를 결정할 경우, 각 태그 샘플 이미지에 대하여, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻을 경우, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하고; 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치에 기반하여, 상기 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우, 어느 한 카테고리에 대하여, 상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 비 배경 태그 샘플 이미지인 것을 나타내고, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우, 상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 배경 태그 샘플 이미지인 것을 나타내는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하기 위한 것이다.

여기서, 상기 양의 샘플 카테고리 세트는, 상기 원본 샘플 이미지에 포함된 적어도 하나의 타깃 대상의 카테고리를 포함하고; 상기 음의 샘플 카테고리 세트는, 상기 원본 샘플 이미지에 포함되지 않은 적어도 하나의 타깃 대상의 카테고리를 포함한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지 세트로부터, 상기 태그 샘플 이미지와 동일한 원본 샘플 이미지에 대응되는 타깃 태그 샘플 이미지를 결정하는 것; 상기 태그 샘플 이미지 및 상기 타깃 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 결정하는 것; 또는, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 제1 보조 분류 라벨에 따라, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 결정하는 것 - 상기 제1 보조 분류 라벨은 상기 원본 샘플 이미지에 포함된 타깃 대상의 카테고리를 나타내기 위한 것임 - 을 사용하여 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 획득하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 제2 보조 분류 라벨에 따라, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 음의 샘플 카테고리 세트를 결정하는 것 - 상기 제2 보조 분류 라벨은 상기 원본 샘플 이미지에 포함되지 않은 타깃 대상의 카테고리를 나타내기 위한 것임 - 을 사용하여 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 음의 샘플 카테고리 세트를 획득하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우,

어느 한 카테고리에 대하여, 상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 비 배경 태그 샘플 이미지인 것을 나타내고, 상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 및 상기 음의 샘플 카테고리 세트에 속하지 않으며, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우, 어느 한 카테고리에 대하여, 상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 배경 태그 샘플 이미지인 것을 나타내는 것, 상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 또는 상기 음의 샘플 카테고리 세트에 속하는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하기 위한 것이다.

제6 측면에 있어서, 본 발명은 이미지 처리 장치를 제공하고, 상기 장치는, 미리 훈련된 이미지 분류 모델에 기반하여 이미지 처리 작업을 실행하기 위한 제1 처리 모듈을 포함하고; 상기 이미지 분류 모델은 상기 제1 측면의 어느 한 항에 따른 이미지 분류 모델 훈련 방법을 통해 훈련하여 얻으며; 상기 이미지 처리 작업은, 이미지 분류, 대상 검출, 키 포인트 검출, 이미지 분할, 인스턴스 분할 중 하나 또는 복수 개를 포함한다.

제7 측면에 있어서, 본 발명의 실시예는 데이터 분류 모델 훈련 장치를 제공하고, 상기 장치는, 태그 샘플 데이터 세트를 획득하기 위한 제2 획득 모듈 - 상기 태그 샘플 데이터 세트는 복수 개의 태그 샘플 데이터 및 각 태그 샘플 데이터에 각각 대응되는 분류 라벨을 포함함 - ; 상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정하기 위한 제2 주파수 정보 결정 모듈; 상기 복수 개의 태그 샘플 데이터에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 데이터 분류 모델의 손실 정보를 결정하기 위한 제2 손실 정보 결정 모듈; 및 상기 손실 정보에 기반하여, 상기 데이터 분류 모델을 훈련하기 위한 제2 훈련 모듈 - 상기 데이터 분류 모델은 식별될 데이터의 카테고리를 결정하기 위한 것임 - 을 포함한다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제2 주파수 정보 결정 모듈은, 상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정할 경우, 각 카테고리에 대하여, 상기 카테고리에 속한 태그 샘플 데이터 및 각 태그 샘플 데이터에 대응되는 원본 샘플 데이터에 기반하여, 상기 카테고리에 대응되는 원본 샘플 데이터의 개수를 결정하고 - 각 원본 샘플 데이터에는 하나 또는 복수 개의 태그 샘플 데이터가 대응되게 존재함 - ; 상기 원본 샘플 데이터의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제2 주파수 정보 결정 모듈은, 상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정할 경우, 각 카테고리에 대하여, 상기 태그 샘플 데이터 세트에서의 태그 샘플 데이터의 총 개수 및 상기 카테고리에 속한 태그 샘플 데이터의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하거나; 상기 카테고리에 속한 태그 샘플 데이터의 개수를 상기 카테고리에 대응되는 주파수 정보로 사용하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제2 손실 정보 결정 모듈은, 상기 복수 개의 태그 샘플 데이터에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 분류 모델의 손실 정보를 결정할 경우, 각 태그 샘플 데이터에 대하여, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 분류 모델을 사용하여 상기 태그 샘플 데이터를 분류할 경우의 손실 정보를 얻기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제2 손실 정보 결정 모듈은, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 분류 모델을 사용하여 상기 태그 샘플 데이터를 분류할 경우의 손실 정보를 얻을 경우, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하고; 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치에 기반하여, 상기 분류 모델을 사용하여 상기 태그 샘플 데이터를 분류할 경우의 손실 정보를 얻기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제2 손실 정보 결정 모듈은, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우, 어느 한 카테고리에 대하여, 상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 비 배경 태그 샘플 데이터인 것을 나타내고, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제2 손실 정보 결정 모듈은, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우, 어느 한 카테고리에 대하여, 상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 배경 태그 샘플 데이터인 것을 나타내는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제2 손실 정보 결정 모듈은, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제2 손실 정보 결정 모듈은, 상기 태그 샘플 데이터 세트로부터, 상기 태그 샘플 데이터와 동일한 원본 샘플 데이터에 대응되는 타깃 태그 샘플 데이터를 결정하는 것; 상기 태그 샘플 데이터 및 상기 타깃 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트를 결정하는 것; 또는, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 제1 보조 분류 라벨에 따라, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트를 결정하는 것 - 상기 제1 보조 분류 라벨은 상기 원본 샘플 데이터에 포함된 타깃 대상의 카테고리를 나타내기 위한 것임 - 을 사용하여 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트를 획득하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제2 손실 정보 결정 모듈은, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 제2 보조 분류 라벨에 따라, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 음의 샘플 카테고리 세트를 결정하는 것 - 상기 제2 보조 분류 라벨은 상기 원본 샘플 데이터에 포함되지 않은 타깃 대상의 카테고리를 나타내기 위한 것임 - 을 사용하여 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 음의 샘플 카테고리 세트를 획득하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제2 손실 정보 결정 모듈은, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우, 어느 한 카테고리에 대하여, 상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 비 배경 태그 샘플 데이터인 것을 나타내고, 상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 및 상기 음의 샘플 카테고리 세트에 속하지 않으며, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하기 위한 것이다.

한 가지 선택 가능한 실시형태에 있어서, 상기 제2 손실 정보 결정 모듈은, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우, 어느 한 카테고리에 대하여, 상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 배경 태그 샘플 데이터인 것을 나타내는 것, 상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 또는 상기 음의 샘플 카테고리 세트에 속하는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하기 위한 것이다.

제8 측면에 있어서, 본 발명의 실시예는 데이터 처리 장치를 제공하고, 상기 장치는, 미리 훈련된 데이터 분류 모델에 기반하여 데이터 처리 작업을 실행하기 위한 제2 처리 모듈을 포함하고; 상기 데이터 분류 모델은 상기 제3 측면의 어느 한 항에 따른 데이터 분류 모델 훈련 방법을 통해 훈련하여 얻으며; 상기 데이터 처리 작업은, 데이터 분류, 데이터 분할, 인스턴스 분할 중 하나 또는 복수 개를 포함하며; 상기 데이터는 이미지 데이터 및 텍스트 데이터 중 어느 하나를 포함한다.

제9 측면에 있어서, 본 발명의 실시예는 컴퓨팅 기기를 더 제공하고, 상기 컴퓨팅 기기는, 프로세서, 메모리 및 버스를 포함하고, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어가 저장되며, 컴퓨팅 기기가 작동될 경우, 상기 프로세서는 상기 메모리 사이와 버스를 통해 통신하며, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 상기 제1 측면, 또는 제1 측면 중 어느 하나의 가능한 실시형태에서의 단계를 실행하며; 또는 상기 제2 측면, 또는 제2 측면 중 어느 하나의 가능한 실시형태에서의 단계를 실행하며; 또는 상기 제3 측면, 또는 제3 측면 중 어느 하나의 가능한 실시형태에서의 단계를 실행하며; 또는 상기 제4 측면, 또는 제4 측면 중 어느 하나의 가능한 실시형태에서의 단계를 실행한다.

제10 측면에 있어서, 본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 상기 제1 측면, 또는 제1 측면 중 어느 하나의 가능한 실시형태에서의 단계를 실행하며; 또는 상기 제2 측면, 또는 제2 측면 중 어느 하나의 가능한 실시형태에서의 단계를 실행하며; 또는 상기 제3 측면, 또는 제3 측면 중 어느 하나의 가능한 실시형태에서의 단계를 실행하며; 또는 상기 제4 측면, 또는 제4 측면 중 어느 하나의 가능한 실시형태에서의 단계를 실행한다.

제11 측면에 있어서, 본 발명의 실시예는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 상기 제1 측면, 또는 제1 측면 중 어느 하나의 가능한 실시형태에서의 단계를 실행하고; 또는 상기 제2 측면, 또는 제2 측면 중 어느 하나의 가능한 실시형태에서의 단계를 실행하며; 또는 상기 제3 측면, 또는 제3 측면 중 어느 하나의 가능한 실시형태에서의 단계를 실행하며; 또는 상기 제4 측면, 또는 제4 측면 중 어느 하나의 가능한 실시형태에서의 단계를 실행한다.

본 발명의 상기 목적, 특징 및 장점이 더욱 선명해지고 이해하기 쉬워지도록 하기 위해, 아래에 비교적 바람직한 실시예를 예를 들고, 첨부 도면과 배합하여, 상세하게 설명하고자 한다.

본 발명의 실시예의 기술방안을 더욱 선명하게 설명하기 위해, 아래에 실시예에서 사용되어야 하는 도면을 간단하게 설명하고, 이 곳의 도면은 명세서의 일부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 발명에 부합되는 실시예를 도시하며, 명세서와 함께 본 발명의 실시예의 기술방안을 설명하기 위한 것이다. 이해해야 할 것은, 아래의 도면은 본 발명의 일부 실시예만 도시할 뿐이므로, 범위에 대한 한정으로 간주되어서는 안되며, 본 분야의 기술자는 창조성 노동을 부여하지 않는 전제 하에서도, 이러한 도면에 따라 다른 연관된 도면을 획득할 수 있다.
도 1은 본 발명의 실시예에서 제공한 이미지 분류 모델 훈련 방법의 흐름도이다.
도 2는 본 발명의 실시예에서 제공한 손실 정보를 얻는 구체적인 방법의 흐름도이다.
도 3은 본 발명의 실시예에서 제공한 데이터 분류 모델 훈련 방법의 흐름도이다.
도 4는 본 발명의 실시예에서 제공한 이미지 분류 모델 훈련 장치의 예시도이다.
도 5는 본 발명의 실시예에서 제공한 데이터 분류 모델 훈련 장치의 예시도이다.
도 6은 본 발명의 실시예에서 제공한 컴퓨팅 기기의 예시도이다.
도 7은 본 발명의 실시예에서 제공한 다른 컴퓨팅 기기의 예시도이다.

본 발명의 목적, 기술적 해결수단 및 장점을 더욱 명확하게 하기 위해, 아래에, 본 발명의 실시예에서의 도면과 결합하여, 본 발명의 실시예에서의 기술적 해결수단에 대해 명확하고 완전하게 설명하며, 설명된 실시예는 본 발명의 전부 실시예가 아닌 일부 실시예일 뿐임은 자명한 것이다. 일반적으로 이곳의 도면에서 설명되고 도시된 본 발명의 실시예의 컴포넌트는 다양한 상이한 구성으로 배치되고 설계될 수 있다. 따라서, 아래에 도면에서 제공한 본 발명의 실시예의 상세한 설명은 본 발명의 보호 범위를 한정하려는 것이 아닌 본 발명의 선택된 실시예를 나타내기 위한 것이다. 본 발명의 실시예에 기반하여, 본 분야 기술자가 창조성 노동 없이 얻은 다른 실시예는 전부 본 발명의 보호 범위에 속해야 한다.

연구를 통해, 다중 분류의 신경 네트워크 모델을 훈련하는 과정 중, 어느 하나의 카테고리의 경우, 다른 카테고리의 양의 샘플은 상기 어느 한 카테고리의 음의 샘플을 구성하며; 상기 어느 한 카테고리의 양의 샘플 개수가 비교적 적으면, 상기 어느 한 카테고리에 대하여, 양음 샘플의 비례는 균형을 잃으며, 음의 샘플은 상기 어느 한 카테고리에 대한 뚜렷한 영향을 생성시키므로, 다중 카테고리의 신경 네트워크 모델이 상기 어느 한 카테고리의 타깃 대상을 식별할 경우의 식별 정밀도가 낮도록 초래하는 것을 발견하였다.

상기 연구에 기반하여, 본 발명은 이미지 분류 모델 훈련 방법을 제공하고, 분류 모델을 훈련할 경우, 태그 샘플 이미지 및 각 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정한 다음, 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 기반하여 분류 모델의 손실 정보를 결정하여, 상기 손실 정보에 기반하여 분류 모델을 훈련하며, 상기 과정 중, 각 카테고리에 각각 대응되는 주파수 정보 및 각 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여 손실 정보를 결정하는 것이므로, 각 카테고리의 주파수 정보에 따라, 특정된 카테고리의 양음 샘플이 이미지 분류 모델 훈련 과정에서, 이미지 분류 모델에 대한 영향 정도를 조절하는 방식을 통해, 양음 샘플이 각 카테고리에 생성한 영향을 평형시킴으로써, 분류 모델이 양의 샘플이 비교적 적은 카테고리에 대한 식별 정밀도를 향상시킨다.

이상의 방안에서 존재하는 결함에 있어서, 모두 발명인이 실천을 통하고 자세하게 연구한 후 얻은 결과이므로, 상기 문제의 발견 과정 및 아래에서 본 발명이 상기 문제에 대한 제출된 해결 방안은, 모두 발명인이 본 발명의 과정 중 본 발명에 대한 공헌에 속해야 한다.

아래에 본 발명의 첨부 도면을 결부하여, 본 발명에서의 기술 방안에 대해 명확하고, 완전하게 설명하고, 설명된 실시예는 본 발명의 일부 실시예일 뿐 전부 실시예가 아님은 분명하다. 일반적으로 이곳의 도면에서 설명되고 도시된 본 발명의 컴포넌트는 다양한 상이한 구성으로 배치되고 설계될 수 있다. 따라서, 아래에 도면에서 제공한 본 발명의 실시예의 상세한 설명은 본 발명의 보호 범위를 한정하려는 것이 아닌 본 발명의 선택된 실시예를 나타내기 위한 것이다. 본 발명의 실시예에 기반하여, 본 분야 기술자가 창조성 노동 없이 얻은 다른 실시예는 전부 본 발명의 보호 범위에 속해야 한다.

유의해야 할 것은, 유사한 부호 및 문자는 아래의 도면에서 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 추가로 정의되고 해석될 필요가 없다.

본 실시예를 용이하게 이해하기 위해, 먼저 본 발명의 실시예에서 개시된 이미지의 분류 모델 훈련 방법을 상세하게 소개하고, 본 발명의 실시예에서 제공한 분류 모델 훈련 방법의 실행 주체는 일반적으로 일정한 계산 능력을 구비하는 컴퓨팅 기기이며, 상기 컴퓨팅 기기는 예를 들어, 단말 기기 또는 서버 또는 다른 처리 기기를 포함하며, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말, 셀룰러 전화, 무선 전화, 개인용 정보 단말(Personal Digital Assistant, PDA), 핸드헬드 기기, 컴퓨팅 기기, 차량 탑재 기기, 웨어러블 기기 등일 수 있다. 일부 가능한 구현 방식에 있어서, 상기 분류 모델 훈련 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다.

실시예 1에 있어서,

도 1에 도시된 바와 같이, 본 발명의 실시예에서 제공한 이미지 분류 모델 훈련의 흐름도이고, 방법은 단계 S101 내지 단계 S104를 포함하고, 각 단계는 아래와 같다.

단계 S101에 있어서, 태그 샘플 이미지 세트를 획득하고; 태그 샘플 이미지 세트는 복수 개의 태그 샘플 이미지 및 각 태그 샘플 이미지에 각각 대응되는 분류 라벨을 포함한다.

단계 S102에 있어서, 태그 샘플 이미지 및 각 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정한다.

단계 S103에 있어서, 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 기반하여, 이미지 분류 모델의 손실 정보를 결정한다.

단계 S104에 있어서, 손실 정보에 기반하여, 이미지 분류 모델을 훈련하고; 이미지 분류 모델은 식별될 이미지의 카테고리를 결정하기 위한 것이다.

아래에 각각 상기 단계 S101 내지 단계 S104를 각각 상세하게 설명하고자 한다.

I에 있어서, 상기 단계 S101에서, 태그 샘플 이미지 세트는 복수 개의 태그 샘플 이미지를 포함하고, 상이한 태그 샘플 이미지는 상이한 원본 샘플 이미지에 대해 태그 생성을 수행할 수 있으며, 동일한 원본 샘플 이미지에 대응되게 태그 생성할 수도 있다. 각 태그 샘플 이미지는, 적어도 하나의 태깅된 타깃 대상 및 상기 타깃 대상에 대응되는 라벨을 포함하고, 여기서, 타깃 대상은 이미지 분류 모델에 의해 식별 가능한 여러 가지 대상 중 어느 하나를 가리키며, 타깃 대상에 대응되는 라벨은, 상기 타깃 대상이 속하는 카테고리를 가리킨다.

예를 들어 특정된 원본 샘플 이미지는, 타깃 대상 A을 포함할 뿐만 아니라, 타깃 대상 B도 포함하므로, 상기 원본 샘플 이미지를 태깅할 경우, 타깃 대상 A가 상기 원본 샘플 이미지에서의 위치를 태깅하고, “타깃 대상 A”의 분류 라벨을 추가하여, 하나의 태그 샘플 이미지를 형성할 수 있며, 타깃 대상 B가 상기 원본 샘플 이미지에서의 위치를 태깅하고, “타깃 대상 B”의 분류 라벨을 추가하여, 다른 태그 샘플 이미지를 형성할 수도 있다.

또한, 특정된 원본 샘플 이미지에 복수 개의 동일한 타깃 대상이 포함되면, 각 타깃 대상에 대한 하나의 태그 샘플 이미지를 형성할 수 있고, 예를 들어 특정된 원본 샘플 이미지에 3 개의 타깃 대상 A가 포함되면, 상기 원본 샘플 이미지를 태깅할 경우, 첫 번째의 타깃 대상 A에 대하여, 첫 번째의 타깃 대상 A가 상기 원본 샘플 이미지에서의 위치를 태깅하고, “타깃 대상 A”의 분류 라벨을 추가하며; 두 번째의 타깃 대상 A에 대하여, 두 번째의 타깃 대상 A가 상기 원본 샘플 이미지에서의 위치를 태깅하고, “타깃 대상 A”의 분류 라벨을 추가하며; 세 번째의 타깃 대상 A에 대하여, 세 번째의 타깃 대상 A가 상기 원본 샘플 이미지에서의 위치를 태깅하고, “타깃 대상 A”의 분류 라벨을 추가한다.

또한, 특정된 원본 샘플 이미지에 복수 개의 동일한 타깃 대상이 포함될 경우, 모든 동일한 타깃 대상에 대한 복수 개의 태그 샘플 이미지를 형성할 수도 있다.

예를 들어 특정된 원본 샘플 이미지에 3 개의 타깃 대상 A가 포함되면, 상기 원본 샘플 이미지를 태깅할 경우, 3 개의 타깃 대상 A에 대하여, 3 개의 타깃 대상 A가 상기 원본 샘플 이미지에서의 위치를 태깅하고, “타깃 대상 A”의 라벨을 추가한다.

구체적인 태깅 방식은 분류 목적에 따라 수행된다. 예를 들어 분류 목적이 인스턴스 분할이면, 상이한 타깃 대상에 대한 상이한 태그 샘플 이미지를 형성해야 한다. 예를 들어 분류 목적이 특정된 이미지에 특정된 대상이 구비되는 것을 식별하는 것이면, 모든 동일한 타깃 대상에 대한 하나의 태그 샘플 이미지를 형성할 수 있다.

이미지 분류 모델을 훈련하기 전, 먼저 이미지 분류 모델이 식별 가능한 대상의 카테고리를 결정한 다음, 결정된 이미지 분류 모델이 식별 가능한 대상의 카테고리에 따라 태그 샘플 이미지 세트를 결정한다.

태그 샘플 이미지 세트는, 각 카테고리에 각각 대응되는 태그 샘플 이미지, 즉 어느 한 카테고리에 대하여, 상기 카테고리 하에서의 양의 샘플을 포함한다.

그러나 어느 한 카테고리에 대하여, 다른 카테고리에 대응되는 태그 샘플 이미지는 상기 어느 한 카테고리의 음의 샘플을 구성한다.

또한, 태그 샘플 이미지 세트는, 또한 복수 개의 모든 카테고리에 대하여 음의 샘플에 속하는 태그 샘플 이미지를 포함할 수 있다.

예를 들어, 특정한 원래 이미지를 태깅할 경우, 임의의 하나의 카테고리에 속하지 않는 대상이 원본 샘플 이미지에서의 위치를 태깅하고, “카테고리 없음” 또는 “배경”의 분류 라벨을 추가한다.

다른 실시예에 있어서, 분류 라벨은 또한 숫자의 형태로 나타낼 수 있고; 예를 들어 이미지 분류 모델이 식별 가능한 대상의 카테고리는 30 가지가 존재하면, 1~30을 사용하여 30 가지 카테고리를 각각 나타내며, 0을 모든 카테고리에 대하여 음의 샘플에 속하는 태그 샘플 이미지의 분류 라벨로 사용한다.

II에 있어서, 상기 단계 S102에서, 어느 한 카테고리에 대응되는 주파수 정보는, 예를 들어,

상기 어느 한 카테고리에 대응되는 태그 샘플 이미지의 개수, 상기 어느 한 카테고리에 대응되는 태그 샘플 이미지가 태그 샘플 이미지 세트에서의 비례, 상기 어느 한 카테고리에 대응되는 태그 샘플 이미지의 원본 샘플 이미지의 개수, 상기 어느 한 카테고리에 대응되는 태그 샘플 이미지의 원본 샘플 이미지가, 모든 태그 샘플 이미지의 원본 샘플 이미지에서의 개수 비례 중 어느 하나일 수 있다.

이로써, 예를 들어 아래와 같은 방식 (1), (2), (3) 중 어느 하나를 사용하여 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정할 수 있지만 이러한 방식에 한정되지 않는다.

방식 (1)에 있어서, 각 카테고리에 대하여, 상기 카테고리에 속한 태그 샘플 이미지 및 각 태그 샘플 이미지에 대응되는 원본 샘플 이미지에 기반하여, 상기 카테고리에 대응되는 원본 샘플 이미지의 개수를 결정하고; 여기서, 각 원본 샘플 이미지에는 하나 또는 복수 개의 태그 샘플 이미지가 대응되게 존재하며;

원본 샘플 이미지의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정한다.

여기서, 원본 샘플 이미지의 개수를, 상기 카테고리에 대응되는 주파수 정보로 직접 결정할 수 있고, 원본 샘플 이미지의 모든 원본 샘플 이미지에서의 개수 비례를 상기 카테고리에 대응되는 주파수 정보로 결정할 수도 있다.

구체적으로, 상이한 태그 샘플 이미지가 동일한 원본 샘플 이미지로부터 온 것일 수 있으므로, 이러한 동일한 원본 샘플 이미지로부터 온 상이한 태그 샘플 이미지를 이미지 분류 모델에 입력한 후, 이미지 분류 모델 파라미터가 변하지 않을 경우에, 상이한 태그 샘플 이미지를 위해 추출한 특징 데이터는 비교적 유사하며, 심지어는 동일하며, 이러한 태그 샘플 이미지를 사용하여 이미지 분류 모델을 훈련하여, 이미지 분류 모델에 의해 학습된 특징은, 상이한 원본 샘플 이미지로부터 온 상이한 태그 샘플 이미지를 사용하여 이미지 분류 모델을 훈련할 경우에, 이미지 분류 모델에 의해 학습 가능한 특징보다 적다.

예를 들어, 태그 샘플 이미지 a1, 태그 샘플 이미지 a2는, 동일한 원본 샘플 이미지 A로부터 온 것이고, 태그 샘플 이미지 b1은 원본 샘플 이미지 B로부터 온 것이며, 이미지 분류 모델이 a1 및 a2에 대해 특징 학습을 수행하여 학습 가능한 특징은, a1 및 b1를 학습하여 학습 가능한 특징보다 적다.

이로써, 태그 샘플 이미지의 개수에 직접 기반하여 각 카테고리에 대응되는 주파수 정보를 결정하면, 특정된 카테고리에 대응되는 양의 샘플 중 복수 개가 동일한 원본 샘플 이미지로부터 온 것이면, 양의 샘플의 개수가 많더라도, 이미지 분류 모델이 학습 가능한 상기 카테고리 하의 특징이 적도록 초래하여, 상기 카테고리에 대한 식별 정밀도가 낮도록 초래하며, 즉 특정 일부의 양의 샘플이 적은 카테고리가 양의 샘플이 많은 카테고리로 판단되도록 초래한다. 이러한 오판을 방지하기 위해, 상기 실시예에서, 각 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 개수에 기반하여, 주파수 정보를 결정한다.

방식 (2)에 있어서, 각 카테고리에 대하여, 태그 샘플 이미지 세트에서의 태그 샘플 이미지의 총 개수 및 상기 카테고리에 속한 태그 샘플 이미지의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정한다. 상기 카테고리에 속한 태그 샘플 이미지의 개수가 태그 샘플 이미지의 총 개수에 대한 비례를 상기 카테고리에 대응되는 주파수 정보로 사용할 수 있다.

방식 (3)에 있어서, 상기 카테고리에 속한 태그 샘플 이미지의 개수를 상기 카테고리에 대응되는 주파수 정보로 사용한다.

여기서, 특정된 카테고리에 대하여, 상기 카테고리의 주파수 정보가 높을수록, 상기 카테고리에 대응되는 양의 샘플의 개수가 더욱 많고, 상기 카테고리의 양의 샘플 및 음의 샘플 사이의 균형도가 더욱 높것으로 간주하고; 주파수 정보가 낮을수록, 상기 카테고리에 대응되는 양의 샘플의 개수가 더욱 적고, 상기 카테고리의 양의 샘플과 음의 샘플 사이의 균형도가 더욱 낮은 것으로 간주한다.

III에 있어서, 상기 단계 S103 및 단계 S104에서, 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 기반하여, 이미지 분류 모델의 손실 정보를 결정할 경우, 예를 들어,

각 태그 샘플 이미지에 대하여, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 이미지 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻는 방식을 사용할 수 있다.

구체적인 구현 과정 중, 태그 샘플 이미지에 기반하여 이미지 분류 모델을 훈련하는 과정에서, 하나의 태그 샘플 이미지를 이미지 분류 모델에 입력할 때마다, 하나의 분류 결과를 모두 결정할 수 있다. 상기 분류 결과는 예를 들어 하나의 벡터이고, 벡터 중 인소의 개수는, 이미지 분류 모델이 식별 가능한 대상의 카테고리 개수와 일치하며, 일대일 대응된다. 상기 벡터 중 어느 한 인소의 값은, 상기 태그 샘플 이미지가 상기 인소에 대응되는 카테고리에 속하는 확률 및 신뢰도를 나타낸다.

예를 들어, 이미지 분류 모델이 식별 가능한 대상의 카테고리 개수가 30이면, 어느 한 태그 샘플 이미지를 이미지 분류 모델에 입력한 후, 얻은 분류 결과는 하나의 30 차원의 벡터이며, 이는 (p1, p2, ……, p30)로 나타내며, 여기서, 상기 벡터에서의 i 번째 인소 pi의 값은, 상기 태그 샘플 이미지가 pi에 대응되는 카테고리에 속하는 신뢰도를 나타내고, pi의 값이 높을수록, 상기 태그 샘플 이미지가 pi에 대응되는 카테고리에 속하는 가능성도 더욱 높다.

다음, 상기 벡터, 태그 샘플 이미지에 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대응되는 손실 정보를 얻을 수 있다.

상기 손실 정보에 기반하여, 이미지 분류 모델의 파라미터가 상기 손실 정보의 하락 추세를 향해 조정되도록 하여, 상기 이미지 분류 모델에 대한 한 회의 파라미터 조정 과정을 완료한다.

다음, 태그 샘플 이미지를 이미지 분류 모델에 입력하여, 상기 손실 정보의 결정 및 파라미터 조정 과정을 재차 실행한다.

모든 태그 샘플 이미지를 사용하여 이미지 분류 모델에 대해 한 회의 파라미터 조정 과정을 수행한 후, 상기 이미지 분류 모델에 대한 한 차례의 훈련을 완료한 것으로 지칭한다.

이미지 분류 모델에 대한 여러 차례의 훈련을 통하거나, 이미지 분류 모델의 손실 정보가 수렴되면, 최종적으로 훈련 완료된 이미지 분류 모델을 얻을 수 있다.

예시적으로, 도 2에 도시된 바를 참조하면, 본 발명의 실시예는 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻는 구체적인 방법을 더 제공하고, 상기 방법은 아래와 같은 단계를 포함한다.

단계 S201에 있어서, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정한다.

단계 S202에 있어서, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치에 기반하여, 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻는다.

여기서, 각 태그 샘플 이미지에 대하여, 그 손실 정보는 예를 들어 아래와 같은 공식 (1)을 만족한다.

(1)

여기서, 아래의 공식 (2)를 만족한다.

(2)

여기서, C는 분류 모델이 식별 가능한 대상의 카테고리 개수를 나타내고;

은 상기 태그 샘플 이미지가 카테고리 j에 속하는 신뢰도를 나타내며, c는 상기 태그 샘플 이미지에 대응되는 태그 라벨을 나타내며,

은 상기 태그 샘플 이미지에 대하여, 카테고리 j에 대응되는 손실 가중치를 나타낸다.

한 가지 실시예에 있어서, 손실 가중치를 결정할 경우, 예를 들어 어느 한 카테고리에 대하여, 상기 태그 샘플 이미지의 분류 라벨에 따라, 상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 배경 태그 샘플 이미지인지 여부를 나타내는 것으로 결정하며; 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은지 여부를 결정한다.

상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 비 배경 태그 샘플 이미지인 것을 나타내고, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정한다.

상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 배경 태그 샘플 이미지인 것을 나타내는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정한다.

여기서, 상기 기설정된 주파수 임계값의 구체적인 값은 주파수 정보의 형태(예를 들어 개수 또는 비례) 및 분류 정밀도 수요에 따라 구체적으로 설정될 수 있다.

여기서, 제1 기설정된 손실 가중치 및 제2 기설정된 손실 가중치의 구체적인 값은 실제 수요에 따라 구체적으로 설정될 수 있다.

상기 실시예에 있어서, 이미지 분류 모델 훈련 과정 중, 특정된 카테고리의 양음 샘플이 이미지 분류 모델에 대한 영향 정도를 조절하는 방식을 통해, 분류 모델이 양의 샘플이 비교적 적은 카테고리에 대한 검출 정밀도를 향상시키므로, 제1 기설정된 손실 가중치는 제2 기설정된 손실 가중치보다 일반적으로 작다.

특정된 태그 샘플 이미지 a를 사용하여 이미지 분류 모델을 훈련하는 과정 중, 특정된 분류 m에 대하여, 상기 분류 m의 양의 샘플 및 음의 샘플이 균형을 잃은 상태일 경우, 상기 분류 m에 대응되는 주파수 정보는 기설정된 주파수 임계값보다 작고, 이와 동시에, 상기 태그 샘플 이미지 a의 태그 라벨은 상기 태그 샘플 이미지 a가 특정된 카테고리에 속하는 것으로 나타내지만, 이러한 카테고리는 카테고리 m이 아니고, 배경 카테고리도 아니며, 상기 경우에서 카테고리 m이 주파수 정보가 주파수 임계값보다 작은 카테고리이면, 상기 태그 샘플 이미지 a가 상기 카테고리 m에 대한 영향을 저하시키거나 심지어 무시하며, 즉 태그 샘플 이미지 a가 상기 카테고리 m의 손실에 대한 영향을 저하시킨다.

상기 태그 샘플 이미지 a를 사용하여 이미지 분류 모델을 훈련하는 과정 중, 특정된 분류 m에 대하여, 상기 분류 m의 양의 샘플 및 음의 샘플이 균형을 잃은 상태가 아니면, 상기 태그 샘플 이미지 a가 상기 카테고리 m에 대한 영향을 저하시키거나 심지어 무시하지 않는다.

상기 태그 샘플 이미지 a를 사용하여 이미지 분류 모델을 훈련하는 과정 중, 특정된 분류 m에 대하여, 상기 분류 m의 양의 샘플 및 음의 샘플이 균형을 잃은 상태가 아니지만, 상기 태그 샘플 이미지 a가 모든 카테고리에 대하여, 배경 카테고리의 태그 샘플 이미지에 속할 경우에도, 상기 태그 샘플 이미지 a가 상기 카테고리 m에 대한 영향을 저하시키거나 심지어 무시하지 않는다.

예를 들어, 샘플 태그 이미지가 카테고리에 대한 영향을 무시할 경우, 제1 기설정된 손실 가중치는 0이고, 제2 기설정된 손실 가중치는 1이며; 분류 모델이 식별 가능한 대상 카테고리의 카테고리 라벨을 1~C로 설정하고, 배경 카테고리의 카테고리 라벨을 0으로 설정할 수 있으므로, 특정된 태그 샘플 이미지에 대하여, 카테고리 j에 대응되는 손실 가중치(

)는 아래의 공식 (3)을 만족한다.

(3)

여기서,

은 기설정된 주파수 임계값을 나타내고; c는 태그 샘플 이미지에 속한 카테고리를 나타내며,

은 태그 샘플 이미지가 비 배경 샘플 태그 이미지에 속하는 것을 나타낸다.

은 카테고리 j에 대응되는 주파수 정보를 나타낸다.

또 예를 들어, 샘플 태그 이미지가 카테고리에 대한 영향을 저하시킬 경우, 제1 기설정된 손실 가중치는 0.3이고, 제2 기설정된 손실 가중치는 1이며; 특정된 태그 샘플 이미지에 대하여, 카테고리 j에 대응되는 손실 가중치(

)는 아래의 공식 (4)를 만족한다.

(4)

여기서, 유의해야 할 것은, 샘플 태그 이미지가 카테고리에 대한 영향을 저하시킬 경우, 제1 기설정된 손실 가중치 및 제2 기설정된 손실 가중치의 구체적인 값은 실제 수요에 따라 설정될 수 있고, 예를 들어 0.1, 0.2, 0.4, 0.5 등으로 설정되며; 제2 기설정된 손실 가중치는 또한 예를 들어 0.9, 1.1, 1.2 등이다. 여기서 한정하지 않는다.

또한, 본 발명의 다른 실시예는 다른 손실 가중치를 결정하는 구체적인 방식을 더 제공하고, 상기 실시예에 있어서, 예를 들어 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 수 있다.

여기서, 양의 샘플 카테고리 세트는, 상기 원본 샘플 이미지에 포함된 적어도 하나의타깃 대상의 카테고리를 포함한다.

구체적으로, 아래의 방식 ① 또는 방식 ② 중 어느 하나의 방식을 사용하여 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 결정할 수 있다.

방식 ①에 있어서, 태그 샘플 이미지 세트로부터, 상기 태그 샘플 이미지와 동일한 원본 샘플 이미지의 타깃 태그 샘플 이미지를 결정하고;

상기 태그 샘플 이미지 및 타깃 태그 샘플 이미지각각 에 대응되는 분류 라벨에 기반하여, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 결정한다.

여기서, 태그 샘플 이미지를 형성할 경우, 복수 개의 상이한 태그 샘플 이미지가 동일한 원본 샘플 이미지 태그에 기반하여 형성된 경우가 존재할 수 있다.

예를 들어, 어느 한 태그 샘플 이미지a에 대하여, 자신과 동일한 원본 샘플 이미지에대응되는 타깃 태그 샘플 이미지는, 각각 태그 샘플 이미지 b, 태그 샘플 이미지 c 및 태그 샘플 이미지 d이며, 여기서, 태그 샘플 이미지 a의 분류 라벨은 m2이고, 태그 샘플 이미지 b의 분류 라벨은 m5이며, 태그 샘플 이미지 c의 분류 라벨은 m9이고, 태그 샘플 이미지 d의 분류 라벨은 m5이므로, 상기 태그 샘플 이미지 a의 양의 샘플 카테고리 세트는 {m2, m5, m9}이다.

방식 ②에 있어서, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 제1 보조 분류 라벨에 따라, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 결정한다.

여기서, 원본 샘플 이미지를 태깅하여, 태그 샘플 이미지를 생성하는 과정 중, 수많은 경우에서, 생성되어야 할 태그 샘플 이미지 개수가 과다하므로, 수많은 경우에서, 원본 샘플 이미지에 존재하는 상이한 대상을 일일이 태깅하여 상이한 태그 샘플 이미지를 생성할 수 없으며, 상기 경우에서, 원본 샘플 이미지에 제1 보조 분류 라벨을 추가할 수 있고, 상기 제1 보조 분류 라벨은 원본 샘플 이미지에 포함된 타깃 대상의 카테고리를 나타내기 위한 것이다.

여기서, 유의해야 할 것은, 상기 제1 보조 분류 라벨이 태깅될 경우, 원본 샘플 이미지에 포함된 타깃 대상의 모든 카테고리를 나타낼 수 있고, 원본 샘플 이미지에 포함된 타깃 대상의 일부 카테고리를 나타낼 수도 있다.

예를 들어, 특정된 원본 샘플 이미지에 포함된 타깃 대상의 모든 카테고리는, m1, m3, m7, m8, m11을 포함하지만, 원본 샘플 이미지에 대한 제1 보조 분류 라벨을 태깅할 경우, 제1 보조 분류 라벨은 예를 들어 m1, m3, m7이며; 상기 경우에서, 형성된 상기 원본 샘플 이미지의 양의 샘플 카테고리 세트는 {m1, m3, m7}이다.

제1 보조 분류 라벨은 예를 들어 m7, m8, m11이고; 상기 경우에서, 형성된 상기 원본 샘플 이미지의 양의 샘플 카테고리 세트는 {m7, m8, m11}이다.

제1 보조 분류 라벨은 예를 들어 m1, m3, m7, m8, m11이다. 상기 경우에서, 형성된 상기 원본 샘플 이미지의 양의 샘플 카테고리 세트는 {m1, m3, m7, m8, m11}이다.

음의 샘플 카테고리 세트는, 상기 원본 샘플 이미지에 포함되지 않은 적어도 하나의타깃 대상의 카테고리를 포함한다.

여기서, 아래의 방식 ③을 사용하여 대응되는 원본 샘플 이미지의 음의 샘플 카테고리 세트를 결정할 수 있다.

방식 ③에 있어서, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 제2 보조 분류 라벨에 따라, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 음의 샘플 카테고리 세트를 결정한다.

여기서, 상기 방식 ②와 유사하게, 원본 샘플 이미지를 태깅하는 것은, 원본 샘플 이미지에 제2 보조 분류 라벨을 추가하는 것일 수도 있으며, 상기 제2 보조 분류 라벨은 원본 샘플 이미지에 포함되지 않은 타깃 대상의 카테고리를 나타내기 위한 것이다.

예를 들어, 특정된 원본 샘플 이미지를 태깅할 경우, 상기 원본 샘플 이미지에 포함되지 않은 타깃 대상의 카테고리가 m3, m9, m15를 포함하는 것으로 결정하면, 원본 샘플 이미지에 대한 제2 보조 분류 라벨을 태깅할 경우, 제2 보조 분류 라벨은 예를 들어 m3, m9, m15이며; 상기 경우에서, 형성된 상기 원본 샘플 이미지의 음의 샘플 카테고리 세트는 {m3, m9, m15}이다.

여기서 유의해야 할 것은, 제1 보조 분류 라벨 또는 제2 보조 분류 라벨에 의해 나타난 내용은 비어있을 수 있다. 상기 경우에서, 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트도 대응되게 비어있다.

상기 실시예에 있어서, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우, 예를 들어 어느 한 카테고리에 대하여, 상기 태그 샘플 이미지의 분류 라벨에 따라, 상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 배경 태그 샘플 이미지를 나타내는 것으로 결정하고; 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은지 여부를 결정하며; 상기 어느 한 카테고리가 상기 태그 샘플 이미지에 대응되는 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 속하는지 여부를 결정한다.

상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 비 배경 태그 샘플 이미지인 것을 나타내고, 상기 어느 한 카테고리가 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 속하지 않으며, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정한다.

상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 배경 태그 샘플 이미지인 것을 나타내는 것, 상기 어느 한 카테고리가 양의 샘플 카테고리 세트 또는 음의 샘플 카테고리 세트에 속하는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치를 결정한다.

상기 실시예에 있어서, 특정된 카테고리의 양음 샘플이 이미지 분류 모델에 대한 영향 정도를 조절할 경우, 태그 샘플 이미지 a가 특정된 카테고리 m에 대한 영향을 저하시키거나 무시하는 과정 중, 상기 태그 샘플 이미지 a에 대응되는 원본 샘플 이미지에 상기 카테고리 m의 타깃 대상이 무조건 존재하면, 해당 일부 태그 샘플 이미지가 상기 카테고리 m에 대한 영향을 무시하지 않으므로, 이미지 분류 모델이 상기 카테고리 하의 더욱 많은 특징을 학습할 수 있도록 함으로써, 이미지 분류 모델의 정밀도를 추가로 향상시킬 수 있다.

또한, 특정된 원본 샘플 이미지에 특정된 카테고리의 타깃 대상이 무조건 존재하지 않으면, 상기 원본 샘플 이미지는 실제로 상기 카테고리 m의 배경 이미지로 간주될 수 있으므로, 상기 원본 샘플 이미지에 기반하여 얻은 태그 샘플 이미지가 상기 분류 m에 대한 영향을 무시하지 않아, 이미지 분류 모델이 카테고리 m의 타깃 대상과의 차이 특성을 학습할 수 있도록 하고, 이미지 분류 모델의 정밀도를 추가로 향상시킬 수도 있다.

이로써, 본 발명의 실시예에 있어서, 또한 상기 어느 한 카테고리가 상기 태그 샘플 이미지에 대응되는 양의 샘플 카테고리 세트 또는 음의 샘플 카테고리 세트에 속하는지 여부를 결정한다. 속하면, 상기 태그 샘플 이미지 a가 상기 카테고리 m에 대한 영향을 저하시키거나 심지어 무시하지 않는다.

예를 들어, 샘플 태그 이미지가 카테고리에 대한 영향을 무시하는 경우, 제1 기설정된 손실 가중치는 0이고, 제2 기설정된 손실 가중치는 1이며; 특정된 태그 샘플 이미지에 대하여, 카테고리 j에 대응되는 손실 가중치는 아래 공식 (5)를 만족한다.

(5)

여기서,

은 기설정된 주파수 임계값을 나타내고;

은 카테고리 j에 대응되는 주파수 정보를 나타낸다.

은 양의 샘플 카테고리 세트를 나타내고;

은 음의 샘플 카테고리 세트를 나타낸다.

또 예를 들어, 샘플 태그 이미지가 카테고리에 대한 영향을 저하시키는 경우, 제1 기설정된 손실 가중치는 0.15이고, 제2 기설정된 손실 가중치는 1.1이며; 특정된 태그 샘플 이미지에 대하여, 카테고리 j에 대응되는 손실 가중치(

)는 아래 공식 (6)을 만족한다.

(6)

여기서, 샘플 태그 이미지가 카테고리에 대한 영향을 저하시킬 경우, 제1 기설정된 손실 가중치 및 제2 기설정된 손실 가중치의 구체적인 값은 실제 수요에 따라 설정될 수도 있다.

본 발명의 실시예에서 분류 모델을 훈련할 경우, 태그 샘플 이미지 및 각 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정한 다음, 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 기반하여 분류 모델의 손실 정보를 결정하여, 상기 손실 정보에 기반하여 분류 모델을 훈련할 수 있고, 상기 과정 중, 각 카테고리에 각각 대응되는 주파수 정보 및 각 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여 손실 정보를 결정하므로, 각 카테고리의 주파수 정보에 따라, 특정된 카테고리의 양음 샘플이 이미지 분류 모델 훈련 과정 중, 이미지 분류 모델에 대한 영향 정도를 조절하는 방식을 통해, 양음 샘플이 각 카테고리에 생성한 영향을 평형시킬 수 있음으로써, 분류 모델이 양의 샘플이 비교적 적은 분류에 대한 식별 정밀도를 향상시킨다.

본 발명의 실시예는 다른 이미지 처리 방법을 더 제공하고, 상기 방법은, 미리 훈련된 이미지 분류 모델에 기반하여 이미지 처리 작업을 실행하는 단계를 포함하고;

이미지 분류 모델은 상기 실시예의 이미지 분류 모델 훈련 방법을 통해 훈련하여 얻으며;

이미지 처리 작업은, 이미지 분류, 대상 검출, 키 포인트 검출, 이미지 분할, 인스턴스 분할 중 하나 또는 복수 개를 포함한다.

본 발명의 실시예에 있어서, 이미지 분류 모델은 구체적으로 실제 이미지 처리 작업에 따라 선택될 수 있다. 예를 들어, 이미지 처리 작업이 대상 검출일 경우, 상기 이미지 분류 모델은 더욱 빠른 영역 컨볼루션 신경 네트워크(Faster Region-Convolutional Neural Networks, Faster R-CNN)를 사용할 수 있으며; 또 예를 들어, 이미지 처리 작업이 인스턴스 분할일 경우, 상기 이미지 분류 모델은 인스턴스 분할 모델(Mask R-CNN)을 사용할 수 있다.

본 발명의 실시예에 있어서, 이미지 분류 모델을 훈련하는 태그 샘플 세트는 마이크로 소프트 컨텍스트 범용 대상 데이터 세트(Microsoft Common Objects in Context, MS COCO), 대형 어휘 인스턴스 세그먼트의 데이터 세트(A Dataset for Large Vocabulary Instance Segmentation, LVIS), 모드 분석, 통계 모델링 및 컴퓨팅 학습 시각 대상 클래스 데이터 세트(pattern analysis, statistical modelling and computational learning visual object classes, Pascal VOC), 및 Open Image데이터 세트 중 적어도 하나일 수 있고, 상기 샘플 세트 중 적어도 하나를 처리(예를 들어 가중 태깅)한 후 얻은 샘플 세트일 수도 있다.

본 발명의 실시예에서 이미지 처리 작업을 실행할 경우, 상기 실시예에서 개시된 이미지 분류 모델 훈련 방법에 기반하여 훈련하여 얻은 이미지 분류 모델을 사용하여 구현되어, 더욱 높은 정밀도로 이미지 처리 결과를 얻을 수 있다.

도 3에 도시된 바를 참조하면, 본 발명의 실시예는 데이터 분류 모델 훈련 방법을 더 제공하고, 상기 방법은 아래와 같은 단계를 포함한다.

단계 S301에 있어서, 태그 샘플 데이터 세트를 획득하고; 태그 샘플 데이터 세트는 복수 개의 태그 샘플 데이터 및 각 태그 샘플 데이터에 각각 대응되는 분류 라벨을 포함한다.

단계 S302에 있어서, 태그 샘플 데이터 및 각 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정한다.

단계 S303에 있어서, 복수 개의 태그 샘플 데이터에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 기반하여, 데이터 분류 모델의 손실 정보를 결정한다.

단계 S304에 있어서, 손실 정보에 기반하여, 데이터 분류 모델을 훈련하고; 데이터 분류 모델은 식별될 데이터의 카테고리를 결정하기 위한 것이다.

상기 실시예에 있어서, 샘플 데이터 세트는 샘플 이미지 세트, 샘플 텍스트 세트 중 어느 하나일 수 있다. 또한, 처리될 데이터의 상이함에 따라, 태그 샘플 데이터도 차이가 존재하며, 구체적인 것은 실제 응용 시나리오에 따라 결정되며, 여기서 더이상 반복하여 설명하지 않는다.

상기 단계 S301 내지 단계 S304의 구체적인 구현 방식은 상기 실시예의 단계S101 내지 단계 S104를 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.

본 발명의 실시예는 데이터 처리 방법을 더 제공하고, 상기 방법은,

미리 훈련된 데이터 분류 모델에 기반하여 데이터 처리 작업을 실행하는 단계를 포함하고;

데이터 분류 모델은 상기 실시예에서의 데이터 분류 모델 훈련 방법을 통해 훈련하여얻으며;

데이터 처리 작업은 데이터 분류, 데이터 분할, 인스턴스 분할 중 하나 또는 복수 개를 포함하며;

데이터는 이미지 데이터 및 텍스트 데이터 중 어느 하나를 포함한다.

본 분야의 기술자는, 구체적인 실시형태의 상기 방법에서, 각 단계의 작성 순서는 엄격한 실행 순서를 의미하는 것이 아니고 실시 과정에 대한 어떠한 한정도 아니며, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내적 논리에 의해 결정되어야 한다.

동일한 발명 구상에 기반하여, 본 발명의 실시예에서 이미지 분류 모델 훈련 방법에 대응되는 이미지 분류 모델 훈련 장치를 더 제공하고, 본 발명의 실시예에서의 장치에서 문제를 해결하는 원리와 본 발명의 실시예의 상기 이미지 분류 모델 훈련 방법이 유사하므로, 장치의 실시는 방법의 실시를 참조할 수 있고, 중복된 부분은 더이상 반복하여 설명하지 않는다.

도 4에 도시된 바를 참조하면, 이는 본 발명의 실시예에서 제공한 이미지 분류 모델 훈련 장치의 예시도이고, 상기 장치는 제1 획득 모듈(41), 제1 주파수 정보 결정 모듈(42), 제1 손실 정보 결정 모듈(43), 및 제1 훈련 모듈(44)을 포함하며; 여기서,

제1 획득 모듈(41)은, 태그 샘플 이미지 세트를 획득하기 위한 것이고; 상기 태그 샘플 이미지 세트는 복수 개의 태그 샘플 이미지 및 각 태그 샘플 이미지에 각각 대응되는 분류 라벨을 포함하고;

제1 주파수 정보 결정 모듈(42)은, 상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정하기 위한 것이며;

제1 손실 정보 결정 모듈(43)은, 상기 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 이미지 분류 모델의 손실 정보를 결정하기 위한 것이며;

제1 훈련 모듈(44)은, 상기 손실 정보에 기반하여, 상기 이미지 분류 모델을 훈련하기 위한 것이며; 상기 이미지 분류 모델은 식별될 이미지의 카테고리를 결정하기 위한 것이다.

장치에서의 각 모듈의 처리 플로우 및 각 모듈 사이의 인터랙션 플로우에 대한 설명은 상기 방법 실시예에서의 연관 설명을 참조할 수 있고, 여기서 더이상 상세하게 설명하지 않는다.

본 발명의 다른 실시예는 이미지 처리 장치를 더 제공하고, 상기 장치는,

미리 훈련된 이미지 분류 모델에 기반하여 이미지 처리 작업을 실행하기 위한 제1 처리 모듈을 포함하고;

상기 이미지 분류 모델은 상기 실시예에 따른 이미지 분류 모델 훈련 방법을 통해 훈련하여 얻으며;

상기 이미지 처리 작업은, 이미지 분류, 대상 검출, 키 포인트 검출, 이미지 분할, 인스턴스 분할 중 하나 또는 복수 개를 포함한다.

도 5에 도시된 바를 참조하면, 이는 본 발명의 실시예에서 제공한 데이터 분류 모델훈련 장치의 예시도이고, 상기 장치는 제2 획득 모듈(51), 제2 주파수 정보 결정 모듈(52), 제2 손실 정보 결정 모듈(53), 및 제2 훈련 모듈(54)을 포함하며; 여기서,

제2 획득 모듈(51)은, 태그 샘플 데이터 세트를 획득하기 위한 것이고; 상기 태그 샘플 데이터 세트는 복수 개의 태그 샘플 데이터 및 각 태그 샘플 데이터에 각각 대응되는 분류 라벨을 포함하고;

제2 주파수 정보 결정 모듈(52)은, 상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정하기 위한 것이며;

제2 손실 정보 결정 모듈(53)은, 상기 복수 개의 태그 샘플 데이터에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 데이터 분류 모델의 손실 정보를 결정하기 위한 것이며;

제2 훈련 모듈(54)은, 상기 손실 정보에 기반하여, 상기 데이터 분류 모델을 훈련하기 위한 것이고; 상기 데이터 분류 모델은 식별될 데이터의 카테고리를 결정하기 위한 것이다.

장치에서의 각 모듈의 처리 플로우, 및 각 모듈 사이의 인터랙션 플로우의 설명은 상기 방법 실시예에서의 관련 설명을 참조할 수 있고, 여기서 더이상 상세하게 설명하지 않는다.

본 발명의 실시예는 데이터 처리 장치를 더 제공하고, 상기 장치는,

미리 훈련된 데이터 분류 모델에 기반하여 데이터 처리 작업을 실행하기 위한 제2 처리 모듈을 포함하고;

상기 데이터 분류 모델은 상기 실시예에 따른 데이터 분류 모델 훈련 방법을 통해 훈련하여 얻으며; 상기 데이터 처리 작업은 데이터 분류, 데이터 분할, 인스턴스 분할 중 하나 또는 복수 개를 포함하며; 상기 데이터는 이미지 데이터 및 텍스트 데이터 중 어느 하나를 포함한다.

본 발명의 실시예는 컴퓨팅 기기(60)를 더 제공하고, 도 6에 도시된 바와 같이, 이는 본 발명의 실시예에서 제공한 컴퓨팅 기기(60)의 구조 예시도이며, 프로세서(61), 메모리(62) 및 버스(63)를 포함한다. 상기 메모리(62)에는 상기 프로세서(61)가 실행 가능한 기계 판독 가능한 명령어(예를 들어, 도 4에서의 장치 중 제1 획득 모듈(41), 제1 주파수 정보 결정 모듈(42), 제1 손실 정보 결정 모듈(43), 및 제1 훈련 모듈(44)에 대응되는 실행 명령어 등)가 저장되며, 컴퓨팅 기기(60)가 작동될 경우, 상기 프로세서(61)와 상기 메모리(62) 사이는 버스(63)를 통해 통신하며, 상기 기계 판독 가능한 명령어가 상기 프로세서(61)에 의해 실행될 경우,

태그 샘플 이미지 세트를 획득하는 것 - 상기 태그 샘플 이미지 세트는 복수 개의 태그 샘플 이미지 및 각 태그 샘플 이미지에 각각 대응되는 분류 라벨을 포함함 - ;

상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정하는 것;

상기 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 이미지 분류 모델의 손실 정보를 결정하는 것;

상기 손실 정보에 기반하여, 상기 이미지 분류 모델을 훈련하는 것 - 상기 이미지 분류 모델은 식별될 이미지의 카테고리를 결정하기 위한 것임 - 을 실행한다.

프로세서(61)가 각 처리를 실행할 경우의 상세한 과정은 구체적으로 상기 실시예에 설명된 바를 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.

본 발명의 실시예는 컴퓨팅 기기(70)를 더 제공하고, 도 7에 도시된 바와 같이, 이는 본 발명의 실시예에서 제공한 컴퓨팅 기기(70)의 구조 예시도이며, 프로세서(71), 메모리(72) 및 버스(73)를 포함한다. 상기 메모리(72)에는 상기 프로세서(71)가 실행 가능한 기계 판독 가능한 명령어(예를 들어, 도 5에서의 장치 중 제2 획득 모듈(51), 제2 주파수 정보 결정 모듈(52), 제2 손실 정보 결정 모듈(53), 및 제2 훈련 모듈(54)에 대응되는 실행 명령어 등)가 저장되고, 컴퓨팅 기기(70)가 작동될 경우, 상기 프로세서(71)와 상기 메모리(72) 사이는 버스(73)를 통해 통신하고, 상기 기계 판독 가능한 명령어가 상기 프로세서(71)에 의해 실행될 경우,

태그 샘플 데이터 세트를 획득하는 것 - 상기 태그 샘플 데이터 세트는 복수 개의 태그 샘플 데이터 및 각 태그 샘플 데이터에 각각 대응되는 분류 라벨을 포함함 - ;

상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정하는 것;

상기 복수 개의 태그 샘플 데이터에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 데이터 분류 모델의 손실 정보를 결정하는 것; 및

상기 손실 정보에 기반하여, 상기 데이터 분류 모델을 훈련하는 것 - 상기 데이터 분류 모델은 식별될 데이터의 카테고리를 결정하기 위한 것임 - 을 실행한다.

프로세서(71)가 각 처리를 실행할 경우의 상세한 과정은 구체적으로 상기 실시예에 설명된 바를 참조하며, 여기서 더이상 반복하여 설명하지 않는다.

본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 상기 방법 실시예에 따른 이미지 분류 모델 훈련 방법, 이미지 처리 방법, 데이터 분류 모델 훈련 방법, 또는 데이터 처리 방법의 단계를 실행한다. 여기서, 상기 저장 매체는 휘발성 또는 비휘발성 컴퓨터 판독 가능한 저장 매체일 수 있다.

본 발명의 실시예에서 제공한 이미지 분류 모델 훈련 방법, 이미지 처리 방법, 데이터 분류 모델 훈련 방법, 또는 데이터 처리 방법의 컴퓨터 프로그램 제품은, 프로그램 코드를 저장한 컴퓨터 판독 가능한 저장 매체를 포함하고, 상기 프로그램 코드에 포함된 명령어는 상기 방법 실시예에 따른 이미지 분류 모델 훈련 방법, 이미지 처리 방법, 데이터 분류 모델 훈련 방법, 또는 데이터 처리 방법의 단계를 실행하는데 사용될 수 있으며, 구체적인 것은 상기 방법 실시예를 참조할 수 있으며, 여기서 더이상 반복하여 설명하지 않는다.

본 발명의 실시예는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 전술한 실시예의 어느 하나의 방법을 구현한다. 상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합을 통해 구현될 수 있다. 선택 가능한 실시예에 있어서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로서 구체적으로 구현되며, 다른 선택 가능한 실시예에 있어서, 컴퓨터 프로그램 제품은 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로서 구체적으로 구현된다.

본 기술분야의 통상의 기술자는 설명의 편의 및 간결함을 위해, 상기 설명된 시스템, 장치의 구체적인 동작 과정이, 전술된 방법 실시예 중 대응되는 과정을 참조할 수 있음을 이해할 수 있으며, 여기서 반복적으로 설명하지 않는다. 본 발명에서 제공된 몇 개의 실시예에 있어서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 전술된 장치 실시예는 다만 예시적이며, 예를 들어, 상기 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 또 예를 들어, 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 나타내거나 논의된 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 통신 인터페이스를 통해 구현되며, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결은, 전기, 기계 또는 다른 형태일 수 있다.

상기 분리 부재로서 설명된 유닛은, 물리적으로 분리된 것이거나 아닐 수 있고, 유닛으로서 나타낸 부재는 물리적 유닛이거나 아닐 수 있고, 즉 한 곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예 방안의 목적을 구현할 수 있다.

또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 한 유닛에 통합될 수도 있다.

상기 기능이 소프트웨어 기능 유닛의 형태로 구현되고 단독적인 제품으로 판매되거나 사용될 경우, 하나의 프로세서가 실행 가능한 휘발성 또는 비휘발성 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 기술 방안, 즉 종래 기술에 기여하는 부분 또는 상기 기술 방안의 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는 U 디스크, 모바일 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 여러 가지 매체를 포함한다.

마지막으로 설명해야 할 것은, 이상 상기 실시예는, 다만 본 발명의 구체적인 실시형태일 뿐이고, 본 발명의 기술방안을 한정하려는 것이 아닌 설명하기 위함이며, 본 발명의 청구 범위는 이에 한정되지 않으며, 비록 전술한 실시예를 참조하여 본 발명에 대해 상세하게 설명하였지만, 본 분야의 기술자라면, 임의의 본 기술분야의 공지된 기술자가 본 발명에서 개시된 기술 범위 내에서, 여전히 전술한 실시예에서 기재된 기술방안을 수정하거나 용이하게 변화를 생각해낼 수 있으며, 또는 그것의 일부 기술 특징을 동등하게 대체할 수 있음을 이해해야 하고; 이러한 수정, 변화 또는 교체는 상응하는 기술방안의 본질이 본 발명의 기술방안의 사상 및 범위를 벗어나지 않도록 하며, 모두 본 발명의 보호 범위 내에 속해야 함을 이해해야 한다. 따라서, 본 발명의 보호 범위는 특허청구범위의 보호 범위를 기준으로 해야 한다.

Claims

이미지 분류 모델 훈련 방법으로서,
태그 샘플 이미지 세트를 획득하는 단계 - 상기 태그 샘플 이미지 세트는 복수 개의 태그 샘플 이미지 및 각 태그 샘플 이미지에 각각 대응되는 분류 라벨을 포함함 - ;
상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정하는 단계;
상기 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 이미지 분류 모델의 손실 정보를 결정하는 단계; 및
상기 손실 정보에 기반하여, 상기 이미지 분류 모델을 훈련하는 단계 - 상기 이미지 분류 모델은 식별될 이미지의 카테고리를 결정하기 위한 것임 - 를 포함하는 것을 특징으로 하는 이미지 분류 모델 훈련 방법.
제1항에 있어서,
상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정하는 단계는,
각 카테고리에 대하여, 상기 카테고리에 속한 태그 샘플 이미지 및 각 태그 샘플 이미지에 대응되는 원본 샘플 이미지에 기반하여, 상기 카테고리에 대응되는 원본 샘플 이미지의 개수를 결정하는 단계 - 각 원본 샘플 이미지에는 하나 또는 복수 개의 태그 샘플 이미지가 대응되게 존재함 - ; 및
상기 원본 샘플 이미지의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 분류 모델 훈련 방법.
제1항에 있어서,
상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정하는 단계는,
각 카테고리에 대하여, 상기 태그 샘플 이미지 세트에서의 태그 샘플 이미지의 총 개수 및 상기 카테고리에 속한 태그 샘플 이미지의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하는 단계; 또는, 상기 카테고리에 속한 태그 샘플 이미지의 개수를 상기 카테고리에 대응되는 주파수 정보로 사용하는 단계를 포함하는 것을 특징으로 하는 이미지 분류 모델 훈련 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 이미지 분류 모델의 손실 정보를 결정하는 단계는,
각 태그 샘플 이미지에 대하여, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 이미지 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 분류 모델 훈련 방법.
제4항에 있어서,
상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 이미지 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻는 단계는,
상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계; 및
기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치에 기반하여, 상기 이미지 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 분류 모델 훈련 방법.
제5항에 있어서,
상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는,
어느 한 카테고리에 대하여,
상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 비 배경 태그 샘플 이미지인 것을 나타내고, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 분류 모델 훈련 방법.
제5항 또는 제6항에 있어서,
상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는,
어느 한 카테고리에 대하여,
상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 배경 태그 샘플 이미지인 것을 나타내는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 분류 모델 훈련 방법.
제5항에 있어서,
상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는,
상기 태그 샘플 이미지의 분류 라벨, 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계를 포함하고;
상기 양의 샘플 카테고리 세트는, 상기 원본 샘플 이미지에 포함된 적어도 하나의 타깃 대상의 카테고리를 포함하고; 상기 음의 샘플 카테고리 세트는, 상기 원본 샘플 이미지에 포함되지 않은 적어도 하나의 타깃 대상의 카테고리를 포함하는 것을 특징으로 하는 이미지 분류 모델 훈련 방법.
제8항에 있어서,
상기 이미지 분류 모델 훈련 방법은,
상기 태그 샘플 이미지 세트로부터, 상기 태그 샘플 이미지와 동일한 원본 샘플 이미지에 대응되는 타깃 태그 샘플 이미지를 결정하는 단계;
상기 태그 샘플 이미지 및 상기 타깃 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 결정하는 단계;
또는,
상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 제1 보조 분류 라벨에 따라, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 결정하는 단계 - 상기 제1 보조 분류 라벨은 상기 원본 샘플 이미지에 포함된 타깃 대상의 카테고리를 나타내기 위한 것임 - 를 사용하여 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 획득하는 단계를 더 포함하는 것을 특징으로 하는 이미지 분류 모델 훈련 방법.
제8항 또는 제9항에 있어서,
상기 이미지 분류 모델 훈련 방법은,
상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 제2 보조 분류 라벨에 따라, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 음의 샘플 카테고리 세트를 결정하는 단계 - 상기 제2 보조 분류 라벨은 상기 원본 샘플 이미지에 포함되지 않은 타깃 대상의 카테고리를 나타내기 위한 것임 - 를 사용하여 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 음의 샘플 카테고리 세트를 획득하는 단계를 더 포함하는 것을 특징으로 하는 이미지 분류 모델 훈련 방법.
제8항 내지 제10항 중 어느 한 항에 있어서,
상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는,
어느 한 카테고리에 대하여,
상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 비 배경 태그 샘플 이미지인 것을 나타내고, 상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 및 상기 음의 샘플 카테고리 세트에 속하지 않으며, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 분류 모델 훈련 방법.
제8항 내지 제10항 중 어느 한 항에 있어서,
상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는,
어느 한 카테고리에 대하여, 상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 배경 태그 샘플 이미지인 것을 나타내는 것,
상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 또는 상기 음의 샘플 카테고리 세트에 속하는 것, 및
상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우,
상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 분류 모델 훈련 방법.
이미지 처리 방법으로서,
미리 훈련된 이미지 분류 모델에 기반하여 이미지 처리 작업을 실행하는 단계를 포함하고;
상기 이미지 분류 모델은 상기 제1항 내지 제12항 중 어느 한 항에 따른 이미지 분류 모델 훈련 방법을 통해 훈련하여 얻으며;
상기 이미지 처리 작업은, 이미지 분류, 대상 검출, 키 포인트 검출, 이미지 분할, 인스턴스 분할 중 하나 또는 복수 개를 포함하는 것을 특징으로 하는 이미지 처리 방법.
데이터 분류 모델 훈련 방법으로서,
태그 샘플 데이터 세트를 획득하는 단계 - 상기 태그 샘플 데이터 세트는 복수 개의 태그 샘플 데이터 및 각 태그 샘플 데이터에 각각 대응되는 분류 라벨을 포함함 - ;
상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정하는 단계;
상기 복수 개의 태그 샘플 데이터에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 데이터 분류 모델의 손실 정보를 결정하는 단계; 및
상기 손실 정보에 기반하여, 상기 데이터 분류 모델을 훈련하는 단계 - 상기 데이터 분류 모델은 식별될 데이터의 카테고리를 결정하기 위한 것임 - 를 포함하는 것을 특징으로 하는 데이터 분류 모델 훈련 방법.
제14항에 있어서,
상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정하는 단계는,
각 카테고리에 대하여, 상기 카테고리에 속한 태그 샘플 데이터 및 각 태그 샘플 데이터에 대응되는 원본 샘플 데이터에 기반하여, 상기 카테고리에 대응되는 원본 샘플 데이터의 개수를 결정하는 단계 - 각 원본 샘플 데이터에는 하나 또는 복수 개의 태그 샘플 데이터가 대응되게 존재함 - ; 및
상기 원본 샘플 데이터의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 데이터 분류 모델 훈련 방법.
제14항에 있어서,
상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정하는 단계는,
각 카테고리에 대하여, 상기 태그 샘플 데이터 세트에서의 태그 샘플 데이터의 총 개수 및 상기 카테고리에 속한 태그 샘플 데이터의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하는 단계; 또는, 상기 카테고리에 속한 태그 샘플 데이터의 개수를 상기 카테고리에 대응되는 주파수 정보로 사용하는 단계를 포함하는 것을 특징으로 하는 데이터 분류 모델 훈련 방법.
제14항 내지 제16항 중 어느 한 항에 있어서,
상기 복수 개의 태그 샘플 데이터에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 데이터 분류 모델의 손실 정보를 결정하는 단계는,
각 태그 샘플 데이터에 대하여, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 데이터 분류 모델을 사용하여 상기 태그 샘플 데이터를 분류할 경우의 손실 정보를 얻는 단계를 포함하는 것을 특징으로 하는 데이터 분류 모델 훈련 방법.
제17항에 있어서,
상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 데이터 분류 모델을 사용하여 상기 태그 샘플 데이터를 분류할 경우의 손실 정보를 얻는 단계는,
상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계; 및
기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치에 기반하여, 상기 데이터 분류 모델을 사용하여 상기 태그 샘플 데이터를 분류할 경우의 손실 정보를 얻는 단계를 포함하는 것을 특징으로 하는 데이터 분류 모델 훈련 방법.
제18항에 있어서,
상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는,
어느 한 카테고리에 대하여,
상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 비 배경 태그 샘플 데이터인 것을 나타내고, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하는 단계를 포함하는 것을 특징으로 하는 데이터 분류 모델 훈련 방법.
제17항 내지 제19항 중 어느 한 항에 있어서,
상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는,
어느 한 카테고리에 대하여,
상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 배경 태그 샘플 데이터인 것을 나타내는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하는 단계를 포함하는 것을 특징으로 하는 데이터 분류 모델 훈련 방법.
제18항에 있어서,
상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는,
상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계를 포함하고;
상기 양의 샘플 카테고리 세트는, 상기 원본 샘플 데이터에 포함된 적어도 하나의 타깃 대상의 카테고리를 포함하고; 상기 음의 샘플 카테고리 세트는, 상기 원본 샘플 데이터에 포함되지 않은 적어도 하나의 타깃 대상의 카테고리를 포함하는 것을 특징으로 하는 데이터 분류 모델 훈련 방법.
제21항에 있어서,
상기 데이터 분류 모델 훈련 방법은,
상기 태그 샘플 데이터 세트로부터, 상기 태그 샘플 데이터와 동일한 원본 샘플 데이터에 대응되는 타깃 태그 샘플 데이터를 결정하는 단계;
상기 태그 샘플 데이터 및 상기 타깃 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트를 결정하는 단계;
또는,
상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 제1 보조 분류 라벨에 따라, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트를 결정하는 단계 - 상기 제1 보조 분류 라벨은 상기 원본 샘플 데이터에 포함된 타깃 대상의 카테고리를 나타내기 위한 것임 - 를 사용하여 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트를 획득하는 단계를 포함하는 것을 특징으로 하는 데이터 분류 모델 훈련 방법.
제21항 내지 제22항 중 어느 한 항에 있어서,
상기 데이터 분류 모델 훈련 방법은,
상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 제2 보조 분류 라벨에 따라, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 음의 샘플 카테고리 세트를 결정하는 단계 - 상기 제2 보조 분류 라벨은 상기 원본 샘플 데이터에 포함되지 않은 타깃 대상의 카테고리를 나타내기 위한 것임 - 를 사용하여 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 음의 샘플 카테고리 세트를 획득하는 단계를 더 포함하는 것을 특징으로 하는 데이터 분류 모델 훈련 방법.
제21항 내지 제24항 중 어느 한 항에 있어서,
상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는,
어느 한 카테고리에 대하여,
상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 비 배경 태그 샘플 데이터인 것을 나타내고, 상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 및 상기 음의 샘플 카테고리 세트에 속하지 않으며, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하는 단계를 포함하는 것을 특징으로 하는 데이터 분류 모델 훈련 방법.
제21항 내지 제24항 중 어느 한 항에 있어서,
상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하는 단계는,
어느 한 카테고리에 대하여, 상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 배경 태그 샘플 데이터인 것을 나타내는 것,
상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 또는 상기 음의 샘플 카테고리 세트에 속하는 것, 및
상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우,
상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하는 단계를 포함하는 것을 특징으로 하는 데이터 분류 모델 훈련 방법.
데이터 처리 방법으로서,
미리 훈련된 데이터 분류 모델에 기반하여 데이터 처리 작업을 실행하는 단계를 포함하고;
상기 데이터 분류 모델은 상기 제14항 내지 제25항 중 어느 한 항에 따른 데이터 분류 모델 훈련 방법을 통해 훈련하여 얻으며;
상기 데이터 처리 작업은 데이터 분류, 데이터 분할, 인스턴스 분할 중 하나 또는 복수 개를 포함하며;
상기 데이터는 이미지 데이터 및 텍스트 데이터 중 어느 하나를 포함하는 것을 특징으로 하는 데이터 처리 방법.
이미지 분류 모델 훈련 장치로서,
태그 샘플 이미지 세트를 획득하기 위한 제1 획득 모듈 - 상기 태그 샘플 이미지 세트는 복수 개의 태그 샘플 이미지 및 각 태그 샘플 이미지에 각각 대응되는 분류 라벨을 포함함 - ;
상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정하기 위한 제1 주파수 정보 결정 모듈;
상기 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 이미지 분류 모델의 손실 정보를 결정하기 위한 제1 손실 정보 결정 모듈; 및
상기 손실 정보에 기반하여, 상기 이미지 분류 모델을 훈련하기 위한 제1 훈련 모듈 - 상기 이미지 분류 모델은 식별될 이미지의 카테고리를 결정하기 위한 것임 - 을 포함하는 것을 특징으로 하는 이미지 분류 모델 훈련 장치.
제27항에 있어서,
상기 제1 주파수 정보 결정 모듈은, 상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정할 경우,
각 카테고리에 대하여, 상기 카테고리에 속한 태그 샘플 이미지 및 각 태그 샘플 이미지에 대응되는 원본 샘플 이미지에 기반하여, 상기 카테고리에 대응되는 원본 샘플 이미지의 개수를 결정하는 고 - 각 원본 샘플 이미지에는 하나 또는 복수 개의 태그 샘플 이미지가 대응되게 존재함 - ;
상기 원본 샘플 이미지의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하기 위한 것임을 특징으로 하는 이미지 분류 모델 훈련 장치.
제27항에 있어서,
상기 제1 주파수 정보 결정 모듈은, 상기 태그 샘플 이미지 및 각 상기 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정할 경우,
각 카테고리에 대하여, 상기 태그 샘플 이미지 세트에서의 태그 샘플 이미지의 총 개수 및 상기 카테고리에 속한 태그 샘플 이미지의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하거나; 상기 카테고리에 속한 태그 샘플 이미지의 개수를 상기 카테고리에 대응되는 주파수 정보로 사용하기 위한 것임을 특징으로 하는 이미지 분류 모델 훈련 장치.
제27항 내지 제29항 중 어느 한 항에 있어서,
상기 제1 손실 정보 결정 모듈은, 상기 복수 개의 태그 샘플 이미지에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 이미지 분류 모델의 손실 정보를 결정할 경우,
각 태그 샘플 이미지에 대하여, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 이미지 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻기 위한 것임을 특징으로 하는 이미지 분류 모델 훈련 장치.
제30항에 있어서,
상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 이미지 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻을 경우,
상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하고;
기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치에 기반하여, 상기 이미지 분류 모델을 사용하여 상기 태그 샘플 이미지를 분류할 경우의 손실 정보를 얻기 위한 것임을 특징으로 하는 이미지 분류 모델 훈련 장치.
제31항에 있어서,
상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우,
어느 한 카테고리에 대하여,
상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 비 배경 태그 샘플 이미지인 것을 나타내고, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하기 위한 것임을 특징으로 하는 이미지 분류 모델 훈련 장치.
제31항 또는 제32항에 있어서,
상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우,
상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 배경 태그 샘플 이미지인 것을 나타내는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하기 위한 것임을 특징으로 하는 이미지 분류 모델 훈련 장치.
제31항에 있어서,
상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우,
상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하기 위한 것 - 상기 양의 샘플 카테고리 세트는, 상기 원본 샘플 이미지에 포함된 적어도 하나의 타깃 대상의 카테고리를 포함하고; 상기 음의 샘플 카테고리 세트는, 상기 원본 샘플 이미지에 포함되지 않은 적어도 하나의 타깃 대상의 카테고리를 포함함 - 임을 특징으로 하는 이미지 분류 모델 훈련 장치.
제34항에 있어서,
상기 제1 손실 정보 결정 모듈은,
상기 태그 샘플 이미지 세트로부터, 상기 태그 샘플 이미지와 동일한 원본 샘플 이미지에 대응되는 타깃 태그 샘플 이미지를 결정하는 것;
상기 태그 샘플 이미지 및 상기 타깃 태그 샘플 이미지에 각각 대응되는 분류 라벨에 기반하여, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 결정하는 것;
또는,
상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 제1 보조 분류 라벨에 따라, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 결정하는 것 - 상기 제1 보조 분류 라벨은 상기 원본 샘플 이미지에 포함된 타깃 대상의 카테고리를 나타내기 위한 것임 - 을 사용하여 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트를 획득하기 위한 것임을 특징으로 하는 이미지 분류 모델 훈련 장치.
제34항 또는 제35항에 있어서,
상기 제1 손실 정보 결정 모듈은,
상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 제2 보조 분류 라벨에 따라, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 음의 샘플 카테고리 세트를 결정하는 것 - 상기 제2 보조 분류 라벨은 상기 원본 샘플 이미지에 포함되지 않은 타깃 대상의 카테고리를 나타내기 위한 것임 - 을 사용하여 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 음의 샘플 카테고리 세트를 획득하기 위한 것임을 특징으로 하는 이미지 분류 모델 훈련 장치.
제34항 내지 제36항 중 어느 한 항에 있어서,
상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우,
어느 한 카테고리에 대하여,
상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 비 배경 태그 샘플 이미지인 것을 나타내고, 상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 및 상기 음의 샘플 카테고리 세트에 속하지 않으며, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하기 위한 것임을 특징으로 하는 이미지 분류 모델 훈련 장치.
제34항 내지 제36항 중 어느 한 항에 있어서,
상기 제1 손실 정보 결정 모듈은, 상기 태그 샘플 이미지의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 이미지에 대응되는 원본 샘플 이미지의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 이미지에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우,
어느 한 카테고리에 대하여, 상기 태그 샘플 이미지의 분류 라벨이 상기 태그 샘플 이미지가 배경 태그 샘플 이미지인 것을 나타내는 것,
상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 또는 상기 음의 샘플 카테고리 세트에 속하는 것, 및
상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우,
상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하기 위한 것임을 특징으로 하는 이미지 분류 모델 훈련 장치.
이미지 처리 장치로서,
미리 훈련된 이미지 분류 모델에 기반하여 이미지 처리 작업을 실행하기 위한 제1 처리 모듈을 포함하고;
상기 이미지 분류 모델은 상기 제27항 내지 제38항 중 어느 한 항에 따른 이미지 분류 모델 훈련 방법을 통해 훈련하여 얻으며;
상기 이미지 처리 작업은, 이미지 분류, 대상 검출, 키 포인트 검출, 이미지 분할, 인스턴스 분할 중 하나 또는 복수 개를 포함하는 것을 특징으로 하는 이미지 처리 장치.
데이터 분류 모델 훈련 장치로서,
태그 샘플 데이터 세트를 획득하기 위한 제2 획득 모듈 - 상기 태그 샘플 데이터 세트는 복수 개의 태그 샘플 데이터 및 각 태그 샘플 데이터에 각각 대응되는 분류 라벨을 포함함 - ;
상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 각각 대응되는 주파수 정보를 결정하기 위한 제2 주파수 정보 결정 모듈;
상기 복수 개의 태그 샘플 데이터에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 데이터 분류 모델의 손실 정보를 결정하기 위한 제2 손실 정보 결정 모듈; 및
상기 손실 정보에 기반하여, 상기 데이터 분류 모델을 훈련하기 위한 제2 훈련 모듈 - 상기 데이터 분류 모델은 식별될 데이터의 카테고리를 결정하기 위한 것임 - 을 포함하는 것을 특징으로 하는 데이터 분류 모델 훈련 장치.
제40항에 있어서,
상기 제2 주파수 정보 결정 모듈은, 상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정할 경우,
각 카테고리에 대하여, 상기 카테고리에 속한 태그 샘플 데이터 및 각 태그 샘플 데이터에 대응되는 원본 샘플 데이터에 기반하여, 상기 카테고리에 대응되는 원본 샘플 데이터의 개수를 결정하고 - 각 원본 샘플 데이터에는 하나 또는 복수 개의 태그 샘플 데이터가 대응되게 존재함 - ;
상기 원본 샘플 데이터의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하기 위한 것임을 특징으로 하는 데이터 분류 모델 훈련 장치.
제40항에 있어서,
상기 제2 주파수 정보 결정 모듈은, 상기 태그 샘플 데이터 및 각 상기 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 주파수 정보를 결정할 경우,
각 카테고리에 대하여, 상기 태그 샘플 데이터 세트에서의 태그 샘플 데이터의 총 개수 및 상기 카테고리에 속한 태그 샘플 데이터의 개수에 기반하여, 상기 카테고리에 대응되는 주파수 정보를 결정하거나; 상기 카테고리에 속한 태그 샘플 데이터의 개수를 상기 카테고리에 대응되는 주파수 정보로 사용하기 위한 것임을 특징으로 하는 데이터 분류 모델 훈련 장치.
제40항 내지 제42항 중 어느 한 항에 있어서,
상기 제2 손실 정보 결정 모듈은, 상기 복수 개의 태그 샘플 데이터에 각각 대응되는 분류 라벨 및 각 카테고리에 각각 대응되는 상기 주파수 정보에 기반하여, 데이터 분류 모델의 손실 정보를 결정할 경우,
각 태그 샘플 데이터에 대하여, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 데이터 분류 모델을 사용하여 상기 태그 샘플 데이터를 분류할 경우의 손실 정보를 얻기 위한 것임을 특징으로 하는 데이터 분류 모델 훈련 장치.
제42항에 있어서,
상기 제2 손실 정보 결정 모듈은, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 데이터 분류 모델을 사용하여 상기 태그 샘플 데이터를 분류할 경우의 손실 정보를 얻을 경우,
상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하고;
기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치에 기반하여, 상기 데이터 분류 모델을 사용하여 상기 태그 샘플 데이터를 분류할 경우의 손실 정보를 얻기 위한 것임을 특징으로 하는 데이터 분류 모델 훈련 장치.
제44항에 있어서,
상기 제2 손실 정보 결정 모듈은, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우,
어느 한 카테고리에 대하여,
상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 비 배경 태그 샘플 데이터인 것을 나타내고, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하기 위한 것임을 특징으로 하는 데이터 분류 모델 훈련 장치.
제43항 내지 제45항 중 어느 한 항에 있어서,
상기 제2 손실 정보 결정 모듈은, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우,
어느 한 카테고리에 대하여,
상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 배경 태그 샘플 데이터인 것을 나타내는 것 및 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하기 위한 것임을 특징으로 하는 데이터 분류 모델 훈련 장치.
제44항에 있어서,
상기 제2 손실 정보 결정 모듈, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우,
상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정하기 위한 것 - 상기 양의 샘플 카테고리 세트는, 상기 원본 샘플 데이터에 포함된 적어도 하나의 타깃 대상의 카테고리를 포함하고; 상기 음의 샘플 카테고리 세트는, 상기 원본 샘플 데이터에 포함되지 않은 적어도 하나의 타깃 대상의 카테고리를 포함함 - 임을 특징으로 하는 데이터 분류 모델 훈련 장치.
제47항에 있어서,
상기 제2 손실 정보 결정 모듈은,
상기 태그 샘플 데이터 세트로부터, 상기 태그 샘플 데이터와 동일한 원본 샘플 데이터에 대응되는 타깃 태그 샘플 데이터를 결정하는 것;
상기 태그 샘플 데이터 및 상기 타깃 태그 샘플 데이터에 각각 대응되는 분류 라벨에 기반하여, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트를 결정하는 것;
또는,
상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 제1 보조 분류 라벨에 따라, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트를 결정하는 것 - 상기 제1 보조 분류 라벨은 상기 원본 샘플 데이터에 포함된 타깃 대상의 카테고리를 나타내기 위한 것임 - 을 사용하여 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트를 획득하기 위한 것임을 특징으로 하는 데이터 분류 모델 훈련 장치.
제47항 또는 제48항에 있어서,
상기 제2 손실 정보 결정 모듈은,
상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 제2 보조 분류 라벨에 따라, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 음의 샘플 카테고리 세트를 결정하는 것 - 상기 제2 보조 분류 라벨은 상기 원본 샘플 데이터에 포함되지 않은 타깃 대상의 카테고리를 나타내기 위한 것임 - 을 사용하여 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 음의 샘플 카테고리 세트를 획득하기 위한 것임을 특징으로 하는 데이터 분류 모델 훈련 장치.
제47항 내지 제49항 중 어느 한 항에 있어서,
상기 제2 손실 정보 결정 모듈은, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우,
어느 한 카테고리에 대하여,
상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 비 배경 태그 샘플 데이터인 것을 나타내고, 상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 및 상기 음의 샘플 카테고리 세트에 속하지 않으며, 상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 작은 것으로 결정될 경우, 상기 어느 한 카테고리에 대응되는 손실 가중치를 제1 기설정된 손실 가중치로 결정하기 위한 것임을 특징으로 하는 데이터 분류 모델 훈련 장치.
제47항 내지 제51항 중 어느 한 항에 있어서,
상기 제2 손실 정보 결정 모듈은, 상기 태그 샘플 데이터의 분류 라벨 및 각 카테고리에 각각 대응되는 주파수 정보, 상기 태그 샘플 데이터에 대응되는 원본 샘플 데이터의 양의 샘플 카테고리 세트 및 음의 샘플 카테고리 세트에 따라, 상기 태그 샘플 데이터에 대한, 기설정된 복수 개의 카테고리 중 각 카테고리에 대응되는 손실 가중치를 결정할 경우,
어느 한 카테고리에 대하여, 상기 태그 샘플 데이터의 분류 라벨이 상기 태그 샘플 데이터가 배경 태그 샘플 데이터인 것을 나타내는 것,
상기 어느 한 카테고리가 상기 양의 샘플 카테고리 세트 또는 상기 음의 샘플 카테고리 세트에 속하는 것, 및
상기 어느 한 카테고리에 대응되는 주파수 정보가 기설정된 주파수 임계값보다 크거나 같은 것 중 적어도 하나인 것으로 결정될 경우,
상기 어느 한 카테고리에 대응되는 손실 가중치를 제2 기설정된 손실 가중치로 결정하기 위한 것임을 특징으로 하는 데이터 분류 모델 훈련 장치.
데이터 처리 장치로서,
미리 훈련된 데이터 분류 모델에 기반하여 데이터 처리 작업을 실행하기 위한 제2 처리 모듈을 포함하고;
상기 데이터 분류 모델은 상기 제14항 내지 제25항 중 어느 한 항에 따른 데이터 분류 모델 훈련 방법을 통해 훈련하여 얻으며;
상기 데이터 처리 작업은 데이터 분류, 데이터 분할, 인스턴스 분할 중 하나 또는 복수 개를 포함하며;
상기 데이터는 이미지 데이터 및 텍스트 데이터 중 어느 하나를 포함하는 것을 특징으로 하는 데이터 처리 장치.
컴퓨팅 기기로서,
프로세서, 메모리 및 버스를 포함하고, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어가 포함되며, 컴퓨팅 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하며, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 제1항 내지 제12항 중 어느 한 항에 따른 이미지 분류 모델 훈련 방법의 단계, 또는 제13항에 따른 이미지 처리 방법의 단계, 또는 제14항 내지 제25항 중 어느 한 항에 따른 데이터 분류 모델 훈련 방법의 단계, 또는 제26항에 따른 데이터 처리 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨팅 기기.
컴퓨터 판독 가능한 저장 매체로서,
상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 제1항 내지 제12항 중 어느 한 항에 따른 이미지 분류 모델 훈련 방법의 단계, 또는 제13항에 따른 이미지 처리 방법의 단계, 또는 제14항 내지 제25항 중 어느 한 항에 따른 데이터 분류 모델 훈련 방법의 단계, 또는 제26항에 따른 데이터 처리 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1항 내지 제12항 중 어느 한 항에 따른 이미지 분류 모델 훈련 방법의 단계, 또는 제13항에 따른 이미지 처리 방법의 단계, 또는 제14항 내지 제25항 중 어느 한 항에 따른 데이터 분류 모델 훈련 방법의 단계, 또는 제26항에 따른 데이터 처리 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 프로그램.