KR102117543B1 - 컴퓨팅 장치 및 이를 이용한 인공 지능 기반 영상 처리 서비스 시스템 - Google Patents

Abstract

컴퓨팅 장치 및 이를 구비하는 인공 지능 기반 영상 처리 서비스 시스템이 개시된다. 개시되는 일 실시예에 따른 분류 서비스 시스템은, 기계 학습(Machine Learning) 기법을 기반으로 콘텐츠 내에 포함된 객체의 검출, 상기 콘텐츠 내에 포함된 객체의 종류 판별, 및 상기 콘텐츠 내에 포함된 객체의 영역 표시 중 하나 이상을 수행하여 예비 라벨링을 수행하는 예비 라벨 서버, 예비 라벨링 된 콘텐츠를 콘텐츠 내 객체 종류 및 콘텐츠 내 검출되지 못한 객체의 존재 여부 중 하나 이상에 따라 분배 작업을 수행하는 분류 관리 서버, 및 분배 작업에 따라 예비 라벨링 된 콘텐츠를 수신하고, 검증자의 입력에 따라 예비 라벨링 된 콘텐츠를 검증하여 최종 라벨링을 수행하는 복수 개의 검증 단말을 포함한다.

Description

컴퓨팅 장치 및 이를 이용한 인공 지능 기반 영상 처리 서비스 시스템{COMPUTING DEVICE AND ARTIFICIAL INTELLIGENCE BASED IMAGE PROCESSING SERVICE SYSTEM USING THE SAME}

본 발명의 실시예는 영상 처리 서비스 기술과 관련된다.

최근, 머신 러닝 기법의 발전으로 인공지능 알고리즘의 성능이 향상되고 있어 기존의 빅 데이터 분석 및 데이터 처리가 자동화 되고 있는 추세이다. 그러나, 이러한 인공 지능 기반의 시스템 구축에는 수작업으로 가공된 방대한 양의 가공 데이터가 필요하다. 이 경우, 많은 시간 및 비용이 소모되고, 반복 작업에 의한 낮은 정확도 등의 문제가 있다.

한국공개특허공보 제10-2007-0039795호(2007.04.13)

본 발명의 실시예는 새로운 영상 처리 서비스 기술을 제공하기 위한 것이다.

개시되는 일 실시예에 따른 영상 처리 서비스 시스템은, 기계 학습(Machine Learning) 기법을 기반으로 콘텐츠 내에 포함된 객체의 검출, 상기 콘텐츠 내에 포함된 객체의 종류 판별, 및 상기 콘텐츠 내에 포함된 객체의 영역 표시 중 하나 이상을 수행하여 예비 라벨링을 수행하는 예비 라벨 서버; 상기 예비 라벨링 된 콘텐츠를 상기 콘텐츠 내 객체 종류 및 상기 콘텐츠 내 검출되지 못한 객체의 존재 여부 중 하나 이상에 따라 분배 작업을 수행하는 분류 관리 서버; 및 상기 분배 작업에 따라 상기 예비 라벨링 된 콘텐츠를 수신하고, 검증자의 입력에 따라 상기 예비 라벨링 된 콘텐츠를 검증하여 최종 라벨링을 수행하는 복수 개의 검증 단말을 포함한다.

상기 예비 라벨 서버는, 제1 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체를 검출하여 경계 박스를 생성하는 객체 검출 모듈; 및 상기 경계 박스에 기반하여 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하는 예비 라벨링 모듈을 포함하고, 상기 분류 관리 서버는, 상기 복수 개의 검증 단말로부터 최종 라벨링 된 콘텐츠를 각각 수신하고, 수신한 상기 최종 라벨링 된 콘텐츠를 상기 예비 라벨 서버로 전송하며, 상기 객체 검출 모듈은, 상기 최종 라벨링 된 콘텐츠 내 각 객체의 경계 박스에 대한 정보를 상기 제1 기계 학습 엔진의 추가 학습 데이터로 사용할 수 있다.

상기 예비 라벨 서버는, 제2 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체의 종류를 판별하는 객체 종류 판별 모듈; 및 상기 판별된 객체의 종류에 기반하여 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하는 예비 라벨링 모듈을 포함하고, 상기 분류 관리 서버는, 상기 복수 개의 검증 단말로부터 최종 라벨링 된 콘텐츠를 각각 수신하고, 수신한 상기 최종 라벨링 된 콘텐츠를 상기 예비 라벨 서버로 전송하며, 상기 객체 종류 판별 모듈은, 상기 최종 라벨링 된 콘텐츠 내 각 객체의 라벨 정보를 상기 제2 기계 학습 엔진의 추가 학습 데이터로 사용할 수 있다.

상기 예비 라벨 서버는, 제3 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체가 차지하는 영역을 표시하는 객체 영역 표시 모듈; 상기 객체가 차지하는 영역에 대한 정보를 기반으로 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하는 예비 라벨링 모듈을 포함하고, 상기 분류 관리 서버는, 상기 복수 개의 검증 단말로부터 최종 라벨링 된 콘텐츠를 각각 수신하고, 수신한 상기 최종 라벨링 된 콘텐츠를 상기 예비 라벨 서버로 전송하며, 상기 객체 영역 표시 모듈은, 상기 최종 라벨링 된 콘텐츠 내 각 객체가 차지하는 영역 정보를 상기 제3 기계 학습 엔진의 추가 학습 데이터로 사용할 수 있다.

상기 분류 관리 서버는, 상기 콘텐츠 내 객체의 예비 라벨을 확인하고, 상기 복수 개의 검증 단말들 중 상기 확인된 예비 라벨과 대응되는 객체 종류를 검증하는 검증 단말로 해당 콘텐츠를 분배하는 작업 분배 모듈을 포함할 수 있다.

상기 예비 라벨 서버는, 상기 콘텐츠 내에 포함된 객체를 검출하여 경계 박스를 생성하고, 상기 작업 분배 모듈은, 상기 콘텐츠 내 복수 개의 객체가 존재하는 경우, 상기 복수 개의 객체들 중 상기 콘텐츠가 분배되는 검증 단말과 관련되지 않은 객체에 대해 상기 경계 박스 및 상기 예비 라벨을 삭제하고 상기 검증 단말로 전송할 수 있다.

상기 분류 관리 서버는, 상기 예비 라벨링 된 콘텐츠 대비 기 설정된 비율로 최종 라벨링 된 콘텐츠를 상기 복수 개의 검증 단말로 각각 전송하고, 상기 최종 라벨링 된 콘텐츠에 대한 각 검증 단말의 검증 결과를 기반으로 각 검증 단말의 신뢰도를 산출할 수 있다.

상기 분류 관리 서버는, 상기 최종 라벨링 된 콘텐츠 내 각 객체의 라벨과 상기 검증 단말이 상기 최종 라벨링 된 콘텐츠 내 각 객체에 대해 부여한 라벨의 일치 여부에 따라 해당 검증 단말의 신뢰도를 조정할 수 있다.

상기 분류 관리 서버는, 상기 각 검증 단말의 신뢰도에 따라 상기 예비 라벨링 된 콘텐츠의 분배를 재조정할 수 있다.

상기 분류 관리 서버는, 상기 검증 단말로부터 상기 콘텐츠 내 소정 객체의 클릭된 위치 정보를 수신하는 경우, 상기 콘텐츠 내 상기 객체의 클릭된 위치 정보를 기반으로 상기 객체의 경계 박스에 대한 정보, 상기 객체의 종류에 대한 정보, 및 상기 객체가 콘텐츠 내 차지하는 영역에 대한 정보 중 하나 이상을 생성할 수 있다.

상기 분류 관리 서버는, 상기 콘텐츠 내 예비 라벨링 된 객체에 대해 해당 객체가 분류될 확률이 기 설정된 임계 확률 이상인 분류 태그를 추출하고, 추출한 분류 태그를 상기 검증 단말로 전송할 수 있다.

개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 제1 기계 학습 엔진을 기반으로 콘텐츠 내에 포함된 객체를 검출하여 경계 박스를 생성하기 위한 명령; 제2 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체의 종류를 판별하기 위한 명령; 제3 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체가 차지하는 영역을 표시하기 위한 명령; 상기 콘텐츠 내에 포함된 객체의 경계 박스에 대한 정보, 상기 콘텐츠 내에 포함된 객체의 종류에 대한 정보, 및 상기 콘텐츠 내의 객체가 차지하는 영역에 대한 정보 중 하나 이상에 기반하여 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하기 위한 명령; 상기 객체에 대해 예비 라벨이 생성된 콘텐츠를 분류 관리 서버로 전송하기 위한 명령; 상기 분류 관리 서버로부터 최종 라벨링 된 콘텐츠를 수신하기 위한 명령; 및 상기 최종 라벨링 된 콘텐츠를 기반으로 상기 제1 기계 학습 엔진, 상기 제2 기계 학습 엔진, 및 상기 제3 기계 학습 엔진 중 하나 이상을 추가 학습시키기 위한 명령을 포함한다

개시되는 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 예비 라벨 서버로부터 하나 이상의 객체가 포함되고 상기 객체에 대해 예비 라벨이 생성된 콘텐츠를 수신하기 위한 명령; 및 상기 콘텐츠 내 객체의 종류 및 상기 콘텐츠 내 검출되지 못한 객체의 존재 여부 중 하나 이상에 따라 상기 콘텐츠를 복수 개의 검증 단말로 분배하기 위한 명령을 포함한다.

상기 콘텐츠를 복수 개의 검증 단말로 분배하기 위한 명령은, 상기 콘텐츠 내 객체의 예비 라벨을 확인하고, 상기 복수 개의 검증 단말들 중 상기 확인된 예비 라벨과 대응되는 객체 종류를 검증하는 검증 단말로 해당 콘텐츠를 분배하기 위한 명령을 포함할 수 있다.

상기 검출된 객체에 대해 예비 라벨이 생성된 콘텐츠는, 상기 검출된 객체에 대해 경계 박스가 생성되어 있고, 상기 콘텐츠를 분배하기 위한 명령은, 상기 콘텐츠 내 복수 개의 객체가 존재하는 경우, 상기 복수 개의 객체들 중 상기 콘텐츠가 분배되는 검증 단말과 관련되지 않은 객체에 대해 상기 경계 박스 및 상기 예비 라벨을 삭제하기 위한 명령을 포함할 수 있다.

상기 하나 이상의 프로그램들은, 상기 예비 라벨이 생성된 콘텐츠 대비 기 설정된 비율로 최종 라벨링 된 콘텐츠를 상기 복수 개의 검증 단말로 각각 전송하기 위한 명령; 및 상기 최종 라벨링 된 콘텐츠에 대한 각 검증 단말의 검증 결과를 기반으로 각 검증 단말의 신뢰도를 산출하기 위한 명령을 더 포함할 수 있다.

상기 신뢰도를 산출하기 위한 명령은, 상기 최종 라벨링 된 콘텐츠 내 각 객체의 라벨과 상기 검증 단말이 상기 최종 라벨링 된 콘텐츠 내 각 객체에 대해 부여한 라벨의 일치 여부에 따라 해당 검증 단말의 신뢰도를 조정하기 위한 명령을 포함할 수 있다.

상기 하나 이상의 프로그램들은, 상기 각 검증 단말의 신뢰도에 따라 상기 예비 라벨이 생성된 콘텐츠의 분배를 재조정하기 위한 명령을 더 포함할 수 있다.

상기 하나 이상의 프로그램들은, 상기 검증 단말로부터 상기 콘텐츠 내 소정 객체의 클릭된 위치 정보를 수신하기 위한 명령; 및 상기 콘텐츠 내 상기 객체의 클릭된 위치 정보를 기반으로 상기 객체의 경계 박스에 대한 정보, 상기 객체의 종류에 대한 정보, 및 상기 객체가 콘텐츠 내 차지하는 영역에 대한 정보 중 하나 이상을 생성하기 위한 명령을 더 포함할 수 있다.

상기 하나 이상의 프로그램들은, 상기 콘텐츠 내 예비 라벨링 된 객체에 대해 해당 객체가 분류될 확률이 기 설정된 임계 확률 이상인 분류 태그를 추출하기 위한 명령; 및 추출한 분류 태그를 상기 검증 단말로 전송하기 위한 명령을 더 포함할 수 있다.

개시되는 실시예에 의하면, 머신 러닝 기법에 의해 예비 라벨링 된 콘텐츠를 검증자에 의해 검증하고, 최종 라벨링 된 콘텐츠를 머신 러닝의 추가 학습 데이터로 사용함으로써, 머신 러닝 기법에 의한 예비 라벨링 작업의 정확도를 향상시킬 수 있게 되고, 그로 인해 검증자의 검증 작업 양을 줄일 수 있게 된다. 그 결과, 인공 지능 시스템 구축에 필요한 학습용 가공 데이터의 생성에 소모되는 시간 및 비용을 줄일 수 있고, 사람이 작업하는 양을 줄여 정확도를 향상시킬 수 있게 된다.

도 1은 개시되는 일 실시예에 따른 영상 처리 서비스 시스템의 구성을 나타낸 도면
도 2는 개시되는 일 실시예에 따른 예비 라벨 서버의 구성을 나타낸 블록도
도 3은 개시되는 일 실시예에 따른 예비 라벨 서버에서 콘텐츠 내 객체를 검출하고 예비 라벨링을 수행하는 상태를 개략적으로 나타낸 도면
도 4는 개시되는 일 실시예에 따른 분류 관리 서버의 구성을 나타낸 블록도
도 5는 개시되는 일 실시예에 따른 검증 도움 모듈에서 콘텐츠 내 객체의 클릭된 위치 정보를 기반으로 해당 객체에 대해 경계 박스를 자동 생성하는 상태를 설명하기 위한 도면
도 6은 개시되는 일 실시예에 따른 검증 단말에서 예비 라벨링 된 객체에 대해 분류 태그가 표시되는 상태를 나타낸 도면
도 7은 개시되는 일 실시예에서 검증되기 전의 콘텐츠와 검증 된 후의 콘텐츠를 비교한 도면
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.

또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

도 1은 개시되는 일 실시예에 따른 인공 지능 기반 영상 처리 서비스 시스템의 구성을 나타낸 도면이다.

도 1을 참조하면, 영상 처리 서비스 시스템(100)은 클라이언트(102), 예비 라벨 서버(104), 분류 관리 서버(106), 및 검증 단말(108)을 포함할 수 있다. 클라이언트(102), 예비 라벨 서버(104), 분류 관리 서버(106), 및 검증 단말(108)은 각각 통신 네트워크(150)를 통해 상호 통신 가능하게 연결될 수 있다.

몇몇 실시예들에서, 통신 네트워크(150)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.

클라이언트(102)는 분류 의뢰 요청을 예비 라벨 서버(104)로 전송할 수 있다. 분류 의뢰 요청에는 분류의 대상이 되는 콘텐츠를 포함할 수 있다. 여기서, 콘텐츠는 이미지, 비디오(동영상) 등을 포함할 수 있다. 이하에서는, 설명의 편의상 콘텐츠가 이미지인 것을 일 예로 설명하기로 한다.

예비 라벨 서버(104)는 콘텐츠에 포함되는 객체의 검출, 콘텐츠에 포함되는 객체의 종류 판별, 및 콘텐츠에 포함되는, 객체의 영역 표시 중 하나 이상을 수행하여 예비 라벨을 부여할 수 있다.

도 2는 개시되는 일 실시예에 따른 예비 라벨 서버(104)의 구성을 나타낸 블록도이다. 도 2를 참조하면, 예비 라벨 서버(104)는 객체 검출 모듈(111), 객체 종류 판별 모듈(113), 객체 영역 표시 모듈(115), 및 예비 라벨링 모듈(117)을 포함할 수 있다.

객체 검출 모듈(111)은 콘텐츠(예를 들어, 이미지) 내에 포함된 각 객체를 검출할 수 있다. 예시적인 실시예에서, 객체 검출 모듈(111)은 콘텐츠 내 객체의 경계(예를 들어, 상하좌우 경계 등)를 검출하여 경계 박스(Bounding Box)를 생성할 수 있다. 즉, 객체 검출 모듈(111)은 콘텐츠 내 객체의 상하 경계 및 좌우 경계를 검출하고, 콘텐츠 내에서 해당 객체의 상하 좌우 경계를 포함하는 경계 박스를 생성할 수 있다.

객체 검출 모듈(111)은 콘텐츠 내에서 객체 탐색을 위한 경계 박스를 예측하기 위해 제1 기계 학습 엔진을 포함할 수 있다. 예를 들어, 제1 기계 학습 엔진은 하나 이상의 객체를 포함하는 이미지를 입력 값으로 하였을 때, 출력 값으로 이미지에 포함된 각 객체에 대해 경계 박스를 출력하도록 하는 컨벌루션 신경망(Convolutional Neural Network)을 포함할 수 있다.

객체 종류 판별 모듈(113)은 콘텐츠 내 포함된 객체의 종류를 판별할 수 있다. 객체 종류 판별 모듈(113)은 객체 검출 모듈(111)에 의해 검출된 객체의 종류를 판별할 수 있으나, 이에 한정되는 것은 아니며 콘텐츠 내 포함된 객체의 종류를 바로 판별할 수도 있다. 예를 들어, 콘텐츠 내 포함된 객체가 하나인 경우, 객체 종류 판별 모듈(113)은 해당 객체의 종류를 바로 판별할 수 있다.

예시적인 실시예에서, 객체 종류 판별 모듈(113)은 콘텐츠 내 포함된 객체의 이미지를 입력 값으로 하였을 때 출력 값으로 입력된 객체의 종류에 대한 정보를 출력하는 제2 기계 학습 엔진을 포함할 수 있다. 예를 들어, 제2 기계 학습 엔진은 소정 객체의 이미지를 입력하였을 때, 해당 객체가 어떤 종류의 것인지에 대한 정보를 출력하도록 하는 컨벌루션 신경망(Convolution Neural Network)을 포함할 수 있다.

객체 영역 표시 모듈(115)은 콘텐츠 내에 포함된 객체가 차지하는 영역을 표시할 수 있다. 예를 들어, 객체 영역 표시 모듈(115)은 콘텐츠 내 각 객체가 차지하는 영역을 각 객체가 구별되도록 특정한 색의 픽셀로 채울 수 있다. 예시적인 실시예에서, 객체 영역 표시 모듈(115)은 콘텐츠 내에 포함된 객체의 이미지를 입력 값으로 하였을 때 출력 값으로 입력된 객체가 차지하는 영역에 대한 정보를 출력하는 제3 기계 학습 엔진을 포함할 수 있다. 예를 들어, 제3 기계 학습 엔진은 소정 객체의 이미지를 입력하였을 때, 해당 객체가 콘텐츠 내에서 어떤 영역을 차지하고 있는지에 대한 정보를 출력하도록 하는 컨벌루션 신경망(Convolutional Neural Network)을 포함할 수 있다.

예비 라벨링 모듈(117)은 분류 의뢰 요청에 포함된 콘텐츠에 대해 예비 라벨링 작업을 수행할 수 있다. 예비 라벨링 모듈(115)은 객체 검출 모듈(111), 객체 종류 판별 모듈(113), 및 객체 영역 표시 모듈(115) 등의 작업에 기반하여 예비 라벨링 작업을 수행할 수 있다. 예비 라벨링 모듈(117)은 콘텐츠 내 각 객체에 대해 해당 객체의 경계 박스, 해당 객체의 종류, 해당 객체가 차지하는 영역 등에 기반하여 예비 라벨을 생성할 수 있다.

예비 라벨링 모듈(117)은 각 콘텐츠에 아이디를 부여하고, 각 콘텐츠 내에 포함된 각 객체에 대해 생성한 예비 라벨 정보를 데이터베이스(미도시)에 저장할 수 있다. 여기서, 상기 객체에 대해 생성한 예비 라벨 정보는 콘텐츠 내 해당 객체의 경계 박스의 위치 및 크기, 해당 객체의 종류 명칭, 해당 객체가 콘텐츠 내에 차지하는 영역에 대한 정보를 포함할 수 있다.

도 3은 개시되는 일 실시예에 따른 예비 라벨 서버(104)에서 콘텐츠 내 객체를 검출하고 객체의 영역을 표시하여 예비 라벨링을 수행하는 상태를 개략적으로 나타낸 도면이다. 도 3을 참조하면, 분류 의뢰 요청에 포함된 콘텐츠가 신호등, 차, 교통 표지판을 포함하는 이미지인 경우(도 3의 (a)), 예비 라벨 서버(104)는 제1 기계 학습 엔진을 이용하여 콘텐츠 내 포함된 객체를 탐색하여 경계 박스(11, 12, 13)를 생성할 수 있다(도 3의 (b)). 이때, 제1 기계 학습 엔진의 성능 한계로 경계 박스에 오차가 있을 수 있다. 예를 들어, 경계 박스(11)가 해당 객체의 경계와 맞지 않거나 그 위치가 해당 객체에서 약간 어긋나 있을 수 있다.

또한, 예비 라벨 서버(104)는 제2 기계 학습 엔진을 이용하여 경계 박스(11, 12, 13) 내 객체의 종류를 판별하고 예비 라벨을 생성할 수 있다(도 3의 (b)). 예비 라벨 서버(104)는 경계 박스(11)에 해당하는 객체에 신호등(Traffic Light)라는 예비 라벨을 생성하고, 경계 박스(12)에 해당하는 객체에 버스(Bus)라는 예비 라벨을 생성하며, 경계 박스(13)에 해당하는 객체에 교통 표지판(Traffic Sign)이라는 예비 라벨을 생성할 수 있다. 이때, 제2 기계 학습 엔진의 성능 한계로 예비 라벨에 오차가 있을 수 있다. 예를 들어, 경계 박스(12)에 해당하는 객체는 버스가 아닌 승용차로 분류되어야 하는데 버스로 분류하는 등의 오차가 있을 수 있다.

또한, 예비 라벨 서버(104)는 제3 기계 학습 엔진을 이용하여 콘텐츠 내 객체가 차지하는 영역을 표시할 수 있다(도 3의 (c)). 예비 라벨 서버(104)는 콘텐츠에 포함되는 각 객체가 차지하는 영역을 서로 다른 색의 픽셀로 채워 표시할 수 있다. 이때, 제3 기계 학습 엔진의 성능 한계로 각 객체가 차지하는 영역 표시에 오차가 있을 수 있다.

다시 도 1을 참조하면, 분류 관리 서버(106)는 예비 라벨 서버(104)에 의해 예비 라벨링 된 콘텐츠를 복수 개의 검증 단말(108)로 분배할 수 있다. 즉, 예비 라벨 서버(104)에 의해 예비 라벨링 된 콘텐츠는 오차가 있을 수 있으므로 검증 단말(108)에 의해 검증 작업을 거치도록 할 수 있다. 도 4는 개시되는 일 실시예에 따른 분류 관리 서버(106)의 구성을 나타낸 블록도이다. 도 4를 참조하면, 분류 관리 서버(106)는 작업 분배 모듈(121), 검증 도움 모듈(123), 및 검증 모니터링 모듈(125)을 포함할 수 있다.

작업 분배 모듈(121)은 콘텐츠 내 객체 종류에 따라 해당 콘텐츠의 예비 라벨에 대한 검증을 담당할 검증 단말(108)을 결정할 수 있다. 이를 위해, 작업 분배 모듈(121)은 복수 개의 검증 단말(108)들이 검증하도록 설정된 객체 종류에 대한 정보를 저장할 수 있다. 즉, 각 검증 단말(108)들은 특정 종류의 객체들을 검증하기 위해 마련될 수 있다.

작업 분배 모듈(121)은 콘텐츠 내 객체의 예비 라벨을 확인하고, 복수 개의 검증 단말(108)들 중 상기 확인된 예비 라벨과 대응되는 객체 종류를 검증하는 검증 단말(108)로 해당 콘텐츠를 분배할 수 있다. 이 경우, 검증 단말(108)을 이용하는 검증자는 기 설정된 객체에 대해서만 반복적으로 검증을 수행하면 되므로, 검증 작업에 소모되는 시간을 줄이고 검증 작업의 효율을 향상시킬 수 있게 된다.

예시적인 실시예에서, 작업 분배 모듈(121)은 콘텐츠 내 예비 라벨링 된 복수 개의 객체가 존재하는 경우, 검증 단말(108)로 해당 콘텐츠를 전송할 때, 해당 검증 단말(108)과 관련되지 않는 객체(즉, 해당 검증 단말(108)의 검증 객체 종류와 대응되지 않는 객체)는 경계 박스, 예비 라벨, 영역 표시 등을 삭제하고 전송할 수 있다. 예를 들어, 도 3에서 소정 검증 단말(108)의 검증 객체가 신호등으로 설정된 경우, 작업 분배 모듈(121)은 해당 콘텐츠를 전송할 때, 버스 및 교통 표지판으로 예비 라벨링 된 객체는 경계 박스 및 예비 라벨을 삭제하고 전송할 수 있다.

또한, 작업 분배 모듈(121)은 콘텐츠 내 검출되지 못한 객체의 존재 여부에 따라 해당 콘텐츠의 검증을 담당할 검증 단말(108)을 결정할 수 있다. 즉, 복수 개의 검증 단말(108)들 중 어떤 검증 단말(108)은 예비 라벨 서버(104)에서 검출하지 못한 객체를 검출하여 라벨링 하는 작업을 수행하도록 설정될 수 있다.

검증 도움 모듈(123)은 검증 단말(108)에서 콘텐츠 내 객체 검출 및 예비 라벨의 검증 시, 검증 작업을 어시스턴스 할 수 있다. 예시적인 실시예에서, 검증 도움 모듈(123)은 검증 단말(108)로부터 콘텐츠 내 객체의 클릭된 위치 정보를 수신하는 경우, 콘텐츠 내 클릭된 위치와 대응되는 객체를 검출하고, 검출된 객체의 종류, 해당 객체가 차지하는 영역에 대한 정보, 및 해당 객체의 경계 박스에 대한 정보(경계 박스의 위치 및 크기 등) 등을 검증 단말(108)로 전송할 수 있다.

도 5는 개시되는 일 실시예에 따른 검증 도움 모듈(123)에서 콘텐츠 내 객체의 클릭된 위치 정보를 기반으로 해당 객체에 대해 경계 박스를 자동 생성하는 상태를 설명하기 위한 도면이다. 도 5를 참조하면, 콘텐츠 내에서 차에 대해서는 경계 박스가 형성되어 있지 않아 예비 라벨 서버(104)가 콘텐츠 내에서 해당 객체(20)를 인식하지 못한 경우이다(도 5의 (a)).

검증 단말(108)의 검증자는 입력 수단(예를 들어, 마우스, 키보드, 터치 스크린 등)을 통해 콘텐츠 내에서 해당 객체(20)를 클릭할 수 있다(도 5의 (b)). 그러면, 검증 단말(108)은 콘텐츠 내 객체의 클릭된 위치 정보를 검증 도움 모듈(123)로 전송할 수 있다.

검증 도움 모듈(123)은 콘텐츠 내 객체(20)의 클릭된 위치 정보를 기반으로 해당 객체에 대해 경계 박스(22)를 생성할 수 있다(도 5의 (c)). 이를 위해, 검증 도움 모듈(123)은 콘텐츠 내 객체의 클릭된 위치 정보를 입력 값으로 하였을 때 출력 값으로 해당 객체에 대한 경계 박스의 위치 및 크기에 대한 정보를 출력하는 제4 기계 학습 엔진을 포함할 수 있다. 검증 도움 모듈(123)은 콘텐츠 내 해당 객체에 대한 경계 박스의 위치 및 크기 정보를 검증 단말(108)로 전송할 수도 있고, 콘텐츠 내에서 해당 객체에 대해 경계 박스를 생성하여 검증 단말(108)로 전송할 수도 있다.

이 경우, 검증 단말(108)의 검증자의 입장에서는 콘텐츠 내에서 해당 객체를 클릭하는 것만으로 자동으로 경계 박스를 생성할 수 있게 되는 바, 검증자가 수작업으로 해당 객체의 상하좌우 경계를 찾아 마우스 클릭을 하고 경계 박스를 표시하는 번거로움을 줄일 수 있게 된다.

한편, 검증 도움 모듈(123)은 콘텐츠 내에서 검출된 객체의 종류를 판별하기 위한 제5 기계 학습 엔진 및 콘텐츠 내에서 검출된 객체가 차지하는 영역을 표시하기 위한 제6 기계 학습 엔진을 포함할 수 있다. 이 경우, 검증 도움 모듈(123)은 객체의 종류에 대한 정보 및 콘텐츠 내 객체가 차지하는 영역에 대한 정보를 검증 단말(108)로 전송할 수 있다.

또한, 검증 도움 모듈(123)은 검증 단말(108)이 예비 라벨링 된 객체에 대해 검증 수행 시 예비 라벨링 된 객체에 대해 기 설정된 임계 확률 이상인 분류 태그를 추출하여 검증 단말(108)로 전송할 수 있다. 도 6은 개시되는 일 실시예에 따른 검증 단말(108)에서 예비 라벨링 된 객체에 대해 분류 태그가 표시되는 상태를 나타낸 도면이다.

도 6을 참조하면, 검증 단말(108)에서 콘텐츠 내 "버스"로 예비 라벨된 객체(20)에 대해 검증 작업을 수행하는 경우, 검증 도움 모듈(123)은 "버스"로 예비 라벨된 객체(20)에 대해 해당 객체(20)가 분류될 확률이 기 설정된 임계 확률 이상인 분류 태그(예를 들어, 버스(bus), 카(car), 트럭(truck) 등)(30)를 추출하여 검증 단말(108)로 전송할 수 있다.

검증 도움 모듈(123)은 제2 기계 학습 엔진과 통신 가능하게 연결될 수 있다. 검증 도움 모듈(123)은 "버스"로 예비 라벨된 객체(20)를 제2 기계 학습 엔진의 입력 값으로 하였을 때, 해당 객체(20)가 분류될 수 있는 후보들 중에서 기 설정된 임계 확률 이상인 분류 태그들을 추출하여 검증 단말(108)로 전송할 수 있다. 그러나, 이에 한정되는 것은 아니며 검증 도움 모듈(123)은 소정 객체에 대해 해당 객체가 분류될 확률이 기 설정된 임계 확률 이상인 분류 태그를 추출하기 위한 제7 기계 학습 엔진을 포함할 수도 있다.

이 경우, 검증 단말(108)의 검증자는 기 설정된 임계 확률 이상의 분류 태그 중에서 해당 객체(20)에 대해 최종 라벨을 선택할 수 있으므로, 최종 라벨을 결정하는데 따른 시간 및 노력을 줄일 수 있게 된다. 즉, 검증자가 해당 객체(20)에 대해 분류하는 작업을 수작업으로 하려면 수 많은 선택지 중에서 하나를 찾고 고르는 과정을 거쳐야 하기 때문에 많은 시간과 노력이 소요되지만, 개시되는 실시예에서는 검증 도움 모듈(123)이 기 설정된 임계 확률 이상의 분류 태그들을 선택지로 미리 추려주기 때문에, 해당 객체(20)를 분류하여 최종 라벨링 하는데 소요되는 시간 및 노력을 줄일 수 있게 된다.

한편, 여기서는 검증 도움 모듈(123)이 분류 관리 서버(106)에 구비되는 것으로 설명하였으나, 이에 한정되는 것은 아니며 검증 도움 모듈(123)은 각 검증 단말(108)에 구비될 수도 있다.

검증 모니터링 모듈(125)은 최종 라벨링 된 콘텐츠를 복수 개의 검증 단말(108)로 전송할 수 있다. 여기서, 최종 라벨링 된 콘텐츠는 콘텐츠 내 각 객체에 대해 라벨링이 완료(콘텐츠 내 각 객체에 대해 정확하게 분류가 완료)된 콘텐츠를 의미할 수 있다. 검증 모니터링 모듈(125)은 예비 라벨링 된 콘텐츠 대비 기 설정된 비율로 최종 라벨링 된 콘텐츠를 각 검증 단말(108)로 전송할 수 있다. 예를 들어, 예비 라벨링 된 콘텐츠를 10번 전송하는 경우, 최종 라벨링 된 콘텐츠는 1번 전송하는 비율로 전송할 수 있다.

검증 모니터링 모듈(125)은 최종 라벨링 된 콘텐츠에 대한 검증 단말(108)의 검증 결과를 기반으로 각 검증 단말(108)의 신뢰도(해당 검증 단말(108)을 이용하여 검증 작업을 수행하는 검증자의 신뢰도)를 측정할 수 있다. 구체적으로, 검증 모니터링 모듈(125)은 최종 라벨링 된 콘텐츠 내의 각 객체의 라벨(즉, 검증 완료 된 라벨)과 검증 단말(108)이 최종 라벨링 된 콘텐츠 내의 각 객체에 대해 부여한 라벨의 일치 여부에 따라 검증 단말(108)의 신뢰도를 조정할 수 있다.

최종 라벨링 된 콘텐츠 내의 각 객체의 라벨과 검증 단말(108)이 최종 라벨링 된 콘텐츠 내의 각 객체에 대해 부여한 라벨이 일치하는 경우, 검증 모니터링 모듈(125)은 검증 단말(108)에 대한 신뢰도를 상향 조정 할 수 있다. 반면, 최종 라벨링 된 콘텐츠 내의 각 객체의 라벨과 검증 단말(108)이 최종 라벨링 된 콘텐츠 내의 각 객체에 대해 부여한 라벨이 일치하지 않는 경우, 검증 모니터링 모듈(125)은 검증 단말(108)에 대한 신뢰도를 하향 조정 할 수 있다.

검증 모니터링 모듈(125)은 검증 단말(108)의 신뢰도가 기 설정된 임계 신뢰도 이하가 되는 경우, 검증 단말(108)이 처리한 검증 작업을 무효 처리할 수 있다.

한편, 작업 분배 모듈(121)은 검증 단말(108)의 신뢰도에 따라 예비 라벨링 된 콘텐츠를 분배를 조정할 수 있다. 예를 들어, 작업 분배 모듈(121)은 검증 단말(108)의 신뢰도가 높을수록 예비 라벨링 된 콘텐츠를 다른 검증 단말(108) 보다 많이 분배할 수 있다. 또한, 작업 분배 모듈(121)은 검증 단말(108)의 신뢰도가 낮을수록 예비 라벨링 된 콘텐츠를 다른 검증 단말(108) 보다 적게 분배할 수 있다.

다시 도 1을 참조하면, 검증 단말(108)은 복수 개가 마련될 수 있다. 검증 단말(108)은 예비 라벨 서버(104)에 의해 예비 라벨링 된 콘텐츠를 검증하기 위한 검증자가 사용하는 단말기 일 수 있다. 복수 개의 검증 단말(108)들 중 하나 이상의 검증 단말(108)은 각각 특정 종류의 하나 이상의 객체를 검증하기 위해 마련될 수 있다. 이 경우, 해당 검증자는 예비 라벨링 된 콘텐츠에서 기 설정된 종류의 객체에 대해 예비 라벨이 제대로 생성되었는지를 검증하는 작업을 수행할 수 있다. 또한, 복수 개의 검증 단말(108)들 중 하나 이상의 다른 검증 단말(108)은 예비 라벨 서버(104)에서 검출하지 못한 객체를 검출하여 라벨링 하는 작업을 수행하도록 마련될 수 있다.

검증자는 검증 단말(108)을 통해 예비 라벨 서버(104)에 의한 작업을 검증할 수 있다. 즉, 검증자는 예비 라벨 서버(104)에서 콘텐츠 내 객체에 대해 생성한 경계 박스가 바른 위치에 형성되어 있는지를 확인하고, 바른 위치에 형성되어 있지 않은 경우 경계 박스를 수정하여 올바른 위치에 생성할 수 있다. 또한, 검증자는 예비 라벨 서버(104)에서 콘텐츠 내 객체의 종류에 대해 생성한 예비 라벨이 바르게 형성되어 있는지를 확인하고, 바르게 형성되어 있지 않은 경우 예비 라벨을 수정하여 최종 라벨을 생성할 수 있다. 또한, 검증자는 예비 라벨 서버(104)에서 콘텐츠 내 객체가 차지하는 영역에 대해 생성한 예비 라벨이 바르게 형성되어 있는지를 확인하고, 바르게 형성되어 있지 않은 경우 예비 라벨을 수정하여 최종 라벨을 생성할 수 있다.

검증 단말(108)은 검증 도움 모듈(123)로부터 예비 라벨링 된 객체에 대한 하나 이상의 분류 태그를 수신하여 표시할 수 있다. 검증 단말(108)은 화면에 표시된 분류 태그들 중 검증자가 선택하는 분류 태그를 기반으로 해당 객체의 예비 라벨을 수정할 수 있다. 검증 단말(108)은 각 객체에 대해 최종 라벨링 된 콘텐츠를 분류 관리 서버(106)로 전송할 수 있다.

검증 단말(108)은 검증자의 입력에 따른 콘텐츠 내 객체의 클릭된 위치 정보를 검증 도움 모듈(123)로 전송할 수 있다. 예를 들어, 예비 라벨 서버(104)에 의해 예비 라벨링 된 콘텐츠에서 예비 라벨 서버(104)가 인식하지 못한 객체가 존재하는 경우(예를 들어, 경계 박스가 형성되어 있지 않은 객체가 존재하는 경우), 검증자는 마우스 등과 같은 입력 수단을 통해 해당 객체를 클릭할 수 있다. 검증 단말(108)이 검증 도움 모듈(123)로부터 해당 객체에 대한 경계 박스 위치 정보를 수신하는 경우, 검증자는 해당 객체의 종류를 분류하여 최종 라벨을 생성할 수 있다.

도 7은 개시되는 일 실시예에서 검증되기 전의 콘텐츠(즉, 예비 라벨링 된 콘텐츠)와 검증 된 후의 콘텐츠(최종 라벨링 된 콘텐츠)를 비교한 도면으로, 도 7의 (a)는 검증되기 전의 콘텐츠를 나타낸 도면이고, 도 7의 (b)는 검증 된 후의 콘텐츠를 나타낸 도면이다.

도 7을 참조하면, 콘텐츠 내에서 경계 박스(11, 12, 13)들이 해당 객체의 위치 및 크기에 맞게 수정된 것을 볼 수 있다. 또한, "버스"로 잘못 예비 라벨링 된 객체(20)에 대해 예비 라벨이 수정되어 "카"로 바르게 최종 라벨링 된 것을 볼 수 있다.

여기서, 분류 관리 서버(106)는 최종 라벨링 된 콘텐츠를 예비 라벨 서버(104)로 전송할 수 있다. 그러면, 예비 라벨 서버(104)는 최종 라벨링 된 콘텐츠를 기반으로 제1 기계 학습 엔진, 제2 기계 학습 엔진, 및 제3 기계 학습 엔진을 추가 학습시킬 수 있다. 즉, 최종 라벨링 된 콘텐츠 내의 각 객체의 경계 박스의 위치 및 크기를 제1 기계 학습 엔진의 학습 데이터로 사용하여 추가 학습하도록 할 수 있다. 또한, 최종 라벨링 된 콘텐츠 내의 각 객체의 종류 정보를 제2 기계 학습 엔진의 학습 데이터로 사용하여 추가 학습하도록 할 수 있다. 또한, 최종 라벨링 된 콘텐츠 내의 각 객체가 차지하는 영역 정보를 제3 기계 학습 엔진의 학습 데이터로 사용하여 추가 학습하도록 할 수 있다.

이 경우, 검증자에 의해 검증이 완료된 정보가 제1 기계 학습 엔진, 제2 기계 학습 엔진, 및 제3 기계 학습 엔진의 학습 데이터로 추가 됨으로써, 제1 기계 학습 엔진, 제2 기계 학습 엔진, 및 제3 기계 학습 엔진의 정확성을 높일 수 있게 된다. 그리고, 예비 라벨 서버(104)의 작업 정확도가 높아질수록 검증자의 검증 작업 양은 줄어들게 된다.

한편, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예건대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.

도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 예비 라벨 서버(예를 들어, 예비 라벨 서버(104))일 수 있다. 또한, 컴퓨팅 장치(12)는 분류 관리 서버(예를 들어, 분류 관리 서버(106))일 수 있다. 또한, 컴퓨팅 장치(12)는 검증 단말(예를 들어, 검증 단말(108))일 수 있다.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100 : 분류 서비스 시스템
102 : 클라이언트
104 : 예비 라벨 서버
106 : 분류 관리 서버
108 : 검증 단말
111 : 객체 검출 모듈
113 : 객체 종류 판별 모듈
115 : 객체 영역 표시 모듈
117 : 예비 라벨링 모듈
121 : 작업 분배 모듈
123 : 검증 도움 모듈
125 : 검증 모니터링 모듈

Claims (20)

1. 기계 학습(Machine Learning) 기법을 기반으로 콘텐츠 내에 포함된 객체의 검출, 상기 콘텐츠 내에 포함된 객체의 종류 판별, 및 상기 콘텐츠 내에 포함된 객체의 영역 표시 중 하나 이상을 수행하여 예비 라벨링을 수행하는 예비 라벨 서버;
   상기 예비 라벨링 된 콘텐츠를 상기 콘텐츠 내 객체 종류 및 상기 콘텐츠 내 검출되지 못한 객체의 존재 여부 중 하나 이상에 따라 분배 작업을 수행하는 분류 관리 서버; 및
   상기 분배 작업에 따라 상기 예비 라벨링 된 콘텐츠를 수신하고, 검증자의 입력에 따라 상기 예비 라벨링 된 콘텐츠를 검증하여 최종 라벨링을 수행하는 복수 개의 검증 단말을 포함하고,
   상기 분류 관리 서버는, 상기 콘텐츠 내 객체의 예비 라벨을 확인하고, 상기 복수 개의 검증 단말들 중 상기 확인된 예비 라벨과 대응되는 객체 종류를 검증하는 검증 단말로 해당 콘텐츠를 분배하는 작업 분배 모듈을 포함하며,
   상기 예비 라벨 서버는, 상기 콘텐츠 내에 포함된 객체를 검출하여 경계 박스를 생성하고,
   상기 작업 분배 모듈은, 상기 콘텐츠 내 복수 개의 객체가 존재하는 경우, 상기 복수 개의 객체들 중 상기 콘텐츠가 분배되는 검증 단말과 관련되지 않은 객체에 대해 상기 경계 박스 및 상기 예비 라벨을 삭제하고 상기 검증 단말로 전송하는, 영상 처리 서비스 시스템.
   
2. 청구항 1에 있어서,
   상기 예비 라벨 서버는,
   제1 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체를 검출하여 경계 박스를 생성하는 객체 검출 모듈; 및
   상기 경계 박스에 기반하여 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하는 예비 라벨링 모듈을 포함하고,
   상기 분류 관리 서버는, 상기 복수 개의 검증 단말로부터 최종 라벨링 된 콘텐츠를 각각 수신하고, 수신한 상기 최종 라벨링 된 콘텐츠를 상기 예비 라벨 서버로 전송하며,
   상기 객체 검출 모듈은, 상기 최종 라벨링 된 콘텐츠 내 각 객체의 경계 박스에 대한 정보를 상기 제1 기계 학습 엔진의 추가 학습 데이터로 사용하는, 영상 처리 서비스 시스템.
   
3. 청구항 1에 있어서,
   상기 예비 라벨 서버는,
   제2 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체의 종류를 판별하는 객체 종류 판별 모듈; 및
   상기 판별된 객체의 종류에 기반하여 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하는 예비 라벨링 모듈을 포함하고,
   상기 분류 관리 서버는, 상기 복수 개의 검증 단말로부터 최종 라벨링 된 콘텐츠를 각각 수신하고, 수신한 상기 최종 라벨링 된 콘텐츠를 상기 예비 라벨 서버로 전송하며,
   상기 객체 종류 판별 모듈은, 상기 최종 라벨링 된 콘텐츠 내 각 객체의 라벨 정보를 상기 제2 기계 학습 엔진의 추가 학습 데이터로 사용하는, 영상 처리 서비스 시스템.
   
4. 청구항 1에 있어서,
   상기 예비 라벨 서버는,
   제3 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체가 차지하는 영역을 표시하는 객체 영역 표시 모듈;
   상기 객체가 차지하는 영역에 대한 정보를 기반으로 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하는 예비 라벨링 모듈을 포함하고,
   상기 분류 관리 서버는, 상기 복수 개의 검증 단말로부터 최종 라벨링 된 콘텐츠를 각각 수신하고, 수신한 상기 최종 라벨링 된 콘텐츠를 상기 예비 라벨 서버로 전송하며,
   상기 객체 영역 표시 모듈은, 상기 최종 라벨링 된 콘텐츠 내 각 객체가 차지하는 영역 정보를 상기 제3 기계 학습 엔진의 추가 학습 데이터로 사용하는, 영상 처리 서비스 시스템.
   
5. 삭제
6. 삭제
7. 청구항 1에 있어서,
   상기 분류 관리 서버는,
   상기 예비 라벨링 된 콘텐츠 대비 기 설정된 비율로 최종 라벨링 된 콘텐츠를 상기 복수 개의 검증 단말로 각각 전송하고, 상기 최종 라벨링 된 콘텐츠에 대한 각 검증 단말의 검증 결과를 기반으로 각 검증 단말의 신뢰도를 산출하는, 영상 처리 서비스 시스템.
   
8. 청구항 7에 있어서,
   상기 분류 관리 서버는,
   상기 최종 라벨링 된 콘텐츠 내 각 객체의 라벨과 상기 검증 단말이 상기 최종 라벨링 된 콘텐츠 내 각 객체에 대해 부여한 라벨의 일치 여부에 따라 해당 검증 단말의 신뢰도를 조정하는, 영상 처리 서비스 시스템.
   
9. 청구항 8에 있어서,
   상기 분류 관리 서버는,
   상기 각 검증 단말의 신뢰도에 따라 상기 예비 라벨링 된 콘텐츠의 분배를 재조정하는, 영상 처리 서비스 시스템.
   
10. 기계 학습(Machine Learning) 기법을 기반으로 콘텐츠 내에 포함된 객체의 검출, 상기 콘텐츠 내에 포함된 객체의 종류 판별, 및 상기 콘텐츠 내에 포함된 객체의 영역 표시 중 하나 이상을 수행하여 예비 라벨링을 수행하는 예비 라벨 서버;
    상기 예비 라벨링 된 콘텐츠를 상기 콘텐츠 내 객체 종류 및 상기 콘텐츠 내 검출되지 못한 객체의 존재 여부 중 하나 이상에 따라 분배 작업을 수행하는 분류 관리 서버; 및
    상기 분배 작업에 따라 상기 예비 라벨링 된 콘텐츠를 수신하고, 검증자의 입력에 따라 상기 예비 라벨링 된 콘텐츠를 검증하여 최종 라벨링을 수행하는 복수 개의 검증 단말을 포함하고,
    상기 분류 관리 서버는,
    상기 검증 단말로부터 상기 콘텐츠 내 소정 객체의 클릭된 위치 정보를 수신하는 경우, 상기 콘텐츠 내 상기 객체의 클릭된 위치 정보를 기반으로 상기 객체의 경계 박스에 대한 정보, 상기 객체의 종류에 대한 정보, 및 상기 객체가 콘텐츠 내 차지하는 영역에 대한 정보 중 하나 이상을 생성하여 상기 검증 단말로 전송하는, 영상 처리 서비스 시스템.
    
11. 기계 학습(Machine Learning) 기법을 기반으로 콘텐츠 내에 포함된 객체의 검출, 상기 콘텐츠 내에 포함된 객체의 종류 판별, 및 상기 콘텐츠 내에 포함된 객체의 영역 표시 중 하나 이상을 수행하여 예비 라벨링을 수행하는 예비 라벨 서버;
    상기 예비 라벨링 된 콘텐츠를 상기 콘텐츠 내 객체 종류 및 상기 콘텐츠 내 검출되지 못한 객체의 존재 여부 중 하나 이상에 따라 분배 작업을 수행하는 분류 관리 서버; 및
    상기 분배 작업에 따라 상기 예비 라벨링 된 콘텐츠를 수신하고, 검증자의 입력에 따라 상기 예비 라벨링 된 콘텐츠를 검증하여 최종 라벨링을 수행하는 복수 개의 검증 단말을 포함하고,
    상기 분류 관리 서버는,
    상기 콘텐츠 내 예비 라벨링 된 객체에 대해 해당 객체가 분류될 확률이 기 설정된 임계 확률 이상인 분류 태그를 추출하고, 추출한 분류 태그를 상기 검증 단말로 전송하는, 영상 처리 서비스 시스템.
    
12. 삭제
13. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    예비 라벨 서버로부터 하나 이상의 객체가 포함되고 상기 객체에 대해 예비 라벨이 생성된 콘텐츠를 수신하기 위한 명령; 및
    상기 콘텐츠 내 객체의 종류 및 상기 콘텐츠 내 검출되지 못한 객체의 존재 여부 중 하나 이상에 따라 상기 콘텐츠를 복수 개의 검증 단말로 분배하기 위한 명령을 포함하고,
    상기 콘텐츠를 복수 개의 검증 단말로 분배하기 위한 명령은, 상기 콘텐츠 내 객체의 예비 라벨을 확인하고, 상기 복수 개의 검증 단말들 중 상기 확인된 예비 라벨과 대응되는 객체 종류를 검증하는 검증 단말로 해당 콘텐츠를 분배하기 위한 명령을 포함하며,
    상기 객체에 대해 예비 라벨이 생성된 콘텐츠는, 상기 객체에 대해 경계 박스가 생성되어 있고,
    상기 콘텐츠를 분배하기 위한 명령은, 상기 콘텐츠 내 복수 개의 객체가 존재하는 경우, 상기 복수 개의 객체들 중 상기 콘텐츠가 분배되는 검증 단말과 관련되지 않은 객체에 대해 상기 경계 박스 및 상기 예비 라벨을 삭제하기 위한 명령을 포함하는, 컴퓨팅 장치.
    
14. 삭제
15. 삭제
16. 청구항 13에 있어서,
    상기 하나 이상의 프로그램들은,
    상기 예비 라벨이 생성된 콘텐츠 대비 기 설정된 비율로 최종 라벨링 된 콘텐츠를 상기 복수 개의 검증 단말로 각각 전송하기 위한 명령; 및
    상기 최종 라벨링 된 콘텐츠에 대한 각 검증 단말의 검증 결과를 기반으로 각 검증 단말의 신뢰도를 산출하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
    
17. 청구항 16에 있어서,
    상기 신뢰도를 산출하기 위한 명령은,
    상기 최종 라벨링 된 콘텐츠 내 각 객체의 라벨과 상기 검증 단말이 상기 최종 라벨링 된 콘텐츠 내 각 객체에 대해 부여한 라벨의 일치 여부에 따라 해당 검증 단말의 신뢰도를 조정하기 위한 명령을 포함하는, 컴퓨팅 장치.
    
18. 청구항 17에 있어서,
    상기 하나 이상의 프로그램들은,
    상기 각 검증 단말의 신뢰도에 따라 상기 예비 라벨이 생성된 콘텐츠의 분배를 재조정하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
    
19. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    예비 라벨 서버로부터 하나 이상의 객체가 포함되고 상기 객체에 대해 예비 라벨이 생성된 콘텐츠를 수신하기 위한 명령; 및
    상기 콘텐츠 내 객체의 종류 및 상기 콘텐츠 내 검출되지 못한 객체의 존재 여부 중 하나 이상에 따라 상기 콘텐츠를 복수 개의 검증 단말로 분배하기 위한 명령을 포함하고,
    상기 하나 이상의 프로그램들은,
    상기 검증 단말로부터 상기 콘텐츠 내 소정 객체의 클릭된 위치 정보를 수신하기 위한 명령; 및
    상기 콘텐츠 내 상기 객체의 클릭된 위치 정보를 기반으로 상기 객체의 경계 박스에 대한 정보, 상기 객체의 종류에 대한 정보, 및 상기 객체가 콘텐츠 내 차지하는 영역에 대한 정보 중 하나 이상을 생성하여 상기 검증 단말로 전송하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
    
20. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    예비 라벨 서버로부터 하나 이상의 객체가 포함되고 상기 객체에 대해 예비 라벨이 생성된 콘텐츠를 수신하기 위한 명령; 및
    상기 콘텐츠 내 객체의 종류 및 상기 콘텐츠 내 검출되지 못한 객체의 존재 여부 중 하나 이상에 따라 상기 콘텐츠를 복수 개의 검증 단말로 분배하기 위한 명령을 포함하고,
    상기 하나 이상의 프로그램들은,
    상기 콘텐츠 내 예비 라벨링 된 객체에 대해 해당 객체가 분류될 확률이 기 설정된 임계 확률 이상인 분류 태그를 추출하기 위한 명령; 및
    추출한 분류 태그를 상기 검증 단말로 전송하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
    

Images