KR102208676B1

KR102208676B1 - 신경망 학습을 위한 학습 데이터 레이블링 방법 및 이를 수행하는 시스템

Info

Publication number: KR102208676B1
Application number: KR1020200073334A
Authority: KR
Inventors: 오지연
Original assignee: 주식회사 카카오뱅크
Priority date: 2020-06-17
Filing date: 2020-06-17
Publication date: 2021-01-27

Abstract

본 발명은 신경망 학습을 위한 학습 데이터 레이블링 방법에 관한 것으로, 본 발명에 따른 신경망 학습 데이터 레이블링 방법은 신경망을 이용하여 이미지 내 포함된 랜드 마크의 레이블링 결과로 제1 레이블링 데이터를 생성하는 단계; 상기 이미지의 적어도 일부 랜드 마크에 대한 수기 레이블링 결과로 제2 레이블링 데이터를 수신하는 단계; 상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터를 비교하는 단계; 및 상기 비교 결과에 따라 상기 제2 레이블링 데이터의 오류 검수를 요청하는 단계를 포함한다. 본 발명에 따르면, 수기로 레이블링한 레이블링 데이터 중 검수가 필요한 레이블링 데이터를 선별함으로써, 검수 대상을 줄이고 소모되는 비용을 줄일 수 있다.

Description

신경망 학습을 위한 학습 데이터 레이블링 방법 및 이를 수행하는 시스템{Method for labeling training data for neural network learning and system for the method}

본 발명은 신경망 학습을 위한 학습 데이터 레이블링 방법에 관한 것이다.

인간의 신경을 모방한 인공 신경망에 대하여 다양한 알고리즘이 개발되고 지속적인 성능의 향상을 통해, 인공 신경망 기반의 영상, 이미지, 텍스트, 음성 등의 데이터에 포함된 의미를 해석하고 이를 분류(classification)하는 인식 기술과 이미지 관련 지도학습(supervised learning) 기술들이 다양한 산업분야에 적용되고 있다. 이러한 기술들의 정확도 향상을 위해서는 학습 데이터들을 통한 신경망의 반복적인 학습 과정이 필연적으로 요구된다.

따라서 최근에는 신경망의 학습을 위한 대량의 학습 데이터의 확보를 위해 학습 데이터를 생성하고 검증하는 방식에 대해서도 기술 개발이 이루어지고 있다.

신경망의 학습 방법 중 지도 학습을 위해서는 학습 데이터에 대해 신경망이 출력해야 할 랜드 마크 들에 대한 정보들이 미리 레이블링되어 있어야 하는데 이러한 레이블링 작업을 모든 데이터들에 대해 사람이 일일이 수행하는 것은 비효율적인 문제가 있다.

따라서, 최근에는 학습 데이터의 생성을 위한 레이블링을 별도의 신경망을 이용하여 수행하는 방식들이 이용되고 있는데 신경망을 통해 수행된 레이블링의 오류로 인해 신경망의 성능이 저하되는 문제가 발생되고 있다.

따라서, 신경망을 통해 레이블링된 학습 데이터에 대한 추가적인 검수가 필요하며 모든 학습 데이터를 검수하는 것은 불가능 하므로 보다 효율적인 검수를 통해 양질의 학습 데이터를 확보하는 방안이 고안될 필요가 있다.

본 발명은 신경망을 이용하여 수행된 자동 레이블링 데이터를 통해 수정해야할 학습 데이터를 선별함으로써 선별 과정을 효율화하는 방법을 제안하고자 한다.

또한, 학습 데이터의 생성을 위해 수행된 레이블링된 데이터의 검수 대상을 줄여 검수 과정을 효율화하는 방법을 제안하고자 한다.

또한, 본 발명은 검수를 통해 획득된 양질의 학습 데이터를 이용하여 신경망의 예측 성능을 보다 높이는 방법을 제안하고자 한다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 신경망 학습 데이터 레이블링 방법은 신경망을 이용하여 이미지 내 포함된 랜드 마크의 레이블링 결과로 제1 레이블링 데이터를 생성하는 단계; 상기 이미지의 적어도 일부 랜드 마크에 대한 수기 레이블링 결과로 제2 레이블링 데이터를 수신하는 단계; 상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터를 비교하는 단계; 및 상기 비교 결과에 따라 상기 제2 레이블링 데이터의 오류 검수를 요청하는 단계를 포함한다.

상기 레이블링 데이터는 상기 랜드 마크의 상기 이미지 내 위치 값을 포함하는 것이 바람직하다.

상기 비교하는 단계는 상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터 내 대응되는 상기 랜드 마크 별 위치 값을 비교하고, 상기 오류 검수를 요청하는 단계는 상기 위치 값의 차이에 따라 오류 검수를 요청하는 것이 바람직하다.

상기 비교하는 단계는 상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터 내 대응되는 상기 랜드 마크의 레이블링 순서를 비교하고, 상기 오류 검수를 요청하는 단계는 상기 순서의 차이에 따라 오류 검수를 요청하는 것이 바람직하다.

상기 오류 검수를 요청하는 단계는 위치 값의 차이에 따라 재 레이블링이 필요한 랜드 마크에 대한 가이드 정보를 더욱 제공하는 것이 바람직하다.

상기 오류 검수를 요청하는 단계는 순서의 차이에 따라 재 레이블링이 필요한 랜드 마크에 대한 가이드 정보를 더욱 제공하는 것이 바람직하다.

상기 오류 검수에 따라 재 레이블링 되어 생성된 제3 레이블링 데이터를 이용하여 상기 신경망을 학습시키는 단계를 더 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 신경망 학습 데이터 레이블링 서버에 있어서, 신경망을 이용하여 상기 이미지 내 포함된 랜드 마크의 레이블링 결과로 제1 레이블링 데이터를 생성하는 레이블링부; 상기 이미지의 적어도 일부 랜드 마크에 대한 수기 레이블링 결과로 제2 레이블링 데이터를 수신하는 수신부; 상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터를 비교하는 레이블링 데이터 비교부; 및 상기 비교 결과에 따라 상기 제2 레이블링 데이터의 오류 검수를 요청하는 검수 요청부를 포함한다.

상기 레이블링 데이터 비교부는 상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터 내 대응되는 상기 랜드 마크 별 위치 값을 비교하고, 상기 검수 요청부는 상기 위치 값의 차이에 따라 오류 검수를 요청하는 것이 바람직하다.

상기 레이블링 데이터 비교부는 상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터 내 대응되는 상기 랜드 마크의 레이블링 순서를 비교하고, 상기 검수 요청부는 상기 순서의 차이에 따라 오류 검수를 요청하는 것이 바람직하다.

상기 검수 요청부는 위치 값의 차이에 따라 재 레이블링이 필요한 랜드 마크에 대한 가이드 정보를 더욱 제공하는 것이 바람직하다.

상기 검수 요청부는 순서의 차이에 따라 재 레이블링이 필요한 랜드 마크에 대한 가이드 정보를 더욱 제공하는 것이 바람직하다.

상기 오류 검수에 따라 재 레이블링 되어 생성된 제3 레이블링 데이터를 이용하여 상기 신경망을 학습시키는 신경망 학습부를 더 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 신경망 학습을 위한 학습 데이터 레이블링 방법은 제1 신경망을 이용하여 상기 이미지 내 포함된 랜드 마크의 레이블링 결과로 제1 레이블링 데이터를 생성하는 단계; 제2 신경망을 이용하여 상기 이미지의 적어도 일부 랜드 마크의 레이블링 결과로 제2 레이블링 데이터를 생성하는 단계; 상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터를 비교하는 단계; 및 상기 비교 결과에 따라 상기 제1 레이블링 데이터의 오류 검수를 요청하는 단계를 포함하고, 상기 제1 신경망과 제2 신경망은 서로 다른 네트워크 구조 또는 학습 데이터로 학습된 것이 바람직하다.

상술한 본 발명에 따르면, 수기로 레이블링한 레이블링 데이터 중 검수가 필요한 레이블링 데이터를 선별함으로써, 검수 대상을 줄이고 소모되는 비용을 줄일 수 있다.

또한, 본 발명은 신경망을 이용하여 수행된 자동 레이블링 데이터와 수기 레이블 데이터를 비교하여 수정해야할 학습 데이터를 선별함으로써 선별 과정을 효율화할 수 있다.

또한, 본원 발명은 검수를 거친 레이블링 데이터를 이용하여 학습함으로써, 신경망의 학습 효과를 높이고 신경망의 예측 정확도를 보다 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 학습 데이터 레이블링 시스템을 나타낸 도이다.
도 2는 본 발명의 일 실시예에 따른 신경망 학습을 위한 학습 데이터 레이블링 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 신경망을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 레이블링 데이터의 비교를 나타낸 예시도이다.
도 5는 본 발명의 일 실시예에 따른 신경망 학습을 위한 학습 데이터 레이블링 방법을 나타낸 흐름도이다.
도 6은 본 발명의 다른 일 실시예에 따른 신경망 학습을 위한 학습 데이터 레이블링 방법을 나타낸 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 신경망을 나타낸 예시도이다.
도 8은 본 발명의 일 실시예에 따른 학습 데이터 레이블링 서버의 구성을 나타낸 블록도이다.

이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시 되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세

서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이외같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.

또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 데이터 레이블링 시스템을 나타낸 도이다.

도 1을 참조하면, 본 실시예에 따른 신경망 학습을 위한 학습 데이터 레이블링 시스템(1000)은 레이블링된 데이터를 검수하는 검수자(10)와 레이블링된 데이터를 수집하고 검수가 필요한지를 확인하여 학습 데이터를 생성하는 레이블링 서버(100)로 구성될 수 있다.

레이블링 서버(100)는 학습 데이터의 생성을 위해 레이블링 된 데이터들을 수집하고 수집된 레이블링 데이터의 오류를 확인한다.

구체적으로 레이블링 서버(100)는 학습을 위해 레이블링이 필요한 원본 이미지에 대하여 신경망을 통해 수행된 레이블링 데이터와, 수기로 수행된 레이블링 데이터들을 각각 입력 받을 수 있다.

다만, 신경망을 통한 자동 레이블링 데이터와 수동 레이블링 데이터 들 각각에는 잘못된 레이블링 값들이 포함될 수 있으므로 양 레이블링 데이터를 비교하고 레이블링 값들의 일치 여부를 판단하여 재 레이블링이 필요한 데이터를 선별할 수 있다. 예를 들어 레이블링 값의 차이가 신경망의 학습에 영향을 미치지 않는 허용 오차를 벗어나는 경우 레이블링 데이터의 검수를 요청할 수 있으며 레이블링 값의 차이는 구체적인 레이블링 위치나 오분류 여부에 따라 결정될 수 있다.

검수자(10)는 검수 요청을 수신하면 검수용 단말을 이용하여 레이블링 서버(100)로부터 수신한 레이블링 데이터의 검수를 수행하고 잘못 레이블링 값을 수정할 수 있다.

이때, 검수 요청과 함께 송신되는 레이블링 데이터는 원본 이미지 자체일 수 있으며, 원본 이미지와 함께 신경망을 통해 수행된 자동 레이블링 값들을 포함할 수 있다. 또는 수기 레이블링 값들을 포함하는 것도 가능하다.

따라서, 검수자(10)는 원본 이미지와 함께 레이블링 값을 수신하고 이를 통해 잘못 레이블링 된 결과를 바로 잡을 수 있다.

또한, 본 실시예에서 검수자(10)가 직접 수동 레이블링 데이터를 생성하여 이를 레이블링 시스템(1000)에 제공하고, 이에 대한 검증 결과를 재수신하여 자신의 레이블링 값을 수정하는 것도 가능하다.

이상의 과정을 통해 검수된 검수 데이터는 다시 레이블링 서버(100)로 전송되어 학습 데이터로 이용하도록 한다.

이하에서는 도 2를 참조하여 레이블링 서버(100)의 신경망 학습을 위한 학습 데이터 레이블링 방법을 설명한다.

도 2는 본 발명의 일 실시예에 따른 학습 데이터 레이블링 방법을 나타낸 흐름도이다.

도 2를 참조하면, 레이블링 서버(100)는 신경망의 학습을 위한 원본 이미지 내 포함된 랜드 마크들의 레이블링 결과로 제1 레이블링 데이터를 생성할 수 있다(S100). 여기서, 랜드 마크는 원본 이미지에 포함된 객체의 식별에 필요한 특징 요소들로써, 예를 들어 사람의 식별을 위해 사람의 안면에 포함된 눈, 코, 입, 눈썹 등을 포함할 수 있다.

레이블링 서버(100)는 신경망을 이용하여 학습에 이용될 이미지 내 랜드 마크들을 검출하고, 랜드 마크가 존재하는 위치나 범위를 추적하여 레이블링하는 것으로 제1 레이블링 데이터를 생성할 수 있다.

여기서, 랜드 마크의 검출을 위해서는 원본 이미지에 포함된 정보들을 이용할 수 있으며 구체적으로 신경망은 안면에 포함된 눈, 코, 입, 눈썹 등의 해부학적 특징 요소들에 대한 색상이나 패턴에 따른 특징 벡터들을 강화하도록 학습될 수 있으며 CNN 모델로 구현될 수 있다.

이와 관련하여 도 3을 참조하여 구체적으로 설명한다.

도 3은 본 발명의 일 실시예에 따른 신경망을 나타낸 예시도이다.

도 3을 참조하면, 본 실시예에 따른 신경망은 복수의 합성곱 연산을 수행하는 레이어로 구성된 CNN(Convolution Neural Network) 모델로 구현될 수 있다.

학습에 이용될 원본 이미지(20)가 입력되면, 신경망(50) 내부의 레이어들을 거치면서 이미지 내에 포함된 랜드 마크로 각각의 특징 요소의 형상이나 색상에 따른 특징 값들을 강조하도록 합성곱 연산을 수행한다. 신경망에 입력되는 원본 이미지(20)의 값들은 각각의 합성곱 레이어(Convolution layer)를 거치면서 반복 연산을 통해 특징 맵으로 생성되며, 완전 연결 레이어(Fully-connected layer)를 통해 평탄화 되어 최종 출력으로 랜드 마크 들에 대한 레이블링 데이터로 출력될 수 있다.

구체적으로 최종 출력은 미리 결정된 랜드 마크들의 순서에 따른 배열 형태의 값일 수 있으며, 각 랜드 마크의 정의를 위한 이미지 내 위치 정보들을 포함할 수 있다.

본 실시예에서 신경망은 원본 이미지(20)에 대하여 사람의 왼쪽 눈(①), 오른쪽 눈(②), 코(③), 입의 왼쪽 끝(④), 입의 오른쪽 끝(⑤)의 순으로 각 랜드 마크의 위치 정보를 레이블링 데이터로 출력할 수 있다. 이때, 레이블링 항목으로 랜드 마크들의 순서와 요구되는 위치는 학습 데이터의 생성 목적에 따라 다양하게 결정될 수 있다.

레이블링 서버(100)는 학습된 신경망을 이용하여 원본 이미지(20) 내 포함된 랜드 마크의 자동 레이블링의 결과로 제1 레이블링 데이터를 생성할 수 있으며, 제1 레이블링 데이터에는 랜드 마크의 이미지 내 위치 값, 랜드 마크의 레이블링 순서 및 랜드 마크의 이미지 내 영역 범위 등에 대한 값들을 적어도 하나 이상을 포함될 수 있다.

또한, 레이블링 서버(100)는 학습을 위한 이미지의 적어도 일부 랜드 마크에 대한 수기 레이블링 결과인 제2 레이블링 데이터를 수신할 수 있다(S200).

제2 레이블링 데이터는 사람이 직접 원본 이미지에 수기로 레이블링한 결과로써, 랜드 마크의 이미지 내 위치 값, 레이블링 데이터 내 대응되는 랜드 마크의 레이블링 순서 및 랜드 마크의 이미지 내 영역 등에 대한 정보를 포함할 수 있다. 이때 수기 레이블링은 상술한 검수자(10)와 동일한 사람에 의해 수행되는 것도 가능하다.

다음, 레이블링 서버(100)는 레이블링 데이터의 검증을 위해 제1 레이블링 데이터와 제2 레이블링 데이터를 비교한다(S300).

예를 들어 레이블링 서버(100)는 제1 레이블링 데이터와 제2 레이블링 데이터 내 대응되는 랜드 마크 별 위치 값을 비교하고, 위치 값 간의 차이가 기준 값을 초과하는지 판단할 수 있다.

이하 도 4를 참조하여 보다 상세히 설명한다.

도 4의 (a)를 참조하면 레이블링 서버(100)는 제1 레이블링 데이터의 1번 랜드 마크와 제2 레이블링 데이터의 1번 랜드 마크의 위치 값을 비교(4a)하고, 이미지 내에서 각 랜드 마크의 위치 값 간의 차이가 기준 값을 초과하는지 판단할 수 있으며, 2번 내지 5번 랜드 마크에 대해서도 이상의 판단 과정을 반복적으로 수행할 수 있다.

레이블링 서버(100)는 이미지 내 모든 랜드 마크 별 위치를 비교하여 차이가 기준 값을 초과하는 경우 해당 레이블링 데이터가 잘못 레이블링 된 것으로 판단할 수 있다. 또는 랜드 마크 별 각각의 위치 값의 차이를 합하고, 차이의 합이 기준 값을 초과하는지 판단함으로써 전체로서 레이블링 데이터의 오류나 신뢰도를 판단하는 것도 가능하다.

이때, 기준 값은 검수자(10)에 의한 검수를 요청할지 여부를 판단하기 위한 기준으로 랜드 마크의 종류, 원본 이미지의 크기나 화질 등의 상태에 따라 결정될 수 있다. 또는 학습에 영향을 미치지 않는 차이로 미리 결정된 레이블링의 허용 오차범위에 따라 기준 값을 설정하여 오류여부를 판단할 수 있다.

또한, 레이블링 서버(100)는 제1 레이블링 데이터와 제2 레이블링 데이터 내 대응되는 랜드 마크의 레이블링 순서를 비교하여 각 레이블링 순서가 동일한지 판단할 수 있다.

도 4의 (b)를 참조하면 레이블링 서버(100)는 제1 레이블링 데이터 및 제2 레이블링 데이터 내 대응되는 랜드 마크의 레이블링 순서를 비교(4b, 4c)하고 각 레이블링 순서가 동일한지 비교 판단할 수 있다.

이상의 레이블링 서버(100)는 비교 결과에 따라 오류가 있는 것으로 판단되면 레이블링 데이터의 오류 검수를 검수자(10)에게 요청한다(S400).

레이블링 서버(100)는 제1 레이블링 데이터 및 제2 레이블링 데이터 내 랜드 마크 중 위치 값이 기준 값을 초과하는 랜드 마크가 존재하는 경우 검수자(10)에게 레이블링 데이터의 오류 검수를 요청할 수 있다.

또는 제1 레이블링 데이터 및 제2 레이블링 데이터 내 서로 대응되는 랜드 마크의 레이블링 순서가 상이한 경우 오류 검수를 요청할 수 있다.

즉, 레이블링 서버(100)는 레이블링 데이터(제1 레이블링 데이터 및/또는 제2 레이블링 데이터)를 원본 이미지와 함께 검수자(10)의 검수용 단말로 송신하고 오류 검수를 요청할 수 있다. 또는 원본 이미지만 검수자(10)에게 송신하여 재 레이블링을 요청하는 것도 가능하다.

이때, 레이블링 서버(100)는 재 레이블링을 위한 가이드 정보를 함께 제공하여 검수자(10)의 검수 작업을 보다 효율화 할 수 있다.

구체적으로, 레이블링 서버(100)는 각 랜드 마크의 위치 값 차이에 따라 재 레이블링이 필요한 랜드 마크를 식별하여 식별 정보를 가이드 정보로 검수자(10)에게 함께 제공할 수 있다. 따라서 검수자(10)는 식별 정보에 대응되는 랜드 마크의 위치 값을 재조정하는 것으로 검수 작업을 완료할 수 있다.

또한, 레이블링 서버(100)는 각 랜드 마크의 레이블링 순서의 차이에 따라 검수가 필요한 경우에는 레이블링의 순서의 변경 가이드 정보를 제공하고 이를 확인하는 것으로 검수 작업을 완료하도록 하는 것도 가능하다.

이상의 과정을 통해 검수자(10)에 의해 검수가 완료되어 재 레이블링된 검수 데이터는 레이블링 서버(100)로 다시 전송되며, 레이블링 서버(100)는 검수 완료된 레이블링 데이터를 이용하여 자동 레이블링 데이터를 출력하는 신경망을 학습시킬 수 있다.

도 5를 참조하면, 레이블링 서버(100)는 이미지 내 포함된 랜드 마크의 레이블링 결과로서 검수가 완료된 레이블링 데이터를 학습 데이터로 이용하여 신경망을 학습시킬 수 있다(S20). 구체적으로, 레이블링 서버(100)는 비교하는 단계(S300)에서 오류 검수가 필요 없는 제1 레이블링 데이터 또는 제2 레이블링 데이터를 학습 데이터로 이용하여 신경망을 학습할 수 있다. 또한, 레이블링 서버(100)는 데이터를 비교하는 단계(S300)에서 오류 검수가 필요하여 검수자(10)로부터 검수 완료된 제3 레이블링 데이터를 수신 받고, 수신된 제3 레이블링 데이터를 학습 데이터로 이용하여 신경망을 학습시키는 것도 가능하다.

즉 본 발명은 검수를 거친 레이블링 데이터를 이용하여 신경망을 학습시킴으로써, 신경망의 학습 효과를 높이고 신경망의 예측 정확도를 보다 높일 수 있다.

이하, 본 발명의 다른 실시예에 따른 레이블링 서버(100)의 신경망 학습을 위한 학습 데이터 레이블링 방법을 설명한다.

상술한 실시예에는 신경망을 이용하여 생성된 레이블링 데이터와 수기로 생성된 레이블링 데이터를 비교하는 것을 예로 들었으나, 다른 실시예로 복수의 신경망 각각을 이용하여 생성된 한 쌍의 자동 레이블링 데이터를 비교하여 검수 여부를 판단하는 것도 가능하다.

도 6을 참조하면, 레이블링 서버(100)는 제1 신경망을 이용하여 이미지 내 포함된 랜드 마크의 레이블링 결과로 제1 레이블링 데이터를 생성할 수 있다(S1000).

다음, 레이블링 서버(100)는 제2 신경망을 이용하여 이미지 내 또는 이미지의 일부 랜드 마크의 레이블링 결과로 제2 레이블링 데이터를 생성할 수 있다(S2000).

도 7을 참조하면 본 실시예에서 제1 신경망(50-1)과 제2 신경망(50-2)은 출력 값의 비교를 위해 서로 다른 네트워크 구조로 학습된 것일 수 있다.

예를 들어 제1 신경망(50-1)과 제2 신경망(50-3)은 서로 다른 깊이의 합성곱 레이어로 구성된 CNN 모델로 구현될 수 있으며 이를 이용하여 원본 이미지(20)에 대한 각각의 레이블링 데이터를 출력할 수 있다.

레이블링 서버(100)는 각 신경망으로부터 출력된 제1 레이블링 데이터(72)와 제2 레이블링 데이터(74)를 비교한다(S3000). 상술한 바와 같이 레이블링 서버(100)는 랜드 마크 별 위치 값을 각각 비교하여 각각의 위치 값 간의 차이가 기준 값을 초과하는 경우 잘못 레이블링 된 것으로 판단할 수 있다. 또는 제1 레이블링 데이터(72)와 제2 레이블링 데이터(74) 내 대응되는 랜드 마크의 레이블링 순서를 비교하여 각 레이블링 순서가 동일한지 비교 판단할 수 있다.

레이블링 서버(100)는 비교 결과에 따라 레이블링 데이터의 오류 검수를 검수자(10)에게 요청할 수 있다(S4000).

레이블링 서버(100)는 검수자(10)에 의해 재 레이블링 되는 것으로 검수 완료된 검수 데이터를 이용하여 각 신경망 들을 학습시킬 수 있다(S5000). 레이블링 서버(100)는 비교 결과에 따라 검수가 불필요한 레이블링 데이터와 검수 과정에서 재 레이블링된 레이블링 데이터를 모두 학습 데이터로 이용하여 제1 신경망(50-1) 및 제2 신경망(50-2)를 각각 학습시킨다.

이하 도 7을 참조하여, 본 발명의 일 실시예에 따른 레이블링 서버(100)의 구성에 대하여 설명한다.

도 7을 참조하면, 레이블링 서버(100)는 레이블링부(110), 수신부(120), 레이블링 데이터 비교부(130), 검수 요청부(140), 신경망 학습부(150)를 포함할 수 있다.

레이블링부(110)는 신경망을 이용하여 이미지 내 포함된 랜드 마크의 레이블링 결과로 레이블링 데이터를 생성할 수 있다.

또한, 레이블링부(110)는 복수의 신경망을 이용하여 복수의 레이블링 데이터를 각각 생성할 수도 있다. 예를 들어, 레이블링부(110)는 서로 다른 네트워크 구조의 제1 신경망 및 제2 신경망을 이용하여 원본 이미지 내 포함된 랜드 마크의 레이블링 결과로 각각의 자동 레이블링 데이터를 생성할 수 있다.

수신부(120)는 검수자(10)로부터 레이블링 데이터를 수신할 수 있다. 구체적으로, 수신부(120)는 이미지의 적어도 일부 랜드 마크에 대한 수기 레이블링 결과인 수동 레이블링 데이터를 검수자(10)로부터 수신할 수 있다.

이때 수동 레이블링 데이터는 검수자(10)가 이미지에 수기로 레이블링한 결과로써, 랜드 마크의 이미지 내 위치 값, 미리 결정된 랜드 마크의 레이블링 순서 및 랜드 마크의 이미지 내 영역 범위 등을 적어도 하나 이상을 포함될 수 있다.

레이블링 데이터 비교부(130)는 자동 레이블링 데이터와 수동 레이블링 데이터를 비교할 수 있다. 또는 각각의 신경망으로부터 생성된 자동 레이블링 데이터 쌍을 비교하는 것도 가능하다.

구체적으로, 레이블링 데이터 비교부(130)는 자동 레이블링 데이터와 수동 레이블링 데이터(또는 다른 자동 레이블링 데이터) 내 대응되는 랜드 마크 별 위치 값을 비교할 수 있다. 또한 레이블링 데이터 내 대응되는 랜드 마크의 레이블링 순서를 비교할 수 있다.

검수 요청부(140)는 레이블링 데이터의 비교 결과에 따라 각 레이블 데이터 중 적어도 하나 이상의 오류 검수를 검수자(10)에게 요청할 수 있다.

검수 요청부(140)는 랜드 마크의 위치 값 차이 또는 레이블링 순서의 차이에 따라 오류 검수를 검수자(10)에게 요청하며, 검수 요청부(140)는 검수자(10)에게 재 레이블링이 필요한 랜드 마크에 대한 가이드 정보를 함께 제공할 수 있다.

구체적으로, 검수 요청부(140)는 랜드 마크의 위치 값 차이에 따라 재 레이블링이 필요한 랜드 마크의 식별 정보를 검수자(10)에게 제공하거나 랜드 마크의 순서 차이에 따라 순서 변경을 위한 가이드 정보를 제공할 수 있다.

다음, 신경망 학습부(150)는 레이블링 데이터를 이용하여 상술한 레이블링 데이터의 생성에 이용된 신경망을 학습시킬 수 있다.

이상 본 발명에 따르면, 수기로 레이블링한 레이블링 데이터 중 검수가 필요한 레이블링 데이터를 선별함으로써, 검수 대상을 줄이고 소모되는 비용을 줄일 수 있다.

이상, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs(application specific integrated circuits), DSPs (digital signal processors),DSPDs (digital signal processing devices), PLDs (programmable logic devices),FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어 모듈 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 씌여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리 모듈에 저장되고, 제어모듈에 의해 실행될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.

따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

신경망 학습 데이터 레이블링 서버에서 수행되는 학습 데이터 레이블링 방법에 있어서,
신경망을 이용하여 이미지 내 포함된 랜드 마크의 레이블링 결과로 제1 레이블링 데이터를 생성하는 단계;
상기 이미지의 적어도 일부 랜드 마크에 대한 수기 레이블링 결과로 제2 레이블링 데이터를 수신하는 단계;
상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터를 비교하는 단계;
상기 비교 결과에 따라 상기 제2 레이블링 데이터의 오류 검수를 요청하는 단계를 포함하고,
상기 제1 레이블링 데이터 및 상기 제2 레이블링 데이터는 랜드 마크의 특징에 따라 결정된 레이블링 순서 정보를 포함하며,
상기 비교하는 단계는 상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터 내 대응되는 상기 랜드 마크의 레이블링 순서를 비교하고,
상기 오류 검수를 요청하는 단계는 상기 순서의 차이에 따라 우선하여 오류 검수를 요청하는 것을 특징으로 하는 학습 데이터 레이블링 방법.
제 1 항에 있어서,
상기 레이블링 데이터는 상기 랜드 마크의 상기 이미지 내 위치 값을 포함하는 것을 특징으로 하는 학습 데이터 레이블링 방법.
제 2 항에 있어서,
상기 비교하는 단계는 상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터 내 대응되는 상기 랜드 마크 별 위치 값을 비교하고,
상기 오류 검수를 요청하는 단계는 상기 위치 값의 차이에 따라 오류 검수를 요청하는 것을 특징으로 하는 학습 데이터 레이블링 방법.
삭제
제 3 항에 있어서,
상기 오류 검수를 요청하는 단계는 위치 값의 차이에 따라 재 레이블링이 필요한 랜드 마크에 대한 가이드 정보를 더욱 제공하는 것을 특징으로 하는 학습 데이터 레이블링 방법.
제 1 항에 있어서,
상기 오류 검수를 요청하는 단계는 순서의 차이에 따라 재 레이블링이 필요한 랜드 마크에 대한 가이드 정보를 더욱 제공하는 것을 특징으로 하는 학습 데이터 레이블링 방법.
제 1 항에 있어서,
상기 오류 검수에 따라 재 레이블링 되어 생성된 제3 레이블링 데이터를 이용하여 상기 신경망을 학습시키는 단계를 더 포함하는 것을 특징으로 하는 학습 데이터 레이블링 방법.
신경망 학습 데이터 레이블링 서버에 있어서,
신경망을 이용하여 이미지 내 포함된 랜드 마크의 레이블링 결과로 제1 레이블링 데이터를 생성하는 레이블링부;
상기 이미지의 적어도 일부 랜드 마크에 대한 수기 레이블링 결과로 제2 레이블링 데이터를 수신하는 수신부;
상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터를 비교하는 레이블링 데이터 비교부; 및
상기 비교 결과에 따라 상기 제2 레이블링 데이터의 오류 검수를 요청하는 검수 요청부를 포함하고,
상기 제1 레이블링 데이터 및 상기 제2 레이블링 데이터는 랜드 마크의 특징에 따라 결정된 레이블링 순서 정보를 포함하며,
상기 레이블링 데이터 비교부는 상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터 내 대응되는 상기 랜드 마크의 레이블링 순서를 비교하고,
상기 검수 요청부는 상기 순서의 차이에 따라 우선하여 오류 검수를 요청하는 것을 특징으로 하는 학습 데이터 레이블링 서버.
제 8 항에 있어서,
상기 레이블링 데이터는 상기 랜드 마크의 상기 이미지 내 위치 값을 포함하는 것을 특징으로 하는 학습 데이터 레이블링 서버.
제 9 항에 있어서,
상기 레이블링 데이터 비교부는 상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터 내 대응되는 상기 랜드 마크 별 위치 값을 비교하고,
상기 검수 요청부는 상기 위치 값의 차이에 따라 오류 검수를 요청하는 것을 특징으로 하는 학습 데이터 레이블링 서버.
삭제
제 10 항에 있어서,
상기 검수 요청부는 위치 값의 차이에 따라 재 레이블링이 필요한 랜드 마크에 대한 가이드 정보를 더욱 제공하는 것을 특징으로 하는 학습 데이터 레이블링 서버.
제 8 항에 있어서,
상기 검수 요청부는 순서의 차이에 따라 재 레이블링이 필요한 랜드 마크에 대한 가이드 정보를 더욱 제공하는 것을 특징으로 하는 학습 데이터 레이블링 서버.
제 8 항에 있어서,
상기 오류 검수에 따라 재 레이블링 되어 생성된 제3 레이블링 데이터를 이용하여 상기 신경망을 학습시키는 신경망 학습부를 더 포함하는 것을 특징으로 하는 학습 데이터 레이블링 서버.
신경망 학습 데이터 레이블링 서버에서 수행되는 학습 데이터 레이블링 방법에 있어서,
제1 신경망을 이용하여 이미지 내 포함된 랜드 마크의 레이블링 결과로 제1 레이블링 데이터를 생성하는 단계;
제2 신경망을 이용하여 상기 이미지의 적어도 일부 랜드 마크의 레이블링 결과로 제2 레이블링 데이터를 생성하는 단계;
상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터를 비교하는 단계;
상기 비교 결과에 따라 상기 제1 레이블링 데이터의 오류 검수를 요청하는 단계를 포함하고,
상기 제1 레이블링 데이터 및 상기 제2 레이블링 데이터는 랜드 마크의 특징에 따라 결정된 레이블링 순서 정보를 포함하며,
상기 비교하는 단계는 상기 제1 레이블링 데이터와 상기 제2 레이블링 데이터 내 대응되는 상기 랜드 마크의 레이블링 순서를 비교하고,
상기 오류 검수를 요청하는 단계는 상기 순서의 차이에 따라 우선하여 오류 검수를 요청하고,
상기 제1 신경망과 제2 신경망은 서로 다른 네트워크 구조 또는 학습 데이터로 학습된 것을 특징으로 하는 학습 데이터 레이블링 방법.
제 1 항 내지 제 3 항, 제 5 항 내지 제 7 항, 및 제 15 항 중 어느 한 항에 따른 신경망 학습 데이터 레이블링 서버에서 수행되는 학습 데이터 레이블링 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.