WO2023106515A1

WO2023106515A1 - 인공신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치 및 방법

Info

Publication number: WO2023106515A1
Application number: PCT/KR2022/003812
Authority: WO
Inventors: 이종혁; 김형석
Original assignee: 전북대학교산학협력단
Priority date: 2021-12-08
Filing date: 2022-03-18
Publication date: 2023-06-15
Also published as: KR102389369B1

Abstract

본 발명은 인공신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치 및 방법에 관한 발명으로, 하나의 학습 영상으로부터 n개의 보완 레이블들과 1개의 기준 레이블을 생성한 후, 이들을 타겟으로 SO-MT 방식으로 인공신경망을 반복 학습시킴으로써, 인공신경망이 n개의 보완 레이블들과 1개의 기준 레이블을 합성하여 정밀영역 레이블 영상을 예측하는 효과를 가질 수 있다. 또한, 학습 영상에 대응되는 정밀 레이블 영상을 검증 데이터로 획득 및 이용하여 인공신경망의 예측 성능을 검증한 후, 이에 기반하여 학습 종료 여부를 결정할 수 있도록 함으로써, 인공신경망의 학습 횟수 과잉 또는 과부족 현상의 발생을 사전 차단할 수 있다.

Description

인공신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치 및 방법

본 발명은 인공신경망 학습을 위한 정밀영역 레이블을 최적의 효율로 제작 및 제공할 수 있도록 하는 인공신경망 학습을 위한 레이블 획득 장치 및 방법에 관한 것이다.

인공신경망은 대용량의 학습 데이터를 반복 학습시키는 것을 기본 가정으로 하고 있기 때문에, 데이터가 부족한 상황에서 인공신경망을 학습시키는 것은 매우 어렵고 모델의 일반화를 저해하는 오버-피팅(over-fitting)과 같은 현상이 일어나기 쉽다. 또한 모델의 검증에 필요한 데이터도 충분하지 않아 학습된 모델을 신뢰하기 어렵다.

많은 상황에서 학습 조건이 이상적이지 않기 때문에 데이터가 부족한 상황에서도 모델을 효과적으로 학습시키는 방법들이 제안되어왔다. 준지도 학습(Semi supervised learning)은 입력 데이터 자체의 특성을 이용하거나 주어진 일부 레이블(label)을 활용하며 약지도 학습(weakly supervised learning)은 다른 도메인의 정답을 이용한다.

준지도 학습은 일부 기준 레이블만으로 나머지 언레이블드 이미지를 이용하여 모델의 성능향상을 보였다. 그러나 일반적으로 학습과정에서 일부 데이터에 대한 기준 레이블만 존재하기 때문에 학습된 네트워크로 정밀한 결과물을 생성하기는 어렵다. 약지도 방식은 다른 도메인의 레이블이 작성되어 있는 경우 활용이 가능하고 다른 도메인의 레이블 제작이 어려운 경우 적용이 어렵다.

단일 물체의 레이블을 생성하고자 할 때 이미지 레벨의 레이블링이나 픽셀 레벨의 레이블링을 수행하는 것은 쉽지 않다.

또한 준지도, 약지도 신경망들은 복잡한 모델 구조를 가지고 있고 성능 향상을 위해 일부는 사전 훈련된 모델을 사용한다. 그러나 학습 성능을 향상시킬 수 있는 농업 데이터를 학습시킨 인공신경망이 많지 않기 때문에 농업 데이터에 사전 훈련된 모델을 적용하는 것은 쉽지 않다.

한편, 객체를 영상을 통해서 인식하기 위해서는 다양한 배경에서의 다양한 각도, 다양한 크기의 객체 모습을 인식할 수 있어야 한다. 이를 위해서는 여러 상황에서 촬영한 영상에서 객체의 범위만을 지정해서 인공신경망에 알려줘야 한다. 이렇게 객체가 범위를 영역으로 지정해 주는 일을 정밀 영역 레이블링이라고 한다.

인공신경망 입력에 특정 객체와 배경이 포함된 영상을 인가하고, 학습 목표 영상으로 특정객체가 위치하는 영역을 표시해 주어 인공신경망을 학습시키고, 이런 학습을 그 객체가 포함된 다양한 영상에서 학습시키면, 인공신경망은 객체의 형상을 인식하는 능력을 갖게 된다.

이렇게 학습이 완료된 인공신경망에 동일한 객체가 포함된 학습에 사용되지 않은 영상을 입력으로 인가하면, 인공신경망은 그 영상 중에서 그 객체의 위치에 해당 객체의 영역을 표시해 줌으로써 그 객체를 인식했음을 보여줄 수 있다.

이와 같은 과정에서 인간이 개입해야 하는 부분은 객체가 포함된 임의의 영상에서 객체의 영역만을 표시해 주는 레이블링 작업이다.

이 레이블링 작업은 보통 인간의 수작업에 의해 수행되고, 고성능의 인공신경망을 얻기 위해서는 대규모의 영상에 대한 레이블링 작업이 필요하게 된다. 이 레이블 영상의 질과 양은 학습하는 인공신경망의 인식성능에 큰 영향을 주기 때문에 객체의 영역을 정밀하게 표시해 줘야 한다. 그러나 객체를 정밀하게 표현해 주려면 많은 시간과 비용이 필요하다는 문제가 있다.

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 인공 인공신경망 기반 영상 인식에 사용되는 객체 영역들에 대한 정밀영역 레이블을 최소한의 시간과 비용으로 제작할 수 있도록 하는 새로운 방식의 인공신경망 학습을 위한 레이블 획득 장치 및 방법을 제공하고자 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 인공신경망 학습을 위한 M(M은 2 이상의 자연수)개의 학습 영상과 인공신경망 검증을 위한 L(L은 2 이상의 자연수)개의 검증 영상을 획득하는 영상 획득부; M개의 학습 영상 각각에 대해, 각 학습 영상에 대응되는 n개의 보완 레이블들과 1개의 기준 레이블을 생성한 후, 각 학습 영상을 입력영상으로 하고 이에 대응하는 1개의 기준 레이블과 n개의 보조레이블들을 학습 타겟 영상으로 하는 학습 데이터 셋트를 생성하는 동작을 반복 수행하여 M개의 학습 데이터 셋트를 구성하는 학습 데이터 생성부; L개의 검증 영상 각각에 대해, 각 검증 영상에 대응되는 정밀 수작업 레이블을 작성한 후, 각 검증 영상을 입력영상으로 하고 이에 대응하는 정밀 수작업 레이블을 검증 타겟 영상으로 하는 검증 데이터 셋트를 생성하는 동작을 반복 수행하여 L개의 검증 데이터 셋트를 구성하는 검증 데이터 생성부; M개의 학습 데이터 셋트를 이용하여 인공신경망을 SO-MT(Single output-Multi Targets) 학습시키는 동작을 반복 수행하고, L개의 검증 데이터 셋트에 대해서도 상기 인공신경망을 SO-ST(Single Output-Single Target) 학습시키는 동작을 반복 수행하는 인공신경망 학습부; 상기 인공신경망의 학습 반복 구간마다 L개의 검증 데이터 셋트의 각 검증 영상에 대한 출력 예측값과 정밀 수작업 레이블과의 차이값을 산출 및 분석하여 상기 인공신경망의 예측 성능을 검증하고 학습 종료 여부를 결정하는 인공신경망 학습종료 판단부; 및 학습 완료된 상기 인공신경망에 M개의 학습 영상을 순차적으로 입력하여 M개의 정밀영역 레이블을 획득하고, 이와 동시에 L개의 검증 영상 각각에 대응되는 L개의 정밀 수작업 레이블을 L개의 정밀영역 레이블로 획득하는 정밀영역 레이블 획득부를 포함하는 인공신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치를 제공한다.

상기 영상 획득부는 (M+L)개의 영상을 일시 획득한 후, M개의 영상을 랜덤 선택하여 M개의 학습 영상으로 설정하고, 나머지 L개의 영상은 L개의 검증 영상으로 설정하는 것을 특징으로 한다.

상기 학습 데이터 생성부는 보조레이블 각각을 영상 처리 기반의 자동 레이블링 방법이나 물체 영역인식 목적으로 기 학습된 인공 신경망 예측기반 방법에 따라 생성할 수 있으며, 상기 영상 처리 기반의 자동 레이블링 방법은 임계치 기반 레이블링 방법, 및 에지 기반 레이블링 방법인 것을 특징으로 한다.

상기 인공 신경망 예측 기반 방법은 물체 영역인식을 목적으로 기 개발된 인공신경망에 M개의 학습 영상을 순차적으로 인가하여 획득한 출력 영상을 레이블링 영상으로 사용하는 것을 특징으로 한다.

상기 학습 데이터 생성부는 기준레이블을 사용자가 컴퓨터 소프트웨어 툴을 활용하여 수작업 방식으로 비정밀 영역을 설정하도록 하는 비 정밀 레이블링 방법에 따라 생성할 수 있으며, 상기 비 정밀 레이블링 방법은 경계박스 레이블링 방법, 다각형 레이블링 방법, 원형 레이블링 방법, 타원형 레이블링 방법 중 어느 하나 인 것을 특징으로 한다.

상기 인공신경망 학습부는 M개의 학습데이터 셋트에 대해서는, 하나의 학습데이터 셋트를 순차적으로 선택하여 1 개의 입력영상과 이에 대응하는 학습 타겟 영상으로 n+1개의 기준레이블 및 보조레이블을 사용하여 학습시키는 SO-MT 학습을 반복 수행하고, L개의 검증 데이터 셋트에 대해서는, 하나의 검증 데이터 셋트를 순차적으로 선택하여 1 개의 입력영상과 이에 대응하는 학습 타겟 영상으로 1 개의 정밀수작업 레이블을 사용하여 학습시키는 SO-ST 학습을 반복 수행하는 것을 특징으로 한다.

상기 인공신경망 학습종료 판단부는 상기 L 개의 검증 데이터에 대한 인공신경망의 출력과 수작업 방식으로 작성된 정밀 수작업 레이블에 기반하여 평균 IOU(Intersection over Union)를 산출하고, IOU 산출치가 기 설정치 이하이면 학습을 종료하되, 그렇지 않으면 상기 인공신경망 학습부가 새로운 영상에 기반한 SO-MT 및 SO-ST 학습을 추가 수행하도록 하는 것을 특징으로 한다.

그리고 상기 장치는 상기 SO-MT 학습은 단일 영상이 출력되는 인공신경망에 다수의 레이블 영상이 타겟으로 인가되어 학습되게 하고, 상기 SO-ST 학습은 단일 영상이 출력되는 인공신경망에 하나의 레이블 영상이 타겟으로 인가되어 학습되게 하는 것인 것을 특징으로 한다.

상기 정밀영역 레이블 획득부는 학습 완료된 상기 인공신경망을 통해 학습 영상에 대응되는 정밀영역 레이블을 획득하는 경우, 상기 인공신경망의 파라미터 업데이트는 수행하지 않는 것을 특징으로 한다.

상기 정밀영역 레이블 획득부는 (M+L) 개의 정밀 영역레이블들 중 M 개의 각 학습데이터에 대해서 얻은 M 개의 정밀 영역 레이블에 대해서는 각 학습데이터에 대응하는 기준레이블과의 AND 연산을 추가적으로 수행함으로써, 각 정밀 영역 레이블 영역 중 기준 레이블의 영역에 해당되는 영역에 포함되는 부분만을 최종 정밀영역 레이블로 취하는 기능을 더 포함하는 것을 특징으로 한다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 인공신경망 학습을 위한 M(M은 2 이상의 자연수)개의 학습 영상과 인공신경망 검증을 위한 L(L은 2 이상의 자연수)개의 검증 영상을 획득하는 영상 획득 단계; M개의 학습 영상 각각에 대해, 각 학습 영상에 대응되는 n개의 보완 레이블들과 1개의 기준 레이블을 생성한 후, 각 학습 영상을 입력영상으로 하고 이에 대응하는 1개의 기준 레이블과 n개의 보조레이블들을 학습 타겟 영상으로 하는 학습 데이터 셋트를 생성하는 동작을 반복 수행하여 M개의 학습 데이터 셋트를 구성하는 학습 데이터 생성 단계; L개의 검증 영상 각각에 대해, 각 검증 영상에 대응되는 정밀 수작업 레이블을 작성한 후, 각 검증 영상을 입력영상으로 하고 이에 대응하는 정밀 수작업 레이블을 검증 타겟 영상으로 하는 검증 데이터 셋트를 생성하는 동작을 반복 수행하여 L개의 검증 데이터 셋트를 구성하는 검증 데이터 생성 단계; M개의 학습 데이터 셋트를 이용하여 인공신경망을 SO-MT(Single output-Multi Targets) 학습시키는 동작을 반복 수행하고, L개의 검증 데이터 셋트에 대해서도 상기 인공신경망을 SO-ST(Single Output-Single Target) 학습시키는 동작을 반복 수행하는 인공신경망 학습 단계; 상기 인공신경망의 학습 반복 구간마다 L개의 검증 데이터 셋트의 각 검증 영상에 대한 출력 예측값과 정밀 수작업 레이블과의 차이값을 산출 및 분석하여 상기 인공신경망의 예측 성능을 검증하고 학습 종료 여부를 결정하는 인공신경망 학습종료 판단 단계; 및 학습 완료된 상기 인공신경망에 M개의 학습 영상을 순차적으로 입력하여 M개의 정밀영역 레이블을 획득하고, 이와 동시에 L개의 검증 영상 각각에 대응되는 L개의 정밀 수작업 레이블을 L개의 정밀영역 레이블로 획득하는 정밀영역 레이블 획득 단계를 포함하는 인공신경망 학습을 위한 반자동 정밀영역 레이블 획득 방법을 제공한다.

본 발명은 하나의 학습 영상으로부터 n개의 보완 레이블과 1개의 기준 레이블을 생성한 후, 이들을 타겟으로 SO-MT(Single output-Multi Targets) 방식으로 인공신경망을 반복 학습시킴으로써, 인공신경망이 n개의 보완 레이블과 1개의 기준 레이블을 합성하여 정밀영역 레이블 영상을 예측하는 효과를 가질 수 있도록 한다.

또한 학습 영상에 대응되는 정밀 레이블 영상을 검증 데이터로 획득 및 이용하여 인공신경망의 예측 성능을 검증한 후, 이에 기반하여 학습 종료 여부를 결정할 수 있도록 함으로써, 인공신경망의 학습 횟수 과잉 또는 과부족 현상의 발생을 사전 차단할 수 있도록 한다.

도 1은 본 발명에 일 실시예에 따른 인공신경망 학습을 위한 레이블 획득 장치를 설명하기 위한 도면이다.

도 2 내지 도 5는 본 발명의 일 실시예에 따른 레이블링 방법들을 설명하기 위한 도면이다.

도 6은 본 발명의 일 실시예에 따른 인공신경망 학습 및 검증을 위한 데이터 구조를 설명하기 위한 도면이다.

도 7은 본 발명의 일 실시예에 따른 최적의 학습 종료 시점을 설명하기 위한 도면이다.

도 8 및 도 9는 본 발명에 일 실시예에 따른 인공신경망 학습 및 이용 방법을 설명하기 위한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

도 1을 참조하면, 본 발명에 따른 장치(100)는 영상 입력부(110), 학습 데이터 생성부(121), 검증 데이터 생성부(122), 인공신경망(130), 인공신경망 학습부(140), 인공신경망 학습종료 판단부(150), 정밀영역 레이블 획득부(160) 등을 포함한다.

영상 입력부(110)는 인공신경망 학습을 위한 M(M은 2 이상의 자연수)개의 학습 영상과 인공신경망 검증을 위한 L(L은 2 이상의 자연수)개의 검증 영상을 획득한다.

보다 상세하게는 (M+L)개의 영상을 일시 획득한 후, M개의 영상을 랜덤 선택하여 M개의 학습 영상으로 설정하고, 나머지 L개의 영상은 L개의 검증 영상으로 설정하도록 한다.

학습 데이터 생성부(121)는 M개의 학습 영상 각각에 대해, 각 학습 영상에 대응되는 n개의 보완 레이블들과 1개의 기준 레이블을 생성한 후, 각 학습 영상을 입력영상으로 하고 이에 대응하는 1개의 기준 레이블과 n개의 보조레이블들을 학습 타겟 영상으로 하는 학습 데이터 셋트를 생성하는 동작을 반복 수행하여 M개의 학습 데이터 셋트를 구성한다.

검증 데이터 생성부(122)는 L개의 검증 영상 각각에 대해, 각 검증 영상에 대응되는 정밀 수작업 레이블을 작성한 후, 각 검증 영상을 입력영상으로 하고 이에 대응하는 정밀 수작업 레이블을 학습 타겟 영상으로 하는 검증 데이터 셋트를 생성하는 동작을 반복 수행하여 L개의 검증 데이터 셋트를 구성한다.

이때, 정밀도가 매우 높은 수작업 레이블 지정 방법은 사용자가 객체 영역 경계 라인을 정밀 드로잉하는 방법 등으로 구현될 수 있으나, 이에 한정될 필요는 없다.

인공신경망(130)은 U-net 계열의 신경망으로 구현되며, 이는 보완 레이블 영상, 기준 레이블 영상, 정밀 수작업 레이블 모두를 타겟으로 이용하여 컴퓨터에 의한 자동 레이블링 방법들, 비 정밀 레이블링 방법들, 정밀 수작업 레이블링 방법의 예측 특성을 반복적으로 누적 학습하여, 학습 완료시에는 이들의 예측 특성이 모두 반영하여 정밀영역 레이블을 예측하는 효과를 가질 수 있게 된다.

인공신경망 학습부(140)는 M개의 학습데이터 셋트에 대해서는, 하나의 학습데이터 셋트를 순차적으로 선택하여 1 개의 입력영상과 이에 대응하는 학습 타겟 영상으로 n+1개의 기준레이블 및 보조레이블을 사용하여 학습시키는 SO-MT(Single output-Multi Targets) 학습을 반복 수행한다. 이때, SO-MT 학습은 단일 영상이 출력되는 인공신경망에 다수의 레이블 영상이 타겟으로 인가되어 학습되게 하는 것이다.

또한 L개의 검증 데이터 셋트에 대해서는, 하나의 검증 데이터 셋트를 순차적으로 선택하여 1 개의 입력영상과 이에 대응하는 학습 타겟 영상으로 1 개의 정밀수작업 레이블을 사용하여 학습시키는 SO-ST(Single Output-Single Target) 학습을 반복 수행한다. 이때, SO-ST 학습은 단일 영상이 출력되는 인공신경망에 하나의 레이블 영상이 타겟으로 인가되어 학습되게 하는 것인 것을 특징으로 하는

인공신경망 학습종료 판단부(150)는 인공신경망(130)의 학습 반복 구간마다 L개의 검증 데이터 셋트의 각 검증 영상에 대한 출력 예측값과 정밀 수작업 레이블과의 차이값을 산출 및 분석하여 상기 인공신경망의 예측 성능을 검증하고 학습 종료 여부를 결정한다.

보다 상세하게는, L 개의 검증 데이터에 대한 인공신경망의 출력과 수작업에 의해 작성된 정밀 수작업 레이블에 대한 평균 IOU(Intersection over Union)로 산출한다. 그리고 평균 IOU이 기 설정치 이하이면 학습을 종료하고, 기 설정치 보다 크면, 인공신경망 학습부(140)을 통해 인공신경망 학습이 또 다시 반복 수행되도록 한다.

정밀영역 레이블 획득부(160)는 학습 완료된 인공신경망에 M개의 학습 영상을 순차적으로 입력하여 M개의 정밀영역 레이블을 획득하고, 이와 동시에 L개의 검증 영상 각각에 대응되는 L개의 정밀 수작업 레이블을 L개의 정밀영역 레이블로 획득하도록 한다.

즉, M개의 학습 영상과 L개의 검증 영상 각각에 대응되는 (M+L)개의 정밀영역 레이블을 획득 및 제공하도록 한다. 다만, 이때에는 인공신경망의 파라미터 업데이트는 수행하지 않는 것을 특징으로 하는 인공 신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치.

본 발명의 보완 레이블은 임계치 기반 레이블링 방법, 에지 기반 레이블링 방법 등과 같은 영상 처리 기반의 자동 레이블링 방법이나 물체 영역인식 목적으로 기 학습된 인공 신경망 예측기반 방법에 따라 생성될 수 있다.

임계치 기반 레이블링 방법은 도 2와 같이 영상내 물체와 배경의 색상 분포도를 산출 및 분석하여 물체와 배경 구분을 위한 임계치를 획득하고, 이를 기반으로 객체 영역으로 자동으로 레이블하도록 하는 방법이다.

에지 기반 레이블링 방법은 도 3과 같이 영상을 이진화처리한 후 에지 검출하고, 에지 검출 결과를 기반으로 객체 영역으로 자동으로 레이블하도록 하는 방법이다.

인공 신경망 예측 기반 방법은 물체 영역 인식을 목적으로 기 개발된 인공신경망에 M개의 학습 영상을 순차적으로 인가한 후, 그 결과로 얻은 영상을 보조레이블들 중의 하나로 사용하도록 것이다.

물론, 상기의 보완 레이블 생성 방법 이외에 객체 영역의 자동 지정이 가능한 모든 방법이 이용될 수 있음은 당연할 것이다. 다만, 본 발명에서는 사용이 쉬운 그 일부를 사용하였다.

그리고 1개의 학습 영상에 대응되는 1개의 기준 레이블은 사용자가 컴퓨터 소프트웨어 툴을 활용하여 수작업 방식으로 비정밀 영역을 설정하도록 하는 비 정밀 레이블링 방법에 따라 생성될 수 있다.

비 정밀 레이블링 방법은 도 4의 (a)와 같이 작업자가 경계박스(bounding box) 형태로 객체 영역을 지정하는 경계박스 레이블링 방법, 도 4의 (b)와 같이 작업자가 다각형 형태로 객체 영역을 지정하는 다각형 레이블링 방법, 작업자가 원형 형태로 객체 영역을 지정하는 원형 레이블링 방법, 작업자가 타원형 형태로 객체 영역을 지정하는 타원형 레이블링 방법 등 중 어느 하나일 수 있으나, 이에 한정될 필요는 없다.

반면, 검증 데이터 생성용 수작업 레이블링 방법은 작업자가 영상내 객체 영역을 정밀하게 지정하는 것으로, 도 5에서와 같이 영상 처리 프로그램의 영역 설정 도구 등을 통해 작업자가 객체 영역의 경계 라인을 직접 정밀 트래킹하는 방법 등으로 구현될 수 있으나, 이에 한정될 필요는 없다.

도 6에 도시된 바와 같이, 본 발명에서는 M개의 학습 데이터 셋트 이외에 L개의 검증 데이터를 더 구비하고, L개의 검증 데이터를 통해 최적의 학습 종료 시점을 결정할 수 있도록 한다.

도 7에 도시된 바와 같이 학습 횟수가 과잉하거나 과부족한 경우, 인공 신경망이 특정 레이블 셋트에 편중하여 학습되는 문제가 발생함으로써, 본 발명에서는 L개의 검증 데이터를 통해 인공 신경망이 최상의 예측 성능을 가지는 시점을 파악하고, 해당 시점에서 학습이 종료될 수 있도록 한다.

다만, 본 발명의 검증 데이터는 검증용으로 사용하기 위해서 수작업으로 작성한 정밀한 레이블링으로, 검증용으로만 사용하고 버리기에는 아까운 영상이기 때문에 학습에도 참여시키고 있습니다.

즉, 본 발명에서는 L 개의 검증 데이터를 추가 구비하고, 이를 최적의 학습 종료 시점을 결정하기 위한 목적 뿐 아니라 학습에도 이용되도록 하는 이중 목적의 데이터로 활용하도록 하는 특징을 가진다.

먼저, 인공신경망 학습을 위해 M개의 학습 데이터 셋트와 L개의 검증 데이터 셋트를 생성 및 저장한다(S1).

그리고 인공신경망 학습이 요청되면, 인공신경망 학습부(140)는 M개의 학습 데이터 셋트 중 어느 하나를 먼저 선택한다(S2).

그리고 현재 선택된 학습 데이터 셋트에 기반하여, 1 개의 입력영상과 이에 대응하는 학습 타겟 영상으로 n+1개의 기준레이블 및 보조레이블을 사용하여 학습시키는 SO-MT 학습을 반복 수행하도록 한다(S3).

예를 들어, 학습 데이터 셋트에 1개의 입력 영상과 3개의 보완 레이블과 1개의 기준 레이블이 포함된다면, (입력 영상 + 보완 레이블 1), (입력 영상 + 보완 레이블 2), (입력 영상 + 보완 레이블 3), (입력 영상 + 기준 레이블)을 순차적으로 이용하여 인공신경망(130)의 출력 영상과 학습 타겟 영상간 영상 차이에 따라 인공신경망(130)의 파라미터를 조정하는 동작을 4번째 걸쳐 반복 수행한다.

그리고 인공신경망 학습종료 판단부(150)는 인공신경망 학습부(140)가 현재 선택된 학습 데이터 셋트를 이용한 SO-MT 학습을 완료할 때마다, L개의 검증 데이터를 순차적으로 선택하면서, 1 개의 입력영상과 이에 대응하는 학습 타겟 영상으로 정밀 수작업 레이블을 사용하여 학습시키는 SO-ST(Single Output-Single Target) 학습을 반복 수행한다(S4).

참고로, 일반적인 학습의 경우에 있어서의 학습종료 여부 판단을 위한 검증에서는 학습된 신경망이 학습되지 않은 일반 데이터에 대한 적용여부가 중요하므로, 검증데이터에 대해서는 파라미터 변경에 의한 신경망 학습을 하지 않으나, 본 발명에 있어서는 일반화보다는 검증데이터 자체 데이터에 대한 충실한 영역레이블 생성이 중요한 관심사이고, 또한 검증용 데이터의 타겟(Target)은 수작업에 대한 정밀한 레이블로서 학습에 귀중한 자료이므로 학습종료 여부 판단용에 그치지 않고, 학습(파라미터 변경)에까지 활용하는 것을 특징으로 한다. 그리고 검증 데이터에 대한 인공신경망의 출력 영상들과 정밀 수작업 레이블 영상에 기반하여 평균 IOU(Intersection over Union)를 계산한다(S5).

만약, 평균 IOU가 기 설정치 이상이면(S7), 인공신경망(130)이 정밀 레이블 영상에 일치되는 영상을 예측하였다고 간주하여 학습을 종료하고, 그렇지 않으면 새로운 데이터 셋트를 선택 및 이용하여 상기의 SO-MT 및 SO-ST 학습을 반복 수행하도록 한다(S6).

단계 S6을 통해 인공신경망 학습 완료가 확인되면, 정밀영역 레이블 획득부(160)는 학습 완료된 인공신경망에 M개의 학습 영상을 순차적으로 입력하여 M개의 정밀영역 레이블을 획득하고, 이와 동시에 L개의 검증 영상 각각에 대응되는 L개의 정밀 수작업 레이블을 L개의 정밀영역 레이블로 획득 및 저장한다. 즉, 학습 완료된 인공신경망을 이용하여 인공신경망 학습을 위한 레이블을 획득하여 내부 메모리에 저장하거나, 또는 외부 장치에 제공하도록 한다(S8).

더하여 본 발명의 정밀영역 레이블 획득부(160)는 (M+L) 개의 정밀 영역레이블들 중 M 개의 각 학습데이터에 대해서 얻은 M 개의 정밀 영역 레이블에 대해서는 각 학습데이터에 대응하는 기준레이블과의 AND 연산을 추가적으로 수행함으로써, 각 정밀 영역 레이블 영역 중 기준 레이블의 영역에 해당되는 영역에 포함되는 부분만을 최종 정밀영역 레이블로 취할 수도 있도록 한다.

참고로, 1개의 기준 레이블과 n 개의 보조레이블들을 인공신경망에 학습시켜보면, 인공신경망의 일반화 특성이나 보조레이블들의 부정확성 등으로 인하여, 기준 레이블 밖에도 출력이 나오는 경우가 발생할 수 있다.

그러나 기준 레이블은 사람이 수작업에 의해 작성한 레이블로서, 그 밖에는 절대로 출력이 나와서는 안 되는 범위를 규정하는 특징이 있다.

이에 본 발명에서는 M 개의 정밀 영역 레이블 각각을 기준 레이블과 AND 연산시킴으로써, M 개의 정밀 영역 레이블 중에서 기준 레이블 범위 이내에 속하는 정밀 영역 레이블들만이 최종 정밀영역 레이블로 선별 이용될 수 있도록 한다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims

인공신경망 학습을 위한 M(M은 2 이상의 자연수)개의 학습 영상과 인공신경망 검증을 위한 L(L은 2 이상의 자연수)개의 검증 영상을 획득하는 영상 획득부;

M개의 학습 영상 각각에 대해, 각 학습 영상에 대응되는 n개의 보완 레이블들과 1개의 기준 레이블을 생성한 후, 각 학습 영상을 입력영상으로 하고 이에 대응하는 1개의 기준 레이블과 n개의 보조레이블들을 학습 타겟 영상으로 하는 학습 데이터 셋트를 생성하는 동작을 반복 수행하여 M개의 학습 데이터 셋트를 구성하는 학습 데이터 생성부;

L개의 검증 영상 각각에 대해, 각 검증 영상에 대응되는 정밀 수작업 레이블을 작성한 후, 각 검증 영상을 입력영상으로 하고 이에 대응하는 정밀 수작업 레이블을 검증 타겟 영상으로 하는 검증 데이터 셋트를 생성하는 동작을 반복 수행하여 L개의 검증 데이터 셋트를 구성하는 검증 데이터 생성부;

M개의 학습 데이터 셋트를 이용하여 인공신경망을 SO-MT(Single output-Multi Targets) 학습시키는 동작을 반복 수행하고, L개의 검증 데이터 셋트에 대해서도 상기 인공신경망을 SO-ST(Single Output-Single Target) 학습시키는 동작을 반복 수행하는 인공신경망 학습부;

상기 인공신경망의 학습 반복 구간마다 L개의 검증 데이터 셋트의 각 검증 영상에 대한 출력 예측값과 정밀 수작업 레이블과의 차이값을 산출 및 분석하여 상기 인공신경망의 예측 성능을 검증하고 학습 종료 여부를 결정하는 인공신경망 학습종료 판단부; 및

학습 완료된 상기 인공신경망에 M개의 학습 영상을 순차적으로 입력하여 M개의 정밀영역 레이블을 획득하고, 이와 동시에 L개의 검증 영상 각각에 대응되는 L개의 정밀 수작업 레이블을 L개의 정밀영역 레이블로 획득하는 정밀영역 레이블 획득부를 포함하는 인공신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치.
제1항에 있어서, 상기 영상 획득부는

(M+L)개의 영상을 일시 획득한 후, M개의 영상을 랜덤 선택하여 M개의 학습 영상으로 설정하고, 나머지 L개의 영상은 L개의 검증 영상으로 설정하는 것을 특징으로 하는 인공신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치.
제1항에 있어서, 상기 학습 데이터 생성부는

보조레이블 각각을 영상 처리 기반의 자동 레이블링 방법이나 물체 영역인식 목적으로 기 학습된 인공 신경망 예측기반 방법에 따라 생성할 수 있으며,

상기 영상 처리 기반의 자동 레이블링 방법은 임계치 기반 레이블링 방법, 및 에지 기반 레이블링 방법인 것을 특징으로 하는 인공신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치.
제3항에 있어서, 상기 인공 신경망 예측 기반 방법은

물체 영역인식을 목적으로 기 개발된 인공신경망에 M개의 학습 영상을 순차적으로 인가하여 획득한 출력 영상을 레이블링 영상으로 사용하는 것을 특징으로 하는 인공신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치.
제1항에 있어서, 상기 학습 데이터 생성부는

기준레이블을 사용자가 컴퓨터 소프트웨어 툴을 활용하여 수작업 방식으로 비정밀 영역을 설정하도록 하는 비 정밀 레이블링 방법에 따라 생성할 수 있으며,

상기 비 정밀 레이블링 방법은

경계박스 레이블링 방법, 다각형 레이블링 방법, 원형 레이블링 방법, 타원형 레이블링 방법 중 어느 하나 인 것을 특징으로 하는 인공신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치.
제1항에 있어서, 상기 인공신경망 학습부는

M개의 학습데이터 셋트에 대해서는, 하나의 학습데이터 셋트를 순차적으로 선택하여 1 개의 입력영상과 이에 대응하는 학습 타겟 영상으로 n+1개의 기준레이블 및 보조레이블을 사용하여 학습시키는 SO-MT 학습을 반복 수행하고,

L개의 검증 데이터 셋트에 대해서는, 하나의 검증 데이터 셋트를 순차적으로 선택하여 1 개의 입력영상과 이에 대응하는 학습 타겟 영상으로 1 개의 정밀수작업 레이블을 사용하여 학습시키는 SO-ST 학습을 반복 수행하는 것을 특징으로 하는 인공 신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치.
제1항에 있어서, 상기 인공신경망 학습종료 판단부는

상기 L 개의 검증 데이터에 대한 인공신경망의 출력과 수작업 방식으로 작성된 정밀 수작업 레이블에 기반하여 평균 IOU(Intersection over Union)를 산출하고, IOU 산출치가 기 설정치 이하이면 학습을 종료하되, 그렇지 않으면 상기 인공신경망 학습부가 새로운 영상에 기반한 SO-MT 및 SO-ST 학습을 추가 수행하도록 하는 것을 특징으로 하는 인공 신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치.
제6항 또는 제7항에 있어서,

상기 SO-MT 학습은 단일 영상이 출력되는 인공신경망에 다수의 레이블 영상이 타겟으로 인가되어 학습되게 하고,

상기 SO-ST 학습은 단일 영상이 출력되는 인공신경망에 하나의 레이블 영상이 타겟으로 인가되어 학습되게 하는 것인 것을 특징으로 하는 인공 신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치.
제1항에 있어서, 상기 정밀영역 레이블 획득부는

학습 완료된 상기 인공신경망을 통해 학습 영상에 대응되는 정밀영역 레이블을 획득하는 경우, 상기 인공신경망의 파라미터 업데이트는 수행하지 않는 것을 특징으로 하는 인공 신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치.
제1항에 있어서, 상기 정밀영역 레이블 획득부는

(M+L) 개의 정밀 영역레이블들 중 M 개의 각 학습데이터에 대해서 얻은 M 개의 정밀 영역 레이블에 대해서는 각 학습데이터에 대응하는 기준레이블과의 AND 연산을 추가적으로 수행함으로써, 각 정밀 영역 레이블 영역 중 기준 레이블의 영역에 해당되는 영역에 포함되는 부분만을 최종 정밀영역 레이블로 취하는 기능을 더 포함하는 것을 특징으로 하는 인공 신경망 학습을 위한 반자동 정밀영역 레이블 획득 장치.
반자동 정밀영역 레이블 획득 장치의 인공신경망 학습을 위한 반자동 정밀영역 레이블 획득 방법에 있어서,

인공신경망 학습을 위한 M(M은 2 이상의 자연수)개의 학습 영상과 인공신경망 검증을 위한 L(L은 2 이상의 자연수)개의 검증 영상을 획득하는 영상 획득 단계;

M개의 학습 영상 각각에 대해, 각 학습 영상에 대응되는 n개의 보완 레이블들과 1개의 기준 레이블을 생성한 후, 각 학습 영상을 입력영상으로 하고 이에 대응하는 1개의 기준 레이블과 n개의 보조레이블들을 학습 타겟 영상으로 하는 학습 데이터 셋트를 생성하는 동작을 반복 수행하여 M개의 학습 데이터 셋트를 구성하는 학습 데이터 생성 단계;

L개의 검증 영상 각각에 대해, 각 검증 영상에 대응되는 정밀 수작업 레이블을 작성한 후, 각 검증 영상을 입력영상으로 하고 이에 대응하는 정밀 수작업 레이블을 검증 타겟 영상으로 하는 검증 데이터 셋트를 생성하는 동작을 반복 수행하여 L개의 검증 데이터 셋트를 구성하는 검증 데이터 생성 단계;

M개의 학습 데이터 셋트를 이용하여 인공신경망을 SO-MT(Single output-Multi Targets) 학습시키는 동작을 반복 수행하고, L개의 검증 데이터 셋트에 대해서도 상기 인공신경망을 SO-ST(Single Output-Single Target) 학습시키는 동작을 반복 수행하는 인공신경망 학습 단계;

상기 인공신경망의 학습 반복 구간마다 L개의 검증 데이터 셋트의 각 검증 영상에 대한 출력 예측값과 정밀 수작업 레이블과의 차이값을 산출 및 분석하여 상기 인공신경망의 예측 성능을 검증하고 학습 종료 여부를 결정하는 인공신경망 학습종료 판단 단계; 및

학습 완료된 상기 인공신경망에 M개의 학습 영상을 순차적으로 입력하여 M개의 정밀영역 레이블을 획득하고, 이와 동시에 L개의 검증 영상 각각에 대응되는 L개의 정밀 수작업 레이블을 L개의 정밀영역 레이블로 획득하는 정밀영역 레이블 획득 단계를 포함하는 인공신경망 학습을 위한 반자동 정밀영역 레이블 획득 방법.