KR20230028031A

KR20230028031A - 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템 및 그 방법

Info

Publication number: KR20230028031A
Application number: KR1020210110474A
Authority: KR
Inventors: 이재영
Original assignee: 현대모비스 주식회사
Priority date: 2021-08-20
Filing date: 2021-08-20
Publication date: 2023-02-28

Abstract

본 발명은 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템은 영상을 입력하는 영상 입력부와, 특이 데이터 여부를 판단하기 위한 이상 검출 네트워크 추론부와, 상기 입력된 영상에 대한 추론 영상을 생성하기 위한 의미 분할 네트워크 추론부 및 정답 데이터를 입력 받아, 제1 연결 객체 영역 데이터를 추출하기 위한 제1 연결 객체 영역 데이터 추출부를 포함하고, 상기 의미 분할 네트워크 추론부는 상기 제1 연결 객체 영역 데이터 추출부로부터 추출된 상기 제1 연결 객체 영역 데이터를 전달 받은 후, 상기 추론 영상에서 제2 연결 객체 영역 데이터를 추출한다.

Description

의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템 및 그 방법{SYSTEM AND METHOD FOR SEMANTIC SEGMENTATION LEARNING DATA LABEL ERROR DETECTION AND CORRECTION}

본 발명은 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템 및 그 방법에 관한 것이다.

의미 분할 네트워크는 영상의 각 화소를 분류하는 방법으로 다양한 데이터를 사용하여 특징을 학습할수록 인식 성능이 좋다.

대표적인 딥러닝 알고리즘 학습 방법으로 지도 학습이 있으며, 이 방법은 영상과 함께 영상의 각 화소가 분류된 정답을 사용하여 높은 인식 성능을 제공한다.

따라서 네트워크 학습을 위하여 사람이 영상의 각 화소를 분류하고 정답을 생성하는 과정이 필요하다.

종래 기술에 따른 딥러닝 네트워크를 학습시키기 위한 데이터 생성 파이프 라인은 수동으로 구성되어 있다.

따라서 작업자의 실수로 정답 생성시에 분류 라벨을 잘못 생성할 수 있으며, 객체가 있음에도 라벨을 미 생성하는 문제점이 있다.

의미 분할 정답지는 한 영상에서 다수의 다양한 객체가 존재하기 때문에 작업자가 검사할 때 놓치는 경우가 많으며, 이렇게 잘못 생성된 라벨이나 라벨이 없는 객체는 딥러닝 네트워크를 학습할 때 잘못된 특징을 추출하게 한다.

따라서 잘못된 정답지만 제거해도 인식 성능을 향상시키는 것이 가능한데, 잘못된 정답지를 찾기 위해서는 사용하는 데이터를 전수 재검사 해야 하므로 비용소모가 큰 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 분류 및 모양 정보가 필요한 의미 분할 학습을 위한 정답지는 라벨 분류의 오류가 있을 수 있음을 고려하여, 이러한 라벨 오류 검출을 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템 및 방법에 관한 것이다.

본 발명에 따른 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템은 영상을 입력하는 영상 입력부와, 특이 데이터 여부를 판단하기 위한 이상 검출 네트워크 추론부와, 상기 입력된 영상에 대한 추론 영상을 생성하기 위한 의미 분할 네트워크 추론부 및 정답 데이터를 입력 받아, 제1 연결 객체 영역 데이터를 추출하기 위한 제1 연결 객체 영역 데이터 추출부를 포함하고, 상기 의미 분할 네트워크 추론부는 상기 제1 연결 객체 영역 데이터 추출부로부터 추출된 상기 제1 연결 객체 영역 데이터를 전달 받은 후, 상기 추론 영상에서 제2 연결 객체 영역 데이터를 추출한다.

상기 이상 검출 네트워크 추론부는 오토 인코더 구조를 사용하여 입력을 복원한다.

상기 제1 연결 객체 영역 데이터 추출부는 상기 제1 연결 객체 영역 데이터 한 화소마다 상기 화소 주변 8방향으로 동일한 분류 값이 있는지 여부를 판단하여 상기 제1 연결 객체 영역 데이터를 추출한다.

상기 의미 분할 네트워크 추론부는 상기 제2 연결 객체 영역 데이터에서 해당 분류로 나타난 화소 수가 기 설정된 임계값 보다 작은 경우, 라벨 입력에 이상이 있는 것으로 판단한다.

상기 의미 분할 네트워크 추론부는 상기 제2 연결 객체 영역 데이터에서 해당 분류로 나타난 화소 수가 기 설정된 임계값 보다 큰 경우, 라벨 입력에 대한 상기 정답 데이터가 정상적으로 입력된 것으로 판단한다.

상기 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템은 특이 데이터 판단부를 더 포함하며, 상기 특이 데이터 판단부는 상기 의미 분할 네트워크부로부터 상기 라벨 입력에 이상이 있는 것으로 판단될 경우, 이상이 있다고 판단된 상기 라벨 입력과 상기 이상 검출 네트워크 추론부로부터 추론된 이상 검출 데이터를 취합하여 상기 라벨 오류의 특이 데이터 여부를 판단한다.

상기 특이 데이터 판단부는 이상이 있다고 판단된 상기 라벨 입력이 특이 데이터라고 판단된 경우, 상기 의미 분할 네트워크 추론부로부터 추론된 상기 제2 연결 객체 영역 데이터를 데이터 베이스(Database, DB) 내의 상기 특이 데이터 분류의 최다 화소를 갖는 라벨로 변경하고, 이상이 있다고 판단된 상기 라벨 입력이 특이 데이터라고 판단하지 않을 경우, 작업자 단말기에 검증 요청 정보를 전달한다.

본 발명에 따른 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법은 영상 입력부에서 수행되며, 영상을 입력하는 영상 입력단계, 이상 검출 네트워크 추론부에서 수행되며, 특이 데이터 여부를 판단하기 위한 이상 검출 네트워크 추론단계, 의미 분할 네트워크 추론부에서 수행되며, 상기 입력된 영상에 대한 추론 영상을 생성하기 위한 의미 분할 네트워크 추론단계 및 제1 연결 객체 영역 데이터 추출부에서 수행되며, 정답 데이터를 입력 받아, 제1 연결 객체 영역 데이터를 추출하기 위한 제1 연결 객체 영역 데이터 추출단계를 포함하고, 상기 의미 분할 네트워크 추론단계는 상기 제1 연결 객체 영역 데이터 추출부로부터 추출된 상기 제1 연결 객체 영역 데이터를 전달 받은 후, 상기 추론 영상에서 제2 연결 객체 영역 데이터를 추출하는 단계를 포함한다.

상기 이상 검출 네트워크 추론단계는 오토 인코더 구조를 사용하여 입력을 복원하는 단계를 포함한다.

상기 제1 연결 객체 영역 데이터 추출단계는 상기 제1 연결 객체 영역 데이터 한 화소마다 상기 화소 주변 8 방향으로 동일한 분류 값이 있는지 여부를 판단하여 상기 제1 연결 객체 영역 데이터를 추출하는 단계를 포함한다.

상기 의미 분할 네트워크 추론단계는 상기 제2 연결 객체 영역 데이터에서 해당 분류로 나타난 화소 수가 기 설정된 임계값 보다 작은 경우, 라벨 입력에 이상이 있는 것으로 판단하는 단계를 포함한다.

상기 의미 분할 네트워크 추론단계는 상기 제2 연결 객체 영역 데이터에서 해당 분류로 나타난 화소 수가 기 설정된 임계값 보다 큰 경우, 라벨 입력에 대한 상기 정답 데이터가 정상적으로 입력 된 것으로 판단하는 단계를 포함한다.

상기 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법은 특이 데이터 판단부에서, 시상이 있다고 판단된 상기 라벨 입력의 특이 데이터 여부를 판단하는 특이 데이터 판단단계를 더 포함하며, 상기 특이 데이터 판단단계는 상기 의미 분할 네트워크부로부터 상기 라벨 입력에 이상이 있는 것으로 판단될 경우, 이상이 있다고 판단된 상기 라벨 입력과 상기 이상 검출 네트워크 추론부로부터 추론된 이상 검출 데이터를 취합하여 상기 라벨 오류의 특이 데이터 여부를 판단한다.

상기 특이 데이터 판단단계는 이상이 있다고 판단된 상기 라벨 입력이 특이 데이터라고 판단된 경우, 상기 의미 분할 네트워크 추론부로부터 추론된 상기 제2 연결 객체 영역 데이터를 데이터 베이스(Database, DB) 내의 상기 특이 데이터 분류의 최다 화소를 갖는 라벨로 변경하는 단계 및 이상이 있다고 판단된 상기 라벨 입력이 특이 데이터라고 판단하지 않을 경우, 작업자 단말기에 검증 요청 정보를 전달하는 단계를 포함한다.

본 발명에 따른 의미 분할 학습 데이터 라벨 입력 이상 검출 시스템은 의미 분할 학습을 위한 학습 데이터 베이스부, 상기 학습 데이터 베이스부 및 입력 받은 영상의 정답을 검사하는 의미 분할 정답 검사부 및 상기 의미 분할 정답 검사부로부터 검사된 상기 영상의 라벨 입력의 이상을 검출하며, 자동 수정을 하는 이상 라벨 검출 및 자동 수정부를 포함하며, 상기 이상 라벨 검출 및 자동 수정부는 영상을 입력하는 영상 입력부, 특이 데이터 여부를 판단하기 위한 이상 검출 네트워크 추론부, 상기 입력된 영상에 대한 추론 영상을 생성하기 위한 의미 분할 네트워크 추론부 및 정답 데이터를 입력 받아, 제1 연결 객체 영역 데이터를 추출하기 위한 제1 연결 객체 영역 데이터 추출부를 포함하고, 상기 의미 분할 네트워크 추론부는 상기 제1 연결 객체 영역 데이터 추출부로부터 추출된 상기 제1 연결 객체 영역 데이터를 전달 받은 후, 상기 추론 영상에서 제2 연결 객체 영역 데이터를 추출한다.

본 발명에 따르면, 의미 분할 정답지 생성에서 발생하는 객체 라벨 오입력, 잘못된 윤곽선 그리고 라벨 미입력 경우에 대하여 자동으로 검출 및 수정 방법을 제안하여, 2차 검수 과정을 없앨 수 있으므로 딥러닝 데이터 생성 비용을 줄일 수 있으며, 데이터의 오류를 제거하여 높은 정확도의 정답을 제공하므로 의미 분할 네트워크의 인식 성능을 향상시키는 것이 가능한 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 의미 분할 네트워크를 설명하기 위한 의미 분할 네트워크 데이터 생성 파이프 라인(100(a)) 및 종래의 의미 분할 네트워크 학습 데이터 예제(100(b)를 나타낸 참고도이다.
도 2는 본 발명의 일 실시예에 따른 의미 분할 학습 데이터 오류 검출 및 수정 시스템(200) 및 의미 분할 네트워크 순환 학습 기반 정답 검토 방법(220-1 내지 220-3)을 설명하기 위한 참고도이다.
도 3은 본 발명의 일 실시예에 따른 라벨 오류 검출 시스템 및 방법(300)을 설명하기 위한 참고도이다.
도 4는 본 발명의 일 실시예에 따른 윤곽선 오류 검출 시스템 및 방법(400)을 설명하기 위한 참고도이다.
도 5는 본 발명의 일 실시예에 따른 미입력 라벨 검출 시스템 및 방법(500)을 설명하기 위한 참고도이다.
도 6은 본 발명의 일 실시예에 따른 라벨 오류 검출 시스템의 라벨 오류에 대한 예시를 보여주기 위한 참고도이다.
도 7은 본 발명의 일 실시예에 따른 윤곽선 오류 및 윤곽선 오류 검출에 대한 예시를 보여주기 위한 참고도이다.
도 8은 본 발명의 일 실시예에 따른 미입력 라벨 및 의미 분할 네트워크 추론 결과 예시를 보여주기 위한 참고도이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

도 1은 의미 분할 네트워크를 설명하기 위한 의미 분할 네트워크 데이터 생성 파이프 라인(100(a)) 및 종래의 의미 분할 네트워크 학습 데이터 예제(100(b)를 나타낸 참고도이다.

대표적인 딥러닝 알고리즘 학습 방법으로는 지도 학습이 있으며, 지도 학습은 영상과 함께 영상의 각 화소가 분류된 정답을 사용하여 높은 인식 성능을 제공한다.

도 1의 100(a)를 살펴보면 네트워크 학습을 위한 정답 생성 과정을 나타낸 것으로, 작업자가 작업자 단말을 통해 영상의 각 화소를 분류하고 정답을 생성하는 과정이며, 영상 수집(Acquisition), 영상 분류(Curation), 정답 생성(Annotation), 검수(Instpecition)의 단계를 걸친다.

도 1의 100(b)를 살펴보면, 도 1의 100(b)는 종래 기술의 의미 분할 네트워크 학습 데이터 예제를 나타낸 것으로 차량 주행 중 영상의 분류를 나타낸 것이나, 대략적인 분류의 색상만을 구분한 것을 확인할 수 있으며, 연속된 라벨의 구분도 제대로 이루어지지 않음을 확인할 수 있다.

도 1의 100(a) 및 100(b)를 보고 알 수 있듯, 딥러닝 네트워크를 학습 시키기 위한 데이터 생성 파이프 라인은 수동으로 구성되어 있으며, 작업자의 실수로 정답 생성시에 분류 라벨을 잘못 생성할 수 있으며, 객체가 있음에도 라벨을 미 생성할 수 있는 문제점을 가지고 있다.

의미 분할 정답지는 한 영상에서 다수의 다양한 객체가 존재하기 때문에 작업자가 검사할 때 놓치는 경우가 많다.

이렇게 잘못 학습할 때 잘못된 특징을 추출하게 되며, 잘못된 정답지만 제거해도 인식 성능을 향상 시킬 수 있다.

하지만, 종래의 기술과 같이 잘못된 정답지를 찾기 위해서는 사용하는 데이터를 전수 재검사를 해야 하므로 시간 및 비용의 소모가 크다.

본 발명은 이러한 문제점을 해결하기 위해 고안된 의미 분할 학습 데이터 오류 검출 및 수정 시스템 및 방법에 관한 것이다.

<의미 분할 학습 데이터 오류 검출 및 수정 시스템 및 방법>

도 2는 본 발명의 일 실시예에 따른 의미 분할 학습 데이터 오류 검출 및 수정 시스템(200) 및 의미 분할 네트워크 순환 학습 기반 정답 검토 방법(220-1 내지 220-3)을 설명하기 위한 참고도이다.

의미 분할 학습 데이터는 한 번에 다수의 영상이 학습 데이터 베이스에 추가되므로 순환 학습 방법을 사용하여 의미 분할 정답 검사기가 추가된 학습 데이터 집합에 대해서도 인식 성능을 유지할 수 있도록 한다.

다수의 학습 데이터가 수집되면, 작업자 단말로부터 받은 데이터의 오류로 인한 인식 성능 저하를 줄일 수 있으므로 의미 분할 정답 검사기의 역할이 높아진다.

따라서, 데이터 수집 초기에는 의미 분할 정답 검사기로 검출 및 수정하며, 임계값을 높여서 검사하여 쉽게 오류를 검출할 수 있는 오류를 검수하고, 데이터 수량이 증가하면 각 검출 방법에 포함된 임계값을 낮춰서 조금 더 정확도 높은 오류 데이터를 자동 검수할 수 있다.

즉, 의미 분할 정답 검사기에서 재작업 요청의 타당성 확률 기반으로 임계값을 조절한다. 본 발명의 의미 분할 학습 데이터 오류 검출 및 수정 시스템은 라벨 오류, 윤곽선 오류 및 미입력 라벨을 검출할 수 있으며, 검사기의 인식 성능이 낮아지는 특이 데이터 여부를 확인하기 위하여 이상 검출 네트워크를 사용하므로 의미 분할 정답 검사기 학습 시 학습 데이터 베이스의 영상을 사용하여 이상 검출 네트워크도 학습시킨다.

여기에서 이상 검출 네트워크는 오토 인코더 구조이며, 출력과 입력이 동일하도록 학습할 수 있다.

검출된 라벨 오류, 윤곽선 오류 및 미입력 라벨은 많이 발생하는 라벨 오류의 경우 수정도 가능하나, 작업자 단말로 재작업을 요청하게 되며, 최정족으로 학습 데이터 베이스에 반영되며, 다음 순환 때 작업자 단말로부터 정답을 입력 받을 동안 병렬로 반영된 학습 데이터 베이스를 사용하여 네트워크를 학습하고, 작업자 단말로부터 입력된 정답을 추가로 자동 검수할 수 있다.

보다 자세하게는, 도 2를 살펴보면, 의미 분할 학습 데이터 오류 검출 및 수정 시스템(200)은 학습 데이터 베이스부(210), 의미 분할 정답 검사부(220), 라벨 오류 검출부(230), 윤곽선 오류 검출부(240), 미입력 라벨 검출부(250)를 포함하여 구성될 수 있다.

학습 데이터 베이스부(210)는 정답 데이터 및 학습 데이터를 포함할 수 있다.

의미 분할 정답 검사부(220)는 학습 데이터 베이스부로부터 정답 데이터 및 학습데이터를 수신 받아 정답 데이터 및 학습 데이터와, 기 저장된 검수 데이터를 비교하여 의미 분할 정답 데이터를 검사할 수 있다.

라벨 오류 검출부(230)는 의미 분할 정답 검사부로부터 검사된 의미 분할 정답 데이터와 입력된 영상을 비교하여 라벨 오류를 검출하며, 검출된 라벨 오류를 자동으로 수정할 수 있다.

라벨 오류 검출부(230)는 입력 받은 영상을 의미 분할 네트워크를 통해 영상을 추론하며, 입력 받은 정답 데이터와 취합하여 분류 별 연결 객체 영역을 추출하고, 추출된 분류 별 연결 객체 영역의 화소수가 기 설정된 분류 임계값과 비교하여 임계값 보다 작을 경우, 이상 검출 네트워크 추론된 영상을 통해 입력된 영상의 특이 데이터를 판단 후, 작업자 단말에 재검증 요청 신호 전송 및 연결 영역 분류 변경 중 어느 하나를 수행할 수 있다.

윤곽선 오류 검출부(240)는 의미 분할 정답 검사부로부터 검사된 의미 분할 정답 데이터와 입력된 영상을 비교하여 윤곽선 오류를 검출할 수 있다.

또한, 윤곽선 오류 검출부(240)는 입력 받은 영상을 의미 분할 네트워크를 통해 영상을 추론하며, 추론 결과에서 윤곽선을 추출하고, 정답 데이터로부터 추출된 윤곽선과 비교하여 윤곽선 오류를 검출할 수 있다.

미입력 라벨 검출부(250)는 의미 분할 정답 검사부로부터 검사된 의미 분할 정답 데이터와 입력된 영상을 비교하여 미입력 라벨을 검출할 수 있다.

또한, 미입력 라벨 검출부(250)는 입력 받은 영상을 의미 분할 네트워크를 통해 영상을 추론하며, 이상 검출 네트워크로부터 산출된 이상 검출 신뢰도와 의미 분할 네트워크로부터 산출된 의미 분할 신뢰도를 비교하여 미입력 라벨을 검출할 수 있다.

본 발명의 의미 분할 학습 데이터 오류 검출 및 수정 시스템은 라벨 오류 검출부(230), 윤곽선 오류 검출부(240) 및 미입력 라벨 검출부(250)를 통해 획득한 결과를 각각 취합하여 저장하는 학습 데이터 베이스부(260)를 포함할 수 있다.

또한, 라벨 오류 검출부(230), 윤곽선 오류 검출부(240) 및 미입력 라벨 검출부(250)를 통해 획득한 결과를 작업자 단말기로 재작업을 요청하는 재작업부(270)를 포함할 수 있다.

여기에서 재작업부(270)는 라벨 오류 검출부(230), 윤곽선 오류 검출부(240) 및 미입력 라벨 검출부(250)를 통해 획득한 결과 중 재작업이 필요한 오류 데이터를 작업자 단말에 재작업을 요청정보를 전달하고, 작업자 단말로부터 수신받은 재작업 결과 데이터를 학습 데이터 베이스부(260)에 전송할 수 있다.

<의미 분할 네트워크 순환 학습 기반 정답 검토 방법>

의미 분할 네트워크를 위한 정답 데이터 생성 과정은 전달 시간을 최소화하기 위하여 한번에 다수의 영상 데이터를 취득하고 수동을 정답을 생성하고, 검수 한 후 기존 데이터 베이스에 추가한다.

따라서 각 차수 별로 입력되는 데이터와 정답을 사용하여 도 2의 220-1 내지 220-3과 같이 의미 분할 네트워크를 학습시키고 정답 검사기를 생성한다.

첫 번째 순환 시 입력되는 기존 데이터가 없으므로, 입력 데이터 집합만 사용하여 의미 분할 네트워크를 학습 시키고, 학습이 완료된 네트워크를 검사기로 사용하여 수동 정답을 검사할 수 있다.

한번에 입력되는 데이터의 수가 많을 경우, 오류가 포함된 데이터의 영향을 줄일 수 있으므로, 가급적 첫 번째 순환에서는 다수의 데이터를 취득하여 정답 생성 및 검수를 진행하는 것이 좋다.

두 번째 이상의 순환 단계에서부터 도 2의 220-2와 같이 이전 단계에서 취득한 데이터를 사용하여 의미 분할 네트워크를 학습시켜 정답 검사기를 생성하고, 생성된 검사기를 사용하여 수동 검수 결과를 다시 한 번 검사함으로써 정답오류를 검출 및 수정할 수 있다.

이와 같이 병렬 구조를 가짐으로써 시간이 많이 소모되는 의미 분할 네트워크 학습 단계와 정답 생성 단계를 동시에 처리할 수 있다. 데이터 베이스가 커질수록 오류 데이터가 검사기에 주는 영향력이 낮아지므로 초기 순환 단계에서 생성된 검사기의 오류 검출 성능이 낮을 수 있다.

따라서, 주기적으로 도 2의 220-3과 같이 전체 데이터 베이스를 사용하고 학습하고 오류를 검출하고 수정하는 데이터 클리닝 과정을 수행할 수 있다.

도 2의 220-2를 살펴보면, 의미 분할 네트워크 순환 학습 기반 정답 검토 시스템은 데이터를 취합하여 저장하는 제1 데이터 베이스 저장부, 과거 데이터를 통해 의미 분할 네트워크 지도 학습을 하는 의미 분할 네트워크 지도학습부(223), 의미 분할 네트워크 지도 학습을 통한 학습 데이터를 이용하여 의미 분할 정답 검사기를 생성하는 의미 분할 정답 검사기 생성부(224), 정답 데이터를 생성하기 위한 제1 데이터를 입력받는 데이터 입력부, 입력 받은 제1 데이터의 정답 데이터를 생성하는 정답 생성부(221), 생성된 정답 데이터를 검수하기 위한 제1 검수부(222), 생성된 의미 분할 정답기에 저장된 학습 데이터와 제1 검수부로부터 제1 검수 데이터를 비교하여, 검수하는 제2 검수부 및 제2 검수부로부터 도출된 제2 검수 데이터를 데이터 베이스부에 추가 저장하는 제2 데이터 베이스 저장부를 포함하여 구성될 수 있다.

의미 분할 네트워크 지도 학습부(223)은 정답 생성부(221)와 병렬적으로 동시에 진행 될 수 있다.

또한, 의미 분할 네트워크 순환 학습 기반 정답 검토 시스템은, 과거 데이터가 없는 첫 번째 순환 학습을 할 때, 제1 데이터를 입력 받아 정답 데이터를 생성하고, 생성된 정답 데이터를 이용하여 제1 검수 단계를 거친 제1 검수 데이터는 의미 분할 네트워크 지도 학습부에 제1 검수 데이터를 전송되며, 의미 분할 정답 검사기에서 수행되는, 학습 데이터와 제1 검수 데이터를 비교한 후, 도출된 데이터를 제1 데이터 베이스부에 저장할 수 있다.

제1 데이터베이스부는 과거 데이터를 취합하여 저장할 수 있으며, 여기에서 과거 데이터는 기 진행된 의미 분할 네트워크 순환 학습 기반 정답이 검토된 데이터를 의미할 수 있다.

< 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템 및 방법 >

먼저, 의미 분할 학습을 위한 정답지는 분류와 모양 정보 입력이 필요하다.

두 정보를 입력할 때 모양 정보 입력에 시간이 많이 소모되므로, 오류 라벨이 입력 될 수 있다.

도 6은 본 발명의 일 실시예에 따른 라벨 오류 검출 시스템의 라벨 오류에 대한 예시를 보여주기 위한 참고도이다.

도 6은 라벨 오류 입력의 예시로 자동차의 분류가 표지판으로 차량은 파랑색으로 분류되어 있지만, 분류가 잘 못되어 노랑색으로 잘못 입력된 경우이다.

본 발명인 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템 및 방법은 라벨 오류를 검출하기 위하여 이상 검출 네트워크 및 의미 분할 네트워크를 사용한다.

첫 번째로 온토 인코더 구조를 사용하여 입력을 복원하는 이상 검출 네트워크를 사용하여 특이 데이터 여부를 판단한다. 의미 분할 네트워크를 사용하여 영상 입력에 대한 추론 영상을 생성한다.

한 화소에서 8방향(상, 하, 좌, 우, 우상, 우하, 좌상, 좌하)으로 동일한 분류 값이 있는지 여부를 판단하여 정답지에서 분류 별 연결 객체 영역을 추출하고, 추론 결과에서 영역을 추출한다.

이 추출된 영역에서 해당 분류로 나타난 화소 수가 분류 임계값 보다 작을 경우, 라벨 오류 입력으로 판단하고, 분류 임계값 보다 클 경우 정상 정답지가 생성되었다고 판단할 수 있다. 라베 오류로 판단되었는데, 특이 데이터일 경우 작업자 단말에 검증 요청을 하며, 데이터 베이스에 유사 데이터가 있는 경우 해당 라벨을 추론 결과의 객체 영역에서 최다 화소를 갖는 라벨로 변경할 수 있다.

도 3은 본 발명의 일 실시예에 따른 라벨 오류 검출 시스템 및 방법(300)을 설명하기 위한 참고도이다.

도 3을 살펴보면, 라벨 오류 검출 시스템은 영상 입력부, 이상 검출 네트워크 추론부, 의미 분할 네트워크 추론부 및 제1 연결 객체 영역 데이터 추출부를 포함하여 구성될 수 있다.

영상 입력부는 영상을 입력 받으며, 이상 검출 네트워크 추론부는 입력받은 영상을 이상 검출 네트워크를 이용하여 영상을 추론하고, 특이 데이터 여부를 판단할 수 있다(S301).

여기에서 이상 검출 네트워크 추론부는 오토 인코더 구조를 사용하여, 입력을 복원하여 특이 데이터 여부를 판단할 수 있다.

의미 분할 네트워크 추론부는 입력된 영상을 의미 분할 네트워크를 이용하여 추론 영상을 생성할 수 있다(S302).

제1 연결 객체 영역 데이터 추출부는 정답 데이터를 입력 받아 제1 연결 객체 영역 데이터를 추출할 수 있다(S303).

또한, 제1 연결 객체 영역 데이터 추출부는 제1 연결 객체 영역 데이터 한 화소마다 화소 주변 8방향으로 동일한 분류 값이 있는지 여부를 판단하여, 제1 연결 객체 영역 데이터를 추출할 수 있다

의미 분할 네트워크 추론부는 제1 연결 객체 영역 데이터 추출부로부터 추출된 제1 연결 객체 영역 데이터를 전달 받은 후, 의미 분할 네트워크를 이용하여 추론된 영상에서 제2 연결 객체 영역 데이터를 추출할 수 있다(S304).

또한, 의미 분할 네트워크 추론부는 추출된 제2 연결 객체 영역 데이터에서 해당 분류 화소수와 기 설정된 임계값과 비교하여 임계값 보다 큰 경우, 라벨 입력에 대한 정답 데이터가 정상적으로 입력된 것으로 판단할 수 있다(S305).

의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템은 특이 데이터 판단부를 더 포함할 수 있으며, 특이 데이터 판단부는 의미 분할 네트워크부로부터 라벨 입력에 이상이 있는 것으로 판단될 경우, 이상이 있다고 판단된 라벨 입력과 이상 검출 네트워크 추론부로부터 추론된 이상 검출 데이터를 취합하여 라벨 오류의 특이 데이터 여부를 판단할 수 있다(S306).

특이 데이터 판단부는 이상이 있다고 판단된 라벨 입력이 특이 데이터라고 판단된 경우, 의미 분할 네트워크 추론부로부터 추론된 제2 연결 객체 영역 데이터를 데이터 베이스 내의 추론 결과와 유사한 테이터 분류의 최다 화소를 갖는 라벨로 변경할 수 있으며(S307), 라벨 입력의 오류로 판단되지만, 영상 데이터가 특이 데이터로 판단되지 않은 경우, 작업자 단말기에 검증 요청 정보를 전달하여, 재검증을 할 수 있도록 할 수 있다(S308).

< 윤곽선 오류 검출 시스템 및 방법 >

의미 분할 영상은 각 객체가 단일 값을 가지므로 주변에 다른 값을 갖는 화소가 윤곽선이다.

도 7은 본 발명의 일 실시예에 따른 윤곽선 오류 및 윤곽선 오류 검출에 대한 예시를 보여주기 위한 참고도이다.

본 발명의 윤곽선 오류 검출 시스템 및 방법은 작업자가 정답 입력 중 도 7과 같이 차량의 지붕 부분을 잘못 입력하여 잘못된 윤곽선이 생겼을 때, 의미 분할 정답 검사기의 출력을 사용하여 윤곽선을 추출하고, 윤곽선 주변의 후보 영역(morphological operation 중 dilation 사용) 마스크로 사용하여 정답지의 윤곽선 중 마스크로 못 통과한 윤곽선을 윤곽선 오류로 판단한다. 작은 크기의 객체는 검출 신뢰도가 높지 않으며 해당 윤곽선은 잡음과 유사하게 동작하므로 정답지 및 추론 결과에서 특정 크기 이하의 객체는 제거한 후 잘못된 윤곽선 유무를 검출한다. 입력 영상이 학습 영상 집합과 많이 다를 경우, 검사기의 추론 결과의 신뢰도가 낮아진다. 따라서, 후보 영역의 마진을 증가(dilation에 사용되는 행렬 크기를 증가)시켜 정답이 추론 결과와 유사도가 낮을 때에만 윤곽선 오류로 검출하도록 한다.

도 4는 본 발명의 일 실시예에 따른 윤곽선 오류 검출 시스템 및 방법(400)을 설명하기 위한 참고도이다.

윤곽선 오류 검출 시스템은 영상 입력부, 이상 검출 네트워크 추론부, 의미 분할 네트워크 추론부 및 정답 데이터 입력부를 포함하여 구성될 수 있다.

영상 입력부는 윤곽선을 추출하기 위한 영상 데이터를 입력 받을 수 있으며, 이상 검출 네트워크 추론부는 영상 입력부로부터 영상 데이터를 수신 받으며 이상 검출 네트워크를 이용하여 추론 영상 데이터를 생성하고, 특이 데이터 여부를 판단할 수 있다(S401, S404).

이상 검출 네트워크 추론부는 추론 영상 데이터가 특이 데이터로 판단된 경우, Dilation 행렬의 크기를 증가시킬 수 있다(S405).

의미 분할 네트워크 추론부는 영상 입력부로부터 영상 데이터를 수신 받으며 의미 분할 네트워크를 이용하여 추론 영상을 생성할 수 있다(S402). 또한 의미 분할 네트워크 추론부는 의미 분할 네트워크를 이용하여 추론된 영상에서 기 설정된 크기 값 이하의 객체 데이터를 제거 할 수 있다(S406). 또한, 기 설정된 크기 값 이하의 객체 데이터 제거 후, 의미 분할 네트워크 추론 데이터로부터 윤곽선을 추출할 수 있다(S407).

정답 데이터 입력부는 작업자 단말기로부터 영상 데이터의 정답 데이터를 입력 받을 수 있으며, 입력 받은 정답 데이터에서 기 설정된 크기 값 이하의 객체 데이터를 제거할 수 있다(S403).

의미 분할 네트워크 추론부는 기 설정된 크기 값 이하의 객체의 데이터를 제거 후, 의미 분할 네트워크 추론 데이터로부터 추출된 윤곽선, 이상 검출 네트워크 추로부에서 추론된 이상 검출 데이터 및 정답 데이터 입력부로부터 수신받은 데이터를 취합하여 후보 영역 마스크를 생성할 수 있다(S408).

윤곽선 오류 검출 시스템은 정답 윤곽선을 필터링하는 정답 윤곽선 필터링부를 더 포함할 수 있으며, 정답 윤곽선 필터링부는 생성된 후보 영역 마스크와 정답 데이터 입력부로부터 추출된 정답 데이터를 비교하여, 정답 데이터를 필터링 하여 윤곽선 오류를 검출할 수 있다(S409).

의미 분할 네트워크 추론부는 정답 윤곽선 필터링부로부터 도출된 윤곽선 오류의 크기를 산출하며, 산출된 윤곽선 오류 크기와 기 설정된 윤곽선 임계값과 비교하여 윤곽선의 오류 유무를 판단할 수 있다(S410).

여기에서, 의미 분할 네트워크 추론부는 정답 윤곽선 필터링부로부터 검출한 윤곽선 오류의 크기가 기 설정된 윤곽선 임계값 보다 클 경우, 윤곽선은 오류가 있는 것으로 판단하며, 작업자 단말로 수정 요청 신호를 전달할 수 있다.

< 미입력 라벨 검출 시스템 및 방법>

일반적인 의미의 분할 딥러닝 네트워크는 객체의 크기가 작을수록 인식 정확도가 낮으며, 크기가 커지면 높은 정확도를 갖는다. 따라서 의미 분할 검사기의 추론 결과가 높은 신뢰도를 갖는 영역은 크기가 작더라도 입려된 정답과 상이할 경우 미입력라벨이 있는 것으로 판단할 수 있다. 도 8을 살펴보면, 도 8은 본 발명의 일 실시예에 따른 미입력 라벨 및 의미 분할 네트워크 추론 결과 예시를 보여주기 위한 참고도이다.

의미 분할 검사기의 추론 결과의 신뢰도가 낮은 경우라도 도 8과 같이 입력된 정답과 다른 영역이 큰 경우에는 미입력라벨이 있는 것으로 판단한다. 다만, 의미 분할 검사기의 객체 영역이 정답의 객체 영역과 유사하다면 이 경우는 잘못된 라벨이 입력된 경우이므로 미입력 라벨로 검출하지 않는다.

입력된 영상이 학습 영상 집합과 상이할 경우 추론 정확도가 낮아지게 된다. 따라서, 신뢰도 판정 기준을 높여서 미 입력 라벨 유무를 판단하는 것이 본 발명의 특징이다.

도 5는 본 발명의 일 실시예에 따른 미입력 라벨 검출 시스템 및 방법(500)을 설명하기 위한 참고도이다.

미입력 라벨 검출 시스템은 영상 입력부, 이상 검출 네트워크 추론부 및 의미 분할 네트워크 추론부를 포함하여 구성될 수 있다.

영상 입력부는 영상을 입력 받으며, 이상 검출 네트워크 추론부는 이상 검출 네트워크를 이용하여 추론 영상을 생성하며(S501), 이상 검출 네트워크 추론부를 통해 추론된 영상을 통해 특이 데이터 여부를 판단할 수 있다(S503).

여기에서, 이상 검출 네트워크 추론부를 통해 추론된 영상이 특이 데이터로 판단된 경우, 신뢰도 기준을 추가하여 높은 기준을 높일 수 있다(S504).

의미 분할 네트워크 추론부는 입력된 영상을 의미 분할 네트워크를 이용하여 추론 영상을 생성하고, 의미 분할 네트워크를 이용하여 추론된 영상의 연속된 라벨 기준의 객체를 추출한다(S505).

그 후, 추출된 연속된 라벨 객체 주변 단일 정답 객체와 중첩 비율을 계산하며(S506), 계산된 중첩 비율과 기설정된 동일 객체 임계값을 비교하여 중첩 비율이 기설정된 동일 객체 임계값 보다 클 경우, 라벨 오류 입력으로 판단하며, 중첩 비율이 기설정된 동일 객체 임계값 보다 작을 경우, 정상 라벨로 입력된 것으로 판단하여(S507), 객체 크기를 계산 및 객체 영역 평균 신뢰도를 계산한다(S508, S510).

객체 영역 평균 신뢰도를 계산하는 것에서, 신뢰도는 추론값을 사용할 수 있다.

이상 검출 네트워크 추론부는 의미 분할 네트워크 추론부로부터 계산된 객체 크기와 이상 검출 네트워크 추론부로부터 추가 신뢰도 기준이 추가된 영상의 데이터를 취합하여 객체 크기 별 요구 신뢰도를 계산한다(S509).

또한, 이상 검출 네트워크 추론부는 계산된 객체 크기 별 요구 신뢰도와 의미 분할 네트워크 추론부로부터 계산된 객체 영역 평균 신뢰도를 비교하여 미입력 라벨을 검출한다(S511).

이상 검출 네트워크 추론부는, 계산된 객체 크기 별 요구 신뢰도와 의미 분할 네트워크 추론부로부터 계산된 객체 영역 평균 신뢰도 및 기 설정된 임계값 중 어느 하나와 비교하여, 미입력 라벨을 검출한다(S511).

보다 자세하게는, 객체 크기 별 요구 신뢰도가 객체 영역 평균 신뢰도 및 보다기 설정된 임계값 중 어느 하나의 값 보다 클 경우, 작업자 단말기에 미입력 라벨 확인 요청 정보를 전달하며(S512), 객체 크기 별 요구 신뢰도가 객체 영역 평균 신뢰도 및 기 설정된 임계값 중 어느 하나의 값 보다 작은 경우, 미입력 라벨이 없는 것으로 판단한다.

한편, 본 발명의 실시예에 따른 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법을 수행할 수 있다.

한편, 상술한 본 발명에 따른 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

Claims

영상을 입력하는 영상 입력부;
특이 데이터 여부를 판단하기 위한 이상 검출 네트워크 추론부;
상기 입력된 영상에 대한 추론 영상을 생성하기 위한 의미 분할 네트워크 추론부; 및
정답 데이터를 입력 받아, 제1 연결 객체 영역 데이터를 추출하기 위한 제1 연결 객체 영역 데이터 추출부를 포함하고,
상기 의미 분할 네트워크 추론부는,
상기 제1 연결 객체 영역 데이터 추출부로부터 추출된 상기 제1 연결 객체 영역 데이터를 전달 받은 후, 상기 추론 영상에서 제2 연결 객체 영역 데이터를 추출하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템.
제1항에 있어서,
상기 이상 검출 네트워크 추론부는,
오토 인코더 구조를 사용하여 입력을 복원하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템.
제1항에 있어서,
상기 제1 연결 객체 영역 데이터 추출부는,
상기 제1 연결 객체 영역 데이터 한 화소마다 상기 화소 주변 8방향으로 동일한 분류 값이 있는지 여부를 판단하여 상기 제1 연결 객체 영역 데이터를 추출하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템.
제1항에 있어서,
상기 의미 분할 네트워크 추론부는,
상기 제2 연결 객체 영역 데이터에서 해당 분류로 나타난 화소 수가 기 설정된 임계값 보다 작은 경우, 라벨 입력에 이상이 있는 것으로 판단하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템.
제1항에 있어서,
상기 의미 분할 네트워크 추론부는,
상기 제2 연결 객체 영역 데이터에서 해당 분류로 나타난 화소 수가 기 설정된 임계값 보다 큰 경우, 라벨 입력에 대한 상기 정답 데이터가 정상적으로 입력 된 것으로 판단하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템.
제4항에 있어서,
상기 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템은,
특이 데이터 판단부;를 더 포함하며,
상기 특이 데이터 판단부는,
상기 의미 분할 네트워크부로부터 상기 라벨 입력에 이상이 있는 것으로 판단될 경우, 이상이 있다고 판단된 상기 라벨 입력과 상기 이상 검출 네트워크 추론부로부터 추론된 이상 검출 데이터를 취합하여 상기 라벨 오류의 특이 데이터 여부를 판단하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템.
제6항에 있어서,
상기 특이 데이터 판단부는,
이상이 있다고 판단된 상기 라벨 입력이 특이 데이터라고 판단된 경우, 상기 의미 분할 네트워크 추론부로부터 추론된 상기 제2 연결 객체 영역 데이터를 데이터 베이스(Database, DB) 내의 상기 특이 데이터 분류의 최다 화소를 갖는 라벨로 변경하고,
이상이 있다고 판단된 상기 라벨 입력이 특이 데이터라고 판단하지 않을 경우, 작업자 단말기에 검증 요청 정보를 전달 하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 시스템.
영상 입력부에서 수행되며, 영상을 입력하는 영상 입력단계;
이상 검출 네트워크 추론부에서 수행되며, 특이 데이터 여부를 판단하기 위한 이상 검출 네트워크 추론단계;
의미 분할 네트워크 추론부에서 수행되며, 상기 입력된 영상에 대한 추론 영상을 생성하기 위한 의미 분할 네트워크 추론단계; 및
제1 연결 객체 영역 데이터 추출부에서 수행되며, 정답 데이터를 입력 받아, 제1 연결 객체 영역 데이터를 추출하기 위한 제1 연결 객체 영역 데이터 추출단계;를 포함하고,
상기 의미 분할 네트워크 추론단계는,
상기 제1 연결 객체 영역 데이터 추출부로부터 추출된 상기 제1 연결 객체 영역 데이터를 전달 받은 후, 상기 추론 영상에서 제2 연결 객체 영역 데이터를 추출하는 단계를 포함하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법.
제7항에 있어서,
상기 이상 검출 네트워크 추론단계는,
오토 인코더 구조를 사용하여 입력을 복원하는 단계를 포함하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법.
제7항에 있어서,
상기 제1 연결 객체 영역 데이터 추출단계는,
상기 제1 연결 객체 영역 데이터 한 화소마다 상기 화소 주변 8 방향으로 동일한 분류 값이 있는지 여부를 판단하여 상기 제1 연결 객체 영역 데이터를 추출하는 단계를 포함하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법.
제7항에 있어서,
상기 의미 분할 네트워크 추론단계는,
상기 제2 연결 객체 영역 데이터에서 해당 분류로 나타난 화소 수가 기 설정된 임계값 보다 작은 경우, 라벨 입력에 이상이 있는 것으로 판단하는 단계를 포함하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법.
제7항에 있어서,
상기 의미 분할 네트워크 추론단계는,
상기 제2 연결 객체 영역 데이터에서 해당 분류로 나타난 화소 수가 기 설정된 임계값 보다 큰 경우, 라벨 입력에 대한 상기 정답 데이터가 정상적으로 입력 된 것으로 판단하는 단계를 포함하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법.
제11항에 있어서,
상기 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법은,
특이 데이터 판단부에서, 시상이 있다고 판단된 상기 라벨 입력의 특이 데이터 여부를 판단하는 특이 데이터 판단단계;를 더 포함하며,
상기 특이 데이터 판단단계는,
상기 의미 분할 네트워크부로부터 상기 라벨 입력에 이상이 있는 것으로 판단될 경우, 이상이 있다고 판단된 상기 라벨 입력과 상기 이상 검출 네트워크 추론부로부터 추론된 이상 검출 데이터를 취합하여 상기 라벨 오류의 특이 데이터 여부를 판단하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법.
제13항에 있어서,
상기 특이 데이터 판단단계는,
이상이 있다고 판단된 상기 라벨 입력이 특이 데이터라고 판단된 경우, 상기 의미 분할 네트워크 추론부로부터 추론된 상기 제2 연결 객체 영역 데이터를 데이터 베이스(Database, DB) 내의 상기 특이 데이터 분류의 최다 화소를 갖는 라벨로 변경하는 단계; 및
이상이 있다고 판단된 상기 라벨 입력이 특이 데이터라고 판단하지 않을 경우, 작업자 단말기에 검증 요청 정보를 전달 하는 단계;를 포함하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 오류 검출 및 수정 방법.
의미 분할 학습을 위한 학습 데이터 베이스부;
상기 학습 데이터 베이스부 및 입력 받은 영상의 정답을 검사하는 의미 분할 정답 검사부; 및
상기 의미 분할 정답 검사부로부터 검사된 상기 영상의 라벨 입력의 이상을 검출하며, 자동 수정을 하는 이상 라벨 검출 및 자동 수정부를 포함하며,
상기 이상 라벨 검출 및 자동 수정부는,
영상을 입력하는 영상 입력부;
특이 데이터 여부를 판단하기 위한 이상 검출 네트워크 추론부;
상기 입력된 영상에 대한 추론 영상을 생성하기 위한 의미 분할 네트워크 추론부; 및
정답 데이터를 입력 받아, 제1 연결 객체 영역 데이터를 추출하기 위한 제1 연결 객체 영역 데이터 추출부를 포함하고,
상기 의미 분할 네트워크 추론부는,
상기 제1 연결 객체 영역 데이터 추출부로부터 추출된 상기 제1 연결 객체 영역 데이터를 전달 받은 후, 상기 추론 영상에서 제2 연결 객체 영역 데이터를 추출하는 것
을 특징으로 하는 의미 분할 학습 데이터 라벨 입력 이상 검출 시스템.