KR102269286B1 - 어노테이션 자동 진단 시스템 - Google Patents

Abstract

본 발명은 어노테이션 파일의 오류를 전용어플리케이션을 사용하여 발견하기 위한 것으로,
(1) 어노테이션 관련 데이터를 수집하는 어노테이션대상 수집단계;
(2) 상기 어노테이션 관련 데이터를 진단하고 분석하여 오류를 판단하는 어노테이션 분석단계;
(3) 분석내용을 보고서로 작성하는 결과보고서 출력단계;
를 포함하여 구성되는 것을 특징으로 하는 어노테이션 자동 진단 시스템을 제공한다.
그리고 수집되는 상기 어노테이션 관련 데이터는,
어노테이션 진단 규칙, 원시가공 데이터 목록, 어노테이션 파일을 포함하는 것을 특징으로 하는 어노테이션 자동 진단 시스템을 제공한다.
또한 상기 보고서에는,
매칭 결과 내역, 구조 오류 내역, 형식 오류 내역, 구문 분석 결과, 종합 진단 결과를 포함하는 것을 특징으로 하는 어노테이션 자동 진단 시스템을 제공한다.

Description

어노테이션 자동 진단 시스템{the automatic monitoring system for annotation}

본 발명은 어노테이션 도구에 의해 생성된 다량의 파일의 구조적 또는 구문적 오류를 신속하고 정확하게 검사하고 진단하는 어노테이션 자동 진단 시스템에 관한 것이다.

어노테이션이란 주석이라는 사전적 의미를 가지고 있으며, 자바 코드에 주석처럼 사용하여 컴파일 또는 런타임에서 해석된다.

어노테이션은 컴파일러에게 코드문법 에러를 체크하도록 정보를 제공하며, 소프트웨어 개발 툴이 빌드나 배치시 코드를 자동으로 생성할 수 있도록 정보를 제공하는 기능을 하고, 실행시(런타임시) 특정 기능을 실행하도록 정보를 제공하는 등의 역할을 수행한다.

어노테이션 작업은 일반적으로 사람에 의해 수행되기 때문에 체계적인 작업 프로세스가 정립되지 않은 채로 어노테이션 작업이 수행되는 경우가 빈번하여 오류가 발생할 수 있다.

그리고 인공지능(Artificial Intelligence, AI)의 성능이 높아지고, 적용 분야가 다양해짐에 따라 새로운 AI 알고리즘 개발에 대한 요구가 증가되고 있다. AI 알고리즘을 개발하기 위해 반드시 필요한 요소인 데이터는 이미지, 비디오, 오디오, 텍스트 데이터에 객체, 이벤트, 주석, 카테고리 등의 어노테이션이 추가된 데이터이다.

자동화 알고리즘을 통해 어노테이션을 생성하는 기술은 결과에 오류가 포함될 수 있으므로, 사용자가 오류 발생 데이터를 찾아 직접 교정해야 하는 문제점이 있다.

이에 본 발명자는 어노테이션 상의 오류를 진단하여 실시간으로 사용자에게 수정 사항을 보고하는 본 발명의 어노테이션 자동 진단 시스템을 개발하기에 이르렀다.

[문헌 1] 대한민국 등록특허 제10-1507272호 '대화형 비디오에서 이동 객체의 의미적 어노테이션 시스템의 인터페이스 및 그 방법', 2015년03월24일 [문헌 2] 대한민국 등록특허 제10-2177455호 '비디오 어노테이션 장치 및 방법', 2020년11월05일

본 발명은 상기한 바와 같은 종래의 제반 문제점을 해소하기 위해서 제시되는 것이다. 그 목적은 어노테이션 도구에 의해 생성된 다량의 파일의 구조적 또는 구문적 오류를 신속하고 정확하게 검사하고 진단하는 어노테이션 자동 진단 시스템을 제공하고자 한다.

상기한 기술적 과제를 해결하기 위해 본 발명은 어노테이션 파일의 오류를 전용어플리케이션을 사용하여 발견하기 위한 것으로,

(1) 어노테이션 관련 데이터를 수집하는 어노테이션대상 수집단계;

(2) 상기 어노테이션 관련 데이터를 진단하고 분석하여 오류를 판단하는 어노테이션 분석단계;

(3) 분석내용을 보고서로 작성하는 결과보고서 출력단계;

를 포함하여 구성되는 것을 특징으로 하는 어노테이션 자동 진단 시스템을 제공한다.

그리고 수집되는 상기 어노테이션 관련 데이터는,

어노테이션 진단 규칙, 원시가공 데이터 목록, 어노테이션 파일을 포함하는 것을 특징으로 하는 어노테이션 자동 진단 시스템을 제공한다.

또한 상기 보고서에는,

매칭 결과 내역, 구조 오류 내역, 형식 오류 내역, 구문 분석 결과, 종합 진단 결과를 포함하는 것을 특징으로 하는 어노테이션 자동 진단 시스템을 제공한다.

본 발명에 따르면 어노테이션 도구에 의해 생성된 다량의 파일의 구조적 또는 구문적 오류를 신속하고 정확하게 검사하고 진단하는 어노테이션 자동 진단 시스템을 제공한다.

도 1은 본 발명의 어노테이션 자동 진단 시스템의 전체 개념도이다.
도 2는 도 1의 세부 프로세스이다.
도 3은 본 발명에서 진단 대상 관리 화면의 실시예이다.
도 4는 본 발명에서 진단 규칙 관리 화면의 실시예이다.
도 5는 본 발명에서 진단 규칙 관리 화면의 다른 실시예이다.
도 6은 본 발명에서 진단 수행 관리 화면의 실시예이다.
도 7은 본 발명에서 진단 결과 관리 화면의 실시예이다.
도 8은 본 발명에서 보고서 화면의 실시예이다.

이하 첨부한 도면과 함께 상기와 같은 본 발명의 개념이 바람직하게 구현된 실시예를 통하여 본 발명을 더욱 상세하게 설명한다.

도 1은 본 발명의 어노테이션 자동 진단 시스템의 전체 개념도이고,

도 2는 도 1의 세부 프로세스이다.

본 발명의 어노테이션 자동 진단 시스템은,

어노테이션 파일의 오류를 전용어플리케이션을 사용하여 발견하기 위한 것으로,

(1) 어노테이션 관련 데이터를 수집하는 어노테이션대상 수집단계;

(2) 상기 어노테이션 관련 데이터를 진단하고 분석하여 오류를 판단하는 어노테이션 분석단계;

(3) 분석내용을 보고서로 작성하는 결과보고서 출력단계;

를 포함하여 구성되는 것을 특징으로 한다.

그리고 수집되는 상기 어노테이션 관련 데이터는,

어노테이션 진단 규칙, 원시가공 데이터 목록, 어노테이션 파일을 포함하는 것을 특징으로 한다.

또한 상기 보고서에는,

매칭 결과 내역, 구조 오류 내역, 형식 오류 내역, 구문 분석 결과, 종합 진단 결과를 포함하는 것을 특징으로 한다.

이하 구체적으로 설명하기로 한다.

상기 (1) 어노테이션대상 수집단계;는 어노테이션 관련 데이터를 수집하는 단계로써, AI 데이터 구축 사업자로부터 제공받는 것이 가장 이상적일 것이나 제공받는 것이 어렵다면 본 발명의 전용어플리케이션을 사용하여 자동으로 생성되게 할 수 있다.

상기 (2) 어노테이션 분석단계;는 수집된 상기 어노테이션 관련 데이터를 진단하고 분석하여 오류를 판단하는 단계로써,

진단 대상 관리 단계, 진단 규칙 단계, 진단 수행 관리 단계, 진단 결과 관리 단계 순서로 진행된다.

도 3은 본 발명에서 진단 대상 관리 화면의 실시예이다.

상기 진단 대상 관리 단계는,

진단 대상 데이터를 클라우드 환경의 통합 저장소에 원본 데이터 셋을 저장하고 관리하며, 진단 도구에 검사 대상 데이터 항목을 등록하는 단계로써,

진단 시점 별 진단 대상을 선정하고 관리하며, 진단 시점 별 표준화를 시행한다.

도 4는 본 발명에서 진단 규칙 관리 화면의 실시예이고,

도 5는 본 발명에서 진단 규칙 관리 화면의 다른 실시예이다.

상기 진단 규칙 관리 단계는,

진단 대상 데이터의 품질을 진단할 규칙을 생성하고 관리하는 단계로써,

원본 이미지에서 생성된 어노테이션과의 매칭 분석, 내용의 구문적 정확성 분석, 구문 분석(통계) 등의 진단 규칙을 생성한다.

도 4의 실시예는,

AI 데이터 구축 사업자로부터 JSON 구조로 작성된 데이터 진단 규칙을 받아 진단 도구에 등록한 것이며,

구축 사업자로부터 진단 규칙을 제공받지 못한 경우에는 진단 대상 데이터를 샘플링하여 전용 어플리케이션을 사용하여 기본 진단 규칙을 생성한 것이다.

도 5의 실시예는,

AI 데이터 구축 사업자로부터 데이터 원천 목록을 csv 파일로 제공받아 진단 도구에 파일 경로를 등록한 것이며,

데이터 원천 목록을 제공받지 못한 경우는 원천 목록 검사는 진행하지 않는 것이 바람직하다.

도 6은 본 발명에서 진단 수행 관리 화면의 실시예이다.

상기 진단 수행 관리 단계는,

등록된 검사 대상 데이터와 진단 규칙을 이용하여 품질 진단을 수행하는 단계로써,

진단 업무 관리, 진단 스케줄 관리, 진단 이력 관리 등을 수행한다.

그리고 도 6에 도시된 바와 같이,

진단 대상 등록, 진단 규칙 등록이 완료된 검사 대상 데이터 목록을 선택하고, 진단 실행 버튼을 눌러 데이터 검사를 수행하며,

진단 대상 관리에서 등록한 진단 대상 폴더에 대해 전체 경로를 탐색하여 하위 경로에 존재하는 모든 진단 대상 파일(json, xml)을 진단 규칙을 이용하여 검사하고

차수 관리 기능을 통하여 차수별 진단을 수행한다.

그리고 동일 차수 데이터에 대해 재진단을 수행 할 경우 이전 수행 결과 데이터를 저장하여 진단 이력을 관리한다.

도 7은 본 발명에서 진단 결과 관리 화면의 실시예이고,

도 8은 본 발명에서 보고서 화면의 실시예이다.

상기 진단 결과 관리 단계는,

진단이 완료된 대상 데이터의 목록, 구조(파일구조, 데이터 구조), 형식에 대한 진단 결과를 제공하고,

진단 결과 리포트를 파일로 다운로드 받을 수 있는 기능을 제공한다.

즉, 오류 항목 관리, 진단 결과 관리 등을 수행하며,

진단 결과 보고서를 다운로드할 수 있다.

상기 보고서는 도 8에 도시된 바와 같이,

검사 종합현황(각 검사 항목의 오류율, 오류건수, 전체건수 포함)과 진단대상누락목록(매칭검사 결과), 구조(파일,내용) 오류 목록 형식 오류 목록을 포함한다.

도 2에 도시된 바와 같이,

상기 진단 대상 관리 단계에서는,

검사 대상 파일인 xml, json 파일 등을 확보하며,

상기 진단 규칙 관리 단계에서는,

대상 파일의 구조 및 형식 검사에 사용할 검사 규칙과 목록 매칭 검사에 사용한 원천 파일 목록을 작성한다.

그리고 검사 도구에 검사 항목을 등록한다.

물론 이 모든 과정은 전용 어플리케이션에 의해 자동으로 수행될 수 있다.

상기 진단 수행 관리 단계에서는,

도 1상의 상기 진단 규칙 관리 단계에서 원본 이미지에서 생성된 어노테이션과의 매칭 분석, 내용의 구문적 정확성 분석, 구문 분석(통계) 등의 진단 규칙을 생성하면,

상기 진단 규칙을 가지고 검사를 수행하는 단계로써,

원천 목록과 검사 대상 파일(xml, json)과의 '매칭 검사',

파일의 유효성 및 파일 내용의 유효성(xml, json 구조여부)을 검사하는 '파일 구조 정확성 검사',

파일의 내용이 진단 규칙에 기재된 구조로 되어 있는지 검사하는 '구문 구조 정확성 검사',

파일의 각 항목이 진단 규칙에 기재된 데이터 형식, 길이, 값으로 되어있는지 검사하는 '형식 정확성 검사'를 순서대로 수행한다.

본 발명은 상기에서 언급한 바와 같이 바람직한 실시예와 관련하여 설명되었으나, 본 발명의 요지를 벗어남이 없는 범위 내에서 다양한 수정 및 변형이 가능하며, 다양한 분야에서 사용 가능하다.

따라서 본 발명의 청구범위는 이건 발명의 진정한 범위 내에 속하는 수정 및 변형을 포함한다.

Claims (3)

1. 어노테이션 파일의 오류를 전용어플리케이션을 사용하여 발견하기 위한 것으로,
   (1) 어노테이션 관련 데이터를 수집하는 어노테이션대상 수집단계;
   (2) 상기 어노테이션 관련 데이터를 진단하고 분석하여 오류를 판단하는 어노테이션 분석단계;
   (3) 분석내용을 보고서로 작성하는 결과보고서 출력단계;
   를 포함하여 구성되는 것을 특징으로 하고,
   수집되는 상기 어노테이션 관련 데이터는,
   어노테이션 진단 규칙, 원시가공 데이터 목록, 어노테이션 파일을 포함하는 것을 특징으로 하며,
   상기 보고서에는,
   매칭 결과 내역, 구조 오류 내역, 형식 오류 내역, 구문 분석 결과, 종합 진단 결과를 포함하는 것을 특징으로 하되,
   상기 어노테이션 분석단계는 진단 대상 관리 단계, 진단 규칙 단계, 진단 수행 관리 단계, 진단 결과 관리 단계 순서로 진행되고,
   상기 진단 규칙 관리 단계는 원본 이미지에서 생성된 어노테이션과의 매칭 분석, 내용의 구문적 정확성 분석, 구문 분석(통계)을 포함한 어노테이션 진단 규칙을 생성하되, 어노테이션 진단 규칙은 AI 데이터 구축 사업자로부터 제공받거나 진단 대상 데이터를 샘플링하여 생성하며,
   상기 진단 수행 관리 단계는 상기 어노테이션 진단 규칙을 가지고 검사를 수행하는 단계로써,
   AI 데이터 구축 사업자로부터 csv 파일로 제공받은 데이터 원천 목록과 검사 대상 파일(xml, json)과의 '매칭 검사',
   파일의 유효성 및 파일 내용의 유효성(xml, json 구조여부)을 검사하는 '파일 구조 정확성 검사',
   파일의 내용이 어노테이션 진단 규칙에 기재된 구조로 되어 있는지 검사하는 '구문 구조 정확성 검사',
   파일의 각 항목이 어노테이션 진단 규칙에 기재된 데이터 형식, 길이, 값으로 되어있는지 검사하는 '형식 정확성 검사'
   를 순서대로 수행하는 것을 특징으로 하는 어노테이션 자동 진단 시스템.
   
2. 삭제
3. 삭제

Images