WO2022114486A1 - 어노테이션 자동 진단 시스템 - Google Patents

어노테이션 자동 진단 시스템 Download PDF

Info

Publication number
WO2022114486A1
WO2022114486A1 PCT/KR2021/013020 KR2021013020W WO2022114486A1 WO 2022114486 A1 WO2022114486 A1 WO 2022114486A1 KR 2021013020 W KR2021013020 W KR 2021013020W WO 2022114486 A1 WO2022114486 A1 WO 2022114486A1
Authority
WO
WIPO (PCT)
Prior art keywords
annotation
diagnosis
data
file
analysis
Prior art date
Application number
PCT/KR2021/013020
Other languages
English (en)
French (fr)
Inventor
조재현
이훈희
박상권
Original Assignee
주식회사 비투엔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비투엔 filed Critical 주식회사 비투엔
Publication of WO2022114486A1 publication Critical patent/WO2022114486A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/42—Syntactic analysis
    • G06F8/423—Preprocessors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/42—Syntactic analysis
    • G06F8/427—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/43—Checking; Contextual analysis

Definitions

  • the present invention relates to an automatic annotation diagnosis system for quickly and accurately checking and diagnosing structural or syntactic errors of a large number of files generated by an annotation tool.
  • Annotation has the dictionary meaning of an annotation, and is interpreted at compile or runtime by using it as a comment in Java code.
  • Annotations provide information to the compiler to check for code syntax errors, provide information so that software development tools can automatically generate code during build or deployment, and execute a specific function at runtime (runtime). It serves to provide information, etc.
  • AI artificial intelligence
  • Data which is an essential element for developing AI algorithms, is data with annotations such as objects, events, annotations, and categories added to image, video, audio, and text data.
  • an automatic annotation diagnosis system of the present invention that diagnoses errors in annotations and reports corrections to the user in real time.
  • An object of the present invention is to provide an automatic annotation diagnosis system for quickly and accurately checking and diagnosing structural or syntactic errors of a large number of files generated by an annotation tool.
  • an embodiment of the present invention provides an automatic annotation diagnosis system for detecting errors in an annotation file using a dedicated application, comprising: (1) an annotation target collecting step of collecting annotation-related data; (2) an annotation analysis step of diagnosing and analyzing the annotation-related data to determine an error; and (3) a result report output step of writing the analysis contents into a report; characterized in that it comprises a.
  • the collected annotation-related data is characterized in that it includes an annotation diagnosis rule, a raw processing data list, and an annotation file.
  • the report according to the embodiment is characterized in that it includes a matching result detail, a structural error detail, a format error detail, a syntax analysis result, and a comprehensive diagnosis result.
  • the annotation analysis step (2) proceeds in the order of the diagnosis target management step, the diagnosis rule management step, the diagnosis performance management step, and the diagnosis result management step, and the diagnosis rule management step includes the annotations generated from the original image.
  • Annotation diagnosis rules including matching analysis, syntactic accuracy analysis of content, and syntax analysis (statistics) are generated, but the annotation diagnosis rule is provided by an AI data building operator or is generated by sampling data to be diagnosed.
  • the inspection is performed using the annotation diagnosis rule, but the 'matching' between the data source list provided as a csv file from the AI data construction company and the inspection target files (xml, json) 'Check', 'Check file structure correctness' to check the validity of the file and the validity of the file content (xml, json structure) It is characterized by sequentially performing a 'format correctness check' that checks whether each item in the file has the data format, length, and value described in the annotation diagnosis rule.
  • an automatic annotation diagnosis system for quickly and accurately checking and diagnosing structural or syntactic errors of a large number of files generated by an annotation tool.
  • FIG 1 is an overall conceptual diagram of an automatic annotation diagnosis system of the present invention.
  • FIG. 2 is a detailed process of FIG. 1 .
  • FIG 3 is an embodiment of a diagnosis target management screen in the present invention.
  • 5 is another embodiment of the diagnosis rule management screen in the present invention.
  • FIG. 6 is an embodiment of a diagnosis performance management screen in the present invention.
  • FIG. 1 is an overall conceptual diagram of an automatic annotation diagnosis system of the present invention
  • FIG. 2 is a detailed process of FIG. 1 .
  • the automatic annotation diagnosis system of the present invention is for detecting errors in annotation files using a dedicated application
  • the collected annotation-related data is characterized in that it includes an annotation diagnosis rule, a raw processed data list, and an annotation file.
  • the report is characterized in that it includes the matching result details, structural error details, format error details, syntax analysis results, and comprehensive diagnosis results.
  • the (1) annotation target collection step is a step of collecting annotation-related data, and it is ideal to receive it from an AI data construction company, but if it is difficult to receive it, it can be automatically generated using the dedicated application of the present invention. have.
  • the (2) annotation analysis step is a step of diagnosing and analyzing the collected annotation-related data to determine an error, and is performed in the order of a diagnosis target management step, a diagnosis rule management step, a diagnosis performance management step, and a diagnosis result management step. .
  • FIG 3 is an embodiment of a diagnosis target management screen in the present invention.
  • the diagnosis target management step stores and manages the original data set of the diagnosis target data in the integrated storage of the cloud environment, and registers the target data item in the diagnosis tool, and selects and manages the diagnosis target for each diagnosis point, Implement standardization by diagnosis time point.
  • FIG. 4 is an embodiment of the diagnosis rule management screen according to the present invention
  • FIG. 5 is another embodiment of the diagnosis rule management screen according to the present invention.
  • the diagnosis rule management step is a step of creating and managing a rule for diagnosing the quality of the data to be diagnosed. Diagnosis of matching analysis with annotations generated from the original image, syntactic accuracy analysis of contents, syntax analysis (statistics), etc. Create a rule.
  • data diagnosis rules written in JSON structure are received from an AI data construction company and registered in a diagnosis tool.
  • a diagnostic rule has been created.
  • the data source list is provided as a csv file from the AI data building operator and the file path is registered in the diagnostic tool, and when the data source list is not provided, it is preferable not to proceed with the source list check.
  • FIG. 6 is an embodiment of a diagnosis performance management screen in the present invention.
  • the diagnosis performance management step is a step of performing quality diagnosis using registered test target data and diagnosis rules, and performs diagnosis task management, diagnosis schedule management, diagnosis history management, and the like.
  • a data test is performed by selecting a test target data list in which the diagnosis target registration and diagnosis rule registration have been completed, and pressing the diagnostic execution button.
  • diagnosis history is managed by storing the data of the previous execution result.
  • FIG. 7 is an embodiment of a diagnosis result management screen in the present invention
  • FIG. 8 is an embodiment of a report screen in the present invention.
  • the diagnosis result management step provides diagnosis results for a list, structure (file structure, data structure) and format of target data for which diagnosis has been completed, and provides a function for downloading a diagnosis result report as a file.
  • diagnosis result management etc. are performed, and a diagnosis result report can be downloaded.
  • the report is a list of overall inspection status (including error rate, number of errors, and total number of inspection items for each inspection item), omission list for diagnosis (matching inspection result), structure (file, content) error list, error list format includes
  • an xml file, a json file, etc. which are the inspection target files, are secured.
  • a check rule to be used for structure and format check of the target file and a list of source files used for list matching check are created.
  • the inspection item is registered in the inspection tool.
  • diagnosis performance management step when diagnostic rules such as matching analysis with annotations generated from the original image in the diagnosis rule management step of FIG. 1 , syntactic accuracy analysis of content, and syntax analysis (statistics) are generated, the diagnosis rule As the step of performing the inspection with ', 'Syntax structure correctness check' to check whether the contents of the file have the structure described in the diagnostic rule, and 'format correctness check' to check whether each item in the file has the data format, length, and value described in the diagnostic rule in order can be done as

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)

Abstract

본 발명은 어노테이션 파일의 오류를 전용어플리케이션을 사용하여 발견하기 위한 것으로, (1) 어노테이션 관련 데이터를 수집하는 어노테이션대상 수집단계; (2) 상기 어노테이션 관련 데이터를 진단하고 분석하여 오류를 판단하는 어노테이션 분석단계; 및 (3) 분석내용을 보고서로 작성하는 결과보고서 출력단계를 포함하여 구성되는 것을 특징으로 하는 어노테이션 자동 진단 시스템을 제공한다.

Description

어노테이션 자동 진단 시스템
본 발명은 어노테이션 도구에 의해 생성된 다량의 파일의 구조적 또는 구문적 오류를 신속하고 정확하게 검사하고 진단하는 어노테이션 자동 진단 시스템에 관한 것이다.
어노테이션이란 주석이라는 사전적 의미를 가지고 있으며, 자바 코드에 주석처럼 사용하여 컴파일 또는 런타임에서 해석된다.
어노테이션은 컴파일러에게 코드문법 에러를 체크하도록 정보를 제공하며, 소프트웨어 개발 툴이 빌드나 배치시 코드를 자동으로 생성할 수 있도록 정보를 제공하는 기능을 하고, 실행시(런타임시) 특정 기능을 실행하도록 정보를 제공하는 등의 역할을 수행한다.
어노테이션 작업은 일반적으로 사람에 의해 수행되기 때문에 체계적인 작업 프로세스가 정립되지 않은 채로 어노테이션 작업이 수행되는 경우가 빈번하여 오류가 발생할 수 있다.
그리고 인공지능(Artificial Intelligence, AI)의 성능이 높아지고, 적용 분야가 다양해짐에 따라 새로운 AI 알고리즘 개발에 대한 요구가 증가되고 있다. AI 알고리즘을 개발하기 위해 반드시 필요한 요소인 데이터는 이미지, 비디오, 오디오, 텍스트 데이터에 객체, 이벤트, 주석, 카테고리 등의 어노테이션이 추가된 데이터이다.
자동화 알고리즘을 통해 어노테이션을 생성하는 기술은 결과에 오류가 포함될 수 있으므로, 사용자가 오류 발생 데이터를 찾아 직접 교정해야 하는 문제점이 있다.
이에 본 발명자는 어노테이션 상의 오류를 진단하여 실시간으로 사용자에게 수정 사항을 보고하는 본 발명의 어노테이션 자동 진단 시스템을 개발하기에 이르렀다.
본 발명은 상기한 바와 같은 종래의 제반 문제점을 해소하기 위해서 제시되는 것이다. 그 목적은 어노테이션 도구에 의해 생성된 다량의 파일의 구조적 또는 구문적 오류를 신속하고 정확하게 검사하고 진단하는 어노테이션 자동 진단 시스템을 제공하고자 한다.
상기한 기술적 과제를 해결하기 위해 본 발명의 일 실시 예는 어노테이션 자동 진단 시스템으로서, 어노테이션 파일의 오류를 전용어플리케이션을 사용하여 발견하기 위한 것으로, (1) 어노테이션 관련 데이터를 수집하는 어노테이션대상 수집단계; (2) 상기 어노테이션 관련 데이터를 진단하고 분석하여 오류를 판단하는 어노테이션 분석단계; 및 (3) 분석내용을 보고서로 작성하는 결과보고서 출력단계;를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 수집되는 어노테이션 관련 데이터는, 어노테이션 진단 규칙, 원시가공 데이터 목록, 어노테이션 파일을 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 보고서에는, 매칭 결과 내역, 구조 오류 내역, 형식 오류 내역, 구문 분석 결과, 종합 진단 결과를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 (2) 어노테이션 분석단계는 진단 대상 관리 단계, 진단 규칙 관리 단계, 진단 수행 관리 단계, 진단 결과 관리 단계 순서로 진행되고, 상기 진단 규칙 관리 단계는 원본 이미지에서 생성된 어노테이션과의 매칭 분석, 내용의 구문적 정확성 분석, 구문 분석(통계)을 포함한 어노테이션 진단 규칙을 생성하되, 어노테이션 진단 규칙은 AI 데이터 구축 사업자로부터 제공받거나 진단 대상 데이터를 샘플링하여 생성하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 진단 수행 관리 단계는 상기 어노테이션 진단 규칙을 이용하여 검사를 수행하되, AI 데이터 구축 사업자로부터 csv 파일로 제공받은 데이터 원천 목록과 검사 대상 파일(xml, json)과의 '매칭 검사', 파일의 유효성 및 파일 내용의 유효성(xml, json 구조여부)을 검사하는 '파일 구조 정확성 검사', 파일의 내용이 어노테이션 진단 규칙에 기재된 구조로 되어 있는지 검사하는 '구문 구조 정확성 검사', 파일의 각 항목이 어노테이션 진단 규칙에 기재된 데이터 형식, 길이, 값으로 되어있는지 검사하는 '형식 정확성 검사'를 순서대로 수행하는 것을 특징으로 한다.
본 발명에 따르면 어노테이션 도구에 의해 생성된 다량의 파일의 구조적 또는 구문적 오류를 신속하고 정확하게 검사하고 진단하는 어노테이션 자동 진단 시스템을 제공한다.
도 1은 본 발명의 어노테이션 자동 진단 시스템의 전체 개념도이다.
도 2는 도 1의 세부 프로세스이다.
도 3은 본 발명에서 진단 대상 관리 화면의 실시예이다.
도 4는 본 발명에서 진단 규칙 관리 화면의 실시예이다.
도 5는 본 발명에서 진단 규칙 관리 화면의 다른 실시예이다.
도 6은 본 발명에서 진단 수행 관리 화면의 실시예이다.
도 7은 본 발명에서 진단 결과 관리 화면의 실시예이다.
도 8은 본 발명에서 보고서 화면의 실시예이다.
이하 첨부한 도면과 함께 상기와 같은 본 발명의 개념이 바람직하게 구현된 실시예를 통하여 본 발명을 더욱 상세하게 설명한다.
도 1은 본 발명의 어노테이션 자동 진단 시스템의 전체 개념도이고, 도 2는 도 1의 세부 프로세스이다.
본 발명의 어노테이션 자동 진단 시스템은, 어노테이션 파일의 오류를 전용어플리케이션을 사용하여 발견하기 위한 것으로,
(1) 어노테이션 관련 데이터를 수집하는 어노테이션대상 수집단계;
(2) 상기 어노테이션 관련 데이터를 진단하고 분석하여 오류를 판단하는 어노테이션 분석단계;
(3) 분석내용을 보고서로 작성하는 결과보고서 출력단계;
를 포함하여 구성되는 것을 특징으로 한다.
그리고 수집되는 상기 어노테이션 관련 데이터는, 어노테이션 진단 규칙, 원시가공 데이터 목록, 어노테이션 파일을 포함하는 것을 특징으로 한다.
또한 상기 보고서에는, 매칭 결과 내역, 구조 오류 내역, 형식 오류 내역, 구문 분석 결과, 종합 진단 결과를 포함하는 것을 특징으로 한다.
이하, 구체적으로 설명하기로 한다.
상기 (1) 어노테이션대상 수집단계;는 어노테이션 관련 데이터를 수집하는 단계로써, AI 데이터 구축 사업자로부터 제공받는 것이 가장 이상적일 것이나 제공받는 것이 어렵다면 본 발명의 전용어플리케이션을 사용하여 자동으로 생성되게 할 수 있다.
상기 (2) 어노테이션 분석단계;는 수집된 상기 어노테이션 관련 데이터를 진단하고 분석하여 오류를 판단하는 단계로써, 진단 대상 관리 단계, 진단 규칙 관리 단계, 진단 수행 관리 단계, 진단 결과 관리 단계 순서로 진행된다.
도 3은 본 발명에서 진단 대상 관리 화면의 실시예이다.
상기 진단 대상 관리 단계는, 진단 대상 데이터를 클라우드 환경의 통합 저장소에 원본 데이터 셋을 저장하고 관리하며, 진단 도구에 검사 대상 데이터 항목을 등록하는 단계로써, 진단 시점 별 진단 대상을 선정하고 관리하며, 진단 시점 별 표준화를 시행한다.
도 4는 본 발명에서 진단 규칙 관리 화면의 실시예이고, 도 5는 본 발명에서 진단 규칙 관리 화면의 다른 실시예이다.
상기 진단 규칙 관리 단계는, 진단 대상 데이터의 품질을 진단할 규칙을 생성하고 관리하는 단계로써, 원본 이미지에서 생성된 어노테이션과의 매칭 분석, 내용의 구문적 정확성 분석, 구문 분석(통계) 등의 진단 규칙을 생성한다.
도 4의 실시예는, AI 데이터 구축 사업자로부터 JSON 구조로 작성된 데이터 진단 규칙을 받아 진단 도구에 등록한 것이며, 구축 사업자로부터 진단 규칙을 제공받지 못한 경우에는 진단 대상 데이터를 샘플링하여 전용 어플리케이션을 사용하여 기본 진단 규칙을 생성한 것이다.
도 5의 실시예는, AI 데이터 구축 사업자로부터 데이터 원천 목록을 csv 파일로 제공받아 진단 도구에 파일 경로를 등록한 것이며, 데이터 원천 목록을 제공받지 못한 경우는 원천 목록 검사는 진행하지 않는 것이 바람직하다.
도 6은 본 발명에서 진단 수행 관리 화면의 실시예이다.
상기 진단 수행 관리 단계는, 등록된 검사 대상 데이터와 진단 규칙을 이용하여 품질 진단을 수행하는 단계로써, 진단 업무 관리, 진단 스케줄 관리, 진단 이력 관리 등을 수행한다.
그리고 도 6에 도시된 바와 같이, 진단 대상 등록, 진단 규칙 등록이 완료된 검사 대상 데이터 목록을 선택하고, 진단 실행 버튼을 눌러 데이터 검사를 수행한다.
또한, 진단 대상 관리에서 등록한 진단 대상 폴더에 대해 전체 경로를 탐색하여 하위 경로에 존재하는 모든 진단 대상 파일(json, xml)을 진단 규칙을 이용하여 검사하고, 차수 관리 기능을 통하여 차수별 진단을 수행한다.
그리고 동일 차수 데이터에 대해 재진단을 수행 할 경우 이전 수행 결과 데이터를 저장하여 진단 이력을 관리한다.
도 7은 본 발명에서 진단 결과 관리 화면의 실시예이고, 도 8은 본 발명에서 보고서 화면의 실시예이다.
상기 진단 결과 관리 단계는, 진단이 완료된 대상 데이터의 목록, 구조(파일구조, 데이터 구조), 형식에 대한 진단 결과를 제공하고, 진단 결과 리포트를 파일로 다운로드 받을 수 있는 기능을 제공한다.
즉, 오류 항목 관리, 진단 결과 관리 등을 수행하며, 진단 결과 보고서를 다운로드할 수 있다.
상기 보고서는 도 8에 도시된 바와 같이, 검사 종합현황(각 검사 항목의 오류율, 오류건수, 전체건수 포함)과 진단대상누락목록(매칭검사 결과), 구조(파일,내용) 오류 목록 형식 오류 목록을 포함한다.
도 2에 도시된 바와 같이, 상기 진단 대상 관리 단계에서는, 검사 대상 파일인 xml, json 파일 등을 확보한다.
또한, 상기 진단 규칙 관리 단계에서는, 대상 파일의 구조 및 형식 검사에 사용할 검사 규칙과 목록 매칭 검사에 사용한 원천 파일 목록을 작성한다.
그리고 검사 도구에 검사 항목을 등록한다.
물론 이 모든 과정은 전용 어플리케이션에 의해 자동으로 수행될 수 있다.
상기 진단 수행 관리 단계에서는, 도 1상의 상기 진단 규칙 관리 단계에서 원본 이미지에서 생성된 어노테이션과의 매칭 분석, 내용의 구문적 정확성 분석, 구문 분석(통계) 등의 진단 규칙을 생성하면, 상기 진단 규칙을 가지고 검사를 수행하는 단계로써, 원천 목록과 검사 대상 파일(xml, json)과의 '매칭 검사', 파일의 유효성 및 파일 내용의 유효성(xml, json 구조여부)을 검사하는 '파일 구조 정확성 검사', 파일의 내용이 진단 규칙에 기재된 구조로 되어 있는지 검사하는 '구문 구조 정확성 검사', 파일의 각 항목이 진단 규칙에 기재된 데이터 형식, 길이, 값으로 되어있는지 검사하는 '형식 정확성 검사'를 순서대로 수행할 수 있다.
본 발명은 상기에서 언급한 바와 같이 바람직한 실시예와 관련하여 설명되었으나, 본 발명의 요지를 벗어남이 없는 범위 내에서 다양한 수정 및 변형이 가능하며, 다양한 분야에서 사용 가능하다.
따라서 본 발명의 청구범위는 이건 발명의 진정한 범위 내에 속하는 수정 및 변형을 포함한다.

Claims (5)

  1. 어노테이션 파일의 오류를 전용어플리케이션을 사용하여 발견하기 위한 것으로,
    (1) 어노테이션 관련 데이터를 수집하는 어노테이션대상 수집단계;
    (2) 상기 어노테이션 관련 데이터를 진단하고 분석하여 오류를 판단하는 어노테이션 분석단계; 및
    (3) 분석내용을 보고서로 작성하는 결과보고서 출력단계;
    를 포함하여 구성되는 것을 특징으로 하는 어노테이션 자동 진단 시스템.
  2. 제 1 항에 있어서,
    상기 수집되는 어노테이션 관련 데이터는, 어노테이션 진단 규칙, 원시가공 데이터 목록, 어노테이션 파일을 포함하는 것을 특징으로 하는 어노테이션 자동 진단 시스템.
  3. 제 1 항에 있어서,
    상기 보고서에는, 매칭 결과 내역, 구조 오류 내역, 형식 오류 내역, 구문 분석 결과, 종합 진단 결과를 포함하는 것을 특징으로 하는 어노테이션 자동 진단 시스템.
  4. 제 1 항에 있어서,
    상기 (2) 어노테이션 분석단계는 진단 대상 관리 단계, 진단 규칙 관리 단계, 진단 수행 관리 단계, 진단 결과 관리 단계 순서로 진행되고,
    상기 진단 규칙 관리 단계는 원본 이미지에서 생성된 어노테이션과의 매칭 분석, 내용의 구문적 정확성 분석, 구문 분석(통계)을 포함한 어노테이션 진단 규칙을 생성하되, 어노테이션 진단 규칙은 AI 데이터 구축 사업자로부터 제공받거나 진단 대상 데이터를 샘플링하여 생성하는 것을 특징으로 하는 어노테이션 자동 진단 시스템.
  5. 제 4 항에 있어서,
    상기 진단 수행 관리 단계는 상기 어노테이션 진단 규칙을 이용하여 검사를 수행하되,
    AI 데이터 구축 사업자로부터 csv 파일로 제공받은 데이터 원천 목록과 검사 대상 파일(xml, json)과의 '매칭 검사', 파일의 유효성 및 파일 내용의 유효성(xml, json 구조여부)을 검사하는 '파일 구조 정확성 검사', 파일의 내용이 어노테이션 진단 규칙에 기재된 구조로 되어 있는지 검사하는 '구문 구조 정확성 검사', 파일의 각 항목이 어노테이션 진단 규칙에 기재된 데이터 형식, 길이, 값으로 되어있는지 검사하는 '형식 정확성 검사'를 순서대로 수행하는 것을 특징으로 하는 어노테이션 자동 진단 시스템.
PCT/KR2021/013020 2020-11-24 2021-09-24 어노테이션 자동 진단 시스템 WO2022114486A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200158490A KR102269286B1 (ko) 2020-11-24 2020-11-24 어노테이션 자동 진단 시스템
KR10-2020-0158490 2020-11-24

Publications (1)

Publication Number Publication Date
WO2022114486A1 true WO2022114486A1 (ko) 2022-06-02

Family

ID=76607642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/013020 WO2022114486A1 (ko) 2020-11-24 2021-09-24 어노테이션 자동 진단 시스템

Country Status (2)

Country Link
KR (1) KR102269286B1 (ko)
WO (1) WO2022114486A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102269286B1 (ko) * 2020-11-24 2021-06-28 주식회사 비투엔 어노테이션 자동 진단 시스템
KR102428573B1 (ko) 2021-09-28 2022-08-03 주식회사 비투엔 어노테이션 변환 장치 및 그 제어 방법
KR102428582B1 (ko) 2021-09-28 2022-08-03 주식회사 비투엔 어노테이션 검사 규칙 변환 장치 및 그 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009193335A (ja) * 2008-02-14 2009-08-27 Nec Corp 静的検証ツールのアノテーション自動挿入方法
KR101507272B1 (ko) * 2014-02-12 2015-03-31 인하대학교 산학협력단 대화형 비디오에서 이동 객체의 의미적 어노테이션 시스템의 인터페이스 및 그 방법
KR101873926B1 (ko) * 2017-11-22 2018-07-04 김광호 빅데이터 기반 의료자문 서비스 제공 방법
KR102129705B1 (ko) * 2020-02-24 2020-07-02 주식회사 보인정보기술 장애인 접근성 전자책 변환 방법 및 장치
KR20200123584A (ko) * 2019-04-22 2020-10-30 한국전자통신연구원 어노테이션 오류 예측 장치 및 방법
KR102269286B1 (ko) * 2020-11-24 2021-06-28 주식회사 비투엔 어노테이션 자동 진단 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102177455B1 (ko) 2016-04-04 2020-11-11 한국전자통신연구원 비디오 어노테이션 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009193335A (ja) * 2008-02-14 2009-08-27 Nec Corp 静的検証ツールのアノテーション自動挿入方法
KR101507272B1 (ko) * 2014-02-12 2015-03-31 인하대학교 산학협력단 대화형 비디오에서 이동 객체의 의미적 어노테이션 시스템의 인터페이스 및 그 방법
KR101873926B1 (ko) * 2017-11-22 2018-07-04 김광호 빅데이터 기반 의료자문 서비스 제공 방법
KR20200123584A (ko) * 2019-04-22 2020-10-30 한국전자통신연구원 어노테이션 오류 예측 장치 및 방법
KR102129705B1 (ko) * 2020-02-24 2020-07-02 주식회사 보인정보기술 장애인 접근성 전자책 변환 방법 및 장치
KR102269286B1 (ko) * 2020-11-24 2021-06-28 주식회사 비투엔 어노테이션 자동 진단 시스템

Also Published As

Publication number Publication date
KR102269286B1 (ko) 2021-06-28

Similar Documents

Publication Publication Date Title
WO2022114486A1 (ko) 어노테이션 자동 진단 시스템
CN104077140B (zh) 用于持续集成的自动化编译方法和编译装置
CN101632082A (zh) 用于自动检验实验室化验结果的系统和方法
CN106529304B (zh) 一种安卓应用并发漏洞检测系统
Zhang et al. An empirical study of the impact of bad designs on defect proneness
EP0430182B1 (en) Method for assembly language programming potential error detection sensing apparent inconsistency with a previous operation
Aghajani et al. A large-scale empirical study on linguistic antipatterns affecting apis
CN109857637B (zh) 基于注解的Java语言方法覆盖率和方法输入输出统计方法
CN108710571A (zh) 一种生成自动化测试代码的方法和装置
Sierra et al. Is self-admitted technical debt a good indicator of architectural divergences?
CN102968372A (zh) 具有程序分析功能的程序调试系统
WO2021230394A1 (ko) 소프트웨어 개발 및 테스트 자동화 프레임워크
Krismayer et al. A constraint mining approach to support monitoring cyber-physical systems
Kocaguneli et al. Prest: An Intelligent Software Metrics Extraction, Analysis and Defect Prediction Tool.
US8359579B2 (en) Monitoring dynamic aspect oriented applications at execution time
CN110600090B (zh) 一种临床检验数据处理方法、装置、介质及终端设备
CN111105289A (zh) 一种基于aop方式的客户端订单取消判断方法及装置
CN210650758U (zh) 机器人示教器的测试系统
CN112992299B (zh) 信息处理方法、信息处理装置、电子设备和存储介质
CN113282496B (zh) 接口自动测试方法、装置、设备及存储介质
CN113590495A (zh) 一种测试覆盖率的确定方法、装置、设备及存储介质
CN113868137A (zh) 埋点数据的处理方法、装置、系统和服务器
Michura et al. Metrics suite for class complexity
CN111007268A (zh) 一种酶标仪检测板有效性的检测方法
Tinetti et al. An automated approach to hardware performance monitoring counters

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21898313

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21898313

Country of ref document: EP

Kind code of ref document: A1