WO2024043744A1 - 어노테이션 생성 지원 장치 및 방법 - Google Patents
어노테이션 생성 지원 장치 및 방법 Download PDFInfo
- Publication number
- WO2024043744A1 WO2024043744A1 PCT/KR2023/012624 KR2023012624W WO2024043744A1 WO 2024043744 A1 WO2024043744 A1 WO 2024043744A1 KR 2023012624 W KR2023012624 W KR 2023012624W WO 2024043744 A1 WO2024043744 A1 WO 2024043744A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- metadata
- labeling
- data
- raw data
- candidate information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000002372 labelling Methods 0.000 claims abstract description 137
- 239000013598 vector Substances 0.000 claims description 17
- 238000013079 data visualisation Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000011160 research Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000008520 organization Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013506 data mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
Definitions
- This relates to an apparatus and method for supporting high-efficiency annotation generation for large-scale data labeling.
- the purpose is to provide a device and method to support high-efficiency annotation generation for labeling large amounts of data.
- an annotation generation support device includes a labeling support unit that receives one or more raw data from a database and generates one or more labeling candidate information for each of the one or more raw data; and an interface unit that outputs one or more labeling candidate information.
- the labeling support unit groups one or more raw data based on at least one of the one or more metadata included in the raw data, and can generate a list of the metadata based on one or more raw data included in the same group. there is.
- the labeling support unit measures the distance of metadata included in one or more raw data using a heuristic function, which is either the Euclidean distance or the Manhattan distance, or an edge hop on the graph, based on the standard metadata.
- Raw data can be grouped based on the distance of the metadata.
- the labeling support unit may generate labeling candidate information by removing redundant meta data among the meta data included in the list of meta data.
- the labeling support unit can use metadata other than the standard metadata to generate identification information for duplicate metadata.
- the interface unit outputs one or more labeling candidate information and may receive an input signal for selecting one of the one or more labeling information from the user.
- the labeling support unit may set metadata corresponding to the labeling candidate selected based on an input signal for selecting labeling information received through the interface unit as a label for one or more raw data included in the same group.
- the raw data may be at least one of video data, text data, and image data.
- the labeling support unit receives an input signal for removing any one of one or more labeling information from the user through the interface unit, and can exclude raw data corresponding to the selected labeling candidate from the group based on the input signal for removing the received labeling information. there is.
- a data labeling support unit that receives one or more raw data and performs one of regression, classification, and clustering to generate an analysis vector; a data visualization unit that converts analysis vectors into visual data; and a data integrity control unit that generates labeling candidate information by performing voting on the analysis vector.
- the labeling support unit measures the distance of metadata included in one or more raw data using edit distance, and if the metadata includes proper nouns, weights may be assigned for each type of proper noun.
- a method for supporting annotation generation includes receiving one or more raw data from a database and generating one or more labeling candidate information for each of the one or more raw data; And it may include outputting one or more labeling candidate information.
- a highly efficient annotation system for large amounts of data can be built and empirical difficulties that occur when a labeler performs an annotation system can be resolved.
- FIG. 1 is a configuration diagram of an annotation creation support device according to an embodiment.
- Figure 2 is an example diagram for explaining a raw data grouping method according to an embodiment.
- Figure 3 is a configuration diagram of a labeling support unit according to an embodiment.
- Figure 4 is an example diagram for explaining the operation of a labeling support unit according to an example.
- Figure 5 is a flowchart illustrating a method for supporting annotation creation according to an embodiment.
- FIG. 1 is a configuration diagram of an annotation creation support device according to an embodiment.
- the annotation generation support device 100 includes a labeling support unit 110 that receives one or more raw data from a database and generates one or more labeling candidate information for each of the one or more raw data, and one or more labeling candidate information. It may include an interface unit 120 that outputs.
- the raw data may be at least one of video data, text data, and image data.
- raw data could be data from papers where clinical trials were conducted.
- labeling candidate information may be information for distinguishing raw data.
- the labeling candidate information may be at least one of the paper's author, creation organization, creation date, research topic, research identification number, and research field.
- the labeling support unit 110 groups one or more raw data based on at least one of one or more metadata included in the raw data, and the labeling support unit 110 groups one or more raw data based on at least one of the one or more metadata included in the raw data. You can create a list of metadata.
- Metadata may be data that can be labeling candidate information. Accordingly, if the raw data is paper data, metadata may be at least one of the paper's author, creation organization, creation date, research topic, research identification number, and research field.
- the labeling support unit 110 may group raw data based on any one of the author, creation institution, creation date, research topic, research identification number, and research field of the paper included in the metadata.
- the labeling support unit 110 may group paper data containing the same or similar generating organization based on the generating organization.
- the labeling support unit 110 may generate a metadata list that serves as a standard for grouping raw data included in the same group. For example, there are 10 pieces of raw data corresponding to the first group, and each generating institution is 'University of Pennsylvania Hospital, Univ of Pennsylvania, University of Pennsylvannia, University of Pennsylvania, Univ of Pennsylvania, University of Pennsylvania Faculty, University of Pennsylvania, University of Pennsylvania, University of Pennsylvania Hospital. In this case, the labeling support unit 110 may generate a metadata list using the metadata for the above generating organization.
- the labeling support unit 110 measures the distance of metadata included in one or more raw data based on standard metadata, and may group the raw data based on the distance of the measured metadata. there is.
- the labeling support unit 110 may measure the distance of metadata included in one or more raw data using a heuristic function, which is one of the Euclidean distance and the Manhattan distance, or an edge hop on a graph.
- a heuristic function which is one of the Euclidean distance and the Manhattan distance, or an edge hop on a graph.
- the labeling support unit 110 may assign weights to each type of proper noun when measuring the distance of metadata using the edit distance. For example, when metadata including proper nouns such as names of people, names of organizations, place names, and country names are input, the labeling support unit 110 generates proper nouns through a predetermined function designated for each type of proper noun included in the metadata. A predetermined weight can be assigned to each item. For example, when two metadata include proper nouns for a person and a place name, the labeling support unit 110 may apply different weights when the person name is different from the weight when the place name is different.
- Metadata may consist of a sentence containing one or more words or a string containing one or more characters.
- the labeling support unit 110 may assign different weights to distances according to replacement, insertion, deletion, and order change.
- the two metadata may have a relationship of 'add or delete' 'everly'.
- the two metadata are 'Winikoff, Gray' and 'Winikoff, B', 'Grey' and 'B' may be in a 'substitute' relationship.
- 'add or delete' is an abbreviation of the name and is likely to mean the same name, while 'replace' is likely to be a different name. Accordingly, in the case of 'add or delete', the weight for the distance can be set small, and in the case of 'replace', the weight for the distance can be set large.
- the order of the two words 'Winikoff' and 'Beverly' is different, and if the order of the two words is changed, they can become the same metadata. Accordingly, when two metadata are in an 'order change' relationship, the weight for the distance can be set small.
- the labeling support unit 110 may generate labeling candidate information by removing overlapping metadata among metadata included in the list of metadata.
- the labeling support unit 110 may generate labeling candidate information by removing redundant metadata from the list.
- labeling candidate information can be generated as shown in the table below.
- the interface unit 120 outputs one or more labeling candidate information and may receive an input signal for selecting one of the one or more labeling information from the user.
- the interface unit 120 can receive and output seven labeling candidate information from the labeling support unit 110, and may receive an input from the user to select one of the output labeling candidate information. You can receive it.
- the interface unit 120 may receive an input signal from the user to select 'University of Pennsylvania' from seven pieces of labeling candidate information.
- the labeling support unit 110 converts metadata corresponding to a labeling candidate selected based on an input signal for selecting labeling information received through the interface unit 120 into one or more pieces of raw data included in the same group. It can be set as a label.
- all 10 pieces of raw data included in the first group corresponding to the labeling candidate information shown in Table 1 may be set to the same labeling of 'University of Pennsylvania'.
- the labeling support unit 110 may receive an input signal for removing one or more pieces of labeling information from the user through the interface unit 120, based on the input signal for removing the received labeling information.
- the raw data corresponding to the selected labeling candidate can be excluded from the group.
- the labeling support unit 110 when the labeling support unit 110 receives a request from the interface unit 120 for an input to remove 'University of Pennsylvania Hospital' from 7 labeling candidate information, the labeling support unit 110 removes the corresponding information from the labeling candidate information. You can remove it and output 6 labeling candidate information. Additionally, the labeling support unit 100 may remove raw data including the removed 'University of Pennsylvania Hospital' metadata from the first group.
- the labeling support unit 110 may generate identification information of duplicate metadata using metadata other than the standard metadata.
- the labeling support unit 110 may use the research unique number other than the generating institution applied as the standard in the above embodiment as identification information.
- the raw data corresponding to 'National Center for Research Resources (NCRR)' in Figure 2(a) can be represented as Figure 2(b), where 11 raw data are divided based on 'source id'. can be identified.
- the raw data corresponding to 'Weill Medical College of Cornell University' in Figure 2(a) can be represented as Figure 2(c), where 16 raw data based on 'source id' Data can be identified.
- Figure 3 is a configuration diagram of a labeling support unit according to an embodiment.
- the labeling support unit 110 may include a data labeling support unit 111, a data visualization unit 113, and a data integrity control unit 115.
- Figure 4 is an example diagram for explaining the operation of a labeling support unit according to an example.
- the data labeling support unit 111 may perform all processes immediately preceding data visualization during labeling.
- the data labeling support unit 111 can receive raw data as input and output the result as a vector containing complex values.
- raw data may include structured and unstructured data such as video, text, and images.
- the metadata distance can be calculated using differences in distribution such as divergence or cross entropy.
- the data labeling support unit 111 may include a model or machine learning model.
- the machine learning model may be one of a supervised learning model, an unsupervised learning model, and a reinforcement learning model.
- the data labeling support unit 111 may be implemented as a rule-base model, and different weights may be applied to the features depending on the type of feature extracted from the source data.
- applying a weight to a feature means multiplying the feature calculated as a vector by an arbitrarily set value.
- the data labeling support unit 111 can perform analysis on input raw data using multiple machine learning models or multiple rule-base models at the same time, and the results output from multiple models can be generated in an ensemble (Ensemble). ) can be used in this way.
- the result vector output from the data labeling support unit 111 can be used as an input in data visualization and at the same time can be used as a condition value that affects the visualization result.
- the output result of each model may correspond to one of regression, classification, and clustering, and may be shown as a prior inference or prior clustering result at the data visualization stage.
- unlabeled data may have the inference result value of a pre-trained model on a similar data set as its default value until the user assigns a label to the data. .
- the relative distance can be extracted by calculating the Euclidean distance between the data or the edge hop on the graph.
- the data labeling support unit 111 may use an algorithm or metric for calculating relative distance (or distribution difference) such as Fuzzy matching, Cosine similarity, Edit distance, Cross-Entropy, and Kullback-Leibler divergence.
- the data visualization unit 113 delivers the model result vector generated by the data labeling support unit 111 to the client's terminal, visualizes it according to conditions, and delivers the labeling result back to the server to enter the annotation performance history table. You can perform a saving operation.
- the user of the client may be a labeler who performs annotations, and communication between the server and the client may include all communication methods, including wired and wireless.
- a terminal refers to an electronic device capable of wired or wireless communication where a labeler performs annotation.
- the data visualization unit 113 may perform two-way parameter transmission between the server and the client to perform annotation. For example, parameters passed to RestfulAPI in http and https protocol communication may correspond to this.
- the data visualization unit 113 converts the model result vector and unlabeled data transmitted to the client into colors, diagrams, shapes, scales, interactions, events expressed on the program, text, video, and sound. etc., and in this case, the output may be expressed differently depending on the data visualization conditional clause and the model result vector value.
- the data visualization unit 113 may replace unlabeled data transmitted to the client with the inference result of the model until the labeler performs the task, thereby making it labeled.
- the client can view each unlabeled data by gathering those with a short distance between vectors.
- Unlabeled data provided by the server may include not only the data itself but also reference information necessary to understand the data, such as the original data source of the unlabeled data and data characteristics.
- the labeler when the labeler cannot clearly classify the data to be labeled into a certain class, it can skip it or label it as a specific exception class. Each time an annotation is performed, the labeler can receive annotation progress, number of skips, exception class information, annotation performance manual, etc. from the server.
- the data integrity control unit 115 minimizes gaps or human errors in data that may be labeled differently when one or multiple users or labelers with different levels of expertise participate. It is a logical device for
- the client's labeling results are stored in a temporary table
- the annotation results stored in the temporary table may be divided into a data mapping table, a data index table, and a data attribute table according to a specific trigger or condition.
- the data mapping table is a table that records information about what source or raw data should be mapped to what data can ultimately be identified, preventing the labeler from re-labeling the same source or raw data in the future. It can perform a blocking function. Therefore, it is especially necessary when building an annotation system for large amounts of data, and allows unstructured data to be identified in a standardized form through the corresponding table in real-time services.
- each element of a data index table is an entity in which the raw data is actually labeled, and each entity is semantically independent and has a unique key value.
- raw data coming in in real time is identified in the data index table after checking which key it is connected to through the mapping table.
- the data attribute table is a table composed of characteristics (Characteristics or Features) for each entity in the data index table. Characteristics for identified entities can be defined in the corresponding table.
- the client's labeling results can be stored in a table in two ways depending on the characteristics of the data or the number of labelers. For example, when labeling data does not require expert knowledge or when multiple labelers participate, one of the conventional machine learning techniques, hard voting or soft voting, can be used. there is.
- hard voting refers to a method in which when multiple labelers annotate one data with two types (or classes) of names, the result is decided by a majority vote.
- Soft voting refers to multiple labelers assigning different real numbers to the probability that the data belongs to each class to a piece of data, and finally determining the class of the data by taking a weighted average of the real labeling values of multiple labelers (e.g. For example, the weight is determined according to the level of domain knowledge.
- the iterative expertise labeling method can be used when expert knowledge is required to label data and the number of labelers is small.
- Iterative expert knowledge labeling is a labeling method that repeats the same annotation set several times by dividing the labeling step according to the domain knowledge level, performing annotation sets according to the knowledge level, and then passing the results of each set to the upper domain expert group.
- hard voting, soft voting, and iterative expert knowledge labeling methods are all techniques for minimizing domain knowledge gaps or human errors, and the data labeling support unit 111, data visualization unit 113, and data integrity control unit 115 This is the minimum function required to implement an annotation system for large amounts of data.
- Figure 5 is a flowchart illustrating a method for supporting annotation creation according to an embodiment.
- an annotation generation support device may receive one or more raw data from a database and generate one or more labeling candidate information for each of the one or more raw data (510). Afterwards, the annotation generation support device may output one or more labeling candidate information to the user (520).
- An aspect of the present invention may be implemented as computer-readable code on a computer-readable recording medium. Codes and code segments implementing the above program can be easily deduced by a computer programmer in the art.
- Computer-readable recording media may include all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media may include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, etc. Additionally, the computer-readable recording medium may be distributed over network-connected computer systems and written and executed as computer-readable code in a distributed manner.
- the present invention can be utilized in the data industry field.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
대용량 데이터 레이블링을 위한 고효율 어노테이션 생성 지원 장치 및 방법이 개시된다. 일 실시 예에 따른 어노테이션 생성 지원 장치는 데이터 베이스로부터 하나 이상의 원시 데이터를 수신하여 하나 이상의 원시 데이터 각각에 대한 하나 이상의 레이블링 후보 정보를 생성하는 레이블링 지원부; 및 하나 이상의 레이블링 후보 정보를 출력하는 인터페이스부를 포함할 수 있다.
Description
대용량 데이터 레이블링을 위한 고효율 어노테이션 생성 지원 장치 및 방법에 관한 것이다.
최근 인공 신경망의 활용 범위가 넓어지며 이를 학습하기 위한 학습 데이터 생성 방법에 많은 연구가 진행되고 있다. 종래 학습 데이터를 생성하기 위한 레이블링 기술은 데이터에 라벨을 연결 짓는 기본적인 수행 과정에서의 어노테이션 시스템에 국한되며, 이러한 시스템은 시스템의 기본 정의를 구현하는 데이터 입력부, 데이터 출력부, 어노테이션 인터페이스 등 기본적인 구조에 한정되어 있다.
하지만 이런 기본적인 기능은 데이터의 수가 기하급수적으로 늘어나거나 레이블러가 데이터를 레이블링하기 위해 수준 높은 도메인 지식이 요구되는 경우, 또는, 다수의 사용자가 레이블러로 참여하여 라벨 결과에 이견이 있을 경우 등 다양한 환경에 적합하지 않다.
대용량 데이터 레이블링을 위한 고효율 어노테이션 생성 지원 장치 및 방법을 제공하는데 목적이 있다.
일 양상에 따르면, 어노테이션 생성 지원 장치는 데이터 베이스로부터 하나 이상의 원시 데이터를 수신하여 하나 이상의 원시 데이터 각각에 대한 하나 이상의 레이블링 후보 정보를 생성하는 레이블링 지원부; 및 하나 이상의 레이블링 후보 정보를 출력하는 인터페이스부를 포함할 수 있다.
레이블링 지원부는 원시 데이터에 포함된 하나 이상의 메타 데이터 중 적어도 하나를 기준으로 하나 이상의 원시 데이터를 그룹핑하며, 동일한 그룹에 포함된 하나 이상의 원시 데이터에 포함된 기준이 된 메타 데이터에 대한 리스트를 생성할 수 있다.
레이블링 지원부는 기준이 된 메타 데이터를 기초로 유클리드 거리 및 맨해튼 거리 중 어느 하나인 휴리스틱 함수 또는 그래프 상의 에지 홉 (Edge Hop)을 이용하여 하나 이상의 원시 데이터에 포함된 메타 데이터의 거리를 측정하며, 측정된 메타 데이터의 거리를 기초로 원시 데이터를 그룹핑할 수 있다.
레이블링 지원부는 메타 데이터에 대한 리스트에 포함된 메타 데이터 중 중복되는 메타 데이터를 리스트에서 제거하여 레이블링 후보 정보를 생성할 수 있다.
레이블링 지원부는 기준이 된 메타 데이터 이외의 다른 메타 데이터를 이용하여 중복된 메타 데이터의 식별 정보로 생성할 수 있다.
인터페이스부는 하나 이상의 레이블링 후보 정보를 출력하며, 사용자로부터 하나 이상의 레이블링 정보 중 어느 하나를 선택하는 입력 신호를 수신할 수 있다.
레이블링 지원부는 인터페이스부를 통하여 수신한 레이블링 정보를 선택하는 입력 신호에 기초하여 선택된 레이블링 후보에 해당하는 메타 데이터를 동일한 그룹에 포함된 하나 이상의 원시 데이터의 레이블로 설정할 수 있다.
원시 데이터는 영상 데이터, 텍스트 데이터 및 이미지 데이터 중 적어도 하나일 수 있다.
레이블링 지원부는 인터페이스부를 통하여 사용자로부터 하나 이상의 레이블링 정보 중 어느 하나를 제거하는 입력 신호를 수신하며, 수신한 레이블링 정보를 제거하는 입력 신호에 기초하여 선택된 레이블링 후보에 해당하는 원시 데이터를 그룹에서 제외할 수 있다.
레이블링 지원부는 하나 이상의 원시 데이터를 입력받아 회귀, 분류 및 군집 중 어느 하나를 수행하여 분석 벡터를 생성하는 데이터 레이블링 지원부; 분석 벡터를 시각적 데이터로 변환하는 데이터 시각화부; 및 분석 벡터에 대한 보팅(voting)을 수행하여 레이블링 후보 정보를 생성하는 데이터 무결성 제어부를 포함할 수 있다.
레이블링 지원부는 편집 거리(edit distance)를 이용하여 하나 이상의 원시 데이터에 포함된 메타 데이터의 거리를 측정하되, 메타 데이터가 고유명사를 포함하는 경우 고유명사의 종류 별로 가중치를 부여할 수 있다.
일 양상에 따르면, 어노테이션 생성 지원 방법은 데이터 베이스로부터 하나 이상의 원시 데이터를 수신하여 하나 이상의 원시 데이터 각각에 대한 하나 이상의 레이블링 후보 정보를 생성하는 단계; 및 하나 이상의 레이블링 후보 정보를 출력하는 단계를 포함할 수 있다.
일 실시 예에 따를 경우, 대용량 데이터에 대한 고효율 어노테이션 시스템을 구축할 수 있으며, 레이블러가 어노테이션 시스템을 수행할 때 발생하는 경험적인 애로사항들을 해결할 수 있다.
도 1은 일 실시 예에 따른 어노테이션 생성 지원 장치의 구성도이다.
도 2는 일 실시 예에 따른 원시 데이터 그룹핑 방법을 설명하기 위한 예시도이다.
도 3은 일 실시 예에 따른 레이블링 지원부의 구성도이다.
도 4는 일 예에 따른 레이블링 지원부의 동작을 설명하기 위한 예시도이다.
도 5는 일 실시 예에 따른 어노테이션 생성 지원 방법을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 어노테이션 생성 지원 장치 및 방법의 실시 예들을 도면들을 참고하여 자세히 설명한다.
도 1은 일 실시 예에 따른 어노테이션 생성 지원 장치의 구성도이다.
도 1을 참조하면, 어노테이션 생성 지원 장치(100)는 데이터 베이스로부터 하나 이상의 원시 데이터를 수신하여 하나 이상의 원시 데이터 각각에 대한 하나 이상의 레이블링 후보 정보를 생성하는 레이블링 지원부(110) 및 하나 이상의 레이블링 후보 정보를 출력하는 인터페이스부(120)를 포함할 수 있다.
일 예에 따르면, 원시 데이터는 영상 데이터, 텍스트 데이터 및 이미지 데이터 중 적어도 하나일 수 있다. 예를 들어, 원시 데이터는 임상 시험을 수행한 논문 데이터일 수 있다.
일 예로, 레이블링 후보 정보는 원시 데이터를 구분하기 위한 정보일 수 있다. 예를 들어, 원시 데이터가 논문 데이터인 경우, 레이블링 후보 정보는 논문의 저자, 생성기관, 생성일자, 연구 주제, 연구 고유번호, 및 연구 분야 중 적어도 하나일 수 있다.
일 실시 예에 따르면, 레이블링 지원부(110)는 원시 데이터에 포함된 하나 이상의 메타 데이터 중 적어도 하나를 기준으로 하나 이상의 원시 데이터를 그룹핑하며, 동일한 그룹에 포함된 하나 이상의 원시 데이터에 포함된 기준이 된 메타 데이터에 대한 리스트를 생성할 수 있다.
일 예로, 메타 데이터는 레이블링 후보 정보가 될 수 있는 데이터일 수 있다. 이에 따라, 원시 데이터가 논문 데이터인 경우, 메타 데이터는 논문의 저자, 생성기관, 생성일자, 연구 주제, 연구 고유번호 및 연구 분야 중 적어도 하나일 수 있다.
일 예에 따르면, 레이블링 지원부(110)는 메타 데이터에 포함되는 논문의 저자, 생성기관, 생성일자, 연구 주제, 연구 고유번호 및 연구 분야 중 어느 하나를 기준으로 원시 데이터를 그룹핑할 수 있다. 예를 들어, 기준이 된 메타 데이터가 생성기관인 경우, 레이블링 지원부(110)는 생성기관을 기준으로 동일 또는 유사한 생성기관이 포함된 논문 데이터들을 그룹핑할 수 있다.
일 예에 따르면, 레이블링 지원부(110)는 동일한 그룹에 포함된 원시 데이터에 대한 그룹핑의 기준이 된 메타 데이터 리스트를 생성할 수 있다. 예를 들어, 제 1 그룹에 해당하는 원시 데이터가 10개이며, 각각의 생성기관이 'University of Pennsylvania Hospital, Univ of Pennsylvania, University of Pennsylvannia, University of Pennsylvanica, Univ of Pennsylvania , University of Pennsylvania Faculty, University of Pensylvania, Univesity of Pennsylvania, University of Pennsylvannia, University of Pennsylvania Hospital'일 수 있다. 이러한 경우, 레이블링 지원부(110)는 위의 생성기관에 대한 메타 데이터를 이용하여 메타 데이터 리스트를 생성할 수 있다.
일 실시 예에 따르면, 레이블링 지원부(110)는 기준이 된 메타 데이터를 기초로 하나 이상의 원시 데이터에 포함된 메타 데이터의 거리를 측정하며, 측정된 메타 데이터의 거리를 기초로 원시 데이터를 그룹핑할 수 있다.
일 예로, 레이블링 지원부(110)는 유클리드 거리 및 맨해튼 거리 중 어느 하나인 휴리스틱 함수 또는 그래프 상의 에지 홉 (Edge Hop)을 이용하여 하나 이상의 원시 데이터에 포함된 메타 데이터의 거리를 측정할 수 있다.
일 예로, 레이블링 지원부(110)는 편집 거리(edit distance)를 이용하여 메타 데이터의 거리를 측정할 수 있다. 예를 들어, 메타 데이터 a = '안녕하세요' 이며, 메타 데이터 b = '안녕하십니까'인 경우, 메타 데이터 간 음절이 다른 '십니까'를 기준으로 두 메타 데이터 간 거리 = 3 이 될 수 있다.
일 예로, 레이블링 지원부(110)는 편집 거리(edit distance)를 이용하여 메타 데이터의 거리를 측정 시 고유명사의 종류별로 가중치 부여할 수 있다. 예를 들어, 인명, 기관명, 지명 및 국호와 같은 고유명사를 포함하는 메타 데이터가 입력되는 경우, 레이블링 지원부(110)는 메타 데이터에 포함된 각각의 고유명사 종류별로 지정된 소정의 함수를 통하여 고유명사 별로 지정된 소정의 가중치를 부여할 수 있다. 예를 들어, 두 개의 메타 데이터가 인명 및 지명에 대한 고유 명사를 포함하고 있는 경우, 레이블링 지원부(110)는 인명이 다른 경우의 가중치와 지명이 다른 경우의 가중치를 상이하게 적용할 수 있다.
일 예로, 메타 데이터는 하나 이상의 단어를 포함하는 문장 또는 하나 이상의 문자를 포함하는 문자열로 구성될 수 있다.
일 예로, 레이블링 지원부(110)는 대체, 삽입, 삭제 및 순서변경에 따른 거리의 가중치를 다르게 부여할 수 있다.
일 예를 들어, 메타 데이터가 'Winikoff, Beverly'및 'Winikoff, B'인 경우, 두 메타 데이터는 'everly'의 '추가 또는 삭제'가 된 관계일 수 있다. 반면, 두 메타 데이터가 'Winikoff, Grey' 및 'Winikoff, B'인 경우, 'Grey'와 'B'는 '대체' 관계에 있을 수 있다. 위의 두 경우 중 '추가 또는 삭제'의 경우, 이름을 축약한 경우로서 동일한 이름을 의미하는 것일 가능성이 높은 반면, '대체'는 서로 다른 이름일 가능성이 높다. 이에 따라, '추가 또는 삭제'의 경우 거리에 대한 가중치를 작게 설정하며, '대체'의 경우 거리에 대한 가중치를 크게 설정할 수 있다.
일 예를 들어, 메타 데이터 'Beverly Winikoff'및 'Winikoff Beverly'의 경우, 두 단어 'Winikoff' 와 'Beverly'의 순서가 다른 것으로, 두 단어의 순서를 변경하는 경우 동일한 메타 데이터가 될 수 있다. 이에 따라, 두 메타 데이터가 '순서 변경' 관계에 있는 경우, 거리에 대한 가중치를 작게 설정할 수 있다.
일 실시 예에 따르면, 레이블링 지원부(110)는 메타 데이터에 대한 리스트에 포함된 메타 데이터 중 중복되는 메타 데이터를 리스트에서 제거하여 레이블링 후보 정보를 생성할 수 있다.
일 예를 들어, 위에서 언급한 제 1 그룹의 경우, 메타 데이터 University of Pennsylvania Hospital, University of Pennsylvannia 및 Univ of Pennsylvania가 중복되어 있다. 이때, 레이블링 지원부(110)는 중복되는 메타 데이터를 리스트에서 제거하여 레이블링 후보 정보를 생성할 수 있다.
예를 들어, 레이블링 후보 정보는 아래 표와 같이 생성될 수 있다.
레이블링 후보 정보 | 사용자 선택 입력 |
University of Pennsylvania Hospital | University of Pennsylvania |
Univ of Pennsylvania | |
University of Pennsylvannia | |
University of Pennsylvanica | |
University of Pennsylvania Faculty | |
University of Pensylvania | |
Univesity of Pennsylvania |
일 실시 예에 따르면, 인터페이스부(120)는 하나 이상의 레이블링 후보 정보를 출력하며, 사용자로부터 하나 이상의 레이블링 정보 중 어느 하나를 선택하는 입력 신호를 수신할 수 있다.
예를 들어, 표 1에서와 같이, 인터페이스부(120)는 레이블링 지원부(110)로부터 7개의 레이블링 후보 정보를 수신하여 출력할 수 있으며, 사용자로부터 출력된 레이블링 후보 정보 중 1 개를 선택하는 입력을 수신할 수 있다. 예를 들어, 인터페이스부(120)는 사용자로부터 7개의 레이블링 후보 정보에서 'University of Pennsylvania'를 선택하는 입력 신호를 수신할 수 있다.
일 실시 예에 따르면, 레이블링 지원부(110)는 인터페이스부(120)를 통하여 수신한 레이블링 정보를 선택하는 입력 신호에 기초하여 선택된 레이블링 후보에 해당하는 메타 데이터를 동일한 그룹에 포함된 하나 이상의 원시 데이터의 레이블로 설정할 수 있다.
예를 들어, 표 1에서 표시된 레이블링 후보 정보에 해당하는 제 1 그룹에 포함되는 원시 데이터 10개는 모두 동일하게 'University of Pennsylvania'를 레이블링으로 설정될 수 있다.
일 실시 예에 따르면, 레이블링 지원부(110)는 인터페이스부(120)를 통하여 사용자로부터 하나 이상의 레이블링 정보 중 어느 하나를 제거하는 입력 신호를 수신할 수 있으며, 수신한 레이블링 정보를 제거하는 입력 신호에 기초하여 선택된 레이블링 후보에 해당하는 원시 데이터를 그룹에서 제외할 수 있다.
예를 들어, 레이블링 지원부(110)가 인터페이스부(120)로부터 7개의 레이블링 후보 정보 중 'University of Pennsylvania Hospital'를 제거하는 입력을 요청받는 경우, 레이블링 지원부(110)는 레이블링 후보 정보에서 해당 정보를 제거하고 6개의 레이블링 후보 정보를 출력할 수 있다. 또한, 레이블링 지원부(100)는 제거된 'University of Pennsylvania Hospital'메타 데이터를 포함하고 있는 원시 데이터를 제 1 그룹에서 제거할 수 있다.
일 실시 예에 따르면, 레이블링 지원부(110)는 기준이 된 메타 데이터 이외의 다른 메타 데이터를 이용하여 중복된 메타 데이터의 식별 정보로 생성할 수 있다.
예를 들어, 레이블링 지원부(110)는 위의 실시 예에서 기준으로 적용한 생성기관 외 연구 고유번호를 식별 정보로 활용할 수 있다. 예를 들어, 도 2(a)에서 'National Center for Research Resources (NCRR)'에 해당하는 원시 데이터는 도 2(b)와 같이 나타낼 수 있으며, 여기서 'source id'를 기초로 11개의 원시 데이터를 식별할 수 있다. 다른 예를 들어, 예를 들어, 도 2(a)에서 'Weill Medical College of Cornell University'에 해당하는 원시 데이터는 도 2(c)와 같이 나타낼 수 있으며, 여기서 'source id'를 기초로 16 원시 데이터를 식별할 수 있다.
도 3은 일 실시 예에 따른 레이블링 지원부의 구성도이다.
도 3을 참조하면, 레이블링 지원부(110)는 데이터 레이블링 지원부(111), 데이터 시각화부(113) 및 데이터 무결성 제어부(115)를 포함할 수 있다.
도 4는 일 예에 따른 레이블링 지원부의 동작을 설명하기 위한 예시도이다.
일 예에 따르면, 데이터 레이블링 지원부(111)는 레이블링 진행 시 데이터 시각화를 하기 바로 전까지 진행되는 모든 과정을 수행할 수 있다. 데이터 레이블링 지원부(111)는 원시 데이터를 입력받을 수 있으며, 복소수 값을 포함하는 벡터로 결과를 출력할 수 있다. 예를 들어, 원시 데이터는 영상, 텍스트, 이미지 등 정형 및 비정형 데이터를 포함할 수 있다.
일 예를 들어, 영상 또는 이미지와 같은 원시 데이터의 경우 이미지 전경(Image foreground)에서의 객체 거리(object distance), 트리플렛 손실(Triplet loss), 두 이미지 사이에서 휴리스틱 거리, 쿨백-라이블러 발산(KL Divergence) 또는 교차 엔트로피(cross entropy)와 같은 분포의 차이 등을 이용하여 메타 데이터 거리를 계산할 수 있다.
일 예로, 데이터 레이블링 지원부(111)는 모델 또는 머신 러닝 모델을 포함할 수 있다. 예를 들어, 머신 러닝 모델은 지도 학습 모델, 비지도 학습 모델, 강화 학습 모델 중 어느 하나일 수 있다. 다른 예로, 데이터 레이블링 지원부(111)는 Rule-base 모델로 구현될 수 있으며, 원천 데이터에서 추출된 특징(feature)의 종류에 따라 각기 다른 가중치를 특징에 적용할 수 있다. 여기서, 가중치를 특징에 적용한다는 것은 임의로 설정한 값을 벡터로 산출된 특징에 곱하는 것을 의미한다.
일 예로, 데이터 레이블링 지원부(111)는 동시에 다수의 머신 러닝 모델들 또는 다수의 Rule-base 모델을 이용하여 입력된 원시 데이터에 대한 분석을 수행할 수 있으며, 여러 모델에서 출력된 결과는 앙상블(Ensemble) 방식으로 활용될 수 있다.
일 예로, 데이터 레이블링 지원부(111)에서 출력하는 결과 벡터는 데이터 시각화에서의 입력으로 사용되며 동시에 시각화 결과에 영향을 주는 조건 값으로 사용될 수 있다. 또한, 각 모델의 출력 결과는 회귀, 분류, 군집 중 하나에 해당할 수 있으며, 데이터 시각화 단계에서 선행 추론, 선행 군집 결과로 보여질 수 있다. 다시 말해, 사용자가 데이터에 라벨을 부여하기 전까지 레이블이 부여되지 않은 데이터(Unlabeled data)는 유사 데이터 셋에 사전 학습된 (Pre-trained) 모델의 추론 결과 값을 기본값(default)으로 가지고 있을 수 있다.
일 예로, 군집 결과로 추출된 벡터들 중 사전에 모델에 의해 레이블링 되기 어려운 데이터들은 데이터 간의 유클리드 거리 또는 그래프 상의 에지 홉(Edge Hop)을 계산하여 상대적 거리를 추출할 수 있다. 이때, 데이터 레이블링 지원부(111)는 Fuzzy matching, Cosine similarity, Edit distance, Cross-Entropy, Kullback-Leibler divergence 등 상대적 거리(또는 분포의 차이)를 계산하는 알고리즘이나 metric을 사용할 수 있다.
일 예에 따르면, 데이터 시각화부(113)는 데이터 레이블링 지원부(111)에서 생성된 모델 결과 벡터를 클라이언트의 단말에 전달하고 이를 조건에 따라 시각화하여 레이블링 결과를 다시 서버로 전달하여 어노테이션 수행 이력 테이블에 저장하는 동작을 수행할 수 있다. 여기서, 클라이언트의 사용자는 어노테이션을 수행하는 레이블러일 수 있으며, 서버와 클라이언트의 통신은 유무선을 포함한 모든 통신 방식을 포함할 수 있다. 또한, 단말이란 레이블러가 어노테이션을 수행하는 유무선 통신이 가능한 전자 장비를 나타낸다.
일 예로, 데이터 시각화부(113)는 어노테이션을 수행하기 위하여 서버와 클라이언트 간 양방향 파라미터 전송을 수행할 수 있다. 예를 들어, http, https 프로토콜 통신에서 RestfulAPI로 전달되는 파라미터들이 이에 해당할 수 있다.
일 예에 따르면, 데이터 시각화부(113)는 클라이언트로 전송하는 모델 결과 벡터와 레이블이 부여되지 않은 데이터를 색상, 도표, 도형, 스케일, 상호작용, 프로그램상에 표현되는 이벤트, 텍스트, 영상, 소리 등으로 표현할 수 있으며, 이때 출력은 데이터 시각화 조건절과 모델 결과 벡터 값에 따라서 상이하게 표현될 수 있다.
일 예에 따르면, 데이터 시각화부(113)는 클라이언트로 전송된 레이블이 부여되지 않은 데이터를 레이블러가 작업을 수행하기 전까지 모델의 추론 결과로 대체하여 레이블이 부여된 상태로 만들 수 있다.
일 예에 따르면, 모델의 결과가 '회귀'나 '분류'가 아닌 '군집'의 경우 클라이언트는 레이블이 부여되지 않은 데이터들 각각을 벡터 사이의 거리가 가까운 것끼리 모아 볼 수 있다.
일 예에 따르면, 레이블러에 의해 어노테이션이 완료된 데이터는 다시 서버로 전송되며 임시 어노테이션 테이블에 저장될 수 있다. 서버에서 제공하는 레이블이 부여되지 않은 데이터는 데이터 그 자체뿐만 아니라 레이블이 부여되지 않은 데이터의 원천 데이터 소스, 데이터의 특징 등 데이터를 이해하기 위해 필요한 레퍼런스 정보들을 포함할 수 있다.
일 예에 따르면, 레이블러는 레이블링을 진행하려는 데이터를 명확히 어떤 클래스로 분류할 수 없을 때 이를 건너뛰거나 특정 예외 클래스로 레이블링 할 수 있다. 레이블러는 어노테이션을 수행할 때마다 서버로부터 어노테이션 진행률, 건너뜀 횟수, 예외 클래스 정보, 어노테이션 수행 매뉴얼 등을 제공 받을 수 있다.
일 예에 따르면, 데이터 무결성 제어부(115)는 한 명 혹은 다수의 사용자, 또는 상이한 전문 지식수준을 가진 레이블러가 참여하는 경우 다르게 레이블링 될 수 있는 데이터 상의 격차 또는 인적 오류(Human error)를 최소화하기 위한 논리적 장치이다.
일 예에 따르면, 클라이언트의 레이블링 결과는 임시 테이블에 저장되며 임시 테이블에 저장된 어노테이션 결과는 특정 트리거 또는 조건에 의해 데이터 매핑 테이블, 데이터 인덱스 테이블, 데이터 속성 테이블에 나뉘어 저장될 수 있다.
일 예로, 데이터 매핑 테이블은 원천 또는 원시 데이터가 최종적으로 식별 가능한 어떤 데이터로 매핑 되어야 하는지에 대한 정보가 기록되어 있는 테이블로 추후 같은 원천 또는 원시 데이터를 레이블러가 재-레이블링 (re-Labeling)하지 않도록 차단해주는 기능을 수행할 수 있다. 따라서 대용량 데이터에 대한 어노테이션 시스템을 구축할 때 특히 필요하며 실시간 서비스에서 비정형 데이터가 해당 테이블을 통해 정형화된 형태로 식별될 수 있게 해준다.
일 예로, 데이터 인덱스 테이블의 각 요소는 원시 데이터가 실제로 레이블링 된 하나의 개체(Entity)이며 각 개체는 의미적으로 독립적이며 고유한 키 값을 가진다. 다시 말해 실시간으로 들어오는 원시 데이터는 매핑 테이블을 거쳐 어떤 키로 연결될 지를 확인한 후 데이터 인덱스 테이블에서 식별된다.
일 예로, 데이터 속성 테이블은 데이터 인덱스 테이블의 각 개체에 대한 특징 (Characteristics 또는 Features)으로 구성된 테이블이다. 식별된 개체에 대한 특징들은 해당 테이블에서 정의될 수 있다.
일 예에 따르면, 클라이언트의 레이블링 결과는 데이터의 특성이나 레이블러의 수에 따라서 두 가지 방식으로 테이블에 저장될 수 있다. 일 예를 들어, 데이터를 레이블링 하기 위해 전문 지식을 요구하지 않거나 다수의 레이블러가 참여하는 경우, 머신 러닝 종래의 기술 중 하나인 하드 보팅(Hard voting) 또는 소프트 보팅(Soft Voting) 기법을 사용할 수 있다.
여기서, 하드 보팅이란 다수의 레이블러가 하나의 데이터에 대해서 두 종류 (또는 클래스)의 이름으로 어노테이션 했을 경우 그 결과를 다수결에 의해서 결정하는 방식을 의미한다. 소프트 보팅이란 다수의 레이블러가 하나의 데이터에 대해서 해당 데이터가 각 클래스에 속할 확률을 각기 다른 실수의 값으로 부여하고 최종적으로 데이터의 클래스를 여러 레이블러의 실수 레이블링 값을 가중평균해서 (예를 들면 가중치는 도메인 지식 수준에 따라) 결정하는 방식이다.
일 예로, 반복적인 전문지식 레이블링(Iterative Expertise Labeling) 방법은 데이터를 레이블링하기 위해 전문 지식이 요구되고 레이블러의 수가 적은 경우 사용될 수 있다. 반복적인 전문지식 레이블링은 레이블링 단계를 도메인 지식수준에 따라 나누고 지식수준에 따라 어노테이션 세트를 수행한 후 각 세트의 결과를 상위 도메인 전문가 그룹에 넘김으로써 같은 어노테이션 세트를 수차례 반복하는 레이블링 방식이다.
일 예로, 하드 보팅, 소프트 보팅 및 반복적인 전문지식 레이블링 방식 모두 도메인 지식 격차나 인적 오류를 최소화하기 위한 기술이며, 데이터 레이블링 지원부(111), 데이터 시각화부(113) 및 데이터 무결성 제어부(115)는 대용량 데이터에 대한 어노테이션 시스템을 구현하기 위해 필요한 최소한의 기능이다.
도 5는 일 실시 예에 따른 어노테이션 생성 지원 방법을 도시한 흐름도이다.
일 실시 예에 따르면, 어노테이션 생성 지원 장치는 데이터 베이스로부터 하나 이상의 원시 데이터를 수신하여 하나 이상의 원시 데이터 각각에 대한 하나 이상의 레이블링 후보 정보를 생성할 수 있다(510). 이후, 어노테이션 생성 지원 장치는 하나 이상의 레이블링 후보 정보를 사용자에게 출력할 수 있다(520).
도 5의 실시예 중 도 1 내지 도 4를 참조하여 설명한 내용과 중복되는 설명은 생략하였다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
본 발명은 테이터 산업 분야에 활용가능하다.
Claims (14)
- 데이터 베이스로부터 하나 이상의 원시 데이터를 수신하여 상기 하나 이상의 원시 데이터 각각에 대한 하나 이상의 레이블링 후보 정보를 생성하는 레이블링 지원부; 및상기 하나 이상의 레이블링 후보 정보를 출력하는 인터페이스부를 포함하며,상기 레이블링 지원부는상기 하나 이상의 원시 데이터 각각에 포함된 하나 이상의 메타 데이터의 종류 중 어느 하나를 기준으로 결정하며,유클리드 거리 및 맨해튼 거리 중 어느 하나인 휴리스틱 함수 또는 그래프 상의 에지 홉 (Edge Hop)을 이용하여 상기 기준이 된 메타 데이터 종류에 해당하는 하나 이상의 원시 데이터에 포함된 메타 데이터 간의 거리를 측정하며,측정된 메타 데이터의 거리를 기초로 상기 하나 이상의 원시 데이터를 그룹핑하며,각각의 그룹 별로 상기 기준이 된 메타 데이터 종류에 해당하는 메타 데이터에 대한 리스트를 포함하는 하나 이상의 레이블링 후보 정보를 생성하며,상기 인터페이스부를 통하여 사용자로부터 각각의 그룹 별로 메타 데이터에 대한 리스트에 포함된 어느 하나의 메타 데이터를 선택하는 입력 신호를 수신하며,상기 기준이 된 메타 데이터 종류에 해당하는 하나 이상의 메타 데이터 중 각각의 그룹 별로 선택된 메타 데이터 이외의 메타 데이터를 각각의 그룹 별로 선택된 메타 데이터로 변경하는, 어노테이션 생성 지원 장치.
- 제 1 항에 있어서,상기 레이블링 지원부는상기 메타 데이터에 대한 리스트에 포함된 메타 데이터 중 중복되는 메타 데이터를 리스트에서 제거하여 레이블링 후보 정보를 생성하는, 어노테이션 생성 지원 장치.
- 제 2 항에 있어서,상기 레이블링 지원부는상기 기준이 된 메타 데이터 이외의 다른 메타 데이터를 이용하여 중복된 메타 데이터의 식별 정보로 생성하는, 어노테이션 생성 지원 장치.
- 제 1 항에 있어서,상기 원시 데이터는 영상 데이터, 텍스트 데이터 및 이미지 데이터 중 적어도 하나인, 어노테이션 생성 지원 장치.
- 제 1 항에 있어서,상기 레이블링 지원부는상기 인터페이스부를 통하여 사용자로부터 상기 하나 이상의 레이블링 정보 중 어느 하나를 제거하는 입력 신호를 수신하며,수신한 레이블링 정보를 제거하는 입력 신호에 기초하여 선택된 레이블링 후보에 해당하는 원시 데이터를 그룹에서 제외하는, 어노테이션 생성 지원 장치.
- 제 1 항에 있어서,상기 레이블링 지원부는상기 하나 이상의 원시 데이터를 입력받아 회귀, 분류 및 군집 중 어느 하나를 수행하여 분석 벡터를 생성하는 데이터 레이블링 지원부;상기 분석 벡터를 시각적 데이터로 변환하는 데이터 시각화부; 및상기 분석 벡터에 대한 보팅(voting)을 수행하여 레이블링 후보 정보를 생성하는 데이터 무결성 제어부를 포함하는, 어노테이션 생성 지원 장치.
- 제 1 항에 있어서,상기 레이블링 지원부는편집 거리(edit distance)를 이용하여 하나 이상의 원시 데이터에 포함된 메타 데이터의 거리를 측정하되, 메타 데이터가 고유명사를 포함하는 경우 고유명사의 종류 별로 가중치를 부여하는, 어노테이션 생성 지원 장치.
- 하나 이상의 프로세서, 및상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 구비한 어노테이션 생성 지원 장치에서 수행되는 방법으로서,데이터 베이스로부터 하나 이상의 원시 데이터를 수신하여 상기 하나 이상의 원시 데이터 각각에 대한 하나 이상의 레이블링 후보 정보를 생성하는 단계; 및인터페이스부를 통하여 상기 하나 이상의 레이블링 후보 정보를 출력하는 단계를 포함하며,상기 레이블링 후보 정보를 생성하는 단계는상기 하나 이상의 원시 데이터 각각에 포함된 하나 이상의 메타 데이터의 종류 중 어느 하나를 기준으로 결정하며,유클리드 거리 및 맨해튼 거리 중 어느 하나인 휴리스틱 함수 또는 그래프 상의 에지 홉 (Edge Hop)을 이용하여 상기 기준이 된 메타 데이터 종류에 해당하는 하나 이상의 원시 데이터에 포함된 메타 데이터 간의 거리를 측정하며,측정된 메타 데이터의 거리를 기초로 상기 하나 이상의 원시 데이터를 그룹핑하며,각각의 그룹 별로 상기 기준이 된 메타 데이터 종류에 해당하는 메타 데이터에 대한 리스트를 포함하는 하나 이상의 레이블링 후보 정보를 생성하며,상기 인터페이스부를 통하여 사용자로부터 각각의 그룹 별로 메타 데이터에 대한 리스트에 포함된 어느 하나의 메타 데이터를 선택하는 입력 신호를 수신하며,상기 기준이 된 메타 데이터 종류에 해당하는 하나 이상의 메타 데이터 중 각각의 그룹 별로 선택된 메타 데이터 이외의 메타 데이터를 각각의 그룹 별로 선택된 메타 데이터로 변경하는, 어노테이션 생성 지원 방법.
- 제 8 항에 있어서,상기 레이블링 후보 정보를 생성하는 단계는상기 메타 데이터에 대한 리스트에 포함된 메타 데이터 중 중복되는 메타 데이터를 리스트에서 제거하여 레이블링 후보 정보를 생성하는, 어노테이션 생성 지원 방법.
- 제 9 항에 있어서,상기 레이블링 후보 정보를 생성하는 단계는상기 기준이 된 메타 데이터 이외의 다른 메타 데이터를 이용하여 중복된 메타 데이터의 식별 정보로 생성하는, 어노테이션 생성 지원 방법.
- 제 8 항에 있어서,상기 원시 데이터는 영상 데이터, 텍스트 데이터 및 이미지 데이터 중 적어도 하나인, 어노테이션 생성 지원 방법.
- 제 8 항에 있어서,상기 레이블링 후보 정보를 출력하는 단계는상기 인터페이스를 통하여 사용자로부터 상기 하나 이상의 레이블링 정보 중 어느 하나를 제거하는 입력 신호를 수신하며,수신한 레이블링 정보를 제거하는 입력 신호에 기초하여 선택된 레이블링 후보에 해당하는 원시 데이터를 그룹에서 제외하는, 어노테이션 생성 지원 방법.
- 제 8 항에 있어서,상기 레이블링 후보 정보를 출력하는 단계는상기 하나 이상의 원시 데이터를 입력받아 회귀, 분류 및 군집 중 어느 하나를 수행하여 분석 벡터를 생성하며,상기 분석 벡터를 시각적 데이터로 변환하며,상기 분석 벡터에 대한 보팅(voting)을 수행하여 레이블링 후보 정보를 생성하는, 어노테이션 생성 지원 방법.
- 제 8 항에 있어서,상기 레이블링 후보 정보를 출력하는 단계는편집 거리(edit distance)를 이용하여 하나 이상의 원시 데이터에 포함된 메타 데이터의 거리를 측정하되, 메타 데이터가 고유명사를 포함하는 경우 고유명사의 종류 별로 가중치를 부여하는, 어노테이션 생성 지원 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2022-0107548 | 2022-08-26 | ||
KR1020220107548A KR102591048B1 (ko) | 2022-08-26 | 2022-08-26 | 어노테이션 생성 지원 장치 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024043744A1 true WO2024043744A1 (ko) | 2024-02-29 |
Family
ID=88507640
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2023/012624 WO2024043744A1 (ko) | 2022-08-26 | 2023-08-25 | 어노테이션 생성 지원 장치 및 방법 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102591048B1 (ko) |
WO (1) | WO2024043744A1 (ko) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102081037B1 (ko) * | 2020-01-28 | 2020-02-24 | 주식회사 루닛 | 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템 |
KR102246266B1 (ko) * | 2020-06-08 | 2021-04-29 | 주식회사 루닛 | 레이블 정보에 대한 피드백을 제공하는 방법 및 시스템 |
JP2021089491A (ja) * | 2019-12-02 | 2021-06-10 | 株式会社日立ソリューションズ・クリエイト | アノテーション装置および方法 |
JP2021099582A (ja) * | 2019-12-20 | 2021-07-01 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR102343044B1 (ko) * | 2021-05-13 | 2021-12-27 | 주식회사 인피닉 | 어노테이션 작업 및 질의 제어 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
-
2022
- 2022-08-26 KR KR1020220107548A patent/KR102591048B1/ko active IP Right Grant
-
2023
- 2023-08-25 WO PCT/KR2023/012624 patent/WO2024043744A1/ko unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021089491A (ja) * | 2019-12-02 | 2021-06-10 | 株式会社日立ソリューションズ・クリエイト | アノテーション装置および方法 |
JP2021099582A (ja) * | 2019-12-20 | 2021-07-01 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR102081037B1 (ko) * | 2020-01-28 | 2020-02-24 | 주식회사 루닛 | 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템 |
KR102246266B1 (ko) * | 2020-06-08 | 2021-04-29 | 주식회사 루닛 | 레이블 정보에 대한 피드백을 제공하는 방법 및 시스템 |
KR102343044B1 (ko) * | 2021-05-13 | 2021-12-27 | 주식회사 인피닉 | 어노테이션 작업 및 질의 제어 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Also Published As
Publication number | Publication date |
---|---|
KR102591048B1 (ko) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019164064A1 (ko) | 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법 | |
US10331768B2 (en) | Tagging text snippets | |
US10489701B2 (en) | Generating responses using memory networks | |
WO2021096009A1 (ko) | 릴레이션 네트워크에 기반한 지식 보완 방법 및 장치 | |
WO2019168253A1 (ko) | 계층적으로 사용자 표현을 이해하고 답변을 생성하는 대화형 상담 챗봇 장치 및 방법 | |
JPH07295989A (ja) | データを解析するためのインタプリタを形成する装置 | |
WO2023029506A1 (zh) | 病情分析方法、装置、电子设备及存储介质 | |
WO2020111314A1 (ko) | 개념 그래프 기반 질의응답 장치 및 방법 | |
WO2018212396A1 (ko) | 데이터를 분석하는 방법, 장치 및 컴퓨터 프로그램 | |
WO2018212584A2 (ko) | 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치 | |
Haunss et al. | Integrating manual and automatic annotation for the creation of discourse network data sets | |
CN114281931A (zh) | 文本匹配方法、装置、设备、介质及计算机程序产品 | |
WO2023063486A1 (ko) | 기계학습모델의 생성 방법 및 그 장치 | |
WO2020111827A1 (ko) | 프로필 자동생성서버 및 방법 | |
CN114155477B (zh) | 一种基于平均教师模型的半监督视频段落定位方法 | |
CN116844731A (zh) | 疾病分类方法、疾病分类装置、电子设备及存储介质 | |
WO2022145829A1 (ko) | 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법 | |
WO2024043744A1 (ko) | 어노테이션 생성 지원 장치 및 방법 | |
US20090119331A1 (en) | Data conversion system | |
WO2024090712A1 (ko) | 공감대 형성을 통한 심리 치료용 인공지능 대화 시스템 | |
CN111898337B (zh) | 一种基于深度学习的单句摘要缺陷报告标题自动生成方法 | |
Lakkaraju et al. | Rating sentiment analysis systems for bias through a causal lens | |
US20220044329A1 (en) | Predictive System for Request Approval | |
WO2023282400A1 (ko) | 메디컬 자료 관리 시스템, 관리 방법 및 이를 위한 프로그램 | |
WO2022114322A1 (ko) | 딥 러닝 알고리즘 기반의 이미지 오브젝트 속성 주의 모델을 이용한 이미지 캡션 자동 생성 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23857776 Country of ref document: EP Kind code of ref document: A1 |