KR20210119923A - 데이터를 주석하는 방법 및 장치 - Google Patents

데이터를 주석하는 방법 및 장치 Download PDF

Info

Publication number
KR20210119923A
KR20210119923A KR1020210122258A KR20210122258A KR20210119923A KR 20210119923 A KR20210119923 A KR 20210119923A KR 1020210122258 A KR1020210122258 A KR 1020210122258A KR 20210122258 A KR20210122258 A KR 20210122258A KR 20210119923 A KR20210119923 A KR 20210119923A
Authority
KR
South Korea
Prior art keywords
annotation
title
type
demand
data
Prior art date
Application number
KR1020210122258A
Other languages
English (en)
Other versions
KR102583345B1 (ko
Inventor
쉐 양
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210119923A publication Critical patent/KR20210119923A/ko
Application granted granted Critical
Publication of KR102583345B1 publication Critical patent/KR102583345B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2468—Fuzzy queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

본 개시는 데이터를 주석하는 방법 및 장치를 제공하는바, 이미지 주석 및 심층학습 기술 분야에 관한 것이다. 구체적인 실시방식은, 주석할 데이터 및 주석할 데이터의 주석 수요를 취득하는 단계; 주석 수요를 충족시키는 주석 방식 유형을 결정하는 단계 - 주석 방식 유형은 주석 수요를 충족시키기 위해 주석할 데이터에 적용하는 주석 방식의 유형임 - ; 주석 수요에 따라 주석 방식 유형에 부합되는 주석 타이틀을 생성하는 단계 - 주석 타이틀은 주석 툴에서 주석한 내용을 제시하기 위한 것임 - ; 및 주석할 데이터, 주석 타이틀 및 타이틀 논리 관계를 포함하는 주석 툴을 생성하는 단계를 포함한다. 본 개시는 서로 다른 주석할 데이터 및 주석 수요에 대응되게 주석 방식 유형을 결정함으로써 주석 수요에 대한 적절한 평가 방법을 찾을 수 있고, 구체적인 주석 수요 시나리오에 부합되는 주석 툴을 자동적으로, 유연하게 맞춤 제작할 수 있다.

Description

데이터를 주석하는 방법 및 장치{METHOD AND APPARATUS FOR ANNOTATING DATA}
본 개시는 컴퓨터 기술 분야에 관한 것으로, 구체적으로 데이터 주석 및 심층학습(deep learning) 기술 분야에 관한 것이고, 특히 데이터를 주석하는 방법 및 장치에 관한 것이다.
근년에, 인공지능 알고리즘이 점차적으로 구현됨에 따라, 데이터 주석 수요가 전례 없이 폭발하게 되었고 주석 사업이 성장하고 있다. 나날이 증가하는 다양한 주석 수요를 충족시키기 위해서는 서로 다른 사용자의 지원이 필요하다.
관련 기술들은, 포토, 음성 등의 서로 다른 주석 시나리오에 대하여, 상응한 주석 툴을 맞춤화하여 개발하고 있다. 관련 기술의 일 예로, 액자를 지원할 수 있는 포토 주석 툴이 있다. 이러한 다양한 주석 툴의 개발은 대량의 인력과 비용을 필요로 한다.
본 발명이 해결하고자 하는 과제는 데이터를 주석하는 방법, 장치, 전자기기 및 저장매체를 제공하는데 있다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 과제 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명이 해결하고자 하는 과제 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
데이터를 주석하는 방법, 장치, 전자기기 및 저장매체가 제공된다.
첫 번째 측면으로, 데이터를 주석하는 방법을 제공하는바, 이는, 주석할 데이터 및 주석할 데이터의 주석 수요를 취득하는 단계; 주석 수요를 충족시키는 주석 방식 유형을 결정하는 단계 - 주석 방식 유형은 주석 수요를 충족시키기 위해 주석할 데이터에 적용하는 주석 방식의 유형임 - ; 주석 수요에 따라 주석 방식 유형에 부합되는 주석 타이틀을 생성하는 단계 - 주석 타이틀은 주석 툴에서 주석한 내용을 제시하기 위한 것임 - ; 및 주석 타이틀의 타이틀 논리 관계, 주석할 데이터를 결정하고, 주석 타이틀 및 타이틀 논리 관계를 포함하는 주석 툴을 생성하는 단계를 포함한다.
두 번째 측면으로, 데이터를 주석하는 장치를 제공하는바, 이는, 주석할 데이터 및 주석할 데이터의 주석 수요를 취득하는 취득 유닛; 주석 수요를 충족시키는 주석 방식 유형을 결정하는 결정 유닛은 - 주석 방식 유형은 주석 수요를 충족시키기 위해 주석할 데이터에 적용하는 주석 방식의 유형임 - ; 주석 수요에 따라 주석 방식 유형에 부합되는 주석 타이틀을 생성하는 타이틀 생성 유닛 - 주석 타이틀은 주석 툴에서 주석한 내용을 제시하기 위한 것임 - ; 주석 타이틀의 타이틀 논리 관계, 주석할 데이터를 결정하고, 주석 타이틀 및 타이틀 논리 관계를 포함하는 주석 툴을 생성하는 툴 생성 유닛을 포함한다.
세 번째 측면으로, 전자기기를 제공하는바, 이는, 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 통신적으로 연결되는 메모리를 포함하고, 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있고, 명령은 적어도 하나의 프로세서에 의해 실행됨으로써 적어도 하나의 프로세서에 의해 데이터를 주석하는 방법의 어느 한 실시예에 따른 방법이 수행되도록 한다.
네 번째 측면으로, 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독가능 저장매체를 제공하는바, 컴퓨터 명령은 컴퓨터가 데이터를 주석하는 방법의 어느 한 실시예에 따른 방법을 수행하도록 한다.
다섯 번째 측면으로, 매체에 저장된 컴퓨터 프로그램을 제공하는바, 컴퓨터 프로그램은 프로세서에 의해 실행되는 경우, 데이터를 주석하는 방법의 어느 한 실시예에 따른 방법을 구현한다.
본 개시의 방안에 따르면, 서로 다른 주석할 데이터 및 주석 수요에 대응되게 주석 방식 유형을 결정함으로써 주석 수요에 대한 적절한 평가 방법을 찾을 수 있고, 구체적인 주석 수요 시나리오에 부합되는 주석 툴을 자동적으로, 유연하게 맞춤 제작할 수 있다.
아래 첨부도면을 참조한 비한정적인 실시예에 대한 상세한 서술을 읽어보면, 본 발명의 다른 특징, 목적 및 이점은 더욱 분명해질 것이다.
도 1은 본 발명의 실시예가 응용될 수 있는 예시적인 시스템 아키텍처 도면이고;
도 2는 본 발명에 따른 데이터를 주석하는 방법의 일 실시예 의 흐름도이고;
도 3은 본 발명에 따른 데이터를 주석하는 방법의 일 응용 시나리오의 개략도이고;
도 4a는 본 발명에 따른 데이터를 주석하는 방법의 다른 실시예 의 흐름도이고;
도 4b는 본 발명에 따른 데이터를 주석하는 방법의 교정 타이틀의 주석한 내용의 개략도이고;
도 4c는 본 발명에 따른 데이터를 주석하는 방법의 주석할 데이터의 주석 방식 유형이 전사류인 경우에 얻는 일 주석 툴의 개략도이고;
도 4d는 본 발명에 따른 데이터를 주석하는 방법의 주석할 데이터의 주석 방식 유형이 전사류인 경우에 얻는 다른 주석 툴의 개략도이고;
도 5a는 본 발명에 따른 데이터를 주석하는 장치의 일 실시예의 구조 개략도이고;
도 5b는 본 발명에 따른 데이터를 주석하는 장치의 다른 실시예 의 구조 개략도이고;
도 6은 본 발명의 실시예의 데이터를 주석하는 방법을 구현하는 전자기기의 블록도이다.
본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들 전반에 걸친 내용을 토대로 정의되어야 한다.
본 실시예들은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 일부 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 실시예들을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 실시예들의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용한 용어들은 단지 실시예들의 설명을 위해 사용된 것으로, 본 실시예들을 한정하려는 의도가 아니다.
본 실시예들에 사용되는 용어들은 다르게 정의되지 않는 한, 본 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 실시예들에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
한편, 본 명세서에서 하나의 도면 내에서 개별적으로 설명되는 기술적 특징은 개별적으로 구현될 수도 있고, 동시에 구현될 수도 있다.
본 명세서에서, "~유닛(unit)"은 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
아래, 첨부도면을 결부하여 본 개시의 예시적인 실시예를 설명하고자 하는데, 여기에는 본 개시의 실시예의 다양한 세부사항이 이해를 돕기 위해 포함되는바, 이는 단지 예시적인 것으로 간주되어야 한다. 따라서 당업자라면, 본 개시의 범위 및 사상에 위배되지 않으면서 여기서 서술되는 실시예에 대한 다양한 변경 및 수정이 가능하다는 것을 인지하여야 한다. 마찬가지로, 명확함과 간결함을 위해, 아래 서술에서는 공지된 기능 및 구조에 대한 서술은 생략한다. 부연하면, 상충되지 않은 한, 본 개시의 실시예 및 실시예 중의 특징은 상호 결합될 수 있다. 아래 첨부도면을 참조하고 실시예를 결부하여 본 개시를 상세히 설명하고자 한다.
도 1은 본 개시의 데이터 주석 방법 또는 데이터 주석 장치의 실시예가 응용될 수 있는 예시적인 시스템 아키텍처(100)를 도시한다.
도 1에 도시한 바와 같이, 시스템 아키텍처(100)는 단말기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말기기(101, 102, 103) 및 서버(105) 사이에서 통신 링크를 제공하는 매체로 사용된다. 네트워크(104)는 다양한 연결 유형, 예를 들어 유선, 무선 통신 링크 또는 광섬유 케이블 등을 포함할 수 있다.
사용자는 단말기기(101, 102, 103)를 사용하여 네트워크(104)를 통해 서버(105)와 인터랙션함으로써 메세지 등을 수신하거나 송신할 수 있다. 단말기기(101, 102, 103)에는 다양한 통신 클라이언트 앱, 예를 들어 동영상 앱, 라이브 스트리밍 앱, 인스턴스 메시징 툴, 메일박스 클라이언트, 소셜 플랫폼 소프트웨어 등이 설치될 수 있다.
여기서의 단말기기(101, 102, 103)는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 단말기기(101, 102, 103)가 하드웨어인 경우, 표시 스크린을 가지는 다양한 전자기기일 수 있는바, 스마트폰, 태블릿 컴퓨터, 전자책 뷰어, 휴대형 랩톱 컴퓨터 및 데스크톱 컴퓨터 등을 포함하나 이에 한정되지 않는다. 단말기기(101, 102, 103)가 소프트웨어인 경우, 앞서 예를 든 전자 기기에 설치할 수 있다. 이는 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 제공 분산 서비스를 제공하는 복수의 소프트웨어 또는 소프트웨어 모듈)로 구현될 수도 있고 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 여기서 구체적으로 한정하지 않기로 한다.
서버(105)는 다양한 서비스를 제공하는 서버일 수 있는바, 예를 들면 단말기기(101, 102, 103)에 지원을 제공하는 백그라운드 서버가 있다. 백그라운드 서버는 주석할 데이터등의 데이터에 대하여 분석 등의 처리를 수행하고, 처리 결과(예를 들어 주석 툴)를 단말기기에 피드백할 수 있다.
부연하면, 본 개시 실시예에 의해 제공되는 데이터를 주석하는 방법은 서버(105) 또는 단말기기(101, 102, 103)에 의해 수행될 수 있고, 상응하게, 데이터를 주석하는 장치는 서버(105) 또는 단말기기(101, 102, 103)에 설치될 수 있다.
도 1에서의 단말기기, 네트워크 및 서버의 수량은 단지 예시적인 것임을 이해하여야 한다. 구현의 필요에 따라 임의 수량의 단말기기, 네트워크 및 서버를 가질 수 있다.
계속하여 도 2를 참조하면, 본 개시에 따른 데이터를 주석하는 방법의 일 실시예의 흐름(200)을 도시한다. 해당 데이터를 주석하는 방법은 하기 단계를 포함한다.
단계(201)에서, 주석할 데이터 및 주석할 데이터의 주석 수요를 취득한다.
본 실시예에서, 데이터를 주석하는 방법을 수행하는 수행주체(예를 들어 도 1에 도시한 서버 또는 단말기기)는 주석할 데이터 및 해당 주석할 데이터의 주석 수요를 취득할 수 있다. 주석 수요는 주석할 데이터에 주석이 필요하다는 것을 가리키는바, 즉, 주석에 의해 달성할 목적을 말한다.
구체적으로, 주석할 데이터의 유형은 포토, 오디오, 영상, 텍스트, 포인트 클라우드 및 웹페이지를 포함할 수 있다. 즉, 상술한 예시의 유형은 모두 주석할 수 있다. 구체적으로, 주석할 데이터의 수는 하나 또는 적어도 2개일 수 있는데, 예를 들면 포토 10개일 수 있다.
단계(202)에서, 주석 수요를 충족시키는 주석 방식 유형을 결정하는바, 여기서, 주석 방식 유형은 주석 수요를 충족시키기 위해 주석할 데이터에 적용하는 주석 방식의 유형이다.
본 실시예에서, 상술한 수행주체는 주석 수요를 충족시키는 주석 방식 유형을 결정할 수 있다. 주석 방식 유형은 주석 수요를 충족시키기 위해 주석할 데이터에 적용하는 주석 방식의 유형이다. 예를 들면, 주석 방식 유형은 추출류이고, 해당 추출류에 포함되는 주석 방식은 오디오 자르기, 포토 자르기 등이 있다.
일 실시예에 있어서, 상술한 수행주체는 다양한 방식을 적용하여 주석 수요를 충족시키는 주석 방식 유형을 결정할 수 있다. 예컨대, 상술한 수행주체는 주석 수요와 주석할 방식의 유형 간의 매핑 관계(즉 대응관계표)를 취득하고 주석 수요가 매핑되는 주석 방식 유형을 서치할 수 있다. 이 외에도, 상술한 수행주체는 주석 수요를 결정된 모델에 입력하여 해당 결정된 모델로부터 출력되는 주석 방식 유형을 취득할 수 있다. 해당 결정된 모델은 주석 수요에 의해 주석 방식 유형을 결정(예를 들면 예측)하는 데 사용될 수 있다.
또는, 상술한 수행주체는 주석할 데이터의 주석할 데이터 유형을 취득하고 주석할 데이터 유형 및 주석 수요 양자에 따라 주석 방식 유형을 결정할 수 있다. 예를 들면, 상술한 수행주체는 주석 수요 및 주석할 데이터 유형을 사전설정된 모델에 입력하고 해당 사전설정된 모델로부터 출력되는 주석 방식 유형을 취득할 수 있다. 해당 사전설정된 모델은 주석 수요 및 주석할 데이터 유형에 의해 주석 방식 유형을 결정(예를 들면 예측)하는 데 사용될 수 있다. 이 외에도, 주석할 데이터 유형 및 주석 수요 양자와 주석 방식 유형 간의 매핑을 취득하여 취득된 주석 수요의 주석 방식 유형을 결정할 수도 있다.
단계(203)에서, 주석 수요에 따라 주석 방식 유형에 부합되는 주석 타이틀을 생성하는바 , 여기서, 주석 타이틀은 주석 툴에서 주석한 내용을 제시하기 위한 것이다.
본 실시예에서, 상술한 수행주체는 주석 수요에 따라 주석 방식 유형에 부합되는 주석 타이틀을 생성할 수 있다. 실시예에 있어서, 상술한 수행주체는 다양한 방식을 적용하여 주석 방식 유형에 부합되는 주석 타이틀을 생성할 수 있다 . 예를 들면, 상술한 수행주체는 주석 수요 및 주석 방식 유형을 지정된 모델에 입력하고 해당 지정된 모델로부터 출력되는 주석 타이틀을 취득할 수 있다. 해당 지정된 모델은 주석 수요 및 주석 방식 유형을 이용하여 주석 방식 유형에 부합되는 주석 타이틀을 결정(예를 들면 예측)하는 데 사용될 수 있다. 더 예를 들면, 상술한 수행주체는 주석 수요, 주석 방식 유형 양자와 주석 타이틀 간의 매핑 관계를 취득하고 주석 수요, 주석 방식 유형이 매핑되는 주석 타이틀을 서치할 수 있다.
상술한 결정된 모델, 사전설정된 모델 및 지정된 모델 중의 어느 하나는, 여러 가지 공식, 알고리즘 또는 심층 신경망(deep learning network) 등일 수 있다.
구체적으로, 주석 타이틀은 주석 툴에서 주석한 내용을 제시(주석을 행하는 사용자한테 제시)하기 위한 것이다. 예를 들면, 주석 타이틀은 "포토가 선명한가", 그리고 "네"와 "아니오" 2개 옵션이다. 해당 주석 타이틀은 주석된 내용이 "네"와 "아니오" 2개 옵션에 각각 대응되는 "포토가 선명하다"와 "포토가 선명하지 않다"임을 제시할 수 있다.
단계(204)에서, 주석 타이틀의 타이틀 논리 관계, 주석할 데이터를 결정하고, 주석 타이틀 및 타이틀 논리 관계를 포함하는 주석 툴을 생성한다.
본 실시예에서, 상술한 수행주체는 주석 툴을 생성할 수 있는바, 구체적으로, 해당 주석 툴은 주석할 데이터 및 주석 타이틀을 포함한다. 주석 툴은 주석을 행하는 사용자한테 주석하는 내용, 즉, 주석해야 할 내용을 제시할 수 있고, 이로써, 주석을 행하는 사용자는 해당 주석 툴을 이용하여 주석할 데이터를 주석할 수 있게 된다.
타이틀 논리 관계는 주석 타이틀 간의 논리 관계를 가리킨다. 주석 타이틀이 하나가 존재하는 경우에, 결정된 타이틀 논리 관계는 빈값이고, 주석 타이틀이 적어도 2개 존재하는 경우에, 결정된 타이틀 논리 관계는 바로 각 주석 타이틀 간의 관계이다. 구체적으로, 타이틀 논리 관계는 다양한 방식을 적용하여 결정할 수 있으며, 예를 들면 주석 타이틀에 각각 대응되는 주석 방식 유형, 및 주석 타이틀에 각각 대응되는 주석 방식 유형에 대하여 사전설정된 대응관계(예를 들면 대응관계표또는 모델)에 따라 결정되고, 해당 대응관계는 주석 타이틀에 각각 대응되는 주석 방식 유형과 타이틀 논리 관계 간의 대응관계를 지시할 수 있다.
타이틀 논리 관계는 다양할 수 있는데, 예를 들면 주석 순서가 있다. 주석 순서는 주석 타이틀 간의 표시 순서를 가리키고, 동시에, 주석을 행하는 사용자가 주석 타이틀을 완성하는 순서 및 주석 타이틀을 주석한 내용이 생성되는 순서이기도 하다.
본 발명의 상술한 실시예에 의해 제공되는 방법은, 서로 다른 주석할 데이터 및 주석 수요에 대응되게 주석 방식 유형을 결정함으로써 주석 수요에 대한 적절한 평가 방법을 찾을 수 있고, 구체적인 주석 수요 시나리오에 부합되는 주석 툴을 자동적으로, 유연하게 맞춤 제작할 수 있다.
계속하여 도 3를 참조하면, 도 3은 본 실시예에 따른 데이터를 주석하는 방법의 응용 시나리오의 일 개략도이다. 도 3의 응용 시나리오에서, 수행주체(301)는 주석할 데이터(302) 및 주석할 데이터의 주석 수요(303)를 취득하고, 주석 수요(303)에 따라 주석 수요(303)를 충족시키는 주석 방식 유형(304)을 결정하는바, 주석 방식 유형은 주석 수요를 충족시키기 위해 주석할 데이터에 적용하는 주석 방식의 유형이다. 수행주체(301)는 주석 수요(303)에 따라 주석 방식 유형(304)에 부합되는 주석 타이틀(305)을 생성하는바, 여기서, 주석 타이틀(305)은 주석 툴에서 주석한 내용을 제시하기 위한 것이다. 수행주체(301)는 주석 타이틀의 타이틀 논리 관계를 결정하고 주석할 데이터(302), 주석 타이틀(305) 및 타이틀 논리 관계를 포함하는 주석 툴(306)을 생성한다.
본 발명의 어느 한 실시예의 일부 대안적인 구현방식에서, 상기 주석 방식 유형은 필수 주석 방식 유형을 포함하거나, 또는 필수 주석 방식 유형과 부가 주석 방식 유형을 포함한다.
이러한 대안적인 구현방식에서, 각각의 주석 수요의 주석 방식 유형은 적어도 하나일 수 있고, 즉, 하나 또는 적어도 2개일 수 있다. 필수 주석 방식 유형은 주석 수요가 직접 지시하는, 필요한 주석 방식 유형을 가리킨다. 부가 주석 방식은 주석 효과를 향상시킴으로써 더 좋은 훈련 샘플을 취득하기 위한 주석 방식이다.
예컨대, 주석 수요가 주석 포토 중의 장애물이면, 필요한 주석 방식 유형은 포토 중의 주석 목표 박스에 포함되는 추출류일 수 있다. 주석의 최종 목적은 모델을 훈련하는 샘플을 생성하는 것이므로, 따라서 포토가 매우 흐릿할 경우, 훈련을 위한 샘플로 사용될 수 없게 된다. 따라서 포토 필터링(즉 포토 선별)을 포함하는 정제류를 부가 주석 방식 유형으로 할 수 있는바, 이로써, 우선, 선명도가 낮은(예를 들면 역치보다 낮음) 포토를 필터링해버릴 수 있다. 즉, 포토의 선명도가 낮다면 필터링되며, 추출류의 주석 타이틀의 주석을 다시 거치지 않게 된다.
이러한 구현방식은 필요한 주석 방식 유형 및 부가적인 주석 방식 유형을 적용하여 더 포괄적이고 정확한 주석 과정을 구현하고, 나아가 정확한 훈련 샘플을 생성할 수 있다.
이러한 구현방식의 일부 대안적인 응용 시나리오에서, 적어도 하나의 주석 방식 유형은 필수 주석 방식 유형과 부가 주석 방식 유형을 포함하고; 상술한 주석 타이틀의 타이틀 논리 관계를 결정하고 주석할 데이터 및 주석 타이틀을 포함하는 주석 툴을 생성하는 단계는, 필수 주석 방식 유형 및 부가 주석 방식 유형에 각각 대응되는 주석 타이틀 간의 타이틀 논리 관계를 결정하는 단계 - 타이틀 논리 관계는 주석 순서, 표시 제한 관계 중 적어도 하나를 포함함 - ; 주석할 데이터, 타이틀 논리 관계 및 주석 타이틀을 포함하는 주석 툴을 생성하는 단계를 포함한다.
이러한 응용 시나리오에서, 주석 툴은 타이틀 논리 관계를 더 포함할 수 있다. 상술한 수행주체는 서로 다른 주석 방식 유형에 대응되는 주석 타이틀 간의 타이틀 논리 관계를 결정할 수 있다. 서로 다른 주석 방식 유형에 대응되는 주석 타이틀 간의 타이틀 논리 관계는, 사전설정될 수도 있고 모델(예를 들면 사전훈련된 심층 신경망)에 의해 실시간으로 결정될 수도 있다. 주석 방식 유형에 대응되는 주석 타이틀은 해당 주석 방식 유형에 부합되는 주석 타이틀을 가리킨다.
표시 제한 관계는 주석 순서 상 뒤에 있는 주석 타이틀이 표시 상태인지 여부에 대하여 주석 순서 상 앞에 있는 주석 타이틀의 주석한 내용이 영향을 주는 것을 가리키며, 표시 상태는 사용자(즉 주석인원)가 해당 주석 타이틀에 대하여 조작 가능한지 여부를 지시한다.
이러한 대안적인 응용 시나리오는 주석 툴에 타이틀 논리 관계를 추가함으로써 무효 주석 또는 효과가 저하된 주석을 회피할 수 있는바, 주석 효율 및 주석 정확도를 향상시킨다.
대안으로, 필수 주석 방식 유형 및 부가 주석 방식 유형은 각각 추출류 및 정제류이고, 타이틀 논리 관계는 주석 순서 및 표시 제한 관계를 포함하고, 주석 순서는 정제류의 주석 타이틀의 주석한 내용이 수신된 뒤에 추출류의 주석 타이틀의 주석 조작을 수신하는 것을 지시하고(indicate); 주석 툴을 표시하는 과정은, 주석 툴에서 정제류에 대응되는 주석 타이틀에 대한 주석 조작이 수신된 것에 응답하여, 해당 주석 조작의 주석한 내용을 결정하고, 표시 제한 관계 및 해당 주석한 내용에 기반하여 추출류에 대응되는 주석 타이틀의 표시 상태를 결정하는 단계 - 표시 상태는 조작 가능 표시 상태 또는 조작 불가능 표시 상태임 - ; 결정된 표시 상태가 조작 가능 표시 상태인 것에 응답하여, 추출류에 대응되는 주석 타이틀을 조작 가능 상태로 표시하는 단계; 및 결정된 표시 상태가 조작 불가능 표시 상태인 것에 응답하여, 추출류에 대응되는 주석 타이틀을 조작 불가능 상태로 표시하거나 또는 추출류에 대응되는 주석 타이틀을 표시하지 않는 단계를 포함한다.
구체적으로, 주석 순서에 따라 주석을 행하는 사용자는 우선, 정제류의 주석 타이틀에 대해 주석 조작을 수행하고, 다음, 추출류의 주석 타이틀에 대해 주석 조작을 수행한다. 포토를 예로 들면, 표시 제한 관계는, 정제류에 대응되는 주석 타이틀의 주석한 내용이 선명도가 낮음을 지시한다면 추출류에 대응되는 주석 타이틀의 표시 상태를 조작 불가능 표시 상태로 지시한다. 주석 순서는, 정제류의 주석 타이틀의 주석한 내용이 수신되기 전에는 추출류의 주석 타이틀의 주석 조작이 사용금지됨을 지시한다. 주석 조작이 사용금지된다는 것은, 전자기기가 주석 조작을 수신할 수 없다는 것을 가리키며, 이로써, 사용자는 주석 타이틀에 대해 주석 조작을 수행할 수 없게 된다.
조작 불가능 상태로 표시되는 주석 타이틀은, 사용자가 이에 대해 조작할 수 없게 되는 특성을 지시한다. 예를 들면, 주석 타이틀을 조작 불가능 상태로 표시하는 것은, 해당 주석 타이틀의 계조를 어둡게 조절하거나, 또는 "사용불가" 등의 글씨로 주석할 수 있다.
이러한 대안적인 응용 시나리오는 타이틀 논리 관계에 의해 주석을 행하는 사용자의 주석 조작을 가이드할 수 있고 표시에 의해 효과적으로 조작을 제한함으로써 주석인원에 의한 무효 주석이나 또는 효과가 저하되는 주석을 회피할 수 있다.
나아가 도(4a)를 참조하면, 데이터를 주석하는 방법의 다른 실시예의 흐름(400)을 도시한다. 해당 흐름(400)은 하기 단계를 포함한다.
단계(401)에서, 주석할 데이터 및 주석할 데이터의 주석 수요를 취득한다.
본 실시예에서, 데이터를 주석하는 방법을 수행하는 수행주체(예를 들어 도 1에 도시한 서버 또는 단말기기)주석할 데이터 및 해당 주석할 데이터의 주석 수요를 취득할 수 있다. 주석 수요는 주석할 데이터에 주석이 필요하다는 것을 가리키는바, 즉, 주석에 의해 달성할 목적을 말한다.
단계(402)에서, 주석 수요를 충족시키는 주석 방식 유형을 결정하는바, 여기서, 주석 방식 유형은 주석 수요를 충족시키기 위해 주석할 데이터에 적용하는 주석 방식의 유형이다.
본 실시예에서, 상술한 수행주체는 주석 수요를 충족시키는 주석 방식 유형을 결정할 수 있다. 주석 방식 유형은 주석 수요를 충족시키기 위해 주석할 데이터에 적용하는 주석 방식의 유형이다. 예를 들면, 주석 방식 유형은 추출류이고, 해당 추출류에 포함되는 주석 방식은 오디오 자르기, 포토 자르기 등을 포함할 수 있다.
단계(403)에서, 주석 방식 유형에 대응되는 적어도 하나의 주석 타이틀 유형 중에서, 주석 수요에 대응되는 주석 타이틀 유형을 목표 타이틀 유형으로 결정한다.
본 실시예에서, 상술한 수행주체는 주석 방식 유형에 대응되는 적어도 하나의 주석 타이틀 유형 중에서 주석 수요에 따라 상응한 주석 타이틀 유형(예를 들면 하나의 주석 타이틀 유형)을 목표 타이틀 유형으로 결정할 수 있다.
일 실시예에 있어서, 각각의 주석 방식 유형은 모두 대응되는 적어도 하나의 주석 타이틀 유형을 가진다. 예를 들면, 주석 방식 유형이 정제류라면, 주석 타이틀 유형은 옵션 선택형과 드롭다운 박스 선택형을 포함할 수 있다. 여기서, 옵션 선택형은 옵션 단일선택, 옵션 복수선택을 포함한다. 드롭다운 박스 선택형은 드롭다운 박스 단일선택 및 드롭다운 박스 복수선택을 포함할 수 있다. 따라서, 주석 타이틀 유형은 옵션 단일선택, 옵션 복수선택, 드롭다운 박스 단일선택 및 드롭다운 박스 복수선택 4가지 타이틀 유형에 해당될 수 있다.
상술한 수행주체는 적어도 하나의 주석 타이틀 유형 중에서, 주석 수요에 대응되는 주석 타이틀 유형을 목표 타이틀 유형으로 결정할 수 있다. 예컨대, 주석 타이틀 유형은 4가지가 있는데, 각각 옵션 단일선택, 옵션 복수선택, 드롭다운 박스 단일선택 및 드롭다운 박스 복수선택이다. 주석 수요가 "주석 포토가 선명한가"를 포함하는 경우, 상술한 수행주체는 해당 주석 수요에 부합되는 주석 타이틀 유형을 옵션 단일선택으로 결정할 수 있다.
대안으로, 목표 타이틀 유형을 결정할 시, 또한 주석할 데이터 유형에 따라 결정할 수 있다. 주석할 데이터 유형과 목표 타이틀 유형 간에는 대응관계가 존재할 수 있다. 물론, 주석할 데이터 유형은 주석 수요로부터 취득할 수도 있다. 이로써, 상술한 수행주체는 주석할 데이터 유형과 주석 수요를 결합하여 목표 타이틀 유형을 종합적으로 결정할 수 있다.
단계(404)에서, 주석 수요에 따라 목표 타이틀 유형의 주석 타이틀을 생성하는바, 여기서, 주석 타이틀은 주석 툴에서 주석한 내용을 제시하기 위한 것이다.
본 실시예에서, 상술한 수행주체는 주석 수요에 따라 목표 타이틀 유형의 주석 타이틀을 생성할 수 있는바, 즉, 생성된 해당 주석 타이틀은 해당 목표 타이틀 유형에 부합된다.
일 실시예에 있어서, 상술한 수행주체는 다양한 방식을 적용하여 주석 수요에 따라 목표 타이틀 유형의 주석 타이틀을 생성할 수 있다. 예컨대, 상술한 수행주체는 주석 수요와 목표 타이틀 유형을 사전결정된 모델에 입력하고 해당 사전결정된 모델로부터 출력되는 주석 타이틀을 취득할 수 있다. 해당 사전결정된 모델은 주석 수요와 목표 타이틀 유형에 의해 주석 타이틀을 결정(예를 들면 예측)할 수 있다. 이 외에도, 상술한 수행주체는 주석 수요와 후보 주석 타이틀 간의 매핑 관계를 취득하고 해당 매핑 관계 중에서 취득된 주석 수요에 매칭되는 후보 주석 타이틀을 서치하고 그 중에서 목표 타이틀 유형에 부합되는 주석 타이틀을 찾을 수 있다.
단계(405)에서, 주석 타이틀의 타이틀 논리 관계, 주석할 데이터를 결정하고, 주석 타이틀 및 타이틀 논리 관계를 포함하는 주석 툴을 생성한다.
본 실시예에서, 상술한 수행주체는 주석 툴을 생성할 수 있는바, 구체적으로, 해당 주석 툴은 주석할 데이터, 주석 타이틀 및 타이틀 논리 관계를 포함한다. 주석 툴은 주석인원한테 주석하는 내용, 즉, 주석해야 할 내용을 제시할 수 있는바, 이로써, 주석인원은 해당 주석 툴을 이용하여 주석할 데이터를 주석할 수 있게 된다.
본 실시예는 우선, 주석 수요에 따라 주석 타이틀의 유형을 한정할 수 있는바, 해당 유형에 부합되는 주석 타이틀을 생성함으로써 주석 타이틀을 생성하는 정확도를 향상할 수 있다.
본 실시예의 일부 대안적인 구현방식에서, 주석 수요에 따라 목표 타이틀 유형의 주석 타이틀을 생성하는 단계는, 주석 수요가 사전설정된 교정할 수요인 것에 응답하여, 목표 타이틀 유형의 주석 타이틀, 및 교정할 수요에 대응되는 교정 타이틀을 생성하는 단계 - 교정 타이틀의 주석한 내용은 주석 타이틀의 주석한 내용을 조정하기 위한 것임 - 를 포함한다.
이러한 대안적인 구현방식에서, 상술한 수행주체는 주석 수요가 사전설정된 교정할 수요인 경우, 해당 목표 타이틀 유형의 주석 타이틀을 생성할 뿐만 아니라 상술한 교정할 수요에 대응되는 교정 타이틀, 즉 교정을 위한 주석 타이틀도 생성할 수 있다. 교정 타이틀의 주석한 내용 및 주석 타이틀의 주석한 내용이 결정된 후, 사용자(예를 들면 주석인원)는 교정 타이틀의 주석한 내용을 이용하여 주석 타이틀의 주석한 내용을 조정할 수 있다.
예컨대, 도 4b에 도시한 바와 같이, 도에서 화살표가 가리키는 키포인트는 주석 타이틀의 주석한 내용이다. 해당 키포인트를 중간점으로 하는 3개 키포인트의 연결선(보조선)이 교정 타이틀의 주석한 내용이다. 해당 연결선 중에서 해당 키포인트를 꼭짓점으로 하는 경우의 각도가 180°보다 큰 경우, 사전설정된, 해당 키포인트에 대응되는 각도 역치에 부합되지 않는다. 따라서, 해당 키포인트의 위치를 조정하여 상술한 각도가 180° 보다 작거나 같게 할 수 있다.
상술한 교정 타이틀은 교정할 수요에 의해 직접 생성된 것일 수 있는바, 예를 들면, 교정할 수요를 사전훈련된 모델에 입력하거나 또는 사전설정된 매핑 관계에 의해 결정할 수 있다. 또는, 다른 파라미터를 이용하여 교정 타이틀을 생성할 수도 있다. 예를 들면, 다른 파라미터는 목표 타이틀 유형을 포함할 수 있다.
이러한 구현방식은 교정을 위한 주석한 내용에 의해 주석 타이틀의 주석한 내용을 조정함으로써 주석의 정확도를 향상시킬 수 있다.
구체적으로, 단계(402)에서의 주석 수요를 충족시키는 주석 방식 유형을 결정하는 단계는, 주석 수요가 주석할 데이터 필터링을 포함하는 것에 응답하여, 주석할 데이터의 주석 방식 유형을 정제류로 결정하는 단계 - 정제류는 주석할 데이터가 필터링해버릴 데이터인지 여부를 결정하는 것을 지시하거나 또는 주석할 데이터 중의 필터링해버릴 국소 데이터를 결정하는 것을 지시함 - ; 주석 수요는 주석 데이터 전사를 포함하는 것에 응답하여, 주석할 데이터의 주석 방식 유형을 전사류로 결정하는 단계; 주석 수요가 주석 데이터 수집을 포함하는 것에 응답하여, 주석할 데이터의 주석 방식 유형을 보강류로 결정하는 단계; 및 주석 수요가 주석 데이터 추출을 포함하는 것에 응답하여, 주석할 데이터의 주석 방식 유형을 추출류로 결정하는 단계를 포함할 수 있다.
단계(403)은 주석 방식 유형이 목표류로 결정된 것에 응답하여, 주석 방식 유형에 대응되는 적어도 2개의 주석 타이틀 유형을 취득하는 단계; 및 주석 수요가 사전설정 수요로 결정된 것에 응답하여, 해당 사전설정 수요에 대응되는 타이틀 유형을 목표 타이틀 유형으로 하는 단계를 포함한다.
목표류가 정제류로 결정된 것에 응답하여, 사전설정 수요가 직접 선택 수요인 경우, 목표 타이틀 유형을 옵션 선택형으로 결정하고, 사전설정 수요가 퍼지 검색 수요인 경우, 목표 타이틀 유형을 드롭다운 박스 선택형으로 결정하고; 목표 유형이 전사류로 결정된 것에 응답하여, 사전설정 수요가 소량-내용 전사 수요인 경우, 목표 타이틀 유형을 한줄 텍스트 타이틀로 결정하고, 사전설정 수요가 대량-내용 전사 수요인 경우, 목표 타이틀 유형을 여러줄 텍스트 타이틀로 결정하고; 목표류가 보강류로 결정된 것에 응답하여, 사전설정 수요가 소량-내용 보강 수요인 경우, 목표 타이틀 유형을 한줄 텍스트 타이틀로 결정하고, 사전설정 수요가 대량-내용 보강 수요인 경우, 목표 타이틀 유형을 여러줄 텍스트 타이틀로 결정한다.
본 실시예의 일부 대안적인 구현방식에서, 단계(402)에서의 주석 수요를 충족시키는 주석 방식 유형을 결정하는 단계는, 주석 수요가 주석할 데이터 필터링을 포함하는 것에 응답하여, 주석할 데이터의 주석 방식 유형을 정제류로 결정하는 단계 - 정제류는 주석할 데이터가 필터링해버릴 데이터인지 여부를 결정하는 것을 지시하거나 또는 주석할 데이터 중의 필터링해버릴 국소 데이터를 결정하는 것을 지시함 - 를 포함할 수 있다.
이러한 대안적인 구현방식에서, 상술한 수행주체는 주석 수요가 주석 데이터 필터링을 포함하는 경우, 주석할 데이터의 주석 방식 유형을 정제류로 결정할 수 있다. 구체적으로, 주석 방식 유형이 정제류일 수 있는 주석할 데이터 유형은 포토, 텍스트, 영상, 오디오, 웹페이지 및 포인트 클라우드(즉, 포인트 클라우드 정보, 예를 들면 포인트 클라우드 포토)를 포함할 수 있다.
주석할 데이터 필터링, 즉 "데이터 정제(cleaning)"는, 주석을 행하는 사용자의 주석 목적이 주석할 데이터가 필터링해버릴 데이터인지 여부를 결정하는 것, 또는 주석할 데이터 중의 필터링해버릴 국소 데이터를 결정하는 것을 가리킨다. 여기서의 필터링은 제거 또는 삭제를 가리킨다.
예컨대, 상술한 정제는 주석인원이 포토에 대해 선명함 또는 선명하지 않음을 주석하는 것을 가리킬 수 있는바, 서로 다른 주석 수요에 따라, 필터링되는 것이 선명한 포토거나 또는 선명하지 않은 포토일 수 있다. 또는, 정제는 또한 주석인원이 텍스트 중의 폭력적인 내용에 관한 문구를 주석하는 것을 가리킬 수 있는바, 해당 문구가 필터링될 수 있다.
이러한 구현방식은 주석 수요의 구체적인 정보에 의해 정제류의 주석 방식 유형을 정확하게 결정할 수 있다.
대안으로, 단계(403)는, 주석 방식 유형이 정제류로 결정된 것에 응답하여, 주석 방식 유형에 대응되는 적어도 2개의 주석 타이틀 유형을 취득하는 단계; 주석할 데이터가 직접 선택 수요로 필터링되는 것이라고 결정된 것에 응답하여, 해당 적어도 2개의 주석 타이틀 유형 중의 옵션 선택형을 목표 타이틀 유형으로 하는 단계; 및 주석 데이터가 퍼지 검색 수요로 필터링되는 것이 결정된 것에 응답하여, 해당 적어도 2개의 주석 타이틀 유형 중의 드롭다운 박스 선택형을 목표 타이틀 유형으로 하는 단계를 포함할 수 있다
구체적으로, 주석 방식 유형이 정제류인 경우, 주석 방식 유형은 적어도 2개의 주석 타이틀 유형에 대응될 수 있다. 예를 들면, 상술한 옵션 단일선택, 옵션 복수선택, 드롭다운 박스 단일선택 및 다운 박스 복수선택일 수 있다.
주석 수요로서의 주석할 데이터 필터링이 주석인원이 옵션으로부터 직접 답안을 선택하여야 함을 지시하는 직접 선택 수요인 경우, 상술한 수행주체는 상술한 적어도 2개의 주석 타이틀 유형 중의 옵션 선택형을 목표 타이틀 유형으로 할 수 있다. 주석 수요로서의 주석할 데이터 필터링이 주석인원이 퍼지 검색하여야 함을 지시하는 모델 검색 수요인 경우, 상술한 수행주체는 적어도 2개의 주석 타이틀 유형 중의 드롭다운 박스 선택형을 목표 타이틀 유형으로 할 수 있다.
여기서의 퍼지 검색은 드롭다운 박스에 대응되는 오리지널 박스(즉 드롭다운 박스 상측에서 드롭다운 박스와 연결된 박스)가 하나의 카테고리를 나타내고, 드롭다운 박스는 해당 카테고리 하의 각각의 객체를 나타냄을 가리킬 수 있다. 예를 들면, 오리지널 박스가 "생수"를 표시하는 경우, 주석인원이 선택하도록 드롭다운 박스에는 "A브랜드 생수", "B브랜드 생수", "C브랜드 생수"가 표시된다.
이러한 대안적인 구현방식은 주석 수요가 직접 선택 수요와 퍼지 검색 수요를 각각 지시하는 경우, 서로 다른 주석 타이틀 유형을 상응하게 결정하여 목표 타이틀 유형으로 할 수 있다.
본 실시예의 일부 대안적인 구현방식에서, 단계(402)에서의 주석 수요를 충족시키는 주석 방식 유형을 결정하는 단계는, 주석 수요는 주석 데이터 전사를 포함하는 것에 응답하여, 주석할 데이터의 주석 방식 유형을 전사류로 결정하는 단계를 포함할 수 있다.
이러한 대안적인 구현방식에서, 상술한 수행주체는 주석 수요가 주석 데이터 전사를 포함하는 경우, 주석할 데이터의 주석 방식 유형을 전사류로 결정할 수 있다. 구체적으로, 주석 방식 유형이 전사류일 수 있는 주석할 데이터 유형은 포토, 텍스트, 영상, 오디오 및 웹페이지를 포함할 수 있다.
전사는 비텍스트류의 데이터를 텍스트로 변환하는 수요를 가리키는바, 구체적으로, 상술한 전사는 오디오 전사, 영상 전사, 포토 내용 요약 전사, 텍스트 내용 요약 전사 또는 웹페이지 내용 요약 전사 등일 수 있다.
이러한 구현방식은 주석 수요의 구체적인 정보에 의해 전사류의 주석 방식 유형을 정확하게 결정할 수 있다.
대안으로, 단계(403)는, 주석 방식 유형이 전사류로 결정된 것에 응답하여, 주석 방식 유형에 대응되는 적어도 2개의 주석 타이틀 유형을 취득하는 단계; 및 주석 데이터 전사가 소량-내용 전사 수요로 결정된 것에 응답하여, 해당 적어도 2개의 주석 타이틀 유형 중의 한줄 텍스트 타이틀형을 목표 타이틀 유형으로 하는 단계; 주석 데이터 전사가 대량-내용 전사 수요로 결정된 것에 응답하여, 해당 적어도 2개의 주석 타이틀 유형 중의 여러줄 텍스트 타이틀형을 목표 타이틀 유형으로 결정하는 단계를 포함할 수 있다.
구체적으로, 주석 방식 유형이 전사류인 경우, 주석 방식 유형에 대응되는 적어도 2개의 주석 타이틀 유형은 한줄 텍스트 타이틀형 및 여러줄 텍스트 타이틀형을 포함할 수 있다. 상술한 수행주체는 주석 수요에 포함되는 주석 데이터 전사가 소량-내용 전사 수요이거나 또는 대량-내용 전사 수요임을 판단할 수 있다.
상술한 수행주체는 주석할 데이터가 전사된 후의 텍스트의 길이 수치(예를 들면 글자수, 캐릭터수, 행수)에 대해 설정한 역치를 취득할 수 있다. 취득된 주석할 데이터가 전사된 후의 텍스트의 길이 수치가 해당 역치를 초과하지 않는 경우, 상술한 주석 데이터 전사를 소량-내용 전사 수요로 결정할 수 있다. 취득된 주석할 데이터가 전사된 후의 텍스트의 길이 수치가 해당 역치를 초과하는 경우, 상술한 주석 데이터 전사를 대량-내용 전사 수요로 결정할 수 있다. 이 외에도, 상술한 수행주체는 취득된 주석할 데이터가 전사된 후의 텍스트의 길이 수치를 모델 또는 공식에 입력하여 해당 모델 또는 공식에 의해 계산된 결과를 취득할 수 있는바, 해당 결과는 상술한 주석 데이터 전사가 소량-내용 전사 수요 또는 대량-내용 전사 수요임을 직접 지시할 수 있다.
여기서의 한줄 텍스트 타이틀형은 한 줄의 텍스트로 전사 결과를 표시하는 것을 가리킬 수 있는바, 도 4c를 참조할 수 있다. 도에서는 주석할 데이터를 오디오로, 생성된 주석 타이틀은 4개의 옵션 단일선택 및 하나의 한줄 텍스트 타이틀로 나타낸다.
여러줄 텍스트 타이틀형은 여러 줄의 텍스트로 전사 결과를 표시하는 것을 가리키는바, 도 4d를 참조할 수 있다. 도에서는 주석할 데이터를 영상으로, 생성된 주석 타이틀을 하나의 여러줄 텍스트 타이틀로 나타낸다.
이러한 대안적인 구현방식은 전사 수요가 소량-내용 전사 수요과 대량-내용 전사 수요를 각각 지시하는 경우, 서로 다른 주석 타이틀 유형을 상응하게 결정하여 목표 타이틀 유형으로 할 수 있다.
본 실시예의 일부 대안적인 구현방식에서, 단계(402)에서의 주석 수요를 충족시키는 주석 방식 유형을 결정하는 단계는, 주석 수요가 주석 데이터 수집을 포함하는 것에 응답하여, 주석할 데이터의 주석 방식 유형을 보강류로 결정하는 단계를 포함할 수 있다.
이러한 대안적인 구현방식에서, 주석 수요가 주석 데이터 수집을 포함하는 경우, 상술한 수행주체는 주석할 데이터의 주석 방식 유형을 보강류로 결정할 수 있다. 주석 방식 유형이 보강류인 경우, 주석할 데이터 유형은 텍스트이다.
여기서의 보강(enrichment)은 인간 대 인간 대화, 인간 대 기계 대화 시나리오에서 수행되는 텍스트 수집을 가리킬 수 있다.
이러한 구현방식은 주석 수요의 구체적인 정보에 의해 정확하게 보강류의 주석 방식 유형을 결정할 수 있다.
대안으로, 단계(403)는 주석 방식 유형이 보강류로 결정된 것에 응답하여, 주석 방식 유형에 대응되는 적어도 2개의 주석 타이틀 유형을 취득하는 단계; 및 주석 데이터 수집이 소량-내용 수집 수요로 결정된 것에 응답하여, 해당 적어도 2개의 주석 타이틀 유형 중의 한줄 텍스트 타이틀형을 목표 타이틀 유형으로 하는 단계; 주석 데이터 수집이 대량-내용 수집 수요로 결정된 것에 응답하여, 해당 적어도 2개의 주석 타이틀 유형 중의 여러줄 텍스트 타이틀형을 목표 타이틀 유형으로 결정하는 단계를 포함할 수 있다.
구체적으로, 상술한 수행주체는 주석할 데이터가 보강된 후의 텍스트의 길이 수치(예를 들면 글자수, 캐릭터수, 행수)에 대해 설정한 역치를 취득할 수 있다. 취득된 주석할 데이터가 보강된 후의 텍스트의 길이 수치가 해당 역치를 초과하지 않는 경우, 상술한 주석 데이터 보강을 소량-내용 보강 수요로 결정할 수 있다. 취득된 주석할 데이터가 보강된 후의 텍스트의 길이 수치가 해당 역치를 초과하는 경우, 상술한 주석 데이터 보강을 대량-내용 보강 수요로 결정할 수 있다. 이 외에도, 상술한 수행주체는 취득된 주석할 데이터가 보강된 후의 텍스트의 길이 수치를 모델 또는 공식에 입력하여 모델 또는 공식에 의해 계산된 결과를 취득할 수 있는바, 해당 결과는 상술한 주석 데이터 보강이 소량-내용 보강 수요 또는 대량-내용 보강 수요임을 직접 지시할 수 있다.
이러한 대안적인 구현방식은 보강 수요가 소량-내용 보강 수요 및 대량-내용 보강 수요를 각각 지시하는 경우, 서로 다른 주석 타이틀 유형을 상응하게 결정하여 목표 타이틀 유형으로 할 수 있다.
본 실시예의 일부 대안적인 구현방식에서, 단계(402)에서의 주석 수요를 충족시키는 주석 방식 유형을 결정하는 단계는, 주석 수요가 주석 데이터 추출을 포함하는 것에 응답하여, 주석할 데이터의 주석 방식 유형을 추출류로 결정하는 단계를 포함할 수 있다.
이러한 대안적인 구현방식에서, 상술한 수행주체는 주석 수요가 주석 데이터 추출을 포함하는 경우, 주석할 데이터의 주석 방식 유형을 추출류로 결정할 수 있다. 구체적으로, 주석 방식 유형이 추출류일 수 있는 주석할 데이터 유형은 포토, 텍스트, 영상, 오디오, 포인트 클라우드 및 웹페이지를 포함할 수 있다.
여기서의 추출은 포토 추출, 오디오 자르기, 영상 자르기, 텍스트 추출, 포인트 클라우드 추출(즉 포인트 클라우드 데이터 추출) 등의 다양한 시나리오를 지시할 수 있다.
구체적으로, 포토 추출은 포토에서 하나의 객체를 선별하는 것을 가리킬 수 있는바, 포토에서 이를 "그려"내야 하며, 포토 추출된 주석 타이틀은 포토 에디터를 기반으로 디자인할 수 있다. 오디오 추출은 오디오가 재생되는 과정에서 그 중의 한 구간(또는 여러 구간)을 "표기"하는 것일 수 있다. 오디오를 추출하는 주석 타이틀은 오디오 플레이어에 기반하여 디자인할 수 있다. 영상을 추출하는 주석 타이틀은 영상 플레이어에 기반하여 디자인하여야 한다. 텍스트를 추출하는 주석 타이틀은 텍스트 에디터레 기반하여 디자인하여야 하고, 브러시의 형식으로 텍스트에 동그라미나 점을 그려서 취득할 수도 있다. 포인트 클라우드 데이터 추출을 수행하는 주석 타이틀은 포인트 클라우드 에디터에 기반하여 디자인할 수 있다.
이러한 구현방식은 주석 수요의 구체적인 정보에 의해 추출류의 주석 방식 유형을 정확하게 결정할 수 있다.
나아가 도 5a를 참조하면, 위의 각 도면에 도시한 방법에 대한 구현으로, 본 개시는 데이터를 주석하는 장치의 일 실시예를 제공하는바, 해당 장치 실시예는 도 2에 도시한 방법 실시예에 대응되고, 아래 기재된 특징 외에, 해당 장치 실시예는 도 2에 도시한 방법 실시예와 같거나 또는 상응한 특징 또는 효과를 더 포함할 수 있다. 해당 장치는 구체적으로 다양한 전자기기에 응용될 수 있다.
도 5에 도시한 바와 같이, 본 실시예의 데이터를 주석하는 장치(500)는 취득 유닛(501), 결정 유닛(502), 타이틀 생성 유닛(503) 및 툴 생성 유닛(504)을 포함한다. 여기서, 취득 유닛(501)은, 주석할 데이터 및 주석할 데이터의 주석 수요를 취득하고; 결정 유닛(502)은, 주석 수요를 충족시키는 주석 방식 유형을 결정하되, 주석 방식 유형은 주석 수요를 충족시키기 위해 주석할 데이터에 적용하는 주석 방식의 유형이고; 타이틀 생성 유닛(503)은, 주석 수요에 따라 주석 방식 유형에 부합되는 주석 타이틀을 생성하되, 주석 타이틀은 주석 툴에서 주석한 내용을 제시하기 위한 것이고; 툴 생성 유닛(504)은, 주석 타이틀의 타이틀 논리 관계, 주석할 데이터를 결정하고, 주석 타이틀 및 타이틀 논리 관계를 포함하는 주석 툴을 생성한다.
본 실시예에서, 데이터를 주석하는 장치(500)의 취득 유닛(501), 결정 유닛(502), 타이틀 생성 유닛(503) 및 툴 생성 유닛(504)의 구체적인 처리 및 이에 따른 기술 효과는 도 2의 대응되는 실시예에서의 단계(201), 단계(202), 단계(203) 및 단계(204)의 관련 설명을 각각 참조할 수 있는바, 이에 대한 상세한 설명은 생략하기로 한다.
본 실시예의 일부 대안적인 구현방식에서, 주석 방식 유형은 필수 주석 방식 유형을 포함하거나, 또는 필수 주석 방식 유형과 부가 주석 방식 유형을 포함한다.
본 실시예의 일부 대안적인 구현방식에서, 주석 방식 유형은 필수 주석 방식 유형과 부가 주석 방식 유형을 포함하고; 툴 생성 유닛은 나아가, 주석 타이틀의 타이틀 논리 관계, 주석할 데이터를 결정하고, 주석 타이틀 및 타이틀 논리 관계를 포함하는 주석 툴을 생성하는 것; 필수 주석 방식 유형 및 부가 주석 방식 유형에 각각 대응되는 주석 타이틀 간의 타이틀 논리 관계를 결정하는 것 - 여기서, 타이틀 논리 관계는 주석 순서, 표시 제한 관계 중의 적어도 하나를 포함함 - ; 및 주석할 데이터, 해당 타이틀 논리 관계 및 주석 타이틀을 포함하는 주석 툴을 생성하는 것을 수행한다.
본 실시예의 일부 대안적인 구현방식에서, 필수 주석 방식 유형 및 부가 주석 방식 유형은 각각 추출류 및 정제류이고, 타이틀 논리 관계는 주석 순서 및 표시 제한 관계를 포함하고, 주석 순서는 정제류의 주석 타이틀의 주석한 내용이 수신된 뒤에 추출류의 주석 타이틀의 주석 조작을 수신하는 것을 지시하고(indicate); 주석 툴을 표시하는 과정은, 주석 툴에서 정제류에 대응되는 주석 타이틀에 대한 주석 조작이 수신된 것에 응답하여, 해당 주석 조작의 주석한 내용을 결정하고, 표시 제한 관계 및 해당 주석한 내용에 기반하여 추출류에 대응되는 주석 타이틀의 표시 상태를 결정하는 것 - 표시 상태는 조작 가능 표시 상태 또는 조작 불가능 표시 상태임 - ; 결정된 표시 상태가 조작 가능 표시 상태인 것에 응답하여, 추출류에 대응되는 주석 타이틀을 조작 가능 상태로 표시하는 것; 및 결정된 표시 상태가 조작 불가능 표시 상태인 것에 응답하여, 추출류에 대응되는 주석 타이틀을 조작 불가능 상태로 표시하거나 또는 추출류에 대응되는 주석 타이틀을 표시하지 않는 것을 포함한다.
본 실시예의 일부 대안적인 구현방식에서, 타이틀 생성 유닛은 나아가, 주석 수요에 따라 주석 방식 유형에 부합되는 주석 타이틀을 생성하는 데 있어서, 주석 방식 유형에 대응되는 적어도 하나의 주석 타이틀 유형 중에서, 주석 수요에 대응되는 주석 타이틀 유형을 목표 타이틀 유형으로 결정하는 것; 및 주석 수요에 따라 목표 타이틀 유형의 주석 타이틀을 생성하는 것에 따른다.
본 실시예의 일부 대안적인 구현방식에서, 타이틀 생성 유닛은 나아가, 주석 수요에 따라 목표 타이틀 유형의 주석 타이틀을 생성하는 데 있어서, 주석 수요가 사전설정된 교정할 수요인 것에 응답하여, 목표 타이틀 유형의 주석 타이틀, 및 교정할 수요에 대응되는 교정 타이틀을 생성하는 데 따르고, 여기서, 교정 타이틀의 주석한 내용은 주석 타이틀의 주석한 내용을 조정하기 위한 것이다.
본 실시예의 일부 대안적인 구현방식에서, 결정 유닛은 나아가, 주석 수요를 충족시키는 주석 방식 유형을 결정하는 데 있어서, 주석 수요가 주석할 데이터 필터링을 포함하는 것에 응답하여, 주석할 데이터의 주석 방식 유형을 정제류로 결정하는 것 - 정제류는 주석할 데이터가 필터링해버릴 데이터인지 여부를 결정하는 것을 지시하거나 또는 주석할 데이터 중의 필터링해버릴 국소 데이터를 결정하는 것을 지시함 - ; 주석 수요는 주석 데이터 전사를 포함하는 것에 응답하여, 주석할 데이터의 주석 방식 유형을 전사류로 결정하는 것; 주석 수요가 주석 데이터 수집을 포함하는 것에 응답하여, 주석할 데이터의 주석 방식 유형을 보강류로 결정하는 것; 및 주석 수요가 주석 데이터 추출을 포함하는 것에 응답하여, 주석할 데이터의 주석 방식 유형을 추출류로 결정하는 것에 따른다.
본 실시예의 일부 대안적인 구현방식에서, 타이틀 생성 유닛은 나아가, 주석 방식 유형에 대응되는 적어도 하나의 주석 타이틀 유형 중에서, 주석 수요에 대응되는 주석 타이틀 유형을 목표 타이틀 유형으로 결정하는 데 있어서, 주석 방식 유형이 목표류로 결정된 것에 응답하여, 주석 방식 유형에 대응되는 적어도 2개의 주석 타이틀 유형을 취득하는 것; 및 주석 수요가 사전설정 수요로 결정된 것에 응답하여, 해당 사전설정 수요에 대응되는 타이틀 유형을 목표 타이틀 유형으로 하는 것에 따른다.
본 실시예의 일부 대안적인 구현방식에서, 목표류가 정제류로 결정된 것에 응답하여, 사전설정 수요가 직접 선택 수요인 경우, 목표 타이틀 유형을 옵션 선택형으로 결정하고, 사전설정 수요가 퍼지 검색 수요인 경우, 목표 타이틀 유형을 드롭다운 박스 선택형으로 결정하고; 목표 유형이 전사류로 결정된 것에 응답하여, 사전설정 수요가 소량-내용 전사 수요인 경우, 목표 타이틀 유형을 한줄 텍스트 타이틀로 결정하고, 사전설정 수요가 대량-내용 전사 수요인 경우, 목표 타이틀 유형을 여러줄 텍스트 타이틀로 결정하고; 목표류가 보강류로 결정된 것에 응답하여, 사전설정 수요가 소량-내용 보강 수요인 경우, 목표 타이틀 유형을 한줄 텍스트 타이틀로 결정하고, 사전설정 수요가 대량-내용 보강 수요인 경우, 목표 타이틀 유형을 여러줄 텍스트 타이틀로 결정한다.
도 5b에 도시한 바와 같이, 도면은 데이터를 주석하는 장치가 존재할 수 있는 각각의 처리층을 도시한다. 구체적으로, 각각의 처리층은 데이터층, 평가 방법층, 타이틀층, 구성층 및 툴층을 포함할 수 있다.
여기서, 데이터층은 서로 다른 주석할 데이터류의 주석할 데이터를 포함할 수 있다. 평가 방법층은 서로 다른 주석 방식 유형을 포함할 수 있다. 타이틀층은 서로 다른 주석 타이틀 유형을 포함한다. 여기서, 범용 요소(범용 주석 타이틀 유형)는 단일선택, 복수선택, 행렬, 빈칸 채우기를 포함할 수 있는데, 이들은 모든 주석할 데이터류에 전부 적용될 수 있는 주석 타이틀 유형이다. 여기서 하나의 타이틀의 복수의 서브타이틀이 행렬의 형식으로 배열되는 것을 가리킬 수 있다. 전용 타이틀(전용 주석 타이틀 유형)은 서로 다른 주석할 데이터류에 각각 적용될 수 있는 주석 타이틀이 속하는 주석 타이틀 유형을 가리킬 수 있는바, 주석 수요를 지시할 수 있다. 예를 들면, 포토의 주석 수요는 주석 "포인트"일 수 있다. 해당 수요에 대하여, 보조선과 관련되는 교정 타이틀을 적용할 수 있다. 도면의 구성층은 주석 타이틀에 의해 주석 툴을 생성하는 데 거치는 단계를 지시할 수 있다. 여기에 논리(예를 들면 타이틀 논리 관계) 구성이 포함될 수 있다.
본 개시의 실시예에 따르면, 본 개시는 전자기기, 판독가능 저장매체 및 컴퓨터 프로그램 제품을 더 제공한다.
도 6은, 본 발명의 실시예에 따른 데이터를 주석하는 방법을 수행하는 전자기기의 블록도를 도시한 도면이다. 전자 기기는 다양한 형식의 디지털 컴퓨터, 예를 들어 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크벤치, 개인용 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 다른 적합한 컴퓨터를 포함할 수 있다. 전자 기기는 다양한 형식의 이동 장치, 예를 들어 개인용 디지털 보조기, 셀룰러 폰, 스마트폰, 웨어러블 기기 및 이와 유사한 다른 컴퓨팅 기기를 가리킬 수도 있다. 본 명세서에서 제시하는 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시일 뿐이다. 본 명세서에서 서술한 및/또는 요구하는 본 개시의 구현을 한정하고자 하는 것이 아니다.
도 6에 도시한 바와 같이, 해당 전자기기는, 하나 또는 복수의 프로세서(601), 메모리(602), 및 각 부품을 연결하는 인터페이스 - 고속 인터페이스와 저속 인터페이스가 포함됨 - 를 포함한다. 각 부품은 서로 다른 버스를 이용하여 서로 연결되면서 공용 메인보드에 장착되거나 또는 필요에 따라 다른 방식으로 장착될 수 있다. 프로세서는 전자기기 내에서 실행되는 명령을 처리할 수 있는바, 상기 명령은 메모리에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 커플링된 표시 기기)에 GUI의 그래픽 정보를 표시하기 위한 명령을 포함할 수 있다. 다른 실시방식에서, 필요에 따라, 복수의 프로세서 및/또는 복수의 버스는 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자기기에 연결되어 각 기기에 일부 필요한 조작을 제공할 수 있다(예를 들면 서버 어레이, 한 그룹의 블레이드 서버, 또는 멀티프로세서 시스템으로서). 도 6은 하나의 프로세서(601)를 예시한다.
메모리(602)가 바로 본 개시에 의해 제공되는 비일시적 컴퓨터 판독가능 저장매체이다. 여기서, 메모리는 적어도 하나의 프로세서에 의해 실행되는 명령을 저장함으로써 적어도 하나의 프로세서에 의해 본 개시에 의해 제공되는 데이터를 주석하는 방법이 수행되도록 한다. 본 개시의 비일시적 컴퓨터 판독가능 저장매체는 컴퓨터 명령을 저장하고, 해당 컴퓨터 명령은 컴퓨터가 본 개시에 의해 제공되는 데이터를 주석하는 방법을 수행하도록 한다.
메모리(602)는 비일시적 컴퓨터 판독가능 저장매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행가능 프로그램 및 모듈을 저장할 수 있는바, 예를 들면 본 개시 실시예에서의 데이터를 주석하는 방법에 대응되는 프로그램 명령/ 모듈(예를 들어, 도 5에 도시한 취득 유닛(501), 결정 유닛(502), 타이틀 생성 유닛(503) 및 툴 생성 유닛(504))일 수 있다. 프로세서(601)는 메모리(602)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 애플리케이션 및 데이터 처리를 수행하는바, 즉 상술한 방법 실시예에서의 데이터를 주석하는 방법을 구현한다.
메모리(602)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있는바, 여기서, 프로그램 저장 영역은 운영 시스템, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있고; 데이터 저장 영역은 데이터를 주석하는 전자기기의 사용에 따라 생성되는 데이터 등을 저장할 수 있다. 이 외에도, 메모리(602)는 고속 랜덤 액세스 메모리를 포함할 수 있고 비일시적 메모리, 예를 들어 적어도 하나의 자기 디스크 저장 디바이스, 플래시 저장 디바이스, 또는 다른 비일시적 고체 저장 디바이스를 포함할 수도 있다. 일부 실시예에서, 메모리(602)는 선택적으로 프로세서(601)에 비해 원격 설치되는 메모리를 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 데이터를 주석하는 전자기기에 연결될 수 있다. 상술한 네트워크의 예는 네트워크, 사내망, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하나 이에 한정되지 않는다.
데이터를 주석하는 방법을 수행하는 전자기기는 입력 장치(603) 및 출력 장치(604)를 더 포함할 수 있다. 프로세서(601), 메모리(602), 입력 장치(603) 및 출력 장치(604)는 버스 또는 다른 연결방식에 의해 연결될 수 있는바, 도 6에서는 버스에 의한 연결을 예시한다.
입력 장치(603)는 입력된 숫자 또는 캐릭터 정보를 수신할 수 있고, 데이터를 주석하는 전자기기의 사용자 설정 및 기능 제어에 관련되는 키 신호 입력을 발생할 수 있는바, 예를 들면 터치 스크린, 숫자 키보드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등의 입력 장치를 포함한다. 출력 장치(604)는 표시 기기, 보조 조명 장치(예를 들어 LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 해당 표시 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함하나 이에 한정되지 않는다. 일부 실시방식에서, 표시 기기는 터치 스크린일 수 있다.
여기서 서술하는 시스템 및 기술의 다양한 실시방식은 디지털 전자 회로 시스템, 집적회로 시스템, 주문형ASIC(주문형 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합 중에서 구현될 수 있다. 이러한 다양한 실시방식은 하기한 바를 포함할 수 있다. 하나 또는 복수의 컴퓨터 프로그램에서 실시되고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램가능 프로세서를 포함하는 프로그램가능 시스템에서 실행되거나 및/또는 해석될 수 있고, 해당 프로그램가능 프로세서는 전용의 또는 범용의 프로그램가능 프로세서이고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있고 데이터와 명령을 해당 저장 시스템, 해당 적어도 하나의 입력 장치 및 해당 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램가능 프로세서의 기계 명령을 포함하고, 고급 프로시저 및/또는 객체지향 프로그래밍 언어, 및/또는 기계어/어셈블리어를 이용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용한 바와 같이, 용어 "기계 판독가능 매체"와 "컴퓨터 판독가능 매체"는 기계 명령 및/또는 데이터를 프로그램가능 프로세서에 제공하는 임의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들면 자기 디스크, 광 디스크, 메모리, 프로그램가능 논리 장치(PLD))를 가리키는바, 기계 판독가능 신호인 기계 명령을 수신하는 기계 판독가능 매체를 포함한다. 용어 "기계 판독가능 신호"는 기계 명령 및/또는 데이터를 프로그램가능 프로세서에 제공하는 임의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터에서 여기서 서술하는 시스템과 기술을 실시할 수 있는바, 해당 컴퓨터는 사용자한테 정보를 표시하는 표시 장치(예를 들면 음극선관(CRT) 또는 액정 디스플레이(LCD) 모니터); 및 키보드와 포인팅 장치(예를 들면 마우스 또는 트랙볼)일 수 있는바, 사용자는 해당 키보드 및 해당 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 다른 종류의 장치는 사용자와의 인터랙션을 제공할 수 있는바; 예를 들어 사용자한테 제공하는 피드백은 임의 형식의 센싱 피드백(예를 들면 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고; 임의의 형식(사운드 입력, 음성 입력 또는 촉각 입력을 포함함)으로 사용자로부터의 입력을 수신할 수 있다.
여기서 서술하는 시스템 및 기술을 백그라운드 부품을 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버로서), 또는 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들면 애플리케이션 서버), 또는 프론트엔드 부품을 포함하는 컴퓨팅 시스템(예를 들면 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 가지는 사용자 컴퓨터임, 사용자는 해당 그래픽 사용자 인터페이스 또는 해당 네트워크 브라우저를 통해 여기서 서술하는 시스템 및 기술의 실시방식과 인터랙션할 수 있음), 또는 이러한 백스테이지 부품, 미들웨어 부품, 또는 프론트엔드 부품의 임의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의 형식 또는 매체의 디지털 데이터 통신(예를 들면 통신망)를 통해 시스템의 부품을 서로 연결할 수 있다. 통신망의 예시는 근거리 통신망(LAN), 원거리 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고 통상적으로는 통신망을 통해 인터랙션한다. 상응한 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 발생한다. 서버는 클라우드 서버일 수 있고, 클라우드 컴퓨팅 서버 또는 클라우드 호스팅으로 지칭될 수도 있는바, 클라우드 컴퓨팅 서비스 체계에서의 호스팅 제품으로, 전통적인 물리 호스팅과 VPS 서비스("Virtual Private Server", 또는 "VPS"로 약칭됨)에 존재하는 관리 난이도가 크고 업무 확장성이 약한 결함을 해결한다. 서버는 분산 시스템의 서버 또는 블록체인이 결합된 서버일 수도 있다.
첨부도면의 흐름도와 블록도는 본 개시의 각 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현될 수 있는 체계 아키텍처, 기능 및 조작을 도시한다. 이러한 점에 있어서, 흐름도 또는 블록도 중의 각각의 블록은 하나의 모듈, 프로그램 세그먼트, 또는 코드의 일부분을 대표할 수 있고, 해당 모듈, 프로그램 세그먼트, 또는 코드의 일부분은 하나 또는 복수의 규정된 논리 기능을 구현하기 위한 실행가능한 명령을 포함한다. 일부 대안적인 구현에서, 블록 내의 주석된 기능은 첨부도면에서 주석된 순서와 다르게 발생될 수도 있다는 점 또한 유의하여야 한다. 예를 들어, 연속되게 표시된 2개의 블록은 실제로는 기본적으로 병렬로 수행될 수 있고, 이들은 어떤 경우에는 상반되는 순서로 수행될 수도 있는바, 이는 관련되는 기능에 따라 결정된다. 블록도 및/또는 흐름도 중의 각각의 블록, 및 블록도 및/또는 흐름도 중의 블록의 조합은, 규정된 기능 또는 조작을 수행하는 전용의, 하드웨어 기반의 시스템을 사용하여 구현하거나, 또는 전용 하드웨어와 컴퓨터 명령의 조합을 사용하여 구현할 수 있다는 것을 유의하여야 한다.
본 개시 실시예에서 서술된 유닛은 소프트웨어의 방식으로 구현될 수도 있고 하드웨어의 방식으로 구현될 수도 있다. 서술된 유닛은 프로세서에 설치될 수도 있는바, 예를 들어, 취득 유닛, 결정 유닛, 타이틀 생성 유닛 및 툴 생성 유닛을 포함하는 프로세서로 서술될 수 있다. 여기서, 이러한 유닛의 명칭은 일부 상황에서 해당 유닛 자체에 대해 한정하지 않는바, 예를 들어, 타이틀 생성 유닛은 "주석 수요에 따라 주석 방식 유형에 부합되는 주석 타이틀을 생성하는 유닛"으로 서술될 수도 있다.
다른 측면으로, 본 개시는 컴퓨터 판독가능 매체를 더 제공하는바, 해당 컴퓨터 판독가능 매체는 상술한 실시예에서 설명하는 장치에 포함될 수도 있고 해당 장치에 내장되지 않은 채, 단독으로 존재할 수도 있다. 상술한 컴퓨터 판독가능 매체는 하나 또는 복수의 프로그램을 탑재하는바, 상술한 하나 또는 복수의 프로그램이 해당 장치에 의해 실행되는 경우, 해당 장치에 의해, 주석할 데이터 및 주석할 데이터의 주석 수요를 취득하는 단계; 주석 수요를 충족시키는 주석 방식 유형을 결정하는 단계 - 주석 방식 유형은 주석 수요를 충족시키기 위해 주석할 데이터에 적용하는 주석 방식의 유형임 - ; 주석 수요에 따라 주석 방식 유형에 부합되는 주석 타이틀을 생성하는 단계 - 주석 타이틀은 주석 툴에서 주석한 내용을 제시하기 위한 것임 - ; 및 주석 타이틀의 타이틀 논리 관계, 주석할 데이터를 결정하고, 주석 타이틀 및 타이틀 논리 관계를 포함하는 주석 툴을 생성하는 단계가 수행되도록 한다.
상술한 서술은 단지 본 개시의 바람직한 실시예 및 활용된 기술원리에 대한 설명일 뿐이다. 당업자라면, 본 개시에 관한 발명 범위는 상술한 기술특징의 특정 조합으로 구성되는 기술방안에 한정되지 않으며, 동시에, 상술한 발명 착상을 벗어나지 않으면서 상술한 기술 특징 또는 그 균등 특징을 임의로 조합하여 구성되는 다른 기술방안을 포함한다는 점을 이해하여야 한다. 예를 들면 상술한 특징과 본 개시에 개시된(그러나 이에 한정되지 않음) 유사한 기능을 가지는 기술 특징과 서로 치환하여 형성되는 기술방안이 있다.

Claims (21)

  1. 데이터를 주석하는 방법으로서,
    주석할 데이터 및 상기 주석할 데이터의 주석 수요를 취득하는 단계;
    상기 주석 수요를 충족시키는 주석 방식 유형을 결정하는 단계 - 상기 주석 방식 유형은 주석 수요를 충족시키기 위해 주석할 데이터에 적용하는 주석 방식의 유형임 - ;
    상기 주석 수요에 따라 상기 주석 방식 유형에 부합되는 주석 타이틀을 생성하는 단계 - 상기 주석 타이틀은 주석 툴에서 주석한 내용을 제시하기 위한 것임 - ; 및
    상기 주석 타이틀의 타이틀 논리 관계를 결정하고 상기 주석할 데이터, 상기 주석 타이틀 및 상기 타이틀 논리 관계를 포함하는 주석 툴을 생성하는 단계를 포함하는,
    데이터를 주석하는 방법.
  2. 제1항에 있어서,
    상기 주석 방식 유형은 필수 주석 방식 유형을 포함하거나, 또는 필수 주석 방식 유형과 부가 주석 방식 유형을 포함하는,
    데이터를 주석하는 방법.
  3. 제2항에 있어서,
    상기 주석 방식 유형은 필수 주석 방식 유형과 부가 주석 방식 유형을 포함하고;
    상기 주석 타이틀의 타이틀 논리 관계를 결정하고 상기 주석할 데이터, 상기 주석 타이틀 및 상기 타이틀 논리 관계를 포함하는 주석 툴을 생성하는 단계는,
    상기 필수 주석 방식 유형 및 상기 부가 주석 방식 유형에 각각 대응되는 주석 타이틀 간의 타이틀 논리 관계를 결정하는 단계 - 상기 타이틀 논리 관계는 주석 순서, 표시 제한 관계 중의 적어도 하나를 포함함 - ; 및
    상기 주석할 데이터, 해당 타이틀 논리 관계 및 상기 주석 타이틀을 포함하는 주석 툴을 생성하는 단계를 포함하는,
    데이터를 주석하는 방법.
  4. 제3항에 있어서,
    상기 필수 주석 방식 유형 및 상기 부가 주석 방식 유형은 각각 추출류 및 정제류이고, 상기 타이틀 논리 관계는 주석 순서 및 표시 제한 관계를 포함하고, 상기 주석 순서는 정제류의 주석 타이틀의 주석한 내용이 수신된 뒤에 추출류의 주석 타이틀의 주석 조작을 수신하는 것을 지시하고;
    상기 주석 툴을 표시하는 과정은,
    상기 주석 툴에서 정제류에 대응되는 주석 타이틀에 대한 주석 조작이 수신된 것에 응답하여, 해당 주석 조작의 주석한 내용을 결정하고, 상기 표시 제한 관계 및 해당 주석한 내용에 기반하여 추출류에 대응되는 주석 타이틀의 표시 상태를 결정하는 단계 - 상기 표시 상태는 조작 가능 표시 상태 또는 조작 불가능 표시 상태임 - ;
    결정된 표시 상태가 조작 가능 표시 상태인 것에 응답하여, 상기 추출류에 대응되는 주석 타이틀을 조작 가능 상태로 표시하는 단계; 및
    결정된 표시 상태가 조작 불가능 표시 상태인 것에 응답하여, 상기 추출류에 대응되는 주석 타이틀을 조작 불가능 상태로 표시하거나 또는 상기 추출류에 대응되는 주석 타이틀을 표시하지 않는 단계를 포함하는,
    데이터를 주석하는 방법.
  5. 제1항 내지 제4항에 있어서,
    상기 주석 수요에 따라 상기 주석 방식 유형에 부합되는 주석 타이틀을 생성하는 단계는,
    상기 주석 방식 유형에 대응되는 적어도 하나의 주석 타이틀 유형 중에서, 상기 주석 수요에 대응되는 주석 타이틀 유형을 목표 타이틀 유형으로 결정하는 단계; 및
    상기 주석 수요에 따라 상기 목표 타이틀 유형의 주석 타이틀을 생성하는 단계를 포함하는,
    데이터를 주석하는 방법.
  6. 제5항에 있어서,
    상기 주석 수요에 따라 상기 목표 타이틀 유형의 주석 타이틀을 생성하는 단계는,
    상기 주석 수요가 사전설정된 교정할 수요인 것에 응답하여, 상기 목표 타이틀 유형의 주석 타이틀, 및 상기 교정할 수요에 대응되는 교정 타이틀을 생성하는 단계 - 상기 교정 타이틀의 주석한 내용은 상기 주석 타이틀의 주석한 내용을 조정하기 위한 것임 - 를 포함하는,
    데이터를 주석하는 방법.
  7. 제5항에 있어서,
    상기 주석 수요를 충족시키는 주석 방식 유형을 결정하는 단계는,
    상기 주석 수요가 주석할 데이터 필터링을 포함하는 것에 응답하여, 상기 주석할 데이터의 주석 방식 유형을 정제류로 결정하는 단계 - 상기 정제류는 주석할 데이터가 필터링해버릴 데이터인지 여부를 결정하는 것을 지시하거나 또는 주석할 데이터 중의 필터링해버릴 국소 데이터를 결정하는 것을 지시함 - ;
    상기 주석 수요는 주석 데이터 전사를 포함하는 것에 응답하여, 상기 주석할 데이터의 주석 방식 유형을 전사류로 결정하는 단계;
    상기 주석 수요가 주석 데이터 수집을 포함하는 것에 응답하여, 상기 주석할 데이터의 주석 방식 유형을 보강류로 결정하는 단계; 및
    상기 주석 수요가 주석 데이터 추출을 포함하는 것에 응답하여, 상기 주석할 데이터의 주석 방식 유형을 추출류로 결정하는 단계를 포함하는,
    데이터를 주석하는 방법.
  8. 제7항에 있어서,
    상기 주석 방식 유형에 대응되는 적어도 하나의 주석 타이틀 유형 중에서, 상기 주석 수요에 대응되는 주석 타이틀 유형을 목표 타이틀 유형으로 결정하는 단계는,
    상기 주석 방식 유형이 목표류로 결정된 것에 응답하여, 상기 주석 방식 유형에 대응되는 적어도 2개의 주석 타이틀 유형을 취득하는 단계; 및
    상기 주석 수요가 사전설정 수요로 결정된 것에 응답하여, 해당 사전설정 수요에 대응되는 타이틀 유형을 목표 타이틀 유형으로 하는 단계를 포함하는,
    데이터를 주석하는 방법.
  9. 제8항에 있어서,
    상기 목표류가 정제류로 결정된 것에 응답하여, 상기 사전설정 수요가 직접 선택 수요인 경우, 상기 목표 타이틀 유형을 옵션 선택형으로 결정하고, 상기 사전설정 수요가 퍼지 검색 수요인 경우, 상기 목표 타이틀 유형을 드롭다운 박스 선택형으로 결정하고;
    상기 목표류가 전사류로 결정된 것에 응답하여, 상기 사전설정 수요가 소량-내용 전사 수요인 경우, 상기 목표 타이틀 유형을 한줄 텍스트 타이틀로 결정하고, 상기 사전설정 수요가 대량-내용 전사 수요인 경우, 상기 목표 타이틀 유형을 여러줄 텍스트 타이틀로 결정하고;
    상기 목표류가 보강류로 결정된 것에 응답하여, 상기 사전설정 수요가 소량-내용 보강 수요인 경우, 상기 목표 타이틀 유형을 한줄 텍스트 타이틀로 결정하고, 상기 사전설정 수요가 대량-내용 보강 수요인 경우, 상기 목표 타이틀 유형을 여러줄 텍스트 타이틀로 결정하는,
    데이터를 주석하는 방법.
  10. 데이터를 주석하는 장치로서,
    주석할 데이터 및 상기 주석할 데이터의 주석 수요를 취득하는 취득 유닛;
    상기 주석 수요를 충족시키는 주석 방식 유형을 결정하는 결정 유닛 - 상기 주석 방식 유형은 주석 수요를 충족시키기 위해 주석할 데이터에 적용하는 주석 방식의 유형임 - ;
    상기 주석 수요에 따라 상기 주석 방식 유형에 부합되는 주석 타이틀을 생성하는 타이틀 생성 유닛 - 상기 주석 타이틀은 주석 툴에서 주석한 내용을 제시하기 위한 것임 - ; 및
    상기 주석 타이틀의 타이틀 논리 관계를 결정하고 상기 주석할 데이터, 상기 주석 타이틀 및 상기 타이틀 논리 관계를 포함하는 주석 툴을 생성하는 툴 생성 유닛을 포함하는,
    데이터를 주석하는 장치.
  11. 제10항에 있어서,
    상기 주석 방식 유형은 필수 주석 방식 유형을 포함하거나, 또는 필수 주석 방식 유형과 부가 주석 방식 유형을 포함하는,
    데이터를 주석하는 장치.
  12. 제11항에 있어서,
    상기 주석 방식 유형은 필수 주석 방식 유형과 부가 주석 방식 유형을 포함하고;
    상기 툴 생성 유닛은 나아가, 상기 주석 타이틀의 타이틀 논리 관계를 결정하고 상기 주석할 데이터, 상기 주석 타이틀 및 상기 타이틀 논리 관계를 포함하는 주석 툴을 생성하는 데 있어서,
    상기 필수 주석 방식 유형 및 상기 부가 주석 방식 유형에 각각 대응되는 주석 타이틀 간의 타이틀 논리 관계를 결정하는 것 - 상기 타이틀 논리 관계는 주석 순서, 표시 제한 관계 중의 적어도 하나를 포함함 - ; 및
    상기 주석할 데이터, 해당 타이틀 논리 관계 및 상기 주석 타이틀을 포함하는 주석 툴을 생성하는 것에 따르는,
    데이터를 주석하는 장치.
  13. 제12항에 있어서,
    상기 필수 주석 방식 유형 및 상기 부가 주석 방식 유형은 각각 추출류 및 정제류이고, 상기 타이틀 논리 관계는 주석 순서 및 표시 제한 관계를 포함하고, 상기 주석 순서는 정제류의 주석 타이틀의 주석한 내용이 수신된 뒤에 추출류의 주석 타이틀의 주석 조작을 수신하는 것을 지시하고;
    상기 주석 툴을 표시하는 과정은,
    상기 주석 툴에서 정제류에 대응되는 주석 타이틀에 대한 주석 조작이 수신된 것에 응답하여, 해당 주석 조작의 주석한 내용을 결정하고, 상기 표시 제한 관계 및 해당 주석한 내용에 기반하여 추출류에 대응되는 주석 타이틀의 표시 상태를 결정하는 것 - 상기 표시 상태는 조작 가능 표시 상태 또는 조작 불가능 표시 상태임 - ;
    결정된 표시 상태가 조작 가능 표시 상태인 것에 응답하여, 상기 추출류에 대응되는 주석 타이틀을 조작 가능 상태로 표시하는 것; 및
    결정된 표시 상태가 조작 불가능 표시 상태인 것에 응답하여, 상기 추출류에 대응되는 주석 타이틀을 조작 불가능 상태로 표시하거나 또는 상기 추출류에 대응되는 주석 타이틀을 표시하지 않는 것을 포함하는,
    데이터를 주석하는 장치.
  14. 제10항 내지 제13항 중의 어느 한 항에 있어서,
    상기 타이틀 생성 유닛은 나아가, 상기 주석 수요에 따라 상기 주석 방식 유형에 부합되는 주석 타이틀을 생성하는 하는 데 있어서,
    상기 주석 방식 유형에 대응되는 적어도 하나의 주석 타이틀 유형 중에서, 상기 주석 수요에 대응되는 주석 타이틀 유형을 목표 타이틀 유형으로 결정하는 것; 및
    상기 주석 수요에 따라 상기 목표 타이틀 유형의 주석 타이틀을 생성하는 것에 따르는,
    데이터를 주석하는 장치.
  15. 제14항에 있어서,
    상기 타이틀 생성 유닛은 나아가, 상기 주석 수요에 따라 상기 목표 타이틀 유형의 주석 타이틀을 생성하는 하는 데 있어서,
    상기 주석 수요가 사전설정된 교정할 수요인 것에 응답하여, 상기 목표 타이틀 유형의 주석 타이틀, 및 상기 교정할 수요에 대응되는 교정 타이틀을 생성하는 것 - 상기 교정 타이틀의 주석한 내용은 상기 주석 타이틀의 주석한 내용을 조정하기 위한 것임 - 에 따르는,
    데이터를 주석하는 장치.
  16. 제14항에 있어서,
    상기 결정 유닛은 나아가, 상기 주석 수요를 충족시키는 주석 방식 유형을 결정하는 데 있어서,
    상기 주석 수요가 주석할 데이터 필터링을 포함하는 것에 응답하여, 상기 주석할 데이터의 주석 방식 유형을 정제류로 결정하는 것 - 상기 정제류는 주석할 데이터가 필터링해버릴 데이터인지 여부를 결정하는 것을 지시하거나 또는 주석할 데이터 중의 필터링해버릴 국소 데이터를 결정하는 것을 지시함 - ;
    상기 주석 수요는 주석 데이터 전사를 포함하는 것에 응답하여, 상기 주석할 데이터의 주석 방식 유형을 전사류로 결정하는 것;
    상기 주석 수요가 주석 데이터 수집을 포함하는 것에 응답하여, 상기 주석할 데이터의 주석 방식 유형을 보강류로 결정하는 것; 및
    상기 주석 수요가 주석 데이터 추출을 포함하는 것에 응답하여, 상기 주석할 데이터의 주석 방식 유형을 추출류로 결정하는 것에 따르는,
    데이터를 주석하는 장치.
  17. 제16항에 있어서,
    타이틀 생성 유닛은 나아가, 상기 주석 방식 유형에 대응되는 적어도 하나의 주석 타이틀 유형 중에서, 상기 주석 수요에 대응되는 주석 타이틀 유형을 목표 타이틀 유형으로 결정하는 데 있어서,
    상기 주석 방식 유형이 목표류로 결정된 것에 응답하여, 상기 주석 방식 유형에 대응되는 적어도 2개의 주석 타이틀 유형을 취득하는 것; 및
    상기 주석 수요가 사전설정 수요로 결정된 것에 응답하여, 해당 사전설정 수요에 대응되는 타이틀 유형을 목표 타이틀 유형으로 하는 것에 따르는,
    데이터를 주석하는 장치.
  18. 제17항에 있어서,
    상기 목표류가 정제류로 결정된 것에 응답하여, 상기 사전설정 수요가 직접 선택 수요인 경우, 상기 목표 타이틀 유형을 옵션 선택형으로 결정하고, 상기 사전설정 수요가 퍼지 검색 수요인 경우, 상기 목표 타이틀 유형을 드롭다운 박스 선택형으로 결정하고;
    상기 목표류가 전사류로 결정된 것에 응답하여, 상기 사전설정 수요가 소량-내용 전사 수요인 경우, 상기 목표 타이틀 유형을 한줄 텍스트 타이틀로 결정하고, 상기 사전설정 수요가 대량-내용 전사 수요인 경우, 상기 목표 타이틀 유형을 여러줄 텍스트 타이틀로 결정하고;
    상기 목표류가 보강류로 결정된 것에 응답하여, 상기 사전설정 수요가 소량-내용 보강 수요인 경우, 상기 목표 타이틀 유형을 한줄 텍스트 타이틀로 결정하고, 상기 사전설정 수요가 대량-내용 보강 수요인 경우, 상기 목표 타이틀 유형을 여러줄 텍스트 타이틀로 결정하는,
    데이터를 주석하는 장치.
  19. 전자기기로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 통신적으로 연결되는 메모리를 포함하고,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행됨으로써 상기 적어도 하나의 프로세서에 의해 제1항 내지 제9항 중 어느 한 항의 방법이 수행되도록 하는,
    전자기기.
  20. 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독가능 저장매체로서,
    상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제9항 중 어느 한 항의 방법을 수행하도록 하는,
    비일시적 컴퓨터 판독가능 저장매체.
  21. 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은 프로세서에 의해 실행되는 경우, 제1항 내지 제9항 중 어느 한 항의 방법을 구현하는,
    매체에 저장된 컴퓨터 프로그램.
KR1020210122258A 2021-03-25 2021-09-14 데이터를 주석하는 방법 및 장치 KR102583345B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110319793.3 2021-03-25
CN202110319793.3A CN113157170B (zh) 2021-03-25 2021-03-25 数据的标注方法和装置

Publications (2)

Publication Number Publication Date
KR20210119923A true KR20210119923A (ko) 2021-10-06
KR102583345B1 KR102583345B1 (ko) 2023-09-27

Family

ID=76885085

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210122258A KR102583345B1 (ko) 2021-03-25 2021-09-14 데이터를 주석하는 방법 및 장치

Country Status (5)

Country Link
US (1) US20210382918A1 (ko)
EP (1) EP3896614A3 (ko)
JP (1) JP7284786B2 (ko)
KR (1) KR102583345B1 (ko)
CN (1) CN113157170B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102585322B1 (ko) * 2022-10-26 2023-10-06 주식회사 데이터메이커 불안정한 인터넷 환경에서 원활한 데이터 라벨링을 위한 클라이언트 장치 및 이를 포함하는 데이터 라벨링 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100132911A (ko) * 2009-06-10 2010-12-20 인터내셔널 비지네스 머신즈 코포레이션 자원/관계 그래프 상의 메트릭 주석의 모델 구동형 디스플레이
WO2015191444A2 (en) * 2014-06-09 2015-12-17 Sicpa Security Inks & Systems Usa, Inc. An integrity management system to manage and control data between entities in an oil and gas asset supply chain
JP2017187850A (ja) * 2016-04-01 2017-10-12 株式会社リコー 画像処理システム、情報処理装置、プログラム
CN109063055A (zh) * 2018-07-19 2018-12-21 中国科学院信息工程研究所 同源二进制文件检索方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ717700A0 (en) 2000-04-28 2000-05-18 Canon Kabushiki Kaisha A method of annotating an image
US8713079B2 (en) 2006-06-16 2014-04-29 Nokia Corporation Method, apparatus and computer program product for providing metadata entry
US20080263103A1 (en) * 2007-03-02 2008-10-23 Mcgregor Lucas Digital asset management system (DAMS)
US8805112B2 (en) * 2010-05-06 2014-08-12 Nikon Corporation Image sharpness classification system
US9767565B2 (en) * 2015-08-26 2017-09-19 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection
CN107705034B (zh) * 2017-10-26 2021-06-29 医渡云（北京）技术有限公司 众包平台实现方法及装置、存储介质和电子设备
CN109657675B (zh) * 2018-12-06 2021-03-30 广州景骐科技有限公司 图像标注方法、装置、计算机设备和可读存储介质
CN111340054A (zh) * 2018-12-18 2020-06-26 北京嘀嘀无限科技发展有限公司 数据标注方法、装置及数据处理设备
CN112163424A (zh) * 2020-09-17 2021-01-01 中国建设银行股份有限公司 数据的标注方法、装置、设备和介质
CN112528610B (zh) * 2020-12-09 2023-11-14 北京百度网讯科技有限公司 一种数据标注方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100132911A (ko) * 2009-06-10 2010-12-20 인터내셔널 비지네스 머신즈 코포레이션 자원/관계 그래프 상의 메트릭 주석의 모델 구동형 디스플레이
WO2015191444A2 (en) * 2014-06-09 2015-12-17 Sicpa Security Inks & Systems Usa, Inc. An integrity management system to manage and control data between entities in an oil and gas asset supply chain
JP2017187850A (ja) * 2016-04-01 2017-10-12 株式会社リコー 画像処理システム、情報処理装置、プログラム
CN109063055A (zh) * 2018-07-19 2018-12-21 中国科学院信息工程研究所 同源二进制文件检索方法和装置

Also Published As

Publication number Publication date
EP3896614A3 (en) 2022-03-23
JP7284786B2 (ja) 2023-05-31
CN113157170A (zh) 2021-07-23
EP3896614A2 (en) 2021-10-20
KR102583345B1 (ko) 2023-09-27
JP2021184316A (ja) 2021-12-02
CN113157170B (zh) 2022-09-20
US20210382918A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
JP7447965B2 (ja) 文書を編集するためのプログラム、方法、及び装置
EP3882784A1 (en) Event argument extraction method and apparatus and electronic device
US10678406B1 (en) Conversational user interface design
CN104090955A (zh) 一种音视频标签自动标注方法及系统
US11727200B2 (en) Annotation tool generation method, annotation method, electronic device and storage medium
US20190087780A1 (en) System and method to extract and enrich slide presentations from multimodal content through cognitive computing
CN111666776B (zh) 文档翻译方法和装置、存储介质和电子设备
EP4105791A2 (en) Method and apparatus for training, based on cross-modal information, document reading comprehension model
US10558762B2 (en) System and method for adaptive quality estimation for machine translation post-editing
CN113220836A (zh) 序列标注模型的训练方法、装置、电子设备和存储介质
EP3828751A2 (en) Method, apparatus and electronic device for annotating information of structured document
KR20210090576A (ko) 품질을 관리하는 방법, 장치, 기기, 저장매체 및 프로그램
CN111783508A (zh) 用于处理图像的方法和装置
CN112287698B (zh) 篇章翻译方法、装置、电子设备和存储介质
JP7309811B2 (ja) データ注釈方法、装置、電子機器および記憶媒体
US10594954B2 (en) Dynamic and contextual data replacement in video content
US9996511B2 (en) Free form website structure design
KR102583345B1 (ko) 데이터를 주석하는 방법 및 장치
US11347381B2 (en) Dynamic synchronized image text localization
US9940320B2 (en) Plugin tool for collecting user generated document segmentation feedback
US20220261439A1 (en) System and method for annotating website content
JP2022068146A (ja) データ注釈方法、装置、電子機器、記憶媒体およびコンピュータプログラム
Joy et al. A prototype Malayalam to sign language automatic translator
CN117725278A (zh) 基于脑图的资料推荐方法及其装置
CN117436415A (zh) 演示文稿生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right