KR102030027B1 - 라벨링 데이터 정제방법, 장치 및 프로그램 - Google Patents

라벨링 데이터 정제방법, 장치 및 프로그램 Download PDF

Info

Publication number
KR102030027B1
KR102030027B1 KR1020190054357A KR20190054357A KR102030027B1 KR 102030027 B1 KR102030027 B1 KR 102030027B1 KR 1020190054357 A KR1020190054357 A KR 1020190054357A KR 20190054357 A KR20190054357 A KR 20190054357A KR 102030027 B1 KR102030027 B1 KR 102030027B1
Authority
KR
South Korea
Prior art keywords
labeling information
labeling
image
information
computer
Prior art date
Application number
KR1020190054357A
Other languages
English (en)
Inventor
송승찬
이상혁
윤성빈
Original Assignee
(주)엠폴시스템
송승찬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엠폴시스템, 송승찬 filed Critical (주)엠폴시스템
Priority to KR1020190054357A priority Critical patent/KR102030027B1/ko
Application granted granted Critical
Publication of KR102030027B1 publication Critical patent/KR102030027B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

컴퓨터에 의하여 수행되는 방법에 있어서, 하나 이상의 이미지 및 상기 하나 이상의 이미지에 대한 자동 라벨링 정보를 획득하는 단계(S110), 제1 이미지 및 상기 제1 이미지에 대한 자동 라벨링 정보를 표시하는 단계(S120), 상기 제1 이미지에 대한 수동 라벨링 정보를 획득하는 단계(S130) 및 상기 획득된 수동 라벨링 정보에 기초하여 상기 제1 이미지에 대한 라벨링 정보를 결정하는 단계(S140)를 포함하는, 라벨링 데이터 정제방법이 개시된다.

Description

라벨링 데이터 정제방법, 장치 및 프로그램 {METHOD, APPARATUS AND PROGRAM FOR REFINING LABELING DATA}
본 발명은 라벨링 데이터 정제방법, 장치 및 프로그램에 관한 것이다.
국제적으로 테러에 대한 긴장감이 높아지고 화물의 종류에 따라 예기치 못한 사고의 발생이 빈발함에 따라, 주로 항만 또는 공항 등에서 이용되는 엑스레이 스캐너의 기술 고도화가 요구되고 있다.
현재는 각 엑스레이 스캐너의 영상처리 방법에 따라 색상이 상이하게 표현되거나 위험물을 정확하게 포착하지 못 하고, 스캐너의 제조사에 따라 각기 다른 영상이 표출됨에 따라 라벨링 인원의 숙련도 내지는 검증 여부에 의해 일부 Human Error의 발생이 필연적이고, 또한 작업시 다수의 숙련된 라벨링 인원이 필요한 문제점들이 존재한다.
이러한 Human Error가 발생할 경우 이어질 수 있는 사고의 규모가 막대할 수 있어, 라벨링 인원의 숙련도나 검증 과정이 적거나 없더라도 Human Error의 발생을 최소화하고 정보처리된 영상 정보를 자연어로 라벨링 하고 이를 정제하기 위한 기술의 개발이 요구된다.
등록특허공보 제10-1762927호, 2017.07.24 등록
본 발명이 해결하고자 하는 과제는 라벨링 데이터 정제방법, 장치 및 프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 라벨링 데이터 정제방법, 장치 및 프로그램은 하나 이상의 이미지 및 상기 하나 이상의 이미지에 대한 자동 라벨링 정보를 획득하는 단계, 제1 이미지 및 상기 제1 이미지에 대한 자동 라벨링 정보를 표시하는 단계, 상기 제1 이미지에 대한 수동 라벨링 정보를 획득하는 단계 및 상기 획득된 수동 라벨링 정보에 기초하여 상기 제1 이미지에 대한 라벨링 정보를 결정하는 단계를 포함한다.
또한, 상기 단계(S120)는, 상기 제1 이미지에 포함된 하나 이상의 객체를 각각 포함하는 하나 이상의 영역을 표시하는 단계(S210) 및 상기 하나 이상의 영역에 대응하는 라벨링 정보를 표시하는 단계(S220)를 포함할 수 있다.
또한, 상기 단계(S130)는, 제1 영역에 대한 선택정보를 수신하는 단계(S310), 상기 제1 영역에 대한 라벨링 정보를 입력받는 단계(S320) 및 상기 단계(S320)에서 입력된 라벨링 정보에 기초하여 상기 제1 영역에 대한 라벨링 정보를 업데이트하는 단계(S330)를 포함할 수 있다.
또한, 상기 단계(S130)는, 상기 제1 이미지의 적어도 일부에 대한 영역지정 입력을 수신하는 단계(S410), 기 영역지정 입력에 대응하는 제2 영역을 결정하는 단계(S420) 및 상기 제2 영역에 포함된 객체를 식별하는 단계(S430)를 포함할 수 있다.
또한, 상기 단계(S430)는, 상기 제2 영역에 포함된 객체가 식별되는 경우, 식별된 객체에 대한 자동 라벨링 정보를 표시하는 단계(S510), 상기 단계(S510)에서 표시된 자동 라벨링 정보에 대한 확인을 요청하는 단계(S520), 상기 확인 요청에 대응하는 피드백을 획득하는 단계(S530) 및 상기 피드백에 기초하여 상기 제2 영역에 포함된 객체의 라벨링 정보를 결정하는 단계(S540)를 포함할 수 있다.
또한, 상기 단계(S430)는, 상기 제2 영역에 포함된 객체가 식별되지 않는 경우, 상기 제2 영역에 포함된 객체에 대한 라벨링 정보 입력을 요청하는 단계(S610), 상기 제2 영역에 포함된 객체에 대한 라벨링 정보를 입력받는 단계(S620) 및 상기 단계(S620)에서 입력된 라벨링 정보에 기초하여 상기 제2 영역에 포함된 객체에 대한 라벨링 정보를 결정하는 단계(S630)를 포함할 수 있다.
또한, 상기 제1 이미지에 포함된 제1 객체에 대한 제1 라벨링 정보를 입력받는 단계(S710), 상기 제1 라벨링 정보에 대응하는 기 저장된 라벨링 정보를 데이터베이스에서 탐색하는 단계(S720), 상기 데이터베이스에서 상기 제1 라벨링 정보에 대응하는 기 저장된 라벨링 정보가 탐색되는 경우, 상기 객체를 상기 기 저장된 라벨링 정보로 라벨링하는 단계(S730) 및 상기 데이터베이스에서 상기 제1 라벨링 정보에 대응하는 기 저장된 라벨링 정보가 탐색되지 않는 경우, 상기 제1 라벨링 정보를 상기 데이터베이스에 저장하고, 상기 객체를 상기 제1 라벨링 정보로 라벨링하는 단계(S740)를 더 포함할 수 있다.
또한, 상기 데이터베이스에 포함된 하나 이상의 라벨링 정보를 표시하는 단계(S810), 상기 하나 이상의 라벨링 정보 중 적어도 하나에 대한 선택 입력을 수신하는 단계(S820), 상기 선택된 라벨링 정보에 대응하는 상기 라벨링된 객체들의 이미지를 획득하는 단계(S830), 상기 단계(S830)에서 획득된 이미지들을 표시하는 단계(S840), 상기 단계(S840)에서 표시된 제2 이미지에 대한 선택 입력을 수신하는 단계(S850), 상기 제2 이미지에 대한 라벨링 정보를 입력받는 단계(S860) 및 상기 단계(S860)에서 입력된 라벨링 정보에 기초하여 상기 제2 이미지에 대한 라벨링 정보를 업데이트하는 단계(S870)를 더 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 라벨링 데이터 정제장치는 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 개시된 영상정보 판독 및 라벨링 데이터 정제방법을 수행한다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 라벨링 데이터 정제 프로그램은, 하드웨어인 컴퓨터와 결합되어, 개시된 영상정보 판독 및 라벨링 데이터 정제방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
개시된 실시 예에 따르면, 라벨링 데이터를 정제하여 영상 정보에 대응하는 라벨링 정보가 자동적으로 매칭되고, 수동으로 영역을 지정하여 입력할 수도 있어 인간의 행위에 의한 오류를 줄이고, 엑스레이 스캐너가 스캔한 영상정보를 보다 정확하게 판독하여 라벨링 데이터를 입력할 수 있는 장점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 라벨링 데이터 정제방법을 도시한 흐름도이다.
도 2는 일 실시 예에 따른 영상정보에서 객체에 대한 영역과 라벨링 정보가 표시되는 방법을 도시한 흐름도이다.
도 3은 일 실시 예에 따른 수동 라벨링 정보 획득에 기초하여 라벨링 정보를 업데이트 하는 방법을 도시한 흐름도이다.
도 4는 일 실시 예에 따른 제2 영역지정에 대응해 객체가 식별되는 라벨링 데이터 정제방법을 도시한 흐름도이다.
도 5는 일 실시 예에 따른 피드백에 기초한 라벨링 정보 결정방법을 도시한 흐름도이다.
도 6은 일 실시예에 따른 제2 영역 지정에 대응한 객체에 대한 라벨링 정보 결정방법을 도시한 흐름도이다.
도 7은 일 실시 예에 따른 데이터베이스 탐색을 이용한 라벨링 데이터 정제방법을 도시한 흐름도이다.
도 8은 일 실시 예에 따른 제2 이미지에 대한 라벨링 정보 업데이트방법을 도시한 흐름도이다.
도 9는 자동 라벨링 정보를 표시하는 일 예를 도시한 도면이다.
도 10은 객체에 대한 라벨링 정보가 추가로 표시된 화면의 일 예를 도시한 도면이다.
도 11은 라벨링 정보에 기초하여 객체를 탐색 및 표시하는 일 예를 도시한 도면이다.
도 12는 일 실시 예에 따른 라벨링 보조방법을 도시한 도면이다.
도 13는 일 실시 예에 따른 장치의 구성도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 일 실시 예에 따른 라벨링 데이터 정제방법을 도시한 흐름도이다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
본 명세서에서, 라벨링(Labeling)은 머신러닝의 지도학습을 위한 학습 데이터를 생성하기 위하여 수행되는 과정으로서, 학습 데이터에 지도학습을 위한 지도정보를 추가하는 일련의 과정을 의미할 수 있다.
예를 들어, 라벨링은 학습용 이미지에 포함된 객체들의 위치를 나타내는 영역정보 및 지정된 영역에 포함된 객체에 대한 정보를 포함할 수 있으나, 이에 제한되는 것은 아니다.
이러한 라벨링은 사람의 수작업으로 수행되는 경우가 많으며, 사람이 직접 영역을 지정하고, 지정된 영역에 속하는 객체에 대한 정보를 입력하는 경우 혹은 컴퓨터가 자동으로 객체의 영역을 식별한 후, 사람이 해당 영역에 속하는 객체에 대한 정보를 입력하는 경우 등이 있으며, 이에 제한되지 않는다.
본 명세서에서 라벨링 정보 또는 라벨링 데이터는 이와 같이 영상정보 내의 지정된 영역에서 선택된 하나 이상의 객체가 자연어 또는 기타 표현수단에 기반하여 표현 및 분류되는 정보를 의미할 수 있으나, 이에 제한되는 것은 아니다.
일 실시 예에서, 컴퓨터가 기 학습된 인공지능 모델을 이용하여 이미지로부터 객체의 위치 및 객체에 대한 정보를 식별하는 자동 라벨링 과정이 수행될 수도 있다. 이 경우, 컴퓨터는 자동으로 수행된 라벨링 결과에 대하여 사람에게 피드백을 받을 수 있고(즉, 수동 라벨링 정보를 획득할 수 있고), 피드백 결과에 기초하여 라벨링 결과를 업데이트하고, 최종적으로 라벨링이 완료된 학습 데이터를 이용하여 인공지능 모델을 학습시킬 수 있다.
일 실시 예에서, 컴퓨터는 자동 라벨링을 수행하는 데 이용된 인공지능 모델을, 수동 라벨링을 통해 업데이트된 학습 데이터를 이용하여 재학습시킴으로써 인공지능 모델을 고도화할 수 있다.
이하에서는, 개시된 실시 예에 따른 라벨링 데이터 정제방법을 컴퓨터에 의하여 수행되는 시계열적 동작에 기반하여 설명한다.
단계 S110에서, 컴퓨터는 제1 이미지에 대한 영상정보 및 자동 라벨링 정보를 획득한다.
일 실시 예에서, 제1 이미지는 하나 이상의 라벨링 대상 객체를 포함하는 이미지를 의미할 수 있으며, 자동 라벨링 정보는 상술한 바와 같이 인공지능 모델을 이용하여 객체가 속한 영역정보 및 영역에 속한 객체에 대한 라벨링이 자동으로 수행된 정보를 포함할 수 있다.
일 실시 예에서, 컴퓨터는 획득한 영상정보의 해상도를 높이기 위해 머신러닝을 통해 손상된 픽셀정보를 회복할 수 있다.
또한, 상기 자동 라벨링 정보를 획득하는 과정에서, 하나 이상의 라벨링 정보를 획득할 수 있으며, 같은 범주의 상위 또는 하위 라벨링 정보를 획득할 수 있다. 예를 들어, 컴퓨터는 영상정보에서 '칼'이라는 라벨링 정보를 획득한 경우 '흉기'라는 상위 범주의 라벨링 정보를 함께 획득할 수 있다.
이러한 라벨링 정보들은 데이터베이스에 미리 저장될 수 있으며, 데이터베이스에는 기 라벨링된 객체들의 명칭, 유사명칭, 대표명칭, 속성, 상위 및 하위관계, 카테고리, 상호 연관성 등에 대한 다양한 정보들이 저장될 수 있다.
단계 S120에서, 컴퓨터는 제1 이미지 및 제1 자동 라벨링 정보를 표시한다.
일 실시 예에서, 컴퓨터는 제1 자동 라벨링 정보를 병렬적 또는 선택적으로 표시할 수 있다. 이 라벨링 정보는 제1 이미지 상에 오버레이로 표시될 수 있으며, 사용자의 선택에 따라 제1 이미지와 분리되어 표시될 수 있다.
단계 S130에서, 컴퓨터는 제1 이미지의 수동 라벨링 정보를 획득한다.
단계 S140에서, 컴퓨터는 상기 획득한 제1 이미지에 대한 자동 라벨링 정보 및 수동 라벨링 정보에 기초하여 제 1라벨링 정보를 결정한다.
일 실시 예에서, 컴퓨터는 획득한 자동 라벨링 정보와 함께 라벨링 정보의 채택빈도를 함께 제공할 수 있으며, 이러한 채택빈도는 데이터베이스에 기록된 라벨링 정보 중 제1 이미지에 대한 영상처리에 기반하여 최종적으로 선택된 라벨링 정보의 빈도를 의미할 수 있다.
이하에서는, 도면을 참조하여 라벨링 정보를 표시하고 수동 라벨링 정보를 획득하는 방법에 대하여 구체적으로 설명한다.
도 2는 일 실시 예에 따른 영상정보에서 객체에 대한 영역과 라벨링 정보가 표시되는 방법을 도시한 흐름도이다.
상술한 단계(S120)에서, 컴퓨터는 상기 제1 이미지에 포함된 하나 이상의 객체를 각각 포함하는 하나 이상의 영역을 표시하는 단계(S210)를 수행할 수 있다.
또한, 컴퓨터는 상기 제1 이미지에 포함된 하나 이상의 객체를 각각 포함하는 하나 이상의 영역에 대응하는 라벨링 정보를 표시하는 단계(S220)를 수행할 수 있다.
도 9를 참조하면, 자동 라벨링 정보를 표시하는 일 예가 도시되어 있다.
도 9에 도시된 실시 예에서, 화면에는 제1 이미지(200) 및 제1 이미지(200)에 포함된 하나 이상의 객체(210, 220 및 230)가 표시된다.
예를 들어, 제1 이미지(200)는 도 9에 도시된 바와 같이 수하물 검사를 위해 가방을 X-RAY로 촬영한 이미지를 의미할 수 있고, 각각의 객체(210 내지 230)는 가방에 수용된 물건들을 의미할 수 있으나, 이에 제한되는 것은 아니다.
도 9를 참조하면, 하나 이상의 객체(210, 220 및 230) 중 자동으로 라벨링된 객체들(210 및 220)의 영역 및 영역에 속한 객체에 대한 정보가 표시되어 있다.
또한, 화면의 일 측면에는 이미지들의 리스트가 표시되며, 이는 자동 라벨링이 수행된 이미지들의 리스트를 의미할 수 있으나, 이에 제한되는 것은 아니다. 사용자는 리스트에 포함된 이미지 중 적어도 하나를 선택할 수 있고, 선택된 이미지는 화면에 라벨링 정보화 함께 표시된다.
실시 예에 따라서, 이미지는 사용자의 라벨링 작업 진행에 따라 순차적으로 자동으로 표시될 수도 있다.
일 실시 예에서, 화면의 일 측면에는 라벨링 정보가 표시되는 창(300)이 표시될 수 있다. 창(300)에는 제1 이미지(200)에서 인식된 객체들에 대한 라벨링 정보가 표시될 수 있다.
일 실시 예에서, 컴퓨터는 평면적으로 도시되는 제1 이미지 상에서 하나 이상의 객체가 하나 이상의 객체를 가리고 있는 경우, 가리고 있는 객체에 대한 영상 정보처리와 라벨링 데이터를 획득한 후에 가려진 객체의 라벨링 정보를 획득하여 표시할 수 있다.
예를 들어, 컴퓨터는 가려진 객체에 대한 영상정보를 획득하는 경우, 그 위에 놓인 객체가 가리고 있는 부분을 지우고, 아래에 있는 객체의 일부가 비어있는 영상정보를 그대로 획득하거나, 비어있는 부분을 재구축하여 획득할 수 있다. 또한, 영상정보를 재구축하는 과정에서, 데이터베이스의 영상데이터로부터 유사도가 높은 영상데이터를 추출하여 획득할 수 있다.
일 실시 예에서, 컴퓨터는 라벨링 정보를 표시하는 단계에서, 인공지능 모델이 측정한 유사도에 따라 그 순위가 차상위 이하인 라벨링 정보를 선택적으로 제공할 수 있다. 또한, 선택적으로 제공되는 라벨링 정보는 상호적으로 상위 또는 하위의 범주에 해당할 수 있으며, 병존적으로 획득될 수 있다.
일 실시 예에서, 컴퓨터는 인식된 객체와 해당 객체에 대한 자동 라벨링 정보 간의 유사성을 판단하고, 이에 기반하여 자동 라벨링 정보의 정확도를 산출할 수 있다. 컴퓨터는 라벨링 정보와 함께 그 정확도를 제공할 수 있으며, 실시 예에 따라 기 설정된 기준값 이상의 정확도를 갖는 라벨링 정보만을 자동으로 할당 및 표시할 수 있다.
도 3은 일 실시 예에 따른 수동 라벨링 정보 획득에 기초하여 라벨링 정보를 업데이트 하는 방법을 도시한 흐름도이다.
상술한 단계(S130)에서, 컴퓨터는 제1 영역에 대한 선택정보를 수신하는 단계(S310)를 수행할 수 있다.
또한, 컴퓨터는 상기 제1 영역에 대한 라벨링 정보를 입력받는 단계(S320)를 수행할 수 있다.
또한, 컴퓨터는 상기 단계(S320)에서 입력된 라벨링 정보에 기초하여 상기 제1 영역에 대한 라벨링 정보를 업데이트하는 단계(S330)를 수행할 수 있다.
단계 S310의 일 실시 예에서, 제1 영역의 선택정보는 컴퓨터에 의해 자동적으로 선택되거나, 사용자가 경계를 지정하거나, 사용자가 지정한 경계를 컴퓨터가 자동적으로 수정할 수도 있다.
일 실시예에서, 업데이트 되는 라벨링 정보는 기존의 라벨링 정보를 대체할 수도 있고, 병존적으로 존재할 수도 있다.
예를 들어, 도 9에 도시된 실시 예에서 컴퓨터는 객체(210)에 대한 선택정보를 수신할 수 있다. 이 경우, 컴퓨터는 객체(210)에 대한 선택정보에 기반하여 객체(210)가 포함된 영역을 활성화하고, 창(300)에서도 객체(210)에 대응하는 라벨링 정보를 활성화할 수 있다.
사용자는 해당 라벨링 정보가 맞거나 틀리다는 피드백 정보를 입력할 수도 있고, 객체(210)가 선택된 영역의 크기 및 위치를 조정하거나, 창(300)을 통해 객체(210)에 대한 라벨링 정보를 수정할 수도 있다.
예를 들어, 객체(210)가 실제로는 칼(Knife)임에도 자동 라벨링 정보는 이를 빗이라고 라벨링하였을 경우, 사용자는 객체(210)를 선택하여 라벨링 정보를 칼으로 수정할 수 있다.
일 실시 예에서, 컴퓨터는 자동 라벨링 정보와 사용자가 직접 입력한 수동 라벨링 정보를 비교할 수 있다. 일 실시 예에서, 컴퓨터는 사용자가 직접 입력한 수동 라벨링 정보와, 이에 대응하는 객체 간의 유사도를 판단할 수 있다. 컴퓨터의 판단에 따른 객체와 수동 라벨링 정보 간의 유사도가 기 설정된 기준값 이하인 경우, 컴퓨터는 사용자에게 재확인을 요청할 수 있다.
도 4는 일 실시 예에 따른 제2 영역지정에 대응해 객체가 식별되는 라벨링 데이터 정제방법을 도시한 흐름도이다.
상술한 단계(S130)에서, 컴퓨터는 상기 제1 이미지의 적어도 일부에 대한 영역지정 입력을 수신하는 단계(S410)를 수행할 수 있다.
또한, 컴퓨터는 상기 영역지정 입력에 대응하는 제2 영역을 결정하는 단계(S420)를 수행할 수 있다.
도 9를 참조하여, 컴퓨터는 사용자로부터 라벨링되지 않은 객체(230)를 입력하는 선택 입력을 수신할 수 있다. 일 실시 예에서, 컴퓨터는 객체(230)의 적어도 일부를 클릭하는 사용자의 선택 입력을 수신하고, 해당 객체(230)가 포함된 영역을 자동으로 결정할 수 있다.
다른 실시 예에서, 컴퓨터는 사용자의 영역지정 입력(예를 들어, 드래그 앤 드롭)을 수신하고, 이에 기반하여 제2 영역을 결정할 수 있다.
또한, 컴퓨터는 상기 제2 영역에 포함된 객체를 식별하는 단계(S430)를 수행할 수 있다.
예를 들어, 컴퓨터는 제1 이미지 전체가 아닌 제2 영역만을 대상으로 다시 객체 식별동작을 수행할 수 있고, 이 경우 객체의 식별에 성공할 수 있다.
실시 예에 따라서, 컴퓨터는 객체의 존재 자체를 식별하거나 식별하지 못할 수도 있고, 또한 객체의 존재는 식별하였으나 해당 객체가 기 저장된 정보와 매칭되지 않아 해당 객체가 무엇인지 판단하지 못할 수도 있다.
또한, 컴퓨터는 객체를 식별하였으나 해당 객체가 다른 객체와 중첩되어 있어 객체의 전체 모습을 판단하기 어려워 해당 객체가 무엇인지 판단하지 못할 수도 있다.
컴퓨터의 객체 식별여부에 따른 동작에 대해서는 후술한다.
일 실시 예에서, 제2 영역은 제1 영역과 제1 이미지 상에서 중첩적으로 표시될 수 있다.
일 실시 예에서, 제2 영역에 포함된 객체를 식별하는 단계에서 컴퓨터는 기 식별된 객체와의 연관성을 검토할 수 있다. 예를 들어, 함께 사용되는 일이 극히 적은 객체, 함께 사용되거나 조립, 조합될 경우 위험할 수 있는 객체, 또는 기타 객관적으로 있을 수 있는 객체간의 연관성을 추출하여 제공할 수 있다.
일 실시 예에서, 상술한 연관성은 하나 이상의 객체에 대한 정보를 클러스터링한 클러스터링 맵 상에서의 객체 간 거리에 기반하여 판단될 수 있으나, 이에 제한되는 것은 아니다. 또한, 컴퓨터는 이러한 객체간 연관성의 정도를 파라미터화 하여 사용자에게 정량적으로 제공할 수 있다.
또한, 컴퓨터는 객체간의 연관성이 해당하는 라벨링 데이터가 위험물에 해당하는 경우, 제1 이미지뿐만 아니라 하나 이상의 다른 이미지에서 획득된 객체 간의 연관성 또한 검토할 수 있으며, 가까이 있는 경우 인화할 가능성이 있는 객체, 함께 사용되거나 조립, 조합되어 위험물이 될 수 있는 객체 또는 기타 위험한 상황을 초래할 수 있는 객체간의 연관성을 검토하여 표시할 수 있다.
일 실시 예에서, 컴퓨터는 이미지에 포함된 하나 이상의 객체 간의 연관성에 대한 정보를 라벨링하는 정보를 획득할 수 있다.
예를 들어, 컴퓨터는 이미지에 포함된 복수의 객체를 선택하는 선택 입력을 수신할 수 있다. 예를 들어, 컴퓨터는 이미지에 포함된 인화물질과 발화물질을 연속적으로 선택하는 입력을 수신할 수 있다.
복수의 객체가 선택되는 경우, 컴퓨터는 선택된 객체들 간의 연관성을 추정 및 표시할 수 있다. 예를 들어, 컴퓨터는 두 물질 간의 연관성을 기 학습된 모델에 기초하여 판단하고, 발화가능성이 있는 조합이라고 판단되는 경우 해당 정보를 표시할 수 있다. 연관성에 대한 판단이 불가능한 경우, 컴퓨터는 연관서에 대한 정보 입력을 요청할 수 있다.
사용자는 표시되는 연관성에 대한 정보를 확인하거나, 정정하기 위한 입력을 수행할 수 있다. 컴퓨터는 사용자 입력에 기반하여 객체들 간의 연관성에 대한 정보를 라벨링할 수 있다.
또한, 제2 영역은 제1 영역에 포함될 수도 있다. 예를 들어, 제1 영역이 파우치에 대응할 경우, 제2 영역은 파우치에 포함된 다른 객체들에 대응할 수 있다.
다른 예로, 제1 영역이 특정한 물건에 대응하는데, 제2 영역은 해당 물건 내부에 숨긴 위험물질(흉기, 총기, 화약, 마약류 등)에 대응할 수도 있다. 이 경우, 일반적인 객체식별에 따른 자동 라벨링 방법으로는 외부의 객체(제1 영역)만을 식별할 수 있다.
이 경우, 사용자는 해당 객체에 숨겨져 있는 다른 객체를 추가로 식별하고, 이를 수동으로 라벨링함으로써 추가 정보를 제공할 수 있다.
이러한 정보가 입력되는 경우, 컴퓨터는 제1 영역에 대응하는 객체와 제2 영역에 대응하는 객체 간에 제2 영역에 대응하는 객체가 제1 영역에 대응하는 객체에 수용되어 운반될 수 있다는 연관성을 라벨링할 수 있게 된다.
이후, 컴퓨터는 자동 라벨링 과정에서 제1 이미지에 속한 각각의 객체들을 식별하되, 식별된 각각의 객체를 포함하는 영역 이미지에 대해서도 추가적으로 객체 식별 동작을 수행함으로써, 서로 중첩되는 객체 혹은 다른 객체의 내부에 수용된 객체를 식별할 수 있다. 특히, 컴퓨터는 제1 영역에 대응하는 객체가 식별되는 경우, 해당 객체 내에 다른 객체가 수용되어 있는지 여부를 판단하기 위한 추가 식별 작업을 수행할 수 있다.
도 5는 일 실시 예에 따른 피드백에 기초한 라벨링 정보 결정방법을 도시한 흐름도이다.
상술한 단계(S430)에서, 컴퓨터는 상기 제2 영역에 포함된 객체가 식별되는 경우, 식별된 객체에 대한 자동 라벨링 정보를 표시하는 단계(S510)를 수행할 수 있다.
또한, 컴퓨터는 상기 단계(S510)에서 표시된 자동 라벨링 정보에 대한 확인을 요청하는 단계(S520)를 수행할 수 있다.
또한, 컴퓨터는 상기 확인 요청에 대응하는 피드백을 획득하는 단계(S530)를 수행할 수 있다.
또한, 컴퓨터는 상기 피드백에 기초하여 상기 제2 영역에 포함된 객체의 라벨링 정보를 결정하는 단계(S540)를 수행할 수 있다.
일 실시 예에서, 컴퓨터는 하나 이상의 자동 라벨링 정보에 대해 확인을 요청할 수 있다. 또한, 이 과정에서 상기 객체 간의 연관성에 대해 함께 확인을 요청할 수 있다.
도 9를 참조하면, 컴퓨터는 객체(230)를 포함하는 영역이 선택되는 경우, 해당 객체(230)를 식별하고, 식별에 성공하는 경우 해당 객체에 대한 정보를 창(300)의 추가 공간(310)에 표시할 수 있다. 도 10을 참조하면, 객체(230)에 대한 라벨링 정보가 추가로 표시된 화면의 일 예가 도시되어 있다.
도 6은 일 실시예에 따른 제2 영역 지정에 대응한 객체에 대한 라벨링 정보 결정방법을 도시한 흐름도이다.
상술한 단계(S430)에서, 컴퓨터는 상기 제2 영역에 포함된 객체가 식별되지 않는 경우, 상기 제2 영역에 포함된 객체에 대한 라벨링 정보 입력을 요청하는 단계(S610)를 수행할 수 있다.
또한, 컴퓨터는 상기 제2 영역에 포함된 객체에 대한 라벨링 정보를 입력받는 단계(S620)를 수행할 수 있다.
또한, 컴퓨터는 상기 단계(S620)에서 입력된 라벨링 정보에 기초하여 상기 제2 영역에 포함된 객체에 대한 라벨링 정보를 결정하는 단계(S630)를 수행할 수 있다.
도 9를 참조하면, 객체(230)를 포함하는 영역이 선택되는 경우, 창(300)에 추가 공간(310)이 활성화될 수 있다. 컴퓨터는 객체(230)의 식별이 가능한 경우 추가 공간(310)에 해당 객체의 정보를 표시하지만, 객체(230)의 식별이 불가능한 경우에는 추가 공간(310)에 입력수단을 활성화하여, 사용자로 하여금 해당 공간에 객체(230)에 대한 라벨링 정보를 입력하도록 할 수 있다.
컴퓨터는 사용자로부터 입력된 라벨링 정보에 기반하여 객체(230)에 대한 라벨링 정보를 업데이트할 수 있다.
마찬가지로, 도 10을 참조하면 객체(230)에 대한 라벨링 정보가 추가로 표시된 화면의 일 예가 도시되어 있다.
도 7은 일 실시 예에 따른 데이터베이스 탐색을 이용한 라벨링 데이터 정제방법을 도시한 흐름도이다.
일 실시 예에서, 컴퓨터는 상기 제1 이미지에 포함된 제1 객체에 대한 제1 라벨링 정보를 입력받는 단계(S710)를 수행할 수 있다.
또한, 컴퓨터는 상기 제1 라벨링 정보에 대응하는 기 저장된 라벨링 정보를 데이터베이스에서 탐색하는 단계(S720)를 수행할 수 있다.
또한, 컴퓨터는 상기 데이터베이스에서 상기 제1 라벨링 정보에 대응하는 기 저장된 라벨링 정보가 탐색되는 경우, 상기 객체를 상기 기 저장된 라벨링 정보로 라벨링하는 단계(S730)를 수행할 수 있다.
일 실시 예에서, 컴퓨터는 사용자가 입력한 라벨링 정보를 획득하고, 이와 동일하거나 유사한 라벨링 정보를 데이터베이스로부터 탐색할 수 있다.
컴퓨터는 데이터베이스로부터 사용자가 입력한 라벨링 정보와 동일 혹은 유사한 정보가 검색되는 경우, 해당 정보를 이에 대응하는 객체의 라벨링 정보로 결정할 수 있다.
예를 들어, 사용자가 객체(230)를 선택하고 이에 대한 라벨링 정보를 “하드 디스크”라고 입력한 경우, 컴퓨터는 데이터베이스를 검색하여 이에 대응하는 “HDD”를 획득하고, 객체(230)를 “HDD”라고 라벨링할 수 있다.
이를 통해, 각각의 객체를 나타내는 라벨링 정보 간의 혼동이 발생하지 않고 명칭을 통일하도록 할 수 있다.
또한, 컴퓨터는 상기 데이터베이스에서 상기 제1 라벨링 정보에 대응하는 기 저장된 라벨링 정보가 탐색되지 않는 경우, 상기 제1 라벨링 정보를 상기 데이터베이스에 저장하고, 상기 객체를 상기 제1 라벨링 정보로 라벨링하는 단계(S740)를 수행할 수 있다.
예를 들어, 객체에 대응하는 라벨링 정보(명칭)가 기 저장된 다른 라벨링 정보들과는 상이한 새로운 것일 경우, 컴퓨터는 해당 라벨링 정보를 데이터베이스에 추가할 수 있다.
예를 들어, 객체(230)에 대하여 사용자가 HDD라고 입력하였을 때, 데이터베이스에 이와 동일 혹은 유사한 명칭이 없는 경우, 컴퓨터는 데이터에이스에 “HDD”를 추가하고, 객체(230)를 HDD라고 라벨링할 수 있다.
도 8은 일 실시 예에 따른 제2 이미지에 대한 라벨링 정보 업데이트방법을 도시한 흐름도이다.
일 실시 예에서, 컴퓨터는 상기 데이터베이스에 포함된 하나 이상의 라벨링 정보를 표시하는 단계(S810)를 수행할 수 있다.
또한, 컴퓨터는 상기 하나 이상의 라벨링 정보 중 적어도 하나에 대한 선택 입력을 수신하는 단계(S820)를 수행할 수 있다.
또한, 컴퓨터는 상기 선택된 라벨링 정보에 대응하는 기 라벨링된 객체들의 이미지를 획득하는 단계(S830)를 수행할 수 있다.
또한, 컴퓨터는 상기 단계(S830)에서 획득된 이미지들을 표시하는 단계(S840)를 수행할 수 있다.
또한, 컴퓨터는 상기 단계(S840)에서 표시된 제2 이미지에 대한 선택 입력을 수신하는 단계(S850)를 수행할 수 있다.
또한, 컴퓨터는 상기 제2 이미지에 대한 라벨링 정보를 입력받는 단계(S860)를 수행할 수 있다.
또한, 컴퓨터는 상기 단계(S860)에서 입력된 라벨링 정보에 기초하여 상기 제2 이미지에 대한 라벨링 정보를 업데이트하는 단계(S870)를 수행할 수 있다.
도 11을 참조하면, 라벨링 정보에 기초하여 객체를 탐색 및 표시하는 일 예가 도시되어 있다.
일 실시 예에서, 컴퓨터는 창(300)에 표시된 특정 라벨링 정보를 선택하는 선택 입력을 수신할 수 있다. 예를 들어, 컴퓨터는 HDD(320)를 선택하는 사용자 입력을 수신할 수 있다.
일 실시 예에서, 컴퓨터는 기 라벨링된 객체들 중 HDD로 라벨링된 객체들을 데이터베이스로부터 탐색 및 표시할 수 있다.
도 11에 도시된 실시 예에서, 컴퓨터는 HDD로 라벨링된 객체들을 포함하는 이미지들(400)을 탐색 및 표시할 수 있다. 또한, 컴퓨터는 각 객체들을 크롭하여 정렬한 이미지들(500)을 표시할 수도 있다.
일 실시 예에서, 사용자는 표시된 이미지들 중 HDD가 아닌 것이 섞여 있는 경우, 해당 이미지를 선택하고, 해당 이미지에 대한 라벨링 정보를 수동으로 입력할 수 있다.
이를 통해, 사용자는 이미지별로 라벨링 데이터를 정제할 수 있을 뿐 아니라, 라벨링된 객체들을 종류별로 탐색하여 라벨링 데이터를 정제할 수도 있다.
일 실시 예에서, 컴퓨터는 각각의 라벨링 정보에 대한 평균 정확도 정보를 산출할 수 있다. 예를 들어, 컴퓨터는 Knife로 라벨링된 이미지들의 정확도, Watch로 라벨링된 이미지들의 정확도 및 HDD로 라벨링된 이미지들의 정확도를 산출할 수 있다.
컴퓨터는 라벨링된 이미지들의 정확도의 평균이 기 설정된 기준값 이하인 하나 이상의 라벨링 정보를 선택하고, 선택된 라벨링 정보에 대응하는 이미지들의 재확인을 사용자에게 요청할 수 있다. 사용자가 해당 라벨링 정보를 선택하는 경우, 컴퓨터는 이에 대응하는 이미지들을 표시하고, 사용자로 하여금 잘못된 이미지에 대한 라벨링 정보를 업데이트하도록 할 수 있다.
도 12는 일 실시 예에 따른 라벨링 보조방법을 도시한 도면이다.
일 실시 예에서, 컴퓨터는 이미지(200)에 포함된 객체(230)에 대한 사용자의 선택 입력을 수신할 수 있다.
일 실시 예에서, 컴퓨터는 객체(230)의 확대 이미지(232)를 표시함으로써, 사용자의 라벨링 작업을 보조할 수 있다.
또한, 컴퓨터는 객체(230)와 동일한 라벨링 정보를 갖는 기 라벨링된 하나 이상의 이미지들(600)을 표시할 수 있다. 이에 사용자는 객체(230)의 이미지 및 객체(230)와 동일한 라벨링 정보를 갖는 기 라벨링된 하나 이상의 이미지들(600)을 비교할 수 있고, 이에 따라 객체(230)의 라벨링이 정상적으로 수행되었는지 여부를 판단할 수 있다.
예를 들어, 객체(230)가 HDD로 자동 라벨링된 경우에, 사용자는 객체(230)의 모습이 HDD의 모습인지 육안으로 판별이 어려운 경우가 있을 뿐 아니라, 라벨링 작업을 수행하는 사용자의 경험과 지식수준에 따라 HDD의 모양을 모르거나, HDD가 무엇인지 모르는 경우도 있을 수 있다.
따라서, 컴퓨터는 기 라벨링된 HDD의 이미지들(600)을 화면에 표시함으로써 사용자로 하여금 기 라벨링된 이미지들의 모양과 객체(230)의 모양을 비교하여, 동일한 대상인지 여부를 판단하도록 할 수 있다.
사용자는 이미지들(600)과 객체(230)를 비교하여 동일한 객체인 것으로 판단되면 라벨링 정보를 확정하고, 상이한 객체인 것으로 판단되는 경우 해당 객체에 대한 정보를 입력할 수 있다.
일 실시 예에서, 컴퓨터는 객체(230)와 동일한 라벨링 정보를 갖는 이미지들뿐 아니라, 객체(230)와 기 설정된 기준값 이상의 유사도를 갖는 다른 라벨링 정보에 대응하는 이미지들 또한 표시할 수 있다.
예를 들어, 컴퓨터는 객체(230)가 HDD라고 자동으로 라벨링된 경우, HDD뿐 아니라 SSD, 보조배터리, 스마트폰, 게임기 등 HDD와 기 설정된 기준값 이상의 형태적 유사도를 갖는 다른 이미지들을 표시할 수 있다.
사용자는 표시된 이미지들과 객체(230)를 비교할 수 있고, 객체(230)의 자동 라벨링 정보보다 객체(230)와 더 유사한 이미지가 있는 경우, 이를 선택함으로써 해당 이미지의 라벨링 정보가 객체(230)에 라벨링되도록 할 수 있다.
예를 들어, 객체(230)가 HDD보다 SSD에 더 가까운 것으로 판단되는 경우 사용자는 SSD의 이미지를 선택하고, 이 경우 객체(230)는 SSD로 라벨링될 수 있다.
일 실시 예에서, 이미지상에서 복수의 객체가 중첩되어 특정 객체에 대해서는 일부만이 이미지에 표시될 수 있다.
이 경우, 컴퓨터는 해당 객체의 일부에 대응하는 부분을 포함하는 이미지들을 탐색 및 표시할 수 있다.
예를 들어, 칼의 손잡이 부분만이 이미지 상에 표시되는 경우, 컴퓨터는 이와 유사한 모양의 손잡이를 포함하는 이미지들을 탐색 및 표시할 수 있다. 예를 들어, 칼뿐 아니라 숟가락, 면도기, 프라이팬 등 다양한 객체의 이미지들이 표시될 수 있다.
사용자는 표시된 이미지들과 해당 객체의 일부를 비교하여, 해당 객체가 어떠한 대상의 일부인가를 판단할 수 있다. 사용자는 결정된 객체에 대한 정보를 직접 입력하거나, 표시된 이미지들 중 적어도 하나를 선택함으로써 객체에 대한 라벨링을 수행할 수 있다.
일 실시 예에서, 라벨링 정보는 객체의 종류에 대한 정보뿐 아니라, 해당 객체의 속성이나 특성에 대한 구체적인 하위정보를 더 포함할 수 있다. 예를 들어, 동일하게 '칼'로 라벨링되는 객체라 하더라도, 해당 칼이 과도인지, 식도인지, 군용칼 등 흉기인지, 가검이나 모형 칼인지, 장난감 칼인지 등에 따라 다양한 속성분류가 추가될 수 있다.
이에 따라, 컴퓨터는 사용자가 라벨링 정보로서 '칼'을 입력하거나, '칼'로 라벨링된 객체를 선택하는 경우, 해당 객체에 대한 추가 정보 입력을 요청할 수 있다. 실시 예에 따라서, 컴퓨터는 각 속성이나 분류에 따른 기준정보를 표시하여 사용자의 정보입력을 보조할 수 있다. 예를 들어, 컴퓨터는 수하물로 운반 혹은 입국시 반입이 금지되는 도검류의 기준에 대한 정보를 표시할 수 있고, 사용자에게 이미지에 표시된 칼이 해당 기준에 부합하는지 여부에 대한 정보를 질의할 수 있다.
실시 예에 따라서, 이러한 추가 속성분류에 따라 컴퓨터는 해당 객체에 대한 최종 라벨링 정보를 결정할 수 있다.
예를 들어, 동일한 칼이라 하여도 상술한 바와 같이 과도, 식도, 군용칼, 가검, 모형 칼, 장난감 칼 등 다양한 추가적인 라벨링 정보가 필요할 수 있는데 반해, 사용자가 이러한 분류를 모두 알고 정확한 정보를 입력하기는 어려울 수 있다.
이러한 문제에 의하여 발생하는 Human error를 방지하기 위하여, 컴퓨터는 사용자에게 상위 개념에 대한 라벨링(예를 들어, 칼)을 요청하고, 이에 대한 추가적인 정보는 사용자에게 객관식으로 질의하거나(예를 들어, 과도, 식도, 군용칼, 가검, 모형 칼, 장난감 칼 등의 목록 중 하나를 선택하도록 하거나), 해당 객체에 대한 속성정보를 객관식 혹은 주관식으로 질의할 수 있다.
예를 들어, 해당 칼의 길이나 폭, 모양, 날카로움 등에 대한 정보를 질의하고, 이에 대한 응답을 종합하여 최종적인 라벨링 정보를 과도, 식도, 군용칼, 가검, 모형 칼, 장난감 칼 등 세부 목록 중에서 결정할 수 있다.
도 13은 일 실시 예에 따른 장치의 구성도이다.
프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 12와 관련하여 설명된 방법을 수행한다.
한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 컴퓨터에 의하여 수행되는 방법에 있어서,
    하나 이상의 이미지 및 상기 하나 이상의 이미지에 대한 자동 라벨링 정보를 획득하는 단계(S110);
    제1 이미지 및 상기 제1 이미지에 대한 자동 라벨링 정보를 표시하는 단계(S120);
    상기 제1 이미지에 대한 수동 라벨링 정보를 획득하는 단계(S130); 및
    상기 획득된 수동 라벨링 정보에 기초하여 상기 제1 이미지에 대한 라벨링 정보를 결정하는 단계(S140); 를 포함하고,
    상기 단계(S120)는,
    상기 제1 이미지에 포함된 복수의 객체를 각각 포함하는 영역들을 표시하는 단계(S210); 및
    상기 영역들 각각에 포함된 객체의 종류에 대한 자동 라벨링 정보를 표시하는 단계(S220); 를 포함하고,
    상기 단계(S130)는,
    제1 영역에 대한 선택정보를 수신하는 단계(S310);
    상기 제1 영역에 포함된 객체의 종류에 대한 라벨링 정보를 입력받는 단계(S320); 및
    상기 단계(S320)에서 입력된 라벨링 정보에 기초하여 상기 제1 영역에 포함된 객체의 종류에 대한 라벨링 정보를 업데이트하는 단계(S330); 를 포함하고,
    상기 단계(S320)는,
    상기 단계(S320)에서 입력된 라벨링 정보에 대응하는 기 라벨링된 객체들의 이미지를 획득하는 단계(S321);
    상기 단계(S321)에서 획득된 이미지들을 표시하는 단계(S322);
    상기 단계(S322)에서 표시된 제2 이미지에 대한 선택 입력을 수신하는 단계(S323);
    상기 제2 이미지에 대한 라벨링 정보를 입력받는 단계(S324); 및
    상기 단계(S324)에서 입력된 라벨링 정보에 기초하여 상기 제2 이미지에 대한 라벨링 정보를 업데이트하는 단계(S325); 를 포함하고,
    상기 단계(S130)는,
    상기 제1 이미지에 포함된 2개의 객체를 선택하는 선택 입력을 수신하는 단계;
    상기 2개의 객체 사이의 연관성을 추정 및 표시하는 단계;
    상기 표시된 연관성에 대한 사용자 피드백을 획득하는 단계; 및
    상기 사용자 피드백에 따라 상기 2개의 객체 사이의 연관성에 대한 정보를 저장하는 단계; 를 더 포함하는,
    라벨링 데이터 정제방법.
  2. 삭제
  3. 삭제
  4. 제1 항에 있어서,
    상기 단계(S130)는,
    상기 제1 이미지의 적어도 일부에 대한 영역지정 입력을 수신하는 단계(S410);
    상기 영역지정 입력에 대응하는 제2 영역을 결정하는 단계(S420); 및
    상기 제2 영역에 포함된 객체를 식별하는 단계(S430); 를 포함하는,
    라벨링 데이터 정제방법.
  5. 제4 항에 있어서,
    상기 단계(S430)는,
    상기 제2 영역에 포함된 객체가 식별되는 경우, 식별된 객체에 대한 자동 라벨링 정보를 표시하는 단계(S510);
    상기 단계(S510)에서 표시된 자동 라벨링 정보에 대한 확인을 요청하는 단계(S520);
    상기 확인 요청에 대응하는 피드백을 획득하는 단계(S530); 및
    상기 피드백에 기초하여 상기 제2 영역에 포함된 객체의 라벨링 정보를 결정하는 단계(S540); 를 포함하는,
    라벨링 데이터 정제방법.
  6. 제4 항에 있어서,
    상기 단계(S430)는,
    상기 제2 영역에 포함된 객체가 식별되지 않는 경우, 상기 제2 영역에 포함된 객체에 대한 라벨링 정보 입력을 요청하는 단계(S610);
    상기 제2 영역에 포함된 객체에 대한 라벨링 정보를 입력받는 단계(S620); 및
    상기 단계(S620)에서 입력된 라벨링 정보에 기초하여 상기 제2 영역에 포함된 객체에 대한 라벨링 정보를 결정하는 단계(S630); 를 포함하는,
    라벨링 데이터 정제방법.
  7. 제1 항에 있어서,
    상기 제1 이미지에 포함된 제1 객체에 대한 제1 라벨링 정보를 입력받는 단계(S710);
    상기 제1 라벨링 정보에 대응하는 기 저장된 라벨링 정보를 데이터베이스에서 탐색하는 단계(S720);
    상기 데이터베이스에서 상기 제1 라벨링 정보에 대응하는 기 저장된 라벨링 정보가 탐색되는 경우, 상기 객체를 상기 기 저장된 라벨링 정보로 라벨링하는 단계(S730); 및
    상기 데이터베이스에서 상기 제1 라벨링 정보에 대응하는 기 저장된 라벨링 정보가 탐색되지 않는 경우, 상기 제1 라벨링 정보를 상기 데이터베이스에 저장하고, 상기 객체를 상기 제1 라벨링 정보로 라벨링하는 단계(S740); 를 더 포함하는,
    라벨링 데이터 정제방법.
  8. 삭제
  9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 항의 방법을 수행하는, 장치.
  10. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
KR1020190054357A 2019-05-09 2019-05-09 라벨링 데이터 정제방법, 장치 및 프로그램 KR102030027B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190054357A KR102030027B1 (ko) 2019-05-09 2019-05-09 라벨링 데이터 정제방법, 장치 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190054357A KR102030027B1 (ko) 2019-05-09 2019-05-09 라벨링 데이터 정제방법, 장치 및 프로그램

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190121607A Division KR20200130636A (ko) 2019-10-01 2019-10-01 라벨링 데이터 정제방법, 장치 및 프로그램

Publications (1)

Publication Number Publication Date
KR102030027B1 true KR102030027B1 (ko) 2019-10-08

Family

ID=68208370

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190054357A KR102030027B1 (ko) 2019-05-09 2019-05-09 라벨링 데이터 정제방법, 장치 및 프로그램

Country Status (1)

Country Link
KR (1) KR102030027B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102208676B1 (ko) * 2020-06-17 2021-01-27 주식회사 카카오뱅크 신경망 학습을 위한 학습 데이터 레이블링 방법 및 이를 수행하는 시스템
KR102244978B1 (ko) * 2020-12-23 2021-04-28 주식회사 케이씨씨건설 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램
CN113392230A (zh) * 2020-03-13 2021-09-14 阿里巴巴集团控股有限公司 标注数据处理和操作方法以及标注平台和数据库
KR20210119208A (ko) 2020-03-24 2021-10-05 주식회사 에스아이에이 전문가 모사 모델 학습 방법 및 그 학습을 위한 장치
KR102310595B1 (ko) * 2021-02-10 2021-10-13 주식회사 인피닉 제안된 정보를 이용하여 객체 속성을 설정할 수 있는 어노테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102319811B1 (ko) * 2021-06-22 2021-11-01 주식회사 크라우드웍스 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치
KR20220090203A (ko) * 2020-12-22 2022-06-29 주식회사 에스원 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템
KR102519918B1 (ko) * 2023-03-03 2023-04-10 주식회사 엠에스제이 건설현장 대상물 인식 및 위험상황 판단을 위한 인공지능 기반의 데이터 라벨링 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101762927B1 (ko) 2016-12-30 2017-07-28 공간정보기술 주식회사 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템
KR20190044814A (ko) * 2017-10-23 2019-05-02 (주)인스페이스 딥러닝 학습을 위한 데이터 생성 및 자료 구축 방법
KR20190047214A (ko) * 2017-10-27 2019-05-08 삼성전자주식회사 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101762927B1 (ko) 2016-12-30 2017-07-28 공간정보기술 주식회사 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템
KR20190044814A (ko) * 2017-10-23 2019-05-02 (주)인스페이스 딥러닝 학습을 위한 데이터 생성 및 자료 구축 방법
KR20190047214A (ko) * 2017-10-27 2019-05-08 삼성전자주식회사 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392230A (zh) * 2020-03-13 2021-09-14 阿里巴巴集团控股有限公司 标注数据处理和操作方法以及标注平台和数据库
KR20210119208A (ko) 2020-03-24 2021-10-05 주식회사 에스아이에이 전문가 모사 모델 학습 방법 및 그 학습을 위한 장치
KR102208676B1 (ko) * 2020-06-17 2021-01-27 주식회사 카카오뱅크 신경망 학습을 위한 학습 데이터 레이블링 방법 및 이를 수행하는 시스템
KR20220090203A (ko) * 2020-12-22 2022-06-29 주식회사 에스원 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템
KR102537695B1 (ko) * 2020-12-22 2023-05-26 주식회사 에스원 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템
KR102244978B1 (ko) * 2020-12-23 2021-04-28 주식회사 케이씨씨건설 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램
KR102322644B1 (ko) * 2020-12-23 2021-11-09 주식회사 케이씨씨건설 인공지능 모델을 이용한 작업현장 안전 가이드제공 시스템
KR102310595B1 (ko) * 2021-02-10 2021-10-13 주식회사 인피닉 제안된 정보를 이용하여 객체 속성을 설정할 수 있는 어노테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102319811B1 (ko) * 2021-06-22 2021-11-01 주식회사 크라우드웍스 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치
KR102519918B1 (ko) * 2023-03-03 2023-04-10 주식회사 엠에스제이 건설현장 대상물 인식 및 위험상황 판단을 위한 인공지능 기반의 데이터 라벨링 방법 및 시스템

Similar Documents

Publication Publication Date Title
KR102030027B1 (ko) 라벨링 데이터 정제방법, 장치 및 프로그램
US11017156B2 (en) Apparatus and method for providing summarized information using an artificial intelligence model
CN110327013B (zh) 眼底图像检测方法、装置及设备和存储介质
CN102662942B (zh) 元数据生成系统和方法
KR20200130636A (ko) 라벨링 데이터 정제방법, 장치 및 프로그램
CN105378793A (zh) 用于在对象可能受医学状况影响时进行鉴别的系统、方法和计算机可读介质
CN112036153B (zh) 工单纠错方法、装置、计算机可读存储介质和计算机设备
KR102004180B1 (ko) 시험지 인식을 통한 유사 문제 추출 장치 및 그 방법
JP6985856B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
US20190304603A1 (en) Feature engineering method, apparatus, and system
US11586841B2 (en) Method and system for generating user driven adaptive object visualizations using generative adversarial network models
US11010636B2 (en) Systems and methods for providing personalized product recommendations using deep learning
JP7313942B2 (ja) 評価支援方法、評価支援システム、プログラム
CN116028870B (zh) 一种数据检测的方法、装置、电子设备及存储介质
CN112784054A (zh) 概念图处理装置、概念图处理方法和计算机可读介质
CN106951433B (zh) 一种检索方法及装置
US8564594B2 (en) Similar shader search apparatus and method using image feature extraction
KR102226536B1 (ko) 인공지능모델을 이용하여 보안 데이터를 적용할 차트를 추천하는 방법, 장치 및 프로그램
JP2019109843A (ja) 分類装置、分類方法、属性認識装置、及び機械学習装置
CN113033581A (zh) 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质
CN112633341A (zh) 一种界面测试方法、装置、计算机设备和存储介质
JPH1115834A (ja) 画像処理装置及びその制御方法
Pelletier et al. Filtering mislabeled data for improving time series classification
US10915682B1 (en) Remodeling testing method for remodeling text-based display design to thereby achieve graphic-based display design and design remodeling testing device using the same
US11842567B2 (en) Information processing apparatus, genetic information generation method and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant