KR20210058768A

KR20210058768A - 객체 라벨링 방법 및 장치

Info

Publication number: KR20210058768A
Application number: KR1020210058187A
Authority: KR
Inventors: 샹신 장
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-05-18
Filing date: 2021-05-04
Publication date: 2021-05-24
Also published as: CN111598006B; CN111598006A; JP2021192223A; JP7249372B2; KR102547527B1

Abstract

본 발명의 실시예는 객체 라벨링 방법과 장치를 공개한다. 상기 방법의 일 구체적인 실시형태는, 타깃 객체를 포함하는 라벨링할 이미지를 획득하는 단계; 미리 트레이닝된 제1 검출 모델 및 상기 라벨링할 이미지에 따라, 타깃 객체의 위치정보를 결정하는 단계; 상기 위치정보 및 사전 설정된 라벨링 박스 사이즈 집합에 따라, 상기 타깃 객체에 적응되는 라벨링 박스의 사이즈를 결정하는 단계; 및 결정된 사이즈에 따라, 라벨링 박스를 이용하여 상기 타깃 객체를 라벨링하는 단계를 포함한다. 상기 실시형태는 수동으로 라벨링 박스를 조절할 필요가 없으므로, 수동 작업량을 감소시킨다.

Description

객체 라벨링 방법 및 장치{METHOD AND DEVICE FOR LABELING OBJECTS}

본 발명의 실시예는 컴퓨터 기술분야에 관한 것으로, 구체적으로 객체 라벨링 방법 및 장치에 관한 것이다.

딥 러닝 알고리즘의 지속적인 진보와 보행자 타깃 검출 알고리즘의 정확도가 지속적으로 향상됨에 따라, 일부 이동 단말기는 딥 러닝 중의 보행자 타깃 검출 알고리즘을 사용하여 보행자를 검출할 수 있다. 그러나 딥 러닝은 대량의 수동 라벨링 데이터로 모델을 트레이닝해야 하는 것이 특점인 동시에 필요 조건이기도 하고, 데이터양과 데이터 품질이 모델 검출의 효과를 결정한다. 보행자 검출의 경우, 사진 속 인물의 사진 상의 위치를 수동으로 라벨링하고, 이 과정을 십만번 또는 수백만번 반복해야 하는데, 이 과정에는 많은 인력과 시간이 투입되어야 한다.

본 발명의 실시예는 객체 라벨링 방법 및 장치를 제기한다.

제1 양태에서, 본 발명의 실시예는 객체 라벨링 방법을 제공하되, 상기 방법은 타깃 객체를 포함하는 라벨링할 이미지를 획득하는 단계; 미리 트레이닝된 제1 검출 모델 및 상기 라벨링할 이미지에 따라, 타깃 객체의 위치정보를 결정하는 단계; 상기 위치정보 및 사전 설정된 라벨링 박스 사이즈 집합에 따라, 상기 타깃 객체에 적응되는 라벨링 박스의 사이즈를 결정하는 단계; 및 결정된 사이즈에 따라, 라벨링 박스를 이용하여 상기 타깃 객체를 라벨링하는 단계를 포함한다.

일부 실시예에서, 상기 방법은, 상기 라벨링할 이미지의 비라벨링 영역을 획득하는 단계; 및 상기 비라벨링 영역에서 모자이크를 생성하는 단계를 더 포함한다.

일부 실시예에서, 상기 방법은, 모자이크 생성 후의 이미지에 따라, 트레이닝 샘플을 결정하는 단계; 및 상기 트레이닝 샘플 중 모자이크를 포함하는 이미지를 입력으로 하고, 상기 라벨링 박스를 예상 출력으로 하여, 제2 검출 모델을 획득한 단계를 더 포함한다.

일부 실시예에서, 상기 방법은, 라벨링 박스의 사이즈를 포함하는 라벨링 박스 정보를 획득하는 단계; 및 상기 라벨링 박스의 사이즈에 대해 클러스터링을 진행하여, 라벨링 박스 사이즈 집합을 획득한 단계를 더 포함한다.

일부 실시예에서, 상기 라벨링할 이미지의 및 비라벨링 영역을 획득하는 단계는, 상기 라벨링 박스에 따라, 라벨링 영역을 결정하는 단계; 및 라벨링 영역에 따라, 상기 비라벨링 영역을 결정하는 단계를 포함한다.

제2 양태에서, 본 발명의 실시예는 객체 라벨링 장치를 제공하되, 상기 장치는 타깃 객체를 포함하는 라벨링할 이미지를 획득하도록 구성되는 이미지 획득 유닛; 미리 트레이닝된 제1 검출 모델 및 상기 라벨링할 이미지에 따라, 타깃 객체의 위치정보를 결정하도록 구성되는 위치 결정 유닛; 상기 위치정보 및 사전 설정된 라벨링 박스 사이즈 집합에 따라, 상기 타깃 객체에 적응되는 라벨링 박스의 사이즈를 결정하도록 구성되는 사이즈 결정 유닛; 및 결정된 사이즈에 따라, 라벨링 박스를 이용하여 상기 타깃 객체를 라벨링하도록 구성되는 객체 라벨링 유닛을 포함한다.

일부 실시예에서, 상기 장치는, 상기 라벨링할 이미지의 비라벨링 영역을 획득하고; 상기 비라벨링 영역에서 모자이크를 생성하도록 구성되는 처리 장치를 더 포함한다.

일부 실시예에서, 상기 장치는, 모자이크 생성 후의 이미지에 따라, 트레이닝 샘플을 결정하고; 상기 트레이닝 샘플 중의 이미지를 입력으로 하고, 상기 라벨링 박스를 예상 출력으로 하여, 제2 검출 모델을 획득하도록 구성되는 트레이닝 유닛을 더 포함한다.

일부 실시예에서, 상기 장치는, 라벨링 박스의 사이즈를 포함하는 라벨링 박스 정보를 획득하고; 상기 라벨링 박스의 사이즈에 대해 클러스터링을 진행하여, 라벨링 박스 사이즈 집합을 얻도록 구성되는 사이즈 집합 결정 유닛을 더 포함한다.

일부 실시예에서, 상기 처리 장치는 또한, 상기 라벨링 박스에 따라, 라벨링 영역을 결정하고; 라벨링 영역에 따라, 비라벨링 영역을 결정하도록 구성된다.

제3 양태에서, 본 발명의 실시예는, 하나 또는 복수 개의 프로세서, 하나 또는 복수 개의 프로그램이 저장된 저장 장치를 포함하는 전자 기기를 제공하되, 상기 하나 또는 복수 개의 프로그램이 상기 하나 또는 복수 개의 프로세서에 의해 실행될 때, 상기 하나 또는 복수 개의 프로세서가 제1양태의 임의의 실시예에서 설명된 방법을 구현하도록 한다.

제4 양태에서, 본 발명의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 매체를 제공하되, 상기 프로그램이 프로세서에 의해 실행될 때, 제1양태의 임의의 실시예에서 설명된 방법을 구현하도록 한다.

제5 양태에서, 본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램을 제공하되, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1양태의 임의의 실시예에서 설명된 방법을 구현하도록 한다.

본 발명의 상기 실시예에서 제공한 객체 라벨링 방법과 장치에 따르면, 우선, 타깃 객체를 포함하는 라벨링할 이미지를 획득할 수 있다. 다음, 미리 트레이닝된 제1 검출 모델 및 라벨링할 이미지에 따라, 타깃 객체의 위치정보를 결정한다. 다음, 위치정보 및 사전 설정된 라벨링 박스 사이즈 집합에 따라, 타깃 객체를 라벨링하는 라벨링 박스의 사이즈를 결정한다. 마지막으로, 결정된 사이즈에 따라, 라벨링 박스를 이용하여 타깃 객체를 라벨링한다. 본 실시예의 방법은 사전 설정된 라벨링 박스 사이즈 집합에서 적응되는 라벨링 박스를 선택하고, 상기 라벨링 박스를 사용하여 타깃 객체를 라벨링함으로써, 라벨링 박스를 수동으로 조절할 필요없어, 수동 작업량을 감소시킨다.

아래 첨부 도면에 도시된 비 제한적인 실시예의 상세한 설명에 대한 열독 및 참조를 통해 본 발명의 다른 특징, 목적 및 장점이 보다 명백해질 것이다.
도 1은 본 발명의 일 실시예가 응용될 수 있는 예시적 시스템 아키텍처이다.
도 2는 본 발명에 따른 객체 라벨링 방법의 일 실시예의 흐름도이다.
도 3은 본 발명에 따른 객체 라벨링 방법의 일 응용 장면의 모식도이다.
도 4는 본 발명에 따른 객체 라벨링 방법의 다른 실시예의 흐름도이다.
도 5는 본 발명에 따른 객체 라벨링 장치의 일 실시예의 구조 모식도이다.
도 6은 본 발명의 실시예의 전자 기기를 구현하기 적합한 컴퓨터 시스템의 구조 모식도이다.

아래 첨부 도면 및 실시예를 참조하여 본 발명을 더 상세히 설명한다. 여기서 설명되는 구체적인 실시예는 관련 발명을 해석하기 위한 것일 뿐 본 발명은 이에 한정되지 않음을 이해할 수 있을 것이다. 이 밖에, 설명의 편의를 위해 도면에는 해당 발명과 관련된 부분만이 도시되었음을 유의해야 한다.

모순되지 않는 한 본 발명의 실시예 및 실시예의 특징은 서로 조합될 수 있음을 유의해야 한다. 아래 첨부 도면을 참조하고 실시예를 참조하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 객체 라벨링 방법 또는 객체 라벨링 장치의 실시예를 응용할 수 있는 예시적 시스템 아키텍처(100)를 도시한다.

도 1에 도시된 바와 같이, 시스템 아키텍처(100)는 단말 기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말 기기(101, 102, 103)와 서버(105) 사이에서 통신 링크의 매체를 제공한다. 네트워크(104)는 다양한 연결 타입을 포함할 수 있는 바, 예를 들면 유선, 무선 통신 링크 또는 광섬유 케이블 등이다.

사용자는 단말 기기(101, 102, 103)를 사용하여 네트워크(104)를 통해 서버(105)와 인터랙션함으로써 메시지 등을 수신 또는 송신할 수 있다. 단말 기기(101, 102, 103)는 카메라와 연결되어 이미지를 수집할 수 있다. 단말 기기(101, 102, 103)에는 다양한 통신 클라이언트 애플리케이션이 설치될 수 있는 바, 예를 들면 이미지 브라우징 타입 애플리케이션, 적응 브라우징 타입 애플리케이션, 웹 브라우저 애플리케이션, 쇼핑 타입 애플리케이션, 검색 타입 애플리케이션, 인스턴트 메시지 도구, 메일 클라이언트, SNS 소프트웨어 등이다.

단말 기기(101, 102, 103)는 하드웨어일 수 있고 소프트웨어일 수도 있다. 단말 기기(101, 102, 103)가 하드웨어인 경우 디스플레이 스크린을 구비하는 다양한 전자 기기일 수 있으며, 스마트폰, 스마트 백미러, 스마트 주행 기록계, 태블릿PC, 휴대형 랩톱 컴퓨터 및 데스크톱 컴퓨터 등을 포함하나 이에 한정되는 것은 아니다. 단말 기기(101, 102, 103)가 소프트웨어인 경우 상기 열거된 전자 기기에 설치될 수 있다. 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 분산형 서비스를 제공함)로 구현되거나, 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며 여기서는 구체적으로 한정하지 않는다.

서버(105)는 다양한 서비스를 제공하는 서버일 수 있고, 예를 들면 단말 기기(101, 102, 103)가 수집한 이미지를 지원하는 백그라운드 서버일 수 있다. 백그라운드 서버는 획득한 라벨링할 이미지 등 데이터에 대해 분석 등 처리를 진행하고 처리 결과(예를 들면 이미지의 라벨링 결과)를 단말 기기(101, 102, 103)에 피드백할 수 있다.

설명해야 할 것은, 서버는 하드웨어 또는 소프트웨어일 수 있다. 서버가 하드웨어인 경우 복수의 서버로 구성된 분산형 서버 클러스터로 구현될 수 있고, 하나의 서버로 구현될 수도 있다. 서버가 소프트웨어인 경우 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 분산형 서비스를 제공함)로 구현되거나, 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며 여기서는 구체적으로 한정하지 않는다.

설명해야 할 것은, 본 발명의 실시예가 제공하는 객체 라벨링 방법은 일반적으로 서버(105)에 의해 수행된다. 상응하게, 객체 라벨링 장치는 일반적으로 서버(105)에 설치된다.

이해해야 할 것은 도 1 중의 단말 기기, 네트워크 및 서버의 개수는 예시적인 것일 뿐이며, 실제 필요에 따라 임의의 개수의 단말 기기, 네트워크 및 서버를 구비할 수 있다.

계속하여 도 2를 참조하면, 이는 본 발명의 실시예에 따른 객체 라벨링 방법의 일 실시예의 흐름(200)을 도시한다. 본 실시예의 객체 라벨링 방법은 하기와 같은 단계를 포함한다.

단계(201)에서, 라벨링할 이미지를 획득한다.

본 실시예에서, 객체 라벨링 방법의 수행 주체(예를 들어 도 1에 도시된 서버(105))는 유선 연결 방식 또는 무선 연결 방식을 통해 라벨링할 이미지를 획득할 수 있다. 상기 라벨링할 이미지는 차량에 설치된 이미지 수집 장치가 수집한 이미지일 수 있다. 상기 라벨링할 이미지는 타깃 객체를 포함하고, 타깃 객체는 보행자, 차량 등을 포함할 수 있다.

단계(202)에서, 미리 트레이닝된 제1 검출 모델 및 라벨링할 이미지에 따라, 타깃 객체의 위치정보를 결정한다.

본 실시예에서, 수행 주체가 라벨링할 이미지를 획득한 후, 미리 트레이닝된 제1 검출 모델을 사용하여, 타깃 객체의 위치정보를 결정할 수 있다. 상기 제1 검출 모델은 라벨링할 이미지 중의 타깃 객체를 식별할 수 있고, 이는 다양한 딥 러닝 알고리즘, 예를 들어 딥 러닝 신경망, 콘볼루션 신경망일 수 있으며, 다양한 신경망의 조합 등일 수도 있다. 제1 검출 모델은 복수 개의 콘볼루션 계층을 포함할 수 있고, 상기 제1 검출 모델을 실행할 경우 하드웨어에 대한 요구가 높다. 제1 검출 모델은 공개된 보행자 데이터 트레이닝에 의해 얻을 수 있다.

수행 주체는 상기 라벨링할 이미지를 상기 제1 검출 모델에 입력하여, 타깃 객체의 위치정보를 얻을 수 있다. 상기 위치정보는 타깃 객체의 중심, 테두리 등 정보를 포함할 수 있다.

단계(203)에서, 위치정보 및 사전 설정된 라벨링 박스 사이즈 집합에 따라, 타깃 객체를 라벨링하는 라벨링 박스의 사이즈를 결정한다.

수행 주체는 타깃 객체의 위치정보가 결정된 후 사전 설정된 라벨링 박스 사이즈 집합을 결부하여, 타깃 객체에 적응되는 라벨링 박스의 사이즈를 결정할 수 있다. 상기 라벨링 박스 사이즈 집합에는 복수 개의 라벨링 박스 사이즈가 포함되고, 상기 복수 개의 라벨링 박스 사이즈는 기존의 라벨링 이미지 중 타깃 객체의 라벨링 박스의 사이즈이다. 이렇게, 적응을 통해 얻은 라벨링 박스의 사이즈가 사용자가 설정한 라벨링 박스의 사이즈에 비교적 접근하므로, 수동으로 다시 조절할 필요없다.

본 실시예의 일부 선택 가능한 구현 형태에서, 상기 라벨링 박스 사이즈 집합은 도 2에 도시되지 않은 하기 단계, 즉, 라벨링 박스의 사이즈를 포함하는 라벨링 박스 정보를 획득하는 단계; 및 라벨링 박스의 사이즈에 대해 클러스터링을 진행하여, 라벨링 박스 사이즈 집합을 획득하는 단계를 통해 구현될 수 있다.

본 구현 형태에서, 수행 주체는 라벨링 박스 정보를 획득할 수 있다. 상기 라벨링 박스 정보는 수동으로 라벨링한 것일 수 있다. 수행 주체는 우선 이미 공개된 라벨링 데이터를 획득하고, 상기 라벨링 데이터에서 각 라벨링 박스 정보를 결정할 수 있다. 상기 라벨링 박스의 정보는 라벨링 박스의 사이즈, 위치 등 정보를 포함한다. 수행 주체는 각 라벨링 박스의 사이즈에 대해 클러스터링을 진행하여, 복수 개의 라벨링 박스 사이즈를 획득할 수 있다. 구체적으로, 수행 주체는 기존의 클러스터 알고리즘을 사용하여 각 라벨링 박스의 사이즈에 대해 DBSCAN(Density-Based Spatial Clustering of Applications with Noise, 밀도 기반 클러스터링)과 같은 클러스터링을 진행할 수 있다.

단계(204)에서, 결정된 사이즈에 따라, 라벨링 박스를 이용하여 타깃 객체를 라벨링한다.

수행 주체는 타깃 객체에 적응되는 사이즈가 결정된 후, 라벨링 박스를 이용하여 타깃 객체를 라벨링할 수 있다. 이해할 수 있는 것은, 라벨링 박스의 사이즈가 바로 적응을 거쳐 얻은 라벨링 박스의 사이즈이다.

계속하여 도 3을 참조하면, 이는 본 실시예예 따른 객체 라벨링 방법의 일 응용 장면의 모식도이다. 도 3의 응용 장면에서, 차량(301)에 설치된 주행 기록계는 주행 환경 중의 복수 개의 이미지를 수집하고, 상기 이미지를 서버(302)에 업로드하며, 서버(302)에는 미리 트레이닝된 제1 검출 모델이 설정된다. 서버(302)는 복수 개의 이미지를 제1 검출 모델에 입력하여, 각 이미지에 포함되는 보행자의 위치정보를 결정한다. 다음, 보행자에 적응되는 라벨링 박스의 사이즈를 결정한다. 마지막으로, 라벨링 박스를 사용하여 보행자를 라벨링한다. 서버(302)는 라벨링 후의 이미지를 단말 기기(303)에 출력할 수도 있다. 상기 단말 기기(303)는 라벨링 인원이 사용하는 단말기일 수 있고, 라벨링 인원은 라벨링 후의 이미지를 심사하여, 보행자의 라벨링 박스를 조절해야 할지 여부를 확인할 수 있다.

본 발명의 상기 실시예에서 제공한 객체 라벨링 방법에 따르면, 우선, 타깃 객체를 포함하는 라벨링할 이미지를 획득할 수 있다. 다음, 미리 트레이닝된 제1 검출 모델 및 라벨링할 이미지에 따라, 타깃 객체의 위치정보를 결정한다. 다음, 위치정보 및 사전 설정된 라벨링 박스 사이즈 집합에 따라, 타깃 객체를 라벨링하는 라벨링 박스의 사이즈를 결정한다. 마지막으로, 결정된 사이즈에 따라, 라벨링 박스를 이용하여 타깃 객체를 라벨링한다. 본 실시예의 방법은 사전 설정된 라벨링 박스 사이즈 집합에서 적응되는 라벨링 박스를 선택하고, 상기 라벨링 박스를 사용하여 타깃 객체를 라벨링함으로써, 라벨링 박스를 수동으로 조절할 필요없어, 수동 작업량을 감소시킨다.

계속하여 도 4를 참조하면, 이는 본 발명에 따른 객체 라벨링 방법의 다른 실시예의 흐름(400)을 도시한다. 도 4에 도시된 바와 같이, 본 실시예의 객체 라벨링 방법은 하기와 같은 단계를 포함할 수 있다.

단계(401)에서, 라벨링할 이미지를 획득한다.

단계(402)에서, 미리 트레이닝된 제1 검출 모델 및 라벨링할 이미지에 따라, 타깃 객체의 위치정보를 결정한다.

단계(403)에서, 위치정보 및 사전 설정된 라벨링 박스 사이즈 집합에 따라, 타깃 객체에 적응되는 라벨링 박스의 사이즈를 결정한다.

단계(404)에서, 결정된 사이즈에 따라, 라벨링 박스를 이용하여 타깃 객체를 라벨링한다.

단계(405)에서, 라벨링할 이미지의 비라벨링 영역을 획득한다.

본 실시예에서, 수행 주체는 라벨링할 이미지의 비라벨링 영역을 획득할 수도 있다. 상기 비라벨링 영역은 흐릿하고 뚜렷하지 않는 타깃 객체를 포함할 수 있거나 또는 타깃 객체를 포함하지 않을 수 있다. 상응하게, 라벨링할 이미지 중 비라벨링 영역을 제외한 영역을 라벨링 영역이라고 할 수 있다. 라벨링 영역은 라벨링할 복수 개의 타깃 객체를 포함하고, 수행 주체는 라벨링 인원으로부터 라벨링할 이미지의 라벨링 영역을 획득할 수 있다. 라벨링 인원은 라벨링 후의 이미지를 획득한 후, 상기 이미지에서 라벨링 영역을 선정하고, 라벨링 영역 선정 후의 이미지를 수행 주체에 송신할 수 있다. 라벨링 영역이외의 부분이 바로 비라벨링 영역이다.

본 실시예의 일부 선택 가능한 구현 형태에서, 수행 주체는 도 4에 도시되지 않은 하기 단계, 즉, 라벨링 박스에 따라, 라벨링 영역을 결정하는 단계; 및 라벨링 영역에 따라, 비라벨링 영역을 결정하는 단계를 통해 비라벨링 영역을 결정할 수 있다.

본 구현 형태에서, 수행 주체는 각 라벨링 박스를 둘러싸는 포위 플레임을 결정하고, 포위 프레임 중의 영역을 라벨링 영역으로 하며, 포위 프레임이외의 영역을 비라벨링 영역으로 할 수 있다.

단계(406)에서, 비라벨링 영역에서 모자이크를 생성한다.

본 실시예에서, 비라벨링 영역이 결정된 후, 수행 주체는 비라벨링 영역에서 모자이크를 생성할 수 있다. 구체적으로, 수행 주체는 블록 단위로 비라벨링 영역의 픽셀 위치를 섞을 수 있고, 이로써 비라벨링 영역이 주위 픽셀에 비해 특별히 돌출되지 않아, 이미지가 더욱 깨끗하게 되고 트레이닝 효과가 더욱 좋다.

단계(407)에서, 모자이크 생성 후의 이미지에 따라, 트레이닝 샘플을 결정한다.

수행 주체는 모자이크가 생성된 이미지를 트레이닝 샘플로 할 수 있다. 트레이닝 샘플의 수량이 사전 설정된 수량에 도달한 후, 복수 개의 트레이닝 샘플을 이용하여 모델을 트레이닝할 수 있다.

단계(408)에서, 트레이닝 샘플 중 모자이크가 포함되는 이미지를 입력으로 하고, 라벨링 박스를 예상 출력으로 하여, 제2 검출 모델을 획득한다.

본 실시예에서, 수행 주체는 트레이닝 샘플 중 모자이크가 포함되지만 라벨링 박스이 포함되지 않는 이미지를 모델로 입력하고, 라벨링 박스를 모델의 예상 출력으로 입력하여, 제2 검출 모델을 얻을 수 있다. 바람직하게, 상기 제2 검출 모델에 포함되는 콘볼루션 계층의 수량이 비교적 적고 계산량이 비교적 적으며, 이렇게, 트레이닝 후의 제2 검출 모델은 하드웨어 수준이 낮은 이동 단말기에 설치될 수 있고, 예컨대 스마트 백미러에 설치되어 보행자의 신속한 검출을 구현한다.

본 발명의 상시 실시예에서 제공한 객체 라벨링 방법은, 품질이 좋은 라벨링 이미지를 얻고, 제2 검출 모델을 트레이닝하여 생성할 수 있어, 딥 러닝 알고리즘의 실시에 유리하다.

또한, 도 5를 참조하면, 이는 상기 각 도면에 도시된 방법의 구현으로서, 본 발명은 객체 라벨링 장치의 일 실시예를 제공하고, 상기 장치 실시예는 도 2에 도시된 방법 실시예와 대응되며, 상기 장치는 구체적으로 다양한 전자 기기에 응용될 수 있다.

도 5에 도시된 바와 같이, 본 실시예의 객체 라벨링 장치(500)는 이미지 획득 유닛(501), 위치 결정 유닛(502), 사이즈 결정 유닛(503) 및 객체 라벨링 유닛(504)을 포함한다.

이미지 획득 유닛(501)은, 타깃 객체를 포함하는 라벨링할 이미지를 획득하도록 구성된다.

위치 결정 유닛(502)은, 미리 트레이닝된 제1 검출 모델 및 라벨링할 이미지에 따라, 타깃 객체의 위치정보를 결정하도록 구성된다.

사이즈 결정 유닛(503)은, 위치정보 및 사전 설정된 라벨링 박스 사이즈 집합에 따라, 타깃 객체에 적응되는 라벨링 박스의 사이즈를 결정하도록 구성된다.

객체 라벨링 유닛(504)은, 결정된 사이즈에 따라, 라벨링 박스를 이용하여 타깃 객체를 라벨링하도록 구성된다.

본 실시예의 일부 선택 가능한 구현 형태에서, 장치(500)는, 라벨링할 이미지의 비라벨링 영역을 획득하고, 비라벨링 영역에서 모자이크를 생성하도록 구성되는, 도 5에 도시되지 않은 처리 장치를 더 포함할 수 있다.

본 실시예의 일부 선택 가능한 구현 형태에서, 장치(500)는, 라벨링할 이미지의 비라벨링 영역을 획득하고, 비라벨링 영역에서 모자이크를 생성하도록 구성되는, 도 5에 도시되지 않은 트레이닝 유닛을 더 포함할 수 있다.

본 실시예의 일부 선택 가능한 구현 형태에서, 장치(500)는, 라벨링 박스의 사이즈를 포함하는 라벨링 박스 정보를 획득하고; 라벨링 박스의 사이즈에 대해 클러스터링을 진행하여 라벨링 박스 사이즈 집합을 획득하도록 구성되는, 도 5에 도시되지 않은 사이즈 집합 결정 유닛을 더 포함할 수 있다.

본 실시예의 일부 선택 가능한 구현 형태에서, 처리 장치는 또한, 라벨링 박스에 따라, 라벨링 영역을 결정하고; 라벨링 영역에 따라, 비라벨링 영역을 결정하도록 구성된다.

객체 라벨링 장치(500)에 기재된 유닛(501) 내지 유닛(504)은 각각 도 2를 참조하여 설명된 방법 중의 각각의 단계에 대응됨을 이해해야 한다. 이로부터, 상기 객체 라벨링 방법에 대해 설명한 조작과 특징은 장치(500) 및 그 중에 포함되는 유닛에 마찬가지로 적용되므로, 여기서 더이상 설명하지 않는다.

아래 도 6을 참조하면 본 발명의 실시예에 따른 전자 기기(600)(예를 들면 도 1의 서버 또는 단말 기기)를 구현할 수 있는 구조 모식도이다. 도 6에 도시된 전자 기기는 하나의 예시일 뿐, 본 발명의 실시예의 기능 또는 사용범위에 대한 어떠한 한정도 아니다.

도 6에 도시된 바와 같이, 전자 기기(600)는 판독 전용 메모리(ROM)(602)에 저장된 프로그램 또는 저장 장치(608)로부터 랜덤 액세스 메모리(RAM)(603)로 로딩된 프로그램에 따라 다양하고 적절한 동작 및 처리를 수행할 수 있는 처리 장치(601)(예를 들면 중앙 처리 장치, 그래픽 처리 장치 등)를 포함할 수 있다. RAM(603)에는 또한 전자 기기(600)의 조작에 필요한 다양한 프로그램 및 데이터가 저장된다. 처리 장치(601), ROM(602) 및 RAM(603)은 버스(604)를 통해 서로 연결된다. 입/출력(I/O) 인터페이스(605) 역시 버스(604)에 연결된다.

일반적으로, 예를 들어 터치 스크린, 터치 패드, 키보드, 마우스, 카메라, 마이크, 가속도계, 자이로스코프 등을 포함하는 입력 장치(606); 예를 들어 액정 디스플레이(LCD), 스피커, 진동기 등을 포함하는 출력 장치(607); 예를 들어 자기 테이프, 하드 드라이버 등을 포함하는 저장 장치(608); 및 통신 장치(609)는 I/O 인터페이스(605)에 연결될 수 있다. 통신 장치(609)는 전자 기기(600)가 무선 또는 유선으로 다른 기기와 통신하여 데이터를 교환하도록 허용할 수 있다. 비록 도 6에서 다양한 장치를 갖는 전자 기기(600)를 나타냈지만, 모든 도시된 장치를 실시하거나 구비할 필요는 없음을 이해해야 한다. 보다 많거나 보다 적은 장치를 대체적으로 실시하거나 구비할 수 있다. 도 6에 도시된 각 블록은 하나의 장치를 대표할 수 있고, 수요에 따라 복수 개의 장치를 대표할 수도 있다.

특히, 본 발명의 실시예에 따르면, 앞에서 흐름도를 참조하여 설명한 과정은 컴퓨터 소프트웨어 프로그램으로서 구현될 수 있다. 예를 들어, 본 발명의 실시예는 컴퓨터 판독 가능 매체에 베어링된 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하고, 상기 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 프로그램 코드를 포함한다. 이런 실시예에서, 상기 컴퓨터 프로그램은 통신 장치(609)를 통해 네트워크로부터 다운로드 및 설치되거나 또는 저장 장치(608)로부터 설치되거나 또는 ROM(602)으로부터 설치될 수 있다. 상기 컴퓨터 프로그램이 처리 장치(601)에 의해 실행될 때, 본 발명의 실시예의 방법에 한정된 상기 기능들이 수행된다. 본 발명의 실시에 따른 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체 또는 이 양자의 임의의 조합 일 수 있음에 유의해야 한다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 소자, 또는 이들의 임의의 조합일 수 있지만, 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예는 하나 또는 복수의 도선에 의한 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 임의의 적절한 조합을 포함할 수 있지만, 이에 한정되지 않는다. 본 발명의 실시예에서, 컴퓨터 판독 가능 신호 매체는 컴퓨터 판독 가능 프로그램 코드를 베어링하는 베이스 밴드 또는 캐리어의 일부로 전파되는 데이터 신호를 포함할 수 있다. 이러한 전파된 데이터 신호는 전자기 신호, 광학 신호, 또는 상기 임의의 적절한 조합을 포함하지만 이에 한정되지 않는 다양한 형태를 취할 수 있다. 컴퓨터 판독 가능 신호 매체는 또한 명령 실행 시스템, 장치 또는 소자에 사용되거나 이와 결합하여 사용하기 위한 프로그램을 전송, 전파 또는 전송할 수 있는, 컴퓨터 판독 가능 저장 매체 이외의 임의의 컴퓨터 판독 가능 매체일 수 있다. 컴퓨터 판독 가능 매체에 포함된 프로그램 코드는 전기선, 광섬유 케이블, RF(무선 주파수) 등, 또는 상기의 임의의 적절한 조합을 포함하지만 이에 한정되지 않는 임의의 적절한 매체에 의해 전송될 수 있다.

상기 컴퓨터 판독 가능 매체는 상기 전자 기기에 포함될 수 있거나, 상기 전자 기기에 조립되지 않고 별도로 존재할 수 있다. 상기 컴퓨터 판독 가능 매체에는 하나 또는 복수 개의 프로그램이 베어링되어, 상기 하나 또는 복수 개의 프로그램이 상기 전자 기기에 의해 실행될 때, 상기 전자 기기가, 타깃 객체를 포함하는 라벨링할 이미지를 획득하는 단계; 미리 트레이닝된 제1 검출 모델 및 라벨링할 이미지에 따라, 타깃 객체의 위치정보를 결정하는 단계; 위치정보 및 사전 설정된 라벨링 박스 사이즈 집합에 따라, 타깃 객체에 적응되는 라벨링 박스의 사이즈를 결정하는 단계; 및 결정된 사이즈에 따라, 라벨링 박스를 이용하여 타깃 객체를 라벨링하는 단계를 수행하도록 한다.

본 발명의 실시예의 동작을 수행하기 위한 컴퓨터 프로그램 코드는 하나 또는 하나 이상의 프로그래밍 언어, 또는 그들의 조합으로 작성될 수 있다. 상기 프로그래밍 언어는 Java, Smalltalk, C++를 비롯한 객체 지향 프로그래밍 언어와 "C" 언어 또는 유사한 프로그래밍 언어를 비롯한 기존 절차적 프로그래밍 언어를 포함한다. 프로그램 코드는 완전히 사용자의 컴퓨터에서 실행되거나, 부분적으로 사용자의 컴퓨터에서 실행되거나, 독립형 소프트웨어 패키지로서 실행되거나, 일부는 사용자의 컴퓨터에서 실행되고 일부는 원격 컴퓨터에서 실행되거나, 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터의 경우 원격 컴퓨터는 LAN 또는 WAN을 포함한 모든 종류의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결(예를 들어, 인터넷 서비스 제공 업체를 이용하여 인터넷을 통해 연결)될 수 있다.

도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 아키텍처, 기능 및 동작을 도시한다. 이 점에서, 흐름도 또는 블록도의 각 블록은 지정된 논리적 기능을 구현하기 위한 하나 또는 하나 이상의 실행 가능한 명령을 포함하는 모듈, 프로그램 세그먼트 또는 코드의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 표기된 기능은 또한 도면에 도시된 것과 다른 순서로 구현될 수 있음에 유의해야 한다. 예를 들어, 연속적으로 표현된 2개의 블록은 실제로 병렬 실행될 수 있고, 관련 기능에 따라 때때로 역순으로 실행될 수도 있으며, 이는 관련 기능에 의해 결정된다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도에서 블록의 조합은 지정된 기능 또는 동작을 수행하는 전용 하드웨어 기반 시스템에서 구현될 수 있거나 전용 하드웨어와 컴퓨터 명령어를 조합하여 구현할 수도 있음에 유의해야 한다.

본 발명의 실시예들에 설명된 유닛들은 소프트웨어에 의해 구현될 수 있고, 하드웨어에 의해 구현될 수도 있다. 설명된 유닛은 또한 프로세서, 예를 들어 이미지 획득 유닛, 위치 결정 유닛, 사이즈 결정 유닛 및 객체 라벨링 유닛을 포함하는 프로세서에 설치될 수도 있다. 여기서 이들 유닛의 명칭은 경우에 따라서는 유닛 자체로 한정되지 않으며, 예를 들어, 이미지 획득 유닛은 "라벨링할 이미지를 획득하는 유닛”으로 기술될 수도 있다.

상기 설명은 본 발명의 바람직한 실시예 및 적용된 기술의 원리에 대한 설명일 뿐이다. 본 발명이 속하는 기술분야의 통상의 기술자들은 본 발명의 실시예에 언급된 본 발명의 범위는 상기 기술적 특징의 특정 조합에 따른 기술적 해결수단에 한정되지 않으며, 동시에 본 발명의 사상을 벗어나지 않으면서 상기 기술적 특징 또는 그 등가 특징에 대해 임의로 조합하여 형성된 다른 기술적 해결수단, 예를 들어, 상기 특징과 본 발명에 공개된(단 이에 한정되지 않음) 유사한 기능을 구비하는 기술적 특징을 서로 교체하여 형성된 기술적 해결수단을 포함함을 이해하여야 한다.

Claims

객체 라벨링 방법으로서,
타깃 객체를 포함하는 라벨링할 이미지를 획득하는 단계;
미리 트레이닝된 제1 검출 모델 및 상기 라벨링할 이미지에 따라, 타깃 객체의 위치정보를 결정하는 단계;
상기 위치정보 및 사전 설정된 라벨링 박스 사이즈 집합에 따라, 상기 타깃 객체에 적응되는 라벨링 박스의 사이즈를 결정하는 단계; 및
결정된 사이즈에 따라, 라벨링 박스를 이용하여 상기 타깃 객체를 라벨링하는 단계
를 포함하는, 객체 라벨링 방법.
제1항에 있어서, 상기 방법은,
상기 라벨링할 이미지의 비라벨링 영역을 획득하는 단계; 및
상기 비라벨링 영역에서 모자이크를 생성하는 단계
를 더 포함하는, 객체 라벨링 방법.
제2항에 있어서, 상기 방법은,
모자이크 생성 후의 이미지에 따라, 트레이닝 샘플을 결정하는 단계; 및
상기 트레이닝 샘플 중의 이미지를 입력으로 하고, 상기 라벨링 박스를 예상 출력으로 하여, 제2 검출 모델을 획득하는 단계
를 더 포함하는, 객체 라벨링 방법.
제1항에 있어서, 상기 방법은,
라벨링 박스의 사이즈를 포함하는 라벨링 박스 정보를 획득하는 단계; 및
상기 라벨링 박스의 사이즈에 대해 클러스터링을 진행하여, 라벨링 박스 사이즈 집합을 획득한 단계
를 더 포함하는, 객체 라벨링 방법.
제2항에 있어서,
상기 라벨링할 이미지의 및 비라벨링 영역을 획득하는 단계는,
상기 라벨링 박스에 따라, 라벨링 영역을 결정하는 단계; 및
라벨링 영역에 따라, 상기 비라벨링 영역을 결정하는 단계
를 포함하는, 객체 라벨링 방법.
객체 라벨링 장치로서,
타깃 객체를 포함하는 라벨링할 이미지를 획득하도록 구성되는 이미지 획득 유닛;
미리 트레이닝된 제1 검출 모델 및 상기 라벨링할 이미지에 따라, 타깃 객체의 위치정보를 결정하도록 구성되는 위치 결정 유닛;
상기 위치정보 및 사전 설정된 라벨링 박스 사이즈 집합에 따라, 상기 타깃 객체에 적응되는 라벨링 박스의 사이즈를 결정하도록 구성되는 사이즈 결정 유닛; 및
결정된 사이즈에 따라, 라벨링 박스를 이용하여 상기 타깃 객체를 라벨링하도록 구성되는 객체 라벨링 유닛
을 포함하는, 객체 라벨링 장치.
제6항에 있어서,
상기 장치는 처리 장치를 더 포함하되, 상기 처리 장치는,
상기 라벨링할 이미지의 비라벨링 영역을 획득하고;
상기 비라벨링 영역에서 모자이크를 생성하도록 구성되는, 객체 라벨링 장치.
제7항에 있어서,
상기 장치는 트레이닝 유닛을 더 포함하되, 상기 트레이닝 유닛은,
모자이크 생성 후의 이미지에 따라, 트레이닝 샘플을 결정하고;
상기 트레이닝 샘플 중의 이미지를 입력으로 하고, 상기 라벨링 박스를 예상 출력으로 하여, 제2 검출 모델을 획득하도록 구성되는, 객체 라벨링 장치.
제6항에 있어서,
상기 장치는 사이즈 집합 결정 유닛을 더 포함하되, 상기 사이즈 집합 결정 유닛은,
라벨링 박스의 사이즈를 포함하는 라벨링 박스 정보를 획득하고;
상기 라벨링 박스의 사이즈에 대해 클러스터링을 진행하여, 라벨링 박스 사이즈 집합을 얻도록 구성되는, 객체 라벨링 장치.
제7항에 있어서, 상기 처리 장치는 또한,
상기 라벨링 박스에 따라, 라벨링 영역을 결정하고;
라벨링 영역에 따라, 비라벨링 영역을 결정하도록 구성되는, 객체 라벨링 장치.
전자 기기로서,
하나 또는 복수 개의 프로세서; 및
하나 또는 복수 개의 프로그램이 저장된 저장 장치를 포함하되,
상기 하나 또는 복수 개의 프로그램이 상기 하나 또는 복수 개의 프로세서에 의해 실행될 때, 상기 하나 또는 복수 개의 프로세서가 제1항 내지 제5항 중 어느 한 항에 따른 방법을 구현하도록 하는, 전자 기기.
컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 매체로서,
상기 프로그램이 프로세서에 의해 실행될 때, 제1항 내지 제5항 중 어느 한 항에 따른 방법을 구현하는, 컴퓨터 판독 가능한 매체.
컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1항 내지 제5항 중 어느 한 항에 따른 방법을 구현하도록 하는, 컴퓨터 프로그램.