KR20220168950A

KR20220168950A - 객체 분류를 결정하기 위한 방법들 및 장치들

Info

Publication number: KR20220168950A
Application number: KR1020217026803A
Authority: KR
Inventors: 징환 천; 춘야 류; 쉐썬 장; 바이룬 왕
Original assignee: 센스타임 인터내셔널 피티이. 리미티드.
Priority date: 2021-06-14
Filing date: 2021-06-29
Publication date: 2022-12-26
Also published as: CN113454644A; AU2021204589A1; US20220398400A1

Abstract

본 개시의 실시예들은 객체 분류를 결정하기 위한 방법 및 장치를 제공한다. 방법은 제1 이미지에 수반되는 타겟 객체의 제1 분류 신뢰도를 획득하기 위해 타겟 검출 네트워크에 의해, 제1 이미지 상에 객체 검출을 수행하는 단계; 제1 이미지로부터 재검출 객체를 포함하는 객체 이미지를 획득하고, 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 필터에 의해, 객체 이미지 상에 객체 검출을 수행하는 단계 - 재검출 객체는 제1 분류 신뢰도가 사전 설정된 임계 범위 내에 있는 타겟 객체임 -; 업데이트된 신뢰도를 획득하기 위해 제2 분류 신뢰도에 기초하여 재검출 객체의 제1 분류 신뢰도를 정정하는 단계; 업데이트된 신뢰도에 기초하여 재검출 객체의 분류 검출 결과를 결정하는 단계를 포함할 수 있다. 본 개시의 실시예들은 객체 분류를 결정하는 정확도를 개선한다.

Description

객체 분류를 결정하기 위한 방법들 및 장치들

관련 출원에 대한 상호 참조

본 출원은 2021년 6월 14일에 출원되고, 발명의 명칭이 "METHODS AND APPARATUSES FOR DETERMINING OBJECT CLASSIFICATION"인 싱가포르 특허 출원 제10202106360P호에 대한 우선권을 주장하며, 그의 개시는 모든 목적들을 위해 본원에 전체적으로 참조로 포함된다.

기술분야

본 개시는 이미지 처리 기술에 관한 것으로, 특히 객체 분류를 결정하기 위한 방법 및 장치에 관한 것이다.

타겟 검출은 지능형 비디오 분석 시스템의 중요한 부분이다. 타겟 검출을 수행할 때, 장면 내의 타겟 객체(예컨대 특정 객체)에 관한 검출은 높은 정확도를 갖도록 요구되는 한편, 타겟 객체와 다른 객체들은 이질적인 사물들로 집합적으로 지칭될 수 있고 타겟 객체 검출 동안 잘못된 검출을 야기할 수 있고, 그것에 의해 타겟 객체에 기초한 후속 분석에 영향을 미친다.

관련 기술에서, 타겟 객체는 타겟 검출 네트워크에 의해 검출될 수 있다. 그러나, 타겟 검출 네트워크의 정확도가 개선될 필요가 있다.

이것을 고려하여, 본 개시의 실시예들은 적어도 객체 분류 검출 방법 및 장치를 제공한다.

제1 양태에서, 객체 분류 검출 방법이 제공되며, 이 방법은 제1 이미지에 수반되는 타겟 객체의 제1 분류 신뢰도를 획득하기 위해 타겟 검출 네트워크에 의해, 제1 이미지 상에 객체 검출을 수행하는 단계 - 제1 분류 신뢰도는 타겟 객체가 제1 분류에 속한다는 신뢰도를 표시함 -; 제1 이미지로부터 재검출 객체를 수반하는 객체 이미지를 획득하고, 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 하나 이상의 필터에 의해, 객체 이미지 상에 객체 검출을 수행하는 단계 - 재검출 객체는 제1 분류 신뢰도가 사전 설정된 임계 범위 내에 있는 타겟 객체이고, 제2 분류 신뢰도는 재검출 객체가 제2 분류에 속한다는 신뢰도를 표시함 -; 업데이트된 신뢰도를 획득하기 위해 제2 분류 신뢰도에 기초하여 재검출 객체의 제1 분류 신뢰도를 정정하는 단계; 업데이트된 신뢰도에 기초하여 재검출 객체의 분류 검출 결과를 결정하는 단계를 포함한다.

제2 양태에서, 타겟 검출 방법이 제공되며, 이 방법은 처리될 이미지를 획득하는 단계; 처리될 이미지에 수반되는 타겟 객체가 속하는 제1 분류를 결정하기 위해 타겟 검출 네트워크에 의해, 처리될 이미지 상에 객체 검출을 수행하는 단계를 포함하며, 타겟 검출 네트워크는 업데이트된 신뢰도로 트레이닝되며, 업데이트된 신뢰도는 제1 이미지에 수반되는 샘플 객체가 제1 분류에 속하는 것을 식별하고, 업데이트된 신뢰도는 제2 분류 신뢰도에 기초하여 제1 분류 신뢰도를 정정함으로써 획득되며, 제1 분류 신뢰도는 타겟 검출 네트워크로 샘플 객체를 식별함으로써 획득되고, 제2 분류 신뢰도는 필터로 샘플 객체를 식별함으로써 획득된다.

제3 양태에서, 객체 분류 검출 장치가 제공되며, 이 장치는 제1 이미지에 수반되는 타겟 객체의 제1 분류 신뢰도를 획득하기 위해 타겟 검출 네트워크에 의해, 제1 이미지 상에 객체 검출을 수행하도록 구성된 검출 모듈 - 제1 분류 신뢰도는 타겟 객체가 제1 분류에 속한다는 신뢰도를 표시함 -; 제1 이미지로부터 재검출 객체를 수반하는 객체 이미지를 획득하고, 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 하나 이상의 필터에 의해, 객체 이미지 상에 객체 검출을 수행하도록 구성된 재검출 모듈 - 재검출 객체는 제1 분류 신뢰도가 사전 설정된 임계 범위 내에 있는 타겟 객체이고, 제2 분류 신뢰도는 재검출 객체가 제2 분류에 속한다는 신뢰도를 표시함 -; 업데이트된 신뢰도를 획득하기 위해 재검출 객체의 제1 분류 신뢰도를 정정하도록 구성된 정정 모듈; 업데이트된 신뢰도에 기초하여 재검출 객체의 분류 검출 결과를 결정하도록 구성된 분류 결정 모듈을 포함한다.

제4 양태에서, 타겟 검출 장치가 제공되며, 이 장치는 처리될 이미지를 획득하도록 구성된 이미지 획득 모듈; 처리될 이미지에 수반되는 타겟 객체가 속하는 제1 분류를 결정하기 위해 타겟 검출 네트워크에 의해, 처리될 이미지 상에 객체 검출을 수행하도록 구성된 식별 및 처리 모듈을 포함하며, 타겟 검출 네트워크는 업데이트된 신뢰도로 트레이닝되며, 업데이트된 신뢰도는 제1 이미지에 수반되는 샘플 객체가 제1 분류에 속하는 것을 식별하고, 업데이트된 신뢰도는 제2 분류 신뢰도에 기초하여 제1 분류 신뢰도를 정정함으로써 획득되며, 제1 분류 신뢰도는 타겟 검출 네트워크로 샘플 객체를 식별함으로써 획득되고, 제2 분류 신뢰도는 필터로 샘플 객체를 식별함으로써 획득된다.

제5 양태에서, 전자 디바이스가 제공된다. 이 디바이스는 메모리, 프로세서를 포함할 수 있으며, 메모리는 컴퓨터 판독가능 명령어들을 저장하도록 구성되고 프로세서는 본 개시의 임의의 실시예들에 설명되는 방법을 구현하기 위해 명령어들을 호출하도록 구성된다.

제6 양태에서, 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체가 제공되며, 컴퓨터 프로그램이 프로세서에 의해 실행되는 경우에, 본 개시의 임의의 실시예에 설명되는 방법이 구현된다.

제7 양태에서, 컴퓨터 프로그램 제품이 제공되며, 컴퓨터 프로그램 제품은 프로세서에 의해 실행될 때, 본 개시의 임의의 실시예에 설명되는 방법이 구현되는 컴퓨터 프로그램을 포함한다.

본 개시의 실시예들에 따라 제공되는 객체 분류를 결정하기 위한 방법 및 장치에서, 타겟 검출 네트워크로 타겟 객체를 식별함으로써 획득되는 제1 분류 신뢰도는 업데이트된 신뢰도를 획득하기 위해 필터로 타겟 객체를 식별함으로써 획득되는 제2 분류 신뢰도에 기초하여 정정되고, 타겟 객체의 분류는 정정된 업데이트 신뢰도에 기초하여 결정된다. 타겟 검출 네트워크로부터 출력되는 신뢰도가 정정되므로, 이는 타겟 검출 네트워크의 식별 결과를 더 정확하게 하여, 타겟 객체의 분류 검출 결과는 더 정확하게 효과적으로 개선된다.

기술적 해결법들을 본 개시의 하나 이상의 실시예 또는 관련 기술에서 더 분명히 설명하기 위해, 실시예들 또는 관련 기술의 설명에서 사용되는 도면들은 아래에 간단히 도입될 것이다. 명백히, 이하의 설명에서의 도면들은 단지 본 개시의 하나 이상의 실시예이다. 본 기술분야의 통상의 기술자들을 위해, 다른 실시예들은 창의적 노동을 지불하지 않고 이러한 도면들에 기초하여 획득될 수 있다.
도 1은 본 개시들의 적어도 하나의 실시예에 의해 제공되는 객체 분류를 결정하는 방법을 예시하는 흐름도를 도시한다.
도 2는 본 개시의 적어도 하나의 실시예에 따른 타겟 검출 네트워크의 트레이닝 방법을 예시하는 흐름도를 도시한다.
도 3은 본 개시의 적어도 하나의 실시예에 따른 신뢰도 정정의 시스템을 예시하는 흐름도를 도시한다.
도 4는 본 개시의 적어도 하나의 실시예에 의해 제공되는 타겟 검출 방법의 흐름도를 도시한다. 이러한 실시예에서의 타겟 검출 네트워크는 통합 필터들을 통해 트레이닝될 수 있다.
도 5는 본 개시의 적어도 하나의 실시예에 따른 객체 분류를 결정하기 위한 장치의 개략 구조도를 도시한다.
도 6은 본 개시의 적어도 하나의 실시예에 따른 타겟 검출 디바이스의 개략 구조도를 도시한다.

본 기술분야의 통상의 기술자가 본 개시의 하나 이상의 실시예에 의해 제공되는 기술적 해결법들을 더 잘 이해하게 하기 위해, 본 개시의 하나 이상의 실시예에서의 기술적 해결법들은 본 개시의 하나 이상의 실시예에서의 첨부 도면들을 참조하여 분명히 그리고 완전히 후술될 것이다. 명백히, 설명되는 실시예들은 본 개시의 일부 실시예들일 뿐이고, 모든 실시예들은 아니다. 본 개시에서의 하나 이상의 실시예에 기초하여, 창의적 노력들 없이 본 기술분야의 통상의 기술자에 의해 획득되는 모든 다른 실시예들은 본 개시의 보호 범위 내에 들어갈 것이다.

도 1은 본 개시들의 적어도 하나의 실시예에 의해 제공되는 객체 분류를 결정하기 위한 방법을 예시하는 흐름도를 도시한다. 도 1에 도시된 바와 같이, 방법은 이하의 프로세스를 포함할 수 있다.

단계(100)에서, 객체 검출은 제1 이미지에 수반되는 타겟 객체의 제1 분류 신뢰도를 획득하기 위해 타겟 검출 네트워크에 의해, 제1 이미지 상에 수행된다.

이러한 실시예는 타겟 검출 네트워크의 구조를 제한하지 않는다. 예를 들어, 타겟 검출 네트워크는 패스터 영역 기반 콘볼루션 신경 네트워크(Faster region-based convolutional neural network)(RCNN), 유 온리 룩 원스(you only look once)(YOLO), 및 싱글 샷 멀티박스 검출기(single-shot multibox detector)(SSD)와 같은 다양한 네트워크들일 수 있다. 제1 이미지는 객체의 적어도 하나의 분류를 포함할 수 있다. 예를 들어, 제1 이미지는 포커 카드 및 워터 컵을 포함할 수 있으며, 이때 포커 카드는 하나의 분류의 객체이고 워터 컵은 다른 것의 객체이다. 이러한 실시예에서, 식별될 객체들은 타겟 객체들로 지칭될 수 있다.

타겟 검출 네트워크는 제1 이미지 상에 객체 검출을 수행함으로써 제1 이미지에 수반되는 타겟 객체가 속하는 객체 분류 및 분류 스코어를 출력할 수 있다. 객체 분류는 제1 분류로 지칭될 수 있고, 분류 스코어는 제1 분류 신뢰도로 지칭될 수 있다. 예를 들어, "포커 카드"는 "제1 분류"에 속한다. 타겟 검출 네트워크는 제1 이미지 내의 객체가 0.8의 신뢰도로 "포커 카드"에 속하는 것, 즉, 객체가 제1 분류에 속한다는 신뢰도가 0.8인 것을 검출할 수 있다. 다른 예에 대해, "워터 컵"은 다른 "제1 분류"에 속하고, 타겟 검출 네트워크는 제1 이미지 내의 다른 객체가 "워터 컵"에 속한다는 제1 분류 신뢰도가 0.6인 것을 검출할 수 있다. 이러한 예에서, "포커 카드" 및 "워터 컵"은 또한 제1 분류 아래의 2개의 하위분류로 지칭될 수 있다.

단계(102)에서, 재검출 객체를 수반하는 객체 이미지는 제1 이미지로부터 획득되고, 객체 검출은 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 하나 이상의 필터에 의해 객체 이미지 상에 수행된다.

이러한 단계에서, 제1 이미지 내의 타겟 객체들이 단계(100)에서 검출되는 것을 기준으로, 재검출 객체는 또한 이러한 타겟 객체들로부터 선택될 수 있고, 재검출 객체는 제1 분류 신뢰도가 사전 설정된 임계 범위 내에 있는 타겟 객체일 수 있다.

예를 들어, 제1 이미지가 타겟 객체(O1), 타겟 객체(O2), 및 타겟 객체(O3)를 수반하는 것을 가정하며, 타겟 객체(O1)가 제1 분류 "포커 카드"에 속한다는 제1 분류 신뢰도는 0.8이고, 타겟 객체(O2)가 제1 분류 "포커 카드"에 속한다는 제1 분류 신뢰도는 0.75이고, 타겟 객체(O3)가 제1 분류 "워터 컵"에 속한다는 제1 분류 신뢰도는 0.52이다. 사전 설정된 임계 범위가 0.3 내지 0.7인 것을 가정하면, 타겟 객체(O3)의 제1 분류 신뢰도가 사전 설정된 임계 범위 내에 있다는 점이 인식될 수 있으며, 이때 타겟 객체(O3)는 재검출 객체로 지칭될 수 있다. 그러나, 타겟 객체(O1) 및 타겟 객체(O2)의 제1 분류 신뢰도들은 사전 설정된 임계 범위 내에 있지 않으며, 따라서 재검출 객체들로 지칭되지 않는다.

재검출 객체에 대해, 재검출 객체를 수반하는 객체 이미지는 제1 이미지로부터 획득되고, 객체 검출은 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 필터에 의해, 객체 이미지 상에 수행된다. 객체 이미지는 통상 제1 이미지보다 더 작다. 예를 들어, 제1 이미지는 타겟 객체들(O1 내지 O3)과 같은 다수의 객체를 포함할 수 있고, 객체 이미지는 하나의 객체만, 예를 들어, 타겟 객체(O3)만을 수반한다. 객체 이미지는 타겟 객체(O3)를 수반하는 객체 이미지를 획득하기 위해, 타겟 객체(O3)를 수반하는, 타겟 검출 네트워크에 의해 식별되는, 객체 박스에 따라 대응하는 이미지 구역을 크로핑함으로써 획득될 수 있다.

필터는 재검출 객체가 제2 분류에 속한다는 신뢰도를 결정하는 것을 돕기 위해 사용될 수 있다. 일 예에서, 제2 분류는 제1 분류와 동일할 수 있으며, 예를 들어, 그들은 둘 다 "워터 컵"이다. 즉, 타겟 검출 네트워크는 타겟 객체(O3)가 "워터 컵"에 속한다는 제1 분류 신뢰도를 출력하고, 필터는 또한 타겟 객체(O3)가 "워터 컵"에 속한다는 제2 분류 신뢰도를 출력할 수 있다.

다른 예에서, 제2 분류는 또한 제1 분류를 포함하는 분류일 수 있다. 예를 들어, 타겟 검출 네트워크가 객체 검출을 수행할 때, 포커 카드 및 워터 컵과 같은 객체들은 타겟 검출 네트워크에 의해 검출될 모든 타겟들이며, 즉, 객체들은 네트워크에 의해 검출 및 식별될 타겟 객체들로 집합적으로 지칭될 수 있다. 필터는 또한 객체 이미지 내의 객체가 "타겟 분류" 또는 "비타겟 분류"에 속하는지를 검출하기 위해 사용되는 2진 분류 네트워크일 수 있으며, 즉, 필터는 포커 카드 또는 워터 컵의 특정 분류를 구별할 수 없다. 객체가 포커 카드 또는 워터 컵인 한, 그것은 "타겟 분류"에 속하고, 타겟 분류는 포커 카드 및 워터 컵의 통합된 분류와 동등하며; 그렇지 않으면, 그것은 "비타겟 분류"에 속한다. 이러한 경우에, 제2 분류 "타겟 분류"는 제1 분류 "워터 컵"을 포함하는 분류이고, 타겟 검출 네트워크는 타겟 객체(O3)가 "워터 컵"에 속한다는 제1 분류 신뢰도를 출력하고, 필터는 타겟 객체(O3)가 재검출 타겟으로서 "타겟 분류"에 속한다는 제2 분류 신뢰도를 출력한다.

더욱이, 필터에 의해 결정되는 재검출 객체의 제2 분류 신뢰도는 필터의 직접 출력 결과일 수 있거나, 필터의 출력 결과에 기초하여 계산 및 결정되는 파라미터일 수 있다. 예를 들어, 일 예로서 "타겟 분류"/"비타겟 분류"를 검출하는 2진 분류 필터를 여전히 취하면, 필터는 재검출된 객체가 "타겟 분류"에 속한다는 제2 분류 신뢰도가 0.7인 것을 직접 출력할 수 있거나, 그것은 재검출 객체가 "비타겟 분류"에 속한다는 신뢰도가 0.3인 것을 출력할 수 있고, 그 다음 "1-0.3=0.7"은 재검출 객체가 "타겟 분류"에 속한다는 제2 분류 신뢰도로서 계산된다.

단계(104)에서, 제2 분류 신뢰도에 기초하여, 재검출 객체의 제1 분류 신뢰도는 업데이트된 신뢰도를 획득하기 위해 정정된다.

이러한 단계에서, 제1 분류 신뢰도는 필터에 의해 획득되는 제2 분류 신뢰도에 따라 정정될 수 있다. 이러한 실시예는 특정 정정 방식을 제한하지 않는다. 예를 들어, 제1 분류 신뢰도 및 제2 분류 신뢰도는 업데이트된 신뢰도를 획득하기 위해 가중 및 통합될 수 있다. 예를 들어, 제2 분류 신뢰도의 가중치는 가중될 때 더 높게 설정될 수 있다.

업데이트된 신뢰도는 사전 설정된 임계 범위 내에 여전히 있을 수 있다. 예를 들어, 제1 분류 신뢰도가 사전 설정된 임계 범위(0.3 내지 0.7) 내에 있는 타겟 객체는 재검출 객체로서 선택된다. 재검출 객체의 신뢰도가 정정된 후에, 획득되는 업데이트된 신뢰도는 0.3 내지 0.7의 범위 내에 여전히 있다.

단계(106)에서, 재검출 객체의 분류 검출 결과는 업데이트된 신뢰도에 따라 결정된다.

예를 들어, 재검출 객체의 분류 검출 결과를 결정하는 방식은 이하일 수 있다: 업데이트된 신뢰도가 사전 설정된 임계 범위의 하한인 제1 임계치에 가까우면, 이때 재검출 객체는 이질적인 사물로서 결정되며, 즉, 그것은 타겟 검출 네트워크에 의해 검출될 타겟이 아니고; 업데이트된 신뢰도가 사전 설정된 임계 범위의 상한인 제2 임계치에 가까우면, 재검출된 객체의 분류는 제1 분류로서 결정되며, 즉, 그것은 타겟 검출 네트워크에 의해 원래 식별되는 제1 분류에 속한다. 상세들에 대해서는 이하의 예를 참조한다:

사전 설정된 임계 범위가 0.3 내지 0.7인 것을 가정하면, 이때 0.3은 제1 임계치로 지칭될 수 있고, 0.7은 제2 임계치로 지칭될 수 있다. 제3 임계치 및 제4 임계치가 또한 설정될 수 있으며, 제3 임계치는 제1 임계치 이상인 한편 제2 임계치 미만이고, 제4 임계치는 제2 임계치 이하이고 제3 임계치 초과이며, 예를 들어, 제3 임계치는 0.45일 수 있고, 제4 임계치는 0.55일 수 있다.

이러한 경우에, 업데이트된 신뢰도가 제3 임계치 이하이면, 재검출 객체의 분류가 제2 분류와 다른 이질적인 사물들의 분류인 것으로 결정될 수 있다. 예를 들어, 업데이트된 신뢰도가 제3 임계치(0.45) 미만인 0.4이면, 재검출 객체가 비타겟 분류에 속하는 것으로 간주될 수 있다.

그리고/또는, 업데이트된 신뢰도가 제4 임계치 내지 제2 임계치의 범위(즉, 제4 임계치 이상이고 제2 임계치 이하인 범위 - 제4 임계치는 제2 임계치와 동일할 수 있음 -) 내에 있으면, 재검출 객체는 제1 분류인 것으로 결정될 수 있다. 예를 들어, 업데이트된 신뢰도는 0.55 내지 0.7의 범위 내인 0.65이고, 재검출 객체가 제1 분류 "워터 컵"에 속하는 것으로 결정될 수 있다.

이러한 실시예는 업데이트된 신뢰도에 기초하여 재검출 객체의 분류 검출 결과를 결정하는 방식을 제한하지 않고, 상술한 예에서의 방식에 제한되지 않는다. 예를 들어, 업데이트된 신뢰도 및 대응하는 분류는 또한 분류 검출 결과로서 직접 출력될 수 있다.

이러한 실시예에서, 타겟 객체를 검출하는 타겟 검출 네트워크에 의해 획득되는 제1 분류 신뢰도는 타겟 객체를 검출하는 필터에 의해 획득되는 제2 분류 신뢰도에 기초하여 정정된다. 타겟 객체 분류는 정정된 업데이트 신뢰도에 기초하여 결정되어, 타겟 검출 네트워크에 의해 출력되는 신뢰도가 정정되며, 이는 타겟 검출 네트워크의 식별 결과를 더 정확하게 한다. 그 결과, 업데이트된 신뢰도에 기초한 타겟 객체의 분류 검출 결과는 또한 더 정확하다.

도 1에서의 프로세스는 타겟 검출 네트워크의 추론 스테이지에 적용될 수 있고, 또한 타겟 검출 네트워크의 트레이닝 스테이지에 적용될 수 있다. 예를 들어, 도 1에 예시된 객체 분류를 결정하는 방법이 추론 스테이지에 적용되면, 그것은 필터의 출력 결과를 통해 타겟 검출 네트워크의 출력 결과를 후처리하는 것, 정정된 업데이트 신뢰도에 기초하여 타겟 객체의 분류를 결정하는 것과 동등하다. 도 1에 예시된 객체 분류를 결정하는 방법이 타겟 검출 네트워크의 트레이닝 스테이지에 적용되면, 타겟 검출 네트워크의 네트워크 파라미터들은 업데이트된 신뢰도에 기초하여 조정될 수 있다. 정정 후의 업데이트된 신뢰도가 더 정확하므로, 그것은 또한 타겟 검출 네트워크의 트레이닝 성능을 개선할 수 있다.

이하와 같이, 객체 분류를 결정하는 방법은 타겟 검출 네트워크의 트레이닝 스테이지에 적용되고, 타겟 검출 네트워크를 트레이닝하는 프로세스가 설명된다. 타겟 검출 네트워크의 트레이닝 방법에서, 필터가 추가된다. 필터는 타겟 검출 네트워크 내로 통합되고, 필터와 통합되는 타겟 검출 네트워크는 트레이닝된다. 트레이닝이 완료된 후에, 필터는 타겟 검출 네트워크의 추론 스테이지에서 제거될 수 있다.

트레이닝 스테이지에서, 타겟 검출 네트워크의 입력 이미지로서의 제1 이미지는 네트워크를 트레이닝하기 위한 샘플 이미지일 수 있다. 제1 이미지는 다수의 객체를 수반하는 이미지일 수 있다. 예를 들어, 제1 이미지는 사람들, 자동차들, 및 나무들과 같은 상이한 객체들을 포함할 수 있다. 필터에 입력되는 객체 이미지는 단일 분류 객체들을 포함할 수 있다, 예를 들어, 객체 이미지는 사람들만을 포함할 수 있거나, 객체 이미지는 자동차들만을 포함할 수 있다.

일 예에서, 필터는 객체의 어떤 특정 분류를 식별하기 위해 구체적으로 사용될 수 있다. 예를 들어, 제1 이미지에 수반되는 각각의 타겟 객체의 분류는 모두 제1 분류로 지칭될 수 있고, 제1 분류는 다수의 하위분류를 포함할 수 있다. 예를 들어, "포커 카드"는 하위분류이고, "워터 컵"은 하위분류이다. "포커 카드" 및 "워터 컵" 둘 다는 제1 분류로 지칭된다. 필터는 특정 하위분류의 타겟 객체를 식별하기 위해 사용될 수 있다. 예를 들어, 필터들 중 하나는 "포커 카드"를 식별하기 위해 사용되며, 즉, 트레이닝 동안의 필터의 긍정적 샘플들은 포커 카드들을 포함하고, 다른 필터는 "워터 컵"을 식별하기 위해 사용되며, 즉, 트레이닝 동안의 필터의 긍정적 샘플들은 워터 컵들을 포함한다. 객체 이미지는 객체 이미지에 수반되는 객체가 속하는 하위분류에 대응하는 필터에 입력되어야 한다. 예를 들어, 포커 카드를 수반하는 객체 이미지는 포커 카드들을 식별하기 위해 필터에 입력된다.

필터에 입력되는 객체 이미지 내의 객체들의 분류가 비교적 단일하므로, 객체를 식별하기 위해 트레이닝되는 필터의 식별 성능은 더 양호할 수 있고, 필터의 식별 결과는 타겟 검출 네트워크의 분류 검출 결과를 정정하는 것을 돕기 위해 사용될 수 있으며, 이는 정정된 타겟 검출 네트워크의 분류 검출 결과를 더 정확하게 하며, 그것에 의해 타겟 검출 네트워크의 트레이닝을 최적화한다.

도 2는 본 개시의 적어도 하나의 실시예에 따른 타겟 검출 네트워크의 트레이닝 방법을 예시하는 흐름도를 도시한다. 흐름도에서, 본 개시의 실시예들에 의해 제공되는 객체 분류를 결정하는 방법은 타겟 검출 네트워크의 트레이닝 방법에서 사용되고 타겟 검출 네트워크의 출력은 필터에 의해 정정된다. 도 2에 도시된 바와 같이, 방법은 이하의 프로세스를 포함할 수 있다.

단계(200)에서, 객체 검출은 제1 이미지에 수반되는 타겟 객체의 제1 분류 신뢰도를 획득하기 위해 타겟 검출 네트워크에 의해, 제1 이미지 상에 수행된다.

상기 실시예에서, 제1 이미지는 타겟 검출 네트워크를 트레이닝하기 위한 샘플 이미지일 수 있다. 타겟 검출 네트워크는 일 예로서 패스터(Faster) RCNN을 취하지만, 그것은 실제 구현에서 제한되지 않는다. 예를 들어, 타겟 검출 네트워크는 또한 YOLO 및 SSD와 같은 다른 네트워크들일 수 있다.

도 3의 개략도를 참조하면, 처리될 제1 이미지(21)는 타겟 검출 네트워크(패스터 RCNN) 내로 입력된다. 예를 들어, 제1 이미지(21)는 객체들의 다수의 분류를 포함할 수 있다. 예를 들어, c1, c2, 및 c3인, 객체의 3개의 분류가 있는 것을 가정한다. 제1 이미지(21)는 하나의 객체의 분류(c1), 2개의 객체의 분류(c2), 및 하나의 객체의 분류(c3)를 포함할 수 있다. 분류들(c1, c2, 및 c3)은 모두 제1 분류로 지칭될 수 있고, 특정 분류들은 제1 분류 내의 하위분류들로 지칭될 수 있다: 하위분류(c1), 하위분류(c2), 및 하위분류(c3).

그 다음, 패스터 RCNN은 특징 맵을 획득하기 위해 콘볼루션 계층(22)을 통해 제1 이미지(21)의 특징들을 우선 추출할 수 있다. 특징 맵은 2개의 경로로 분할되며, 하나는 영역 제안을 출력하는 영역 제안 네트워크(regional proposal network)(RPN)에 의해 처리되어야 한다. 일반적으로, 영역 제안은 많은 잠재적 바운딩 박스들(또한 4개의 좌표를 포함하는 직사각형 박스인 제안 바운딩 박스 앵커로 칭함)로 간주될 수 있으며; 다른 것은 풀링 계층(23)에 직접 출력되어야 한다. 또한, RPN에 의해 출력되는 제안 바운딩 박스들은 풀링 계층(23)에 출력된다. 풀링 계층(23)은 관심 영역(region of interest)(ROI) 풀링일 수 있으며, 이는 콘볼루션 계층(22)에 의해 출력되는 특징 맵들 및 제안 바운딩 박스들을 합성하고, 제안 특징 맵들을 추출하고, 그들을 타겟 분류를 결정하기 위한 후속 완전 연결 계층에 송신하기 위해 사용된다.

도 3을 여전히 참조하면, 풀링 계층(23)에 의해 출력되는 제안 특징 맵들은 추가 처리를 위해 분류 계층(24)에 송신될 수 있고, 제1 이미지(21)에 수반되는 타겟 객체가 속하는 하위분류 및 분류 스코어는 출력된다. 이러한 실시예에서, 분류 스코어는 제1 분류 신뢰도로 지칭될 수 있다. 예를 들어, 객체들 중 하나가 속하는 하위분류는 c2이고, 하위분류(c2)에 대한 제1 분류 신뢰도는 0.7이며; 다른 타겟 객체가 속하는 하위분류는 c3이고, 하위분류(c3)에 대한 제1 분류 신뢰도는 0.8이다.

게다가, 분류 계층(24)은 또한 각각의 타겟 객체 상의 위치 정보를 출력할 수 있다. 위치 정보는 제1 이미지 내에 타겟 객체의 위치 구역을 정의하기 위해 사용되고, 위치 정보는 구체적으로 타겟 객체를 수반하는 검출 프레임 상의 좌표 정보일 수 있다.

단계(202)에서, 재검출 객체를 수반하는 객체 이미지는 제1 이미지로부터 획득되고, 객체 검출은 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 하나 이상의 필터에 의해 객체 이미지 상에 수행된다.

이러한 단계에서, 객체 이미지(25)는 제1 이미지(21)로부터 획득될 수 있으며, 객체 이미지는 단일 분류 객체들을 수반하는 이미지를 지칭한다. 예를 들어, 도 3에 도시된 바와 같이, 하위분류(c1)의 타겟 객체를 수반하는 객체 이미지, 하위분류(c2)의 타겟 객체를 수반하는 객체 이미지는 제1 이미지로부터 크로핑될 수 있고, 이러한 이미지들은 단일 분류 객체들을 모두 포함한다. 제1 이미지(21)에서 식별되는 임의의 타겟 객체에 대해, 타겟 객체에 대응하는 객체 이미지가 각각 획득될 수 있다.

실제 구현에서, 타겟 검출 네트워크에 의해 검출되는 타겟 객체들 중에서, 타겟 객체들의 모든 제1 분류 신뢰도들이 정정되지 않지만, 타겟 객체들의 일부의 제1 분류 신뢰도들은 정정을 위해 선택될 수 있다. 즉, 타겟 객체들의 적어도 일부에 대응하는 객체 이미지들은 처리를 위해 획득되고 필터에 입력될 수 있다. 예를 들어, 제1 분류 신뢰도가 사전 설정된 임계 범위 내에 있는 타겟 객체는 재검출 객체로서 선택될 수 있고, 재검출 객체를 수반하는 객체 이미지는 획득될 수 있다.

예를 들어: 사전 설정된 임계 범위가 설정될 수 있다. 이러한 범위는 "구별하기 위한 어려운 객체"(즉, 재검출 객체)를 필터링 아웃하기 위해 사용될 수 있다. 예를 들어, 사전 설정된 임계 범위는

일 수 있으며, 여기서

는 제1 임계치를 지칭하고,

는 제2 임계치를 지칭하고, 제1 임계치는 사전 설정된 임계 범위의 하한이고, 제2 임계치는 사전 설정된 임계 범위의 상한이다.

는 타겟 검출 네트워크에 의해 획득되는 제1 분류 신뢰도이다. 예를 들어, 제2 임계치는 0.85일 수 있고, 제1 임계치는 0.3일 수 있다. 예를 들어, 타겟 객체에 대응하는 제1 분류 신뢰도가 0.3과 0.85 사이의 범위에 들어가면, 객체는 재검출 객체로서 결정될 수 있고, 대응하는 객체 이미지는 획득될 수 있다.

게다가, 사전 설정된 임계 범위의 특정 수치 범위가 실제 비즈니스 요건들에 따라 결정될 수 있다는 점이 주목되어야 한다. 이러한 범위는 "구별하기 위한 어려운 객체"를 정의하기 위해 사용되고, 필터는 객체 분류를 식별하는 것을 계속 돕기 위해 요구된다.

예를 들어, 객체 이미지를 획득하는 방법은 단계(200)에서 획득되는 타겟 객체 상의 위치 정보에 기초할 수 있고, 위치 정보에 대응하는 위치 구역은 객체 이미지를 획득하기 위해 제1 이미지로부터 크로핑된다. 예를 들어, RPN 네트워크에 의해 획득되는 제안 바운딩 박스에 기초하여, 객체 이미지는 제1 이미지(21) 내의 제안 바운딩 박스의 영역을 크로핑함으로써 획득될 수 있다. 다른 예에 대해, ROLO와 같은 단일 스테이지 타겟 검출 네트워크를 위해, 객체 이미지는 또한 타겟 검출 네트워크에 의해 출력되는 위치 정보에 따라 직접 획득될 수 있다.

필터는 제2 이미지로 사전 트레이닝될 수 있고, 제2 이미지는 제2 분류의 타겟 객체들을 수반하는 이미지일 수 있고, 제2 이미지는 또한 단일 분류 객체들을 포함할 수 있다. 더욱이, 각각의 필터는 하위분류 객체를 식별하기 위해 사용될 수 있다. 예를 들어: 특정 필터가 하위분류(c2)의 타겟 객체를 식별하기 위해 사용되는 것을 가정하며, 하위분류(c2)의 타겟 객체는 포커 카드일 수 있다. 필터의 트레이닝 프로세스에서, 포커 카드를 수반하는 제2 이미지는 긍정적 샘플로서 사용될 수 있고, 외관상 포커 카드와 유사한 아이템을 수반하는 이미지(예컨대 은행 카드, 멤버십 카드 등)는 2진 분류 모델을 트레이닝하기 위해 부정적 샘플로서 사용되며, 이는 포커 카드를 식별하기 위해 사용되는 필터이다. 다른 예에 대해, 필터가 특정 하위분류들을 구별하지 못할 때, 식별될 제1 분류의 객체를 수반하는 이미지는 제2 이미지 트레이닝 필터로서 사용될 수 있다. 예를 들어, 포커 카드 또는 워터 컵과 같은 제1 분류 객체를 수반하는 제2 이미지는 긍정적 샘플로서 사용될 수 있고, 제1 분류 객체와 다른 객체를 수반하는 이미지는 부정적 샘플로서 사용될 수 있다. 이러한 실시예에서, 일 예로서 특정 하위분류 객체를 식별하는 단일 필터의 트레이닝을 취한다.

예를 들어, 필터의 출력은 재검출 객체가 포커 카드에 속한다는 신뢰도를 포함할 수 있으며, 예를 들어, 객체 이미지 내의 재검출 객체가 포커 카드로서 검출되는 신뢰도는 0.8이다. 그렇지 않으면, 그것은 또한 검출된 객체 이미지 내의 재검출 객체가 비포커 카드에 속한다는 신뢰도일 수 있다. 비포커 카드에 속하는 신뢰도가 0.4이면, 이때 "1-0.4=0.6"은 객체가 포커 카드에 속한다는 신뢰도이다. 이러한 실시예에서, 필터의 출력 결과에 기초하여 결정되는 객체 이미지 내의 재검출 객체가 제2 분류에 속한다는 신뢰도는 제2 분류 신뢰도로 지칭된다.

예를 들어, 타겟 검출 네트워크는 하위분류(c3)의 타겟 객체가 제1 이미지(21)에 수반되는 것을 검출하는 것을 가정하고, 타겟 객체가 하위분류(c3)에 속한다는 제1 분류 신뢰도가 0.7인 것을 가정하면, 이때 타겟 객체는 재검출 객체로서 결정된다. 재검출 객체의 객체 이미지는 하위분류(c3)에 대응하는 필터에 입력되며, 이는 하위분류(c3)의 타겟 객체를 식별하기 위한 필터이다. 필터로 객체 검출을 수행함으로써, 재검출된 객체가 하위분류(c3)에 속한다는 제2 분류 신뢰도가 0.85인 것이 획득될 수 있다.

제1 이미지가 다수의 하위분류의 타겟 객체들을 수반하는 경우에, 또한 다수의 필터가 있을 수 있고, 각각의 필터는 하나의 하위분류의 타겟 객체를 식별하기 위해 사용된다. 예를 들어, 3개의 타입의 필터들, 즉 "하위분류(c1)의 객체들을 식별하기 위해 사용되는 제1 필터", "하위분류(c2)의 객체들을 식별하기 위해 사용되는 제2 필터", 및 "하위분류(c3)의 객체들을 식별하기 위해 사용되는 제3 필터"가 포함될 수 있으며, 이때 제1 이미지로부터 획득되는 하위분류(c1)의 재검출 객체를 수반하는 객체 이미지는 제1 필터에 의해 결정되는 제2 분류 신뢰도를 획득하기 위해 제1 필터에 입력될 수 있고; 동일한 방식으로, 하위분류(c2)의 재검출 객체를 수반하는 객체 이미지는 제2 필터에 입력될 수 있고, 하위분류(c3)의 재검출 객체를 수반하는 객체 이미지는 제3 필터에 입력된다. 객체 검출은 대응하는 제2 분류 신뢰도를 획득하기 위해 이러한 필터들에 의해 수행된다.

제1 이미지가 하나의 하위분류만의 객체들을 수반하는 경우에, 하나의 필터가 충분하다.

단계(204)에서, 제2 분류 신뢰도에 기초하여, 재검출 객체의 제1 분류 신뢰도는 업데이트된 신뢰도를 획득하기 위해 정정된다.

이러한 단계에서, 제1 분류 신뢰도는 업데이트된 신뢰도를 획득하기 위해 필터에 의해 획득되는 제2 분류 신뢰도에 기초하여 정정될 수 있다.

상기 언급된 바와 같이, 필터는 단일 분류 객체들을 수반하는 제2 이미지로 트레이닝함으로써 획득되며, 따라서 타겟 객체의 분류를 식별하는 성능은 더 양호하게 될 것이다. 따라서, 제2 분류 신뢰도에 기초하여 제1 분류 신뢰도를 정정함으로써, 정정된 업데이트 신뢰도는 더 정확할 수 있다.

이러한 실시예는 특정 정정 방식을 제한하지 않는다. 예를 들어, 제1 분류 신뢰도 및 제2 분류 신뢰도는 업데이트된 신뢰도를 획득하기 위해 가중 및 통합될 수 있다. 예를 들어, 가중될 때, 제2 분류 신뢰도의 가중치는 더 높게 설정될 수 있다.

제1 이미지가 타겟 객체들의 다수의 하위분류를 수반하는 경우에, 각각의 하위분류에 대응하는 필터에 의해 획득되는 제2 분류 신뢰도는 타겟 검출 네트워크에 의해 출력되는 타겟 객체가 하위분류에 속한다는 제1 분류 신뢰도를 정정하기 위해 사용될 수 있다. 예를 들어, 상기 예에서, "하위분류(c2)의 객체들을 식별하기 위해 사용되는 제2 필터"에 의해 획득되는 제2 분류 신뢰도는 타겟 검출 네트워크에 의해 출력되는 재검출 객체가 하위분류(c2)에 속한다는 제1 분류 신뢰도를 정정하기 위해 사용될 수 있다.

일 예는 제2 분류 신뢰도에 기초하여 제1 분류 신뢰도를 정정하는 방법이다: 재검출 객체에 대응하는 사전 설정된 임계 범위 내에서, 하한이 제1 임계치이고 상한이 제2 임계치인 것을 가정한다. 사전 설정된 임계 범위 내의 신뢰도 증분은 제2 임계치와 제1 임계치 사이의 차이 및 제2 분류 신뢰도에 따라 결정될 수 있으며; 신뢰도 증분은 업데이트된 신뢰도를 획득하기 위해 제1 임계치를 기초로 추가된다.

이하의 방정식들을 참조한다:

.......（1)

여기서,

은 필터에 의해 획득되는 제2 분류 신뢰도일 수 있고,

는 업데이트된 신뢰도일 수 있고,

은 사전 설정된 임계 범위 내의 신뢰도 증분일 수 있다.

이러한 실시예에서, 제2 분류가 제1 분류와 동일한 것을 가정하면, 예를 들어, 그들은 둘 다 "포커 카드"의 분류이고, 필터는 객체가 포커 카드에 속한다는 신뢰도를 식별하기 위해 사용된다. 그 다음, 상기 방정식은 필터에 의해 결정되는, 타겟 객체가 제2 분류에 속한다는 제2 분류 신뢰도가 더 높으면, 업데이트된 신뢰도가 제2 임계치에 더 가까운 것, 즉, 재검출 객체가 포커 카드에 속한다는 확률이 더 높은 것을 의미하며; 필터에 의해 결정되는, 타겟 객체가 제2 분류에 속한다는 제2 분류 신뢰도가 더 낮으면, 업데이트된 신뢰도가 제1 임계치에 더 가까운 것, 즉, 재검출 객체가 포커 카드에 속한다는 확률이 더 낮은 것을 의미한다. 그러나, 업데이트된 신뢰도는 사전 설정된 임계 범위 내에 여전히 있을 것이다.

예를 들어,

는 0.3일 수 있으며,

는 0.85일 수 있다. 타겟 검출 네트워크에 의해 획득되는 하위분류(c1)의 타겟 객체에 대응하는 제1 분류 신뢰도가 사전 설정된 임계 범위 내에 있는 0.6인 것을 가정하면, 객체는 재검출 객체로서 결정된다. 재검출 객체에 대응하는 객체 이미지는 하위분류(c1)에 대응하는 필터(즉, 분류의 타겟 객체를 식별하기 위해 사용되는 필터)에 입력된다. 필터의 출력 결과에 따르면, 재검출 객체가 하위분류(c1)에 속한다는 제2 분류 신뢰도가 0.78인 것으로 결정된다. 방정식 (1)에 따르면, 계산은 이하와 같다:

=0.3+(0.85-0.3)*0.78=0.729

0.729는 타겟 검출 네트워크에 의해 출력되는 제1 분류 신뢰도(0.6)를 대체하기 위해 직접 사용될 수 있다.

상기와 같이, 상기 정정 프로세스를 통해, 초기에, 타겟 객체가 타겟 검출 네트워크에 의해 출력되는 하위분류(c1)에 속한다는 제1 분류 신뢰도가 0.6이고, 타겟 객체가 필터에 의해 획득되는 하위분류(c1)에 속한다는 제2 분류 신뢰도가 0.78인 점이 인식될 수 있으며, 이는 타겟 객체가 하위분류(c1)에 속할 가능성이 더 많은 것을 필터가 결정하는 것을 나타낸다. 제2 이미지로 트레이닝되는 필터에 의한 타겟 검출의 성능은 타겟 검출 네트워크의 것보다 더 양호하므로, 필터의 식별 결과는 더 신뢰될 수 있다. 따라서, 방정식 (1)에 의해 계산된 후에, 0.6의 초기 제1 분류 신뢰도는 0.729로 업데이트된다. 0.6과 비교하면, 0.729의 업데이트된 신뢰도는 0.85의 제2 임계치에 더 가깝지만, 그것은 사전 설정된 임계 범위(0.3, 0.85) 내에 여전히 있다.

정정 프로세스의 경우, 필터는 타겟 검출 네트워크가 객체의 분류를 식별하기 위한 타겟 검출 네트워크의 레졸루션을 향상시키는 것을 도울 수 있으며, 그것에 의해 재검출 객체에 대한 레졸루션을 개선한다. 예를 들어, 타겟 검출 네트워크에 의해 식별되는 타겟 객체가 하위분류(c1)에 속한다는 제1 분류 신뢰도는 0.6이며, 즉, 타겟 객체가 하위분류(c1)에 속하는 것을 타겟 검출 네트워크가 결정하는 확률은 높지 않다. 그러나, 필터는 타겟 객체가 하위분류(c1)에 속한다는 확률이 더 높은 것, 즉, 제2 분류 신뢰도가 0.78인 것을 결정하며, 이는 타겟 검출 네트워크가 원래의 0.6 내지 0.729를 정정하는 것을 돕고, 타겟 검출 네트워크가 더 정확한 검출 결과에 접근하는 것을 도우며, 그것에 의해 레졸루션을 개선한다. 레졸루션의 증가는 타겟 검출 네트워크를 더 양호하게 트레이닝하는 것을 도와서, 네트워크 파라미터들을 조정하는 것을 더 정확하게 한다.

단계(206)에서, 재검출 객체의 분류 검출 결과는 업데이트된 신뢰도에 따라 결정되고; 타겟 검출 네트워크의 네트워크 파라미터들은 분류 검출 결과와 대응하는 분류 라벨 사이의 손실에 기초하여 조정된다.

트레이닝 샘플 이미지로서의 제1 이미지에 대해, 제1 이미지 내의 각각의 타겟 객체는 분류 라벨, 즉, 타겟 객체의 진짜 분류에 대응할 수 있다. 재검출 객체의 분류 검출 결과는 정정 후에 획득되는 업데이트된 신뢰도에 기초하여 결정될 수 있고, 타겟 검출 네트워크의 네트워크 파라미터들은 분류 검출 결과와 대응하는 분류 라벨 사이의 손실에 기초하여 조정될 수 있다.

예를 들어, 타겟 검출 네트워크에 의해 원래 출력되는 타겟 객체의 분류 검출 결과는 (0.2, 0.6, 0.2)이며, 분류 검출 결과 내의 3개의 요소는 타겟 객체가 하위분류들(c1, c2, 및 c3)에 속한다는 제1 분류 신뢰도들이고, 0.6은 타겟 객체가 하위분류(c2)에 속한다는 제1 분류 신뢰도이다. 타겟 객체가 필터에 의해 출력되는 하위분류(c2)에 속한다는 제2 분류 신뢰도를 통해, 0.6은 0.729로 정정되고, 타겟 객체의 분류 검출 결과는 (0.2, 0.729, 0.2)로 정정되거나, 분류 검출 결과 내의 3개의 요소는 정규화될 수 있다. 타겟 객체의 분류 라벨이 (0, 1, 0)인 것을 가정하면, 분류 검출 결과와 대응하는 분류 라벨 사이의 손실은 손실 함수를 통해 계산될 수 있고, 타겟 검출 네트워크의 네트워크 파라미터들은 그에 따라 조정될 수 있다. 실제 트레이닝 프로세스에서, 파라미터들은 복수의 샘플을 갖는 샘플 세트의 손실에 기초하여 조정될 수 있으며, 이는 상세히 설명되지 않을 것이다.

이러한 실시예의 타겟 검출 네트워크의 트레이닝 방법에서, 타겟 검출 네트워크의 제1 분류 신뢰도는 필터로부터 획득되는 제2 분류 신뢰도를 사용함으로써 정정되며, 이는 획득된 업데이트된 신뢰도를 더 정확하게 할 수 있다. 게다가, 타겟 검출 네트워크의 네트워크 파라미터들은 더 양호한 트레이닝 성능을 획득하기 위해 업데이트된 신뢰도에 기초하여 조정되며, 그것에 의해 타겟 검출 네트워크의 식별 정확도를 개선한다. 더욱이, 이러한 트레이닝 방법에서의 트레이닝 샘플들의 취득은 덜 어렵고 비용이 적게 든다.

예를 들어, 타겟 검출 네트워크의 입력 이미지들이 포커 카드들뿐만 아니라, 은행 카드들 및 멤버십 카드들을 포함하는 것을 가정하고, 타겟 검출 네트워크의 목적은 포커 카드를 식별하는 것이다. 관련 기술에서, 다른 분류들의 포커 카드들 및 아이템들을 수반하는 이미지들은 타겟 검출 네트워크를 트레이닝하기 위해 샘플들로서 직접 사용된다. 그러나, 이러한 방법의 단점은 한편, 다른 분류들의 포커 카드들 및 아이템들을 수반하는 이미지 샘플들을 입력하는 것이 취득을 더 어렵게 하며, 즉, 실제 장면에서 요건들을 충족시키는 이미지들을 획득하는 것이 어렵고; 다른 한편, 다른 분류들의 포커 카드들 및 아이템들을 수반하는 이미지 샘플들에 대해, 트레이닝된 네트워크의 식별 성능이 개선될 필요가 있고, 잘못된 검출들이 발생할 수 있다는 것이다. 예를 들어, 타겟 검출 네트워크는 또한 입력 이미지 내의 멤버십 카드를 포커 카드로서 식별할 수 있지만, 멤버십 카드는 실제로 이질적인 사물이며, 이는 잘못된 검출을 야기한다. 따라서, 타겟 검출 네트워크의 식별 정확도는 개선될 필요가 있다.

본 개시의 실시예들에 의해 제공되는 트레이닝 방법에서, 한편, 필터는 단일 분류 객체들을 수반하는 샘플 객체 이미지들을 사용하여 트레이닝되며, 이는 샘플 객체 이미지들 상에서 취득이 더 용이하고, 샘플 취득의 어려움이 감소되며; 다른 한편, 필터가 단일 분류 객체들을 수반하는 샘플 객체 이미지들로 트레이닝되므로, 이는 필터를 타겟 분류 객체의 식별 시에 더 정확하게 한다. 필터의 출력 결과는 타겟 검출 네트워크의 출력 결과에 기초하여 추가로 정정되며, 이는 또한 타겟 검출 네트워크의 출력 결과의 정확도를 개선하는 것에 의해, 타겟 검출 네트워크의 식별의 성능을 이루고 잘못된 검출들의 발생을 감소시킨다. 예를 들어, 본 개시의 실시예들의 트레이닝 방법을 통한 트레이닝 후에, 타겟 검출 네트워크는 포커 카드로서 멤버십 카드를 식별하는 발생을 감소시킬 수 있다.

게다가, 필터들의 수 및 타겟 검출 네트워크에 의해 식별될 객체 분류의 수는 일치하지 않을 수 있다. 예를 들어, 타겟 검출 네트워크에 의해 검출될 타겟 객체들의 3개의 분류가 있다: c1, c2, 및 c3. 모든 3개의 필터는 이러한 분류들을 각각 식별하기 위해 사용될 수 있거나, 3개의 필터 중 단 하나 또는 2개는 타겟 검출 네트워크의 트레이닝 성능을 어느 정도까지 개선하기 위해 사용될 수 있다.

상기한 것은 본 개시의 실시예들에 따른 객체 분류를 결정하는 방법을 타겟 검출 네트워크의 트레이닝 프로세스에 적용하는 일 예이다. 프로세스는 또한 타겟 검출 네트워크의 추론 스테이지, 즉, 네트워크 애플리케이션 스테이지에 적용될 수 있다. 예를 들어, 네트워크 애플리케이션 스테이지에서, 업데이트된 신뢰도는 방정식 (1)에 따라 계산될 수 있거나; 복수의 필터는 상이한 하위분류들의 타겟 객체들의 제1 분류 신뢰도를 정정하기 위해 사용될 수 있다. 상세한 프로세스는 트레이닝 스테이지의 설명과 조합될 수 있다.

게다가, 그것이 타겟 검출 네트워크의 네트워크 애플리케이션 스테이지이든 네트워크 트레이닝 스테이지이든, 방법은 게임 장면에 적용될 수 있다. 제1 이미지는 게임 장소의 게임 이미지일 수 있다. 예를 들어, 게임 장소에는 다수의 게임 테이블이 제공될 수 있고, 카메라는 게임 테이블 상에 발생하는 게임 프로세스를 수집하기 위해 각각의 게임 테이블 위에 설정될 수 있고, 카메라에 의해 수집되는 게임 테이블을 수반하는 이미지는 제1 이미지로 지칭될 수 있다. 제1 이미지 내의 타겟 객체는 게임 장소 내의 게임 아이템일 수 있다. 예를 들어, 게임하는 사람들이 게임 테이블 상의 게임에 참여하고 있을 때, 그들은 특정 게임 아이템들을 사용할 수 있다. 그 다음, 카메라에 의해 수집되는 제1 이미지는 게임 테이블 상의 게임 아이템들을 포함할 수 있다.

도 4는 본 개시의 적어도 하나의 실시예에 의해 제공되는 타겟 검출 방법의 흐름도를 도시한다. 이러한 실시예에서의 타겟 검출 네트워크는 통합 필터들을 통해 트레이닝될 수 있다. 도 4에 도시된 바와 같이, 방법은 이하의 프로세스를 포함할 수 있다:

단계(400)에서, 처리될 이미지가 획득된다.

이러한 실시예는 처리될 이미지의 분류를 제한하지 않고, 이미지는 식별될 타겟 객체의 임의의 이미지일 수 있다. 예를 들어, 그것은 스포츠 장면을 수반하는 이미지일 수 있고, 이미지 내의 각각의 선수는 식별되어야 한다. 다른 예에 대해, 그것은 또한 테이블을 수반하는 이미지일 수 있고, 테이블 상의 책들은 식별되어야 한다. 다른 예에 대해, 그것은 또한 게임 이미지일 수 있으며, 포커 카드와 같은, 게임 장소 내의 게임 아이템은 식별되어야 한다.

처리될 이미지에서 식별될 타겟 객체의 분류는 복수일 수 있고, 각각의 분류의 객체들의 수는 또한 복수일 수 있으며, 이는 이러한 실시예에서 제한되지 않는다.

단계(402)에서, 객체 검출은 처리될 이미지에 수반되는 타겟 객체의 제1 분류를 획득하기 위해 타겟 검출 네트워크에 의해, 처리될 이미지 상에 수행된다.

이러한 단계에서 사용되는 타겟 검출 네트워크는 본 개시의 임의의 실시예에 설명되는 트레이닝 방법에 의해 트레이닝되는 네트워크일 수 있다. 예를 들어, 타겟 검출 네트워크의 트레이닝 프로세스에서, 필터가 통합될 수 있다. 타겟 검출 네트워크는 트레이닝을 위해 사용되는 제1 이미지에서 샘플 객체의 제1 분류 신뢰도를 식별할 수 있고, 샘플 객체는 타겟 검출 네트워크의 트레이닝 동안 입력되는 제1 이미지에 수반되는 타겟 객체이다. 샘플 객체의 제2 분류 신뢰도는 필터에 의해 식별되고, 제1 분류 신뢰도는 업데이트된 신뢰도를 획득하기 위해 제2 분류 신뢰도에 기초하여 정정되고, 타겟 검출 네트워크는 업데이트된 신뢰도에 따라 트레이닝된다. 상세한 트레이닝 프로세스는 도 2에 도시된 프로세스에서 보여질 수 있으며, 이는 다시 상세히 설명되지 않을 것이다.

이러한 실시예의 타겟 검출 방법에서, 타겟 검출 네트워크의 제1 분류 신뢰도는 필터에 의해 획득되는 제2 분류 신뢰도를 사용함으로써 정정되고, 타겟 검출 네트워크 네트워크 파라미터들은 정정 후에 획득되는 업데이트된 신뢰도에 기초하여 조정되며, 그것에 의해 트레이닝 성능을 더 양호하게 하고, 타겟 검출 네트워크의 식별 정확도를 개선한다. 그 결과, 객체 식별의 정확도는 트레이닝된 타겟 검출 네트워크를 사용하여 더 높다.

도 5는 본 개시의 적어도 하나의 실시예에 의해 제공되는 객체 분류를 결정하기 위한 장치의 개략 구조도를 도시한다. 도 5에 도시된 바와 같이, 장치는 검출 모듈(51), 재검출 모듈(52), 정정 모듈(53) 및 분류 결정 모듈(54)을 포함할 수 있다.

검출 모듈(51)은 타겟 검출 네트워크에 의해, 제1 이미지 상에 객체 검출을 수행하며, 제1 이미지에 수반되는 타겟 객체의 제1 분류 신뢰도를 획득하도록 구성되며, 제1 분류 신뢰도는 타겟 객체가 제1 분류에 속한다는 신뢰도를 표시한다.

재검출 모듈(52)은 제1 이미지로부터 재검출 객체를 수반하는 객체 이미지를 획득하고, 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 하나 이상의 필터로 객체 이미지 상에 객체 검출을 수행하도록 구성되며; 재검출 객체는 제1 분류 신뢰도가 사전 설정된 임계 범위 내에 있는 타겟 객체이고, 제2 분류 신뢰도는 재검출 객체가 제2 분류에 속한다는 신뢰도를 표시한다.

정정 모듈(53)은 업데이트된 신뢰도를 획득하기 위해 재검출 객체의 제1 분류 신뢰도를 정정하도록 구성된다.

분류 결정 모듈(54)은 업데이트된 신뢰도에 기초하여 재검출 객체의 분류 검출 결과를 결정하도록 구성된다.

일 예에서, 검출 모듈(51)은 타겟 검출 네트워크에 의해, 제1 이미지 상에 객체 검출을 수행함으로써, 타겟 객체에 대응하는 위치 정보가 제1 이미지 내에 타겟 객체의 위치 구역을 정의하기 위해 추가로 획득되고; 재검출 모듈(52)이 제1 이미지로부터 재검출 객체를 수반하는 객체 이미지를 획득하도록 구성되는 경우에, 재검출 객체에 대응하는 위치 정보에 기초하여, 재검출 객체를 수반하는 객체 이미지를 획득하기 위해 제1 이미지로부터 위치 정보에 대응하는 위치 구역을 크로핑하도록 추가로 구성된다.

일 예에서, 정정 모듈(53)이 업데이트된 신뢰도를 획득하기 위해 재검출 객체의 제1 분류 신뢰도를 정정하도록 구성되는 경우에, 사전 설정된 임계 범위 내에서 업데이트된 신뢰도를 결정하기 위해 제2 분류 신뢰도에 기초하여 재검출 객체의 제1 분류 신뢰도를 정정하며; 제2 분류 신뢰도가 더 높을수록, 업데이트된 신뢰도가 제2 임계치에 더 가까워지고; 제2 분류 신뢰도가 더 낮을수록, 업데이트된 신뢰도가 제1 임계치에 더 가까워지고; 사전 설정된 임계 범위의 하한은 제1 임계치이고 사전 설정된 임계 범위의 상한은 제2 임계치이다.

일 예에서, 정정 모듈(53)이 업데이트된 신뢰도를 획득하기 위해 재검출 객체의 제1 분류 신뢰도를 정정하도록 구성되는 경우에: 업데이트된 신뢰도를 획득하기 위해 재검출 객체의 제1 분류 신뢰도 및 제2 분류 신뢰도 상에 가중된 통합을 수행한다.

일 예에서, 검출 모듈(51)이 제1 이미지에 수반되는 타겟 객체의 제1 분류 신뢰도를 획득하기 위해 타겟 검출 네트워크에 의해, 제1 이미지 상에 객체 검출을 수행하도록 구성되는 경우에, 개별적 제1 하위분류 신뢰도들을 획득하기 위해 타겟 검출 네트워크에 의해, 제1 이미지 상에 객체 검출을 수행하며, 개별적 제1 하위분류 신뢰도 각각은 제1 이미지에 수반되는 적어도 하나의 타겟 객체가 하위분류들 각각에 속한다는 신뢰도를 표시한다.

재검출 모듈(52)이 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 하나 이상의 필터로 객체 이미지 상에 객체 검출을 수행하도록 구성되는 경우에, 임의의 재검출 객체에 대해, 재검출 객체에 대응하는 타겟 하위분류에 따라, 재검출 객체에 대응하는 객체 이미지를 타겟 하위분류에 대응하는 필터에 입력하며; 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 타겟 하위분류에 대응하는 필터로 객체 이미지 상에 객체 검출을 수행한다.

도 6은 본 개시의 적어도 하나의 실시예에 따른 타겟 검출 장치의 개략 구조도를 도시한다. 도 6에 도시된 바와 같이, 장치는 이미지 획득 모듈(61) 및 식별 및 처리 모듈(62)을 포함할 수 있다.

이미지 획득 모듈(61)은 처리될 이미지를 획득하도록 구성되고;

식별 및 처리 모듈(62)은 처리될 이미지에 수반되는 타겟 객체가 속하는 제1 분류를 결정하기 위해 타겟 검출 네트워크에 의해, 처리될 이미지 상에 객체 검출을 수행하도록 구성되며, 타겟 검출 네트워크는 업데이트된 신뢰도로 트레이닝되고, 업데이트된 신뢰도는 제1 이미지에 수반되는 샘플 객체가 제1 분류에 속하는 것을 식별하고, 업데이트된 신뢰도는 제2 분류 신뢰도에 기초하여 제1 분류 신뢰도를 정정함으로써 획득되고, 제1 분류 신뢰도는 타겟 검출 네트워크로 샘플 객체를 식별함으로써 획득되고, 제2 분류 신뢰도는 필터로 샘플 객체를 식별함으로써 획득된다.

일부 실시예들에서, 상기 언급된 장치는 상기 설명된 임의의 대응하는 방법을 실행하기 위해 사용될 수 있고, 간결성을 위해, 그것은 여기서 반복되지 않을 것이다.

본 개시의 일 실시예는 또한 전자 디바이스를 제공한다. 디바이스는 메모리, 프로세서를 포함하며, 메모리는 컴퓨터 판독가능 명령어들을 저장하도록 구성되고 프로세서는 본 개시의 임의의 실시예들에 설명되는 방법을 구현하기 위해 명령어들을 호출하도록 구성된다.

본 개시의 실시예들은 또한 컴퓨터 프로그램이 저장되는 컴퓨터 판독가능 저장 매체를 제공하고, 프로그램이 프로세서에 의해 실행될 때, 본 명세서의 임의의 실시예의 방법이 구현된다.

본 기술분야의 통상의 기술자들은 본 개시의 하나 이상의 실시예가 방법, 시스템, 또는 컴퓨터 프로그램 제품으로서 제공될 수 있는 것을 이해해야 한다. 따라서, 본 개시의 하나 이상의 실시예는 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예, 또는 소프트웨어 및 하드웨어 양태들을 통합하는 일 실시예의 형태를 취할 수 있다. 더욱이, 본 개시의 하나 이상의 실시예는 컴퓨터 사용가능 프로그램 코드가 구체화된 하나 이상의 컴퓨터 사용가능 저장 매체(디스크 메모리, CD-ROM, 광 메모리 등을 포함하지만 이들에 제한되지 않음) 상에 구체화되는 컴퓨터 프로그램 제품의 형태를 취할 수 있다.

본 개시의 일 실시예는 컴퓨터 판독가능 저장 매체를 추가로 제공하며, 그 위에 컴퓨터 프로그램이 저장될 수 있고, 프로그램은 본 개시의 임의의 실시예에 설명되는 객체 분류를 결정하기 위한 신경 네트워크에 대한 트레이닝 방법의 단계들을 구현하고/하거나, 본 개시의 임의의 실시예에 설명되는 객체 분류를 결정하는 방법의 단계들을 구현하기 위해 프로세서에 의해 실행된다.

본 개시의 일 실시예는 프로세서에 의해 실행될 때, 본 명세서의 임의의 실시예의 방법이 구현되는 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 추가로 제공한다.

여기서, 본 개시의 실시예들에 설명되는 '및/또는'은 2개 중 적어도 하나, 예를 들어, 'A 및/또는 B'가 3개의 체계: A, B, 및 'A 및 B'를 포함하는 것을 의미한다.

본 개시의 다양한 실시예들은 점진적 방식으로 설명되고, 서로 유사한 부분들은 서로 참조될 수 있고, 각각의 실시예는 다른 실시예들과 상이하게 강조된다. 특히, 장치 실시예에 대해, 객체 분류를 결정하기 위한 장치가 기본적으로 방법 실시예와 유사하므로, 설명은 비교적 간단하고, 관련 부분들에 대한 방법 실시예의 일부 설명이 참조될 수 있다.

본 개시의 특정 실시예들은 위에 설명되었다. 다른 실시예들은 첨부된 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에 설명되는 작용들 또는 단계들은 실시예들에서의 것과 상이한 순서로 수행될 수 있고 원하는 결과들은 여전히 달성될 수 있다. 더욱이, 도면들에 도시된 프로세스들은 원하는 결과들을 달성하기 위해 도시된 특정 순서 또는 시퀀스를 반드시 필요로 하는 것은 아니다. 일부 실시예들에서, 다중작업 및 병렬 처리가 또한 가능하거나 유리할 수 있다.

이러한 개시에 설명되는 발명 대상 및 기능 동작들의 실시예들은 디지털 전자 회로, 유형으로 구체화된 컴퓨터 소프트웨어 또는 펌웨어, 이러한 개시에 개시된 구조들을 포함하는 컴퓨터 하드웨어 및 그것의 구조적 균등물들, 또는 그것의 하나 이상의 조합들로 구현될 수 있다. 이러한 개시에 설명되는 발명 대상의 실시예들은 하나 이상의 컴퓨터 프로그램으로서, 즉, 데이터 처리 장치에 의해 실행되거나 객체 분류를 결정하기 위한 장치의 동작을 제어하기 위해 유형의 비일시적 프로그램 캐리어 상에 인코딩되는 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로서 구현될 수 있다. 대안적으로 또는 부가적으로, 프로그램 명령어들은 기계-발생 전기, 광 또는 전자기 신호와 같은, 인공적으로 발생된 전파 신호 상에 인코딩될 수 있으며, 이는 데이터 처리 디바이스에 의한 실행을 위해 정보를 인코딩하고 적절한 수신기 디바이스에 송신하기 위해 발생된다. 컴퓨터 저장 매체는 기계 판독가능 저장 디바이스, 기계 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 디바이스, 또는 그것의 하나 이상의 조합일 수 있다.

이러한 개시에 설명되는 프로세스들 및 로직 흐름들은 입력 데이터에 따라 동작하고 출력을 발생시킴으로써 대응하는 기능들을 수행하도록 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램가능 컴퓨터에 의해 수행될 수 있다. 처리 및 로직 흐름들은 또한 필드 프로그램가능 게이트 어레이(field programmable gate array)(FPGA) 또는 주문현 집적 회로(application specific integrated circuit)(ASIC)와 같은, 전용 로직 회로에 의해 수행될 수 있고, 장치는 또한 전용 로직 회로로서 구현될 수 있다.

컴퓨터 프로그램들을 실행하는데 적절한 컴퓨터들은 예를 들어, 일반 목적 및/또는 특수 목적 마이크로프로세서들, 또는 임의의 다른 타입의 중앙 처리 유닛을 포함한다. 전형적으로, 중앙 처리 유닛은 판독 전용 메모리 및/또는 랜덤 액세스 메모리로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 기본 구성요소들은 명령어들을 구현 또는 실행하기 위한 중앙 처리 유닛 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스를 포함한다. 전형적으로, 컴퓨터는 또한 자기 디스크들, 자기-광학 디스크들 또는 광학 디스크들 등과 같은, 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스를 포함할 것이거나, 컴퓨터는 그러한 대용량 저장 디바이스들와 동작적으로 결합되어 그로부터 데이터를 수신하거나 데이터를 그것에 전송하거나, 둘 다 할 것이다. 그러나, 컴퓨터는 그러한 디바이스를 반드시 갖는 것은 아니다. 게다가, 컴퓨터는 몇개 예를 들면, 다른 디바이스, 예컨대 이동 전화, 개인 정보 단말기(많은 PD), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, 위성 위치 확인 시스템(global positioning system)(GPS) 수신기, 또는 휴대용 저장 디바이스 예컨대 범용 직렬 버스(universal serial bus)(USB) 플래시 드라이브에 구체화될 수 있다.

컴퓨터 프로그램 명령어들 및 데이터를 저장하는데 적절한 컴퓨터 판독가능 매체들은 예를 들어, 반도체 메모리 디바이스들(예를 들어, EPROM, EEPROM, 및 플래시 메모리 디바이스들), 자기 디스크들(예를 들어, 내부 하드 디스크들 또는 제거식 디스크들), 자기-광학 디스크들, 및 CD ROM 및 DVD-ROM 디스크들을 포함하여, 비휘발성 메모리, 매체들, 및 메모리 디바이스들의 모든 형태들을 포함한다. 프로세서 및 메모리는 전용 로직 회로에 의해 보충되거나 전용 로직 회로에 통합될 수 있다.

이러한 개시가 다수의 특정 구현 상세를 포함하지만, 이들은 임의의 개시의 범위를 제한하는 것으로 해석되거나 청구되어야 하는 것이 아니라, 오히려 특정 개시된 실시예들의 특징들을 설명하기 위해 주로 사용된다. 본 개시 내에서 다양한 실시예들에 설명되는 특정 특징들은 또한 단일 실시예에서 조합으로 구현될 수 있다. 다른 한편, 단일 실시예에 설명되는 다양한 특징들은 또한 다수의 실시예에서 개별적으로 또는 임의의 적절한 하위조합으로 구현될 수 있다. 더욱이, 특징들이 상기 설명되고 심지어 초기에 그렇게 청구된 바와 같이 특정 조합들로 기능할 수 있지만, 청구된 조합으로부터의 하나 이상의 특징은 일부 경우들에서 조합으로부터 제거될 수 있고, 청구된 조합은 하위조합의 변화 또는 하위조합을 시사할 수 있다.

유사하게, 동작들이 도면들에서 특정 순서로 도시되지만, 이것은 이러한 동작들이 도시된 특정 순서로 또는 순서대로 수행되는 것을 필요로 하거나, 예시된 동작들의 전부가 원하는 결과를 달성하기 위해 수행되는 것을 필요로 하는 것으로 이해되지 않아야 한다. 일부 경우들에서, 다중작업 및 병렬 처리는 유리할 수 있다. 더욱이, 상기 실시예들에서의 다양한 시스템 모듈들 및 구성요소들의 분리는 모든 실시예들에서 그러한 분리를 필요로 하는 것으로 해석되지 않아야 하고, 설명된 프로그램 구성요소들 및 시스템들을 일반적으로 단일 소프트웨어 제품에서 함께 통합되거나 다수의 소프트웨어 제품 내로 캡슐화될 수 있다는 점이 이해되어야 한다.

따라서, 발명 대상의 특정 실시예들이 설명되었다. 다른 실시예들은 첨부된 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에 설명되는 액트들은 상이한 순서들로 수행될 수 있고 원하는 결과들을 여전히 달성한다. 더욱이, 도면들에 도시된 프로세스들은 반드시 특정 순서 또는 원하는 결과들을 달성하기 위해 도시된 순서인 것은 아니다. 일부 구현들에서, 다중작업 및 병렬 처리가 유리할 수 있다.

상술한 설명은 본 개시의 하나 이상의 실시예의 예시적 실시예들일 뿐이고, 본 개시의 하나 이상의 실시예를 제한하도록 의도되지 않는다. 본 개시의 하나 이상의 실시예의 사상 및 원리 내에서 이루어지는 임의의 수정들, 등가 대체들, 개선들 등은 본 개시의 하나 이상의 실시예의 보호 범위 내에 포함되어야 한다.

Claims

객체 분류를 결정하는 방법으로서,
제1 이미지에 수반되는 타겟 객체의 제1 분류 신뢰도를 획득하기 위해 타겟 검출 네트워크에 의해, 상기 제1 이미지 상에 객체 검출을 수행하는 단계 - 상기 제1 분류 신뢰도는 상기 타겟 객체가 제1 분류에 속한다는 신뢰도를 표시함 -;
상기 제1 이미지로부터 재검출 객체를 수반하는 객체 이미지를 획득하고, 상기 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 하나 이상의 필터에 의해, 상기 객체 이미지 상에 객체 검출을 수행하는 단계 - 상기 재검출 객체는 상기 제1 분류 신뢰도가 사전 설정된 임계 범위 내에 있는 타겟 객체이고, 상기 제2 분류 신뢰도는 상기 재검출 객체가 제2 분류에 속한다는 신뢰도를 표시함 -;
업데이트된 신뢰도를 획득하기 위해 상기 제2 분류 신뢰도에 기초하여 상기 재검출 객체의 제1 분류 신뢰도를 정정하는 단계;
상기 업데이트된 신뢰도에 기초하여 상기 재검출 객체의 분류 검출 결과를 결정하는 단계
를 포함하는, 방법.
제1항에 있어서,
상기 타겟 검출 네트워크에 의해, 상기 제1 이미지 상에 상기 객체 검출을 수행함으로써, 상기 타겟 객체에 대응하는 위치 정보는 상기 제1 이미지 내에 상기 타겟 객체의 위치 구역(location area)을 정의하기 위해 추가로 획득되며;
상기 제1 이미지로부터 상기 재검출 객체를 수반하는 객체 이미지를 획득하는 단계는 상기 재검출 객체에 대응하는 위치 정보에 기초하여, 상기 재검출 객체를 수반하는 객체 이미지를 획득하기 위해 상기 제1 이미지로부터 상기 위치 정보에 대응하는 위치 구역을 크로핑하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 사전 설정된 임계 범위의 하한은 제1 임계치이고 상기 사전 설정된 임계 범위의 상한은 제2 임계치이며; 상기 업데이트된 신뢰도를 획득하기 위해 상기 제2 분류 신뢰도에 기초하여 상기 재검출 객체의 제1 분류 신뢰도를 정정하는 단계는,
상기 사전 설정된 임계 범위 내에서 상기 업데이트된 신뢰도를 결정하기 위해 상기 제2 분류 신뢰도에 기초하여 상기 재검출 객체의 제1 분류 신뢰도를 정정하는 단계를 포함하며;
상기 제2 분류 신뢰도가 더 높을수록, 상기 업데이트된 신뢰도가 상기 제2 임계치에 더 가까워지고;
상기 제2 분류 신뢰도가 더 낮을수록, 상기 업데이트된 신뢰도가 상기 제1 임계치에 더 가까워지는, 방법.
제3항에 있어서, 상기 사전 설정된 임계 범위 내에서 상기 업데이트된 신뢰도를 결정하기 위해 상기 제2 분류 신뢰도에 기초하여 상기 재검출 객체의 제1 분류 신뢰도를 정정하는 단계는,
상기 제2 임계치와 상기 제1 임계치 사이의 차이, 및 상기 제2 분류 신뢰도에 기초하여 상기 사전 설정된 임계 범위 내의 신뢰도 증분을 결정하는 단계;
상기 제1 임계치를 기초로 상기 신뢰도 증분을 추가함으로써 상기 업데이트된 신뢰도를 획득하는 단계
를 포함하는, 방법.
제3항에 있어서, 상기 업데이트된 신뢰도에 기초하여 상기 재검출 객체의 분류 검출 결과를 결정하는 단계는,
상기 업데이트된 신뢰도가 제3 임계치 이하인 경우에, 상기 재검출 객체가 상기 제2 분류와 다른 이질적인 사물인 것을 결정하는 단계; 및/또는
상기 업데이트된 신뢰도가 제4 임계치 내지 상기 제2 임계치의 범위 내인 경우에, 상기 재검출 객체가 상기 제1 분류인 것을 결정하는 단계
를 포함하며;
상기 제3 임계치는 상기 제1 임계치 이상인 한편, 상기 제2 임계치 미만이고;
상기 제4 임계치는 상기 제2 임계치 이하인 한편, 상기 제3 임계치 초과인, 방법.
제1항에 있어서, 상기 업데이트된 신뢰도를 획득하기 위해 상기 제2 분류 신뢰도에 기초하여 상기 재검출 객체의 제1 분류 신뢰도를 정정하는 단계는,
상기 업데이트된 신뢰도를 획득하기 위해 상기 재검출 객체의 제1 분류 신뢰도 및 제2 분류 신뢰도 상에 가중된 통합을 수행하는 단계를 포함하는, 방법.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 분류는 하나 이상의 하위분류를 포함하며, 상기 하나 이상의 필터 각각은 상기 하나 이상의 하위분류 중 하나의 타겟 객체를 검출하기 위해 사용되고;
상기 제1 이미지에 수반되는 타겟 객체의 제1 분류 신뢰도를 획득하기 위해 상기 타겟 검출 네트워크에 의해, 상기 제1 이미지 상에 상기 객체 검출을 수행하는 단계는,
개별적 제1 하위분류 신뢰도들을 획득하기 위해 상기 타겟 검출 네트워크에 의해, 상기 제1 이미지 상에 상기 객체 검출을 수행하는 단계를 포함하며, 상기 개별적 제1 하위분류 신뢰도 각각은 상기 제1 이미지에 수반되는 적어도 하나의 타겟 객체가 상기 하위분류들 각각에 속한다는 신뢰도를 표시하고;
상기 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 하나 이상의 필터로 상기 객체 이미지 상에 객체 검출을 수행하는 단계는,
임의의 재검출 객체에 대해, 상기 재검출 객체에 대응하는 타겟 하위분류에 따라, 상기 재검출 객체에 대응하는 객체 이미지를 상기 타겟 하위분류에 대응하는 필터에 입력하는 단계;
상기 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 상기 타겟 하위분류에 대응하는 필터로 상기 객체 이미지 상에 객체 검출을 수행하는 단계
를 포함하는, 방법.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 하나 이상의 필터는 상기 제2 분류의 타겟 객체를 수반하는 제2 이미지로 트레이닝되는, 방법.
제1항에 있어서,
상기 제2 분류 및 상기 제1 분류는 동일한 분류이거나,
상기 제2 분류는 상기 제1 분류를 포함하는, 방법.
제1항에 있어서, 상기 제1 이미지는 상기 타겟 검출 네트워크를 트레이닝하기 위한 샘플 이미지이며; 상기 업데이트된 신뢰도에 기초하여 상기 재검출 객체의 분류 검출 결과를 결정한 후에, 상기 방법은,
상기 재검출 객체의 분류 검출 결과와 대응하는 분류 라벨 사이의 손실을 획득하는 단계;
상기 손실에 기초하여 상기 타겟 검출 네트워크의 네트워크 파라미터를 조정하는 단계
를 추가로 포함하는, 방법.
제1항에 있어서,
상기 제1 이미지는 게임 장소의 이미지이고;
상기 타겟 객체는 상기 게임 장소 내의 게임 아이템인, 방법.
타겟 검출 방법으로서,
처리될 이미지를 획득하는 단계;
상기 처리될 이미지에 수반되는 타겟 객체가 속하는 제1 분류를 결정하기 위해 타겟 검출 네트워크에 의해, 상기 처리될 이미지 상에 객체 검출을 수행하는 단계
를 포함하며,
상기 타겟 검출 네트워크는 업데이트된 신뢰도로 트레이닝되며, 상기 업데이트된 신뢰도는 제1 이미지에 수반되는 샘플 객체가 상기 제1 분류에 속하는 것을 식별하고,
상기 업데이트된 신뢰도는 제2 분류 신뢰도에 기초하여 제1 분류 신뢰도를 정정함으로써 획득되며, 상기 제1 분류 신뢰도는 상기 타겟 검출 네트워크로 상기 샘플 객체를 식별함으로써 획득되고, 상기 제2 분류 신뢰도는 필터로 상기 샘플 객체를 식별함으로써 획득되는, 방법.
객체 분류를 결정하기 위한 장치로서,
제1 이미지에 수반되는 타겟 객체의 제1 분류 신뢰도를 획득하기 위해 타겟 검출 네트워크에 의해, 상기 제1 이미지 상에 객체 검출을 수행하도록 구성된 검출 모듈 - 상기 제1 분류 신뢰도는 상기 타겟 객체가 제1 분류에 속한다는 신뢰도를 표시함 -;
상기 제1 이미지로부터 재검출 객체를 수반하는 객체 이미지를 획득하고, 상기 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 하나 이상의 필터에 의해, 상기 객체 이미지 상에 객체 검출을 수행하도록 구성된 재검출 모듈 - 상기 재검출 객체는 상기 제1 분류 신뢰도가 사전 설정된 임계 범위 내에 있는 타겟 객체이고, 상기 제2 분류 신뢰도는 상기 재검출 객체가 제2 분류에 속한다는 신뢰도를 표시함 -;
업데이트된 신뢰도를 획득하기 위해 상기 제2 분류 신뢰도에 기초하여 상기 재검출 객체의 제1 분류 신뢰도를 정정하도록 구성된 정정 모듈;
상기 업데이트된 신뢰도에 기초하여 상기 재검출 객체의 분류 검출 결과를 결정하도록 구성된 분류 결정 모듈
을 포함하는, 장치.
제13항에 있어서,
상기 검출 모듈은, 상기 타겟 검출 네트워크에 의해, 상기 제1 이미지 상에 상기 객체 검출을 수행함으로써, 상기 타겟 객체에 대응하는 위치 정보가 상기 제1 이미지 내에 상기 타겟 객체의 위치 구역을 정의하기 위해 추가로 획득되며;
상기 재검출 모듈이 상기 제1 이미지로부터 재검출 객체를 수반하는 객체 이미지를 획득하도록 구성되는 경우에, 상기 재검출 객체에 대응하는 위치 정보에 기초하여, 상기 재검출 객체를 수반하는 객체 이미지를 획득하기 위해 상기 제1 이미지로부터 상기 위치 정보에 대응하는 위치 구역을 크로핑하도록
추가로 구성되는, 장치.
제13항에 있어서,
상기 정정 모듈이 상기 업데이트된 신뢰도를 획득하기 위해 상기 재검출 객체의 제1 분류 신뢰도를 정정하도록 구성되는 경우에, 상기 사전 설정된 임계 범위 내에서 상기 업데이트된 신뢰도를 결정하기 위해 상기 제2 분류 신뢰도에 기초하여 상기 재검출 객체의 제1 분류 신뢰도를 정정하며; 상기 제2 분류 신뢰도가 더 높을수록, 상기 업데이트된 신뢰도가 상기 제2 임계치에 더 가까워지고; 상기 제2 분류 신뢰도가 더 낮을수록, 상기 업데이트된 신뢰도가 상기 제1 임계치에 더 가깝고; 상기 사전 설정된 임계 범위의 하한은 제1 임계치이고 상기 사전 설정된 임계 범위의 상한은 제2 임계치인, 장치.
제13항에 있어서,
상기 정정 모듈이 상기 업데이트된 신뢰도를 획득하기 위해 상기 재검출 객체의 제1 분류 신뢰도를 정정하도록 구성되는 경우에, 상기 업데이트된 신뢰도를 획득하기 위해 상기 재검출 객체의 제1 분류 신뢰도 및 제2 분류 신뢰도 상에 가중된 통합을 수행하는, 장치.
제13항 내지 제16항 중 어느 한 항에 있어서,
상기 검출 모듈이 상기 제1 이미지에 수반되는 타겟 객체의 제1 분류 신뢰도를 획득하기 위해 상기 타겟 검출 네트워크에 의해, 상기 제1 이미지 상에 상기 객체 검출을 수행하도록 구성되는 경우에, 개별적 제1 하위분류 신뢰도들을 획득하기 위해 상기 타겟 검출 네트워크에 의해, 상기 제1 이미지 상에 상기 객체 검출을 수행하며, 상기 개별적 제1 하위분류 신뢰도 각각은 상기 제1 이미지에 수반되는 적어도 하나의 타겟 객체가 상기 하위분류들 각각에 속한다는 신뢰도를 표시하고; 상기 제1 분류는 하나 이상의 하위분류를 포함하고, 상기 하나 이상의 필터 각각은 상기 하나 이상의 하위분류 중 하나의 타겟 객체를 검출하기 위해 사용되고;
상기 재검출 모듈이 상기 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 하나 이상의 필터로 상기 객체 이미지 상에 객체 검출을 수행하도록 구성되는 경우에, 임의의 재검출 객체에 대해, 상기 재검출 객체에 대응하는 타겟 하위분류에 따라, 상기 재검출 객체에 대응하는 객체 이미지를 상기 타겟 하위분류에 대응하는 필터에 입력하며; 상기 재검출 객체의 제2 분류 신뢰도를 결정하기 위해 상기 타겟 하위분류에 대응하는 필터로 상기 객체 이미지 상에 객체 검출을 수행하는, 장치.
타겟 검출 장치로서,
처리될 이미지를 획득하도록 구성된 이미지 획득 모듈;
상기 처리될 이미지에 수반되는 타겟 객체가 속하는 제1 분류를 결정하기 위해 타겟 검출 네트워크에 의해, 상기 처리될 이미지 상에 객체 검출을 수행하도록 구성된 식별 및 처리 모듈
을 포함하며, 상기 타겟 검출 네트워크는 업데이트된 신뢰도로 트레이닝되며, 상기 업데이트된 신뢰도는 제1 이미지에 수반되는 샘플 객체가 상기 제1 분류에 속하는 것을 식별하고, 상기 업데이트된 신뢰도는 제2 분류 신뢰도에 기초하여 제1 분류 신뢰도를 정정함으로써 획득되며, 상기 제1 분류 신뢰도는 상기 타겟 검출 네트워크로 상기 샘플 객체를 식별함으로써 획득되고, 상기 제2 분류 신뢰도는 필터로 상기 샘플 객체를 식별함으로써 획득되는, 장치.
전자 디바이스로서, 메모리, 프로세서를 포함하며, 상기 메모리는 컴퓨터 판독가능 명령어들을 저장하도록 구성되고 상기 프로세서는 제1항 내지 제11항 중 어느 항에 따른 방법 또는 제12항에 따른 방법을 구현하기 위해 상기 명령어들을 호출하도록 구성되는, 전자 디바이스.
컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 프로그램이 프로세서에 의해 실행되는 경우에, 제1항 내지 제11항 중 어느 항에 따른 방법이 구현되거나, 제12항에 따른 방법이 구현되는, 컴퓨터 판독가능 저장 매체.
컴퓨터 프로그램 제품으로서, 프로세서에 의해 실행될 때, 제1항 내지 제11항 중 어느 항에 따른 방법이 구현되거나, 제12항에 따른 방법이 구현되는 컴퓨터 프로그램을 포함하는, 컴퓨터 프로그램 제품.