KR20220093187A

KR20220093187A - 포지셔닝 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체

Info

Publication number: KR20220093187A
Application number: KR1020227018711A
Authority: KR
Inventors: 겅 잔; 완리 어우양
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2020-01-18
Filing date: 2021-01-15
Publication date: 2022-07-05
Also published as: JP2022540101A; CN111275040B; WO2021143865A1; CN111275040A

Abstract

본 발명은 포지셔닝 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체를 제공하고, 본 발명은 목표 이미지의 이미지 특징맵에 기반하여, 이미지 특징맵 내의 각각의 특징점에 대해 하나의 앵커 박스, 즉 객체 경계 박스 정보에 대응하는 객체 경계 박스를 결정하고, 앵커 박스 및 예측에 대응하는 앵커 박스는 상호 배타적이므로, 객체 포지셔닝 과정에서 사용되는 앵커 박스의 수량을 줄이고, 계산량을 감소시킨다. 아울러, 목표 이미지의 이미지 특징맵에 기반하여, 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 객체 경계 박스 정보의 신뢰도, 객체 유형 정보의 신뢰도도 결정할 수도 있고, 나아가 결정된 두 개의 신뢰도에 기반하여 객체 경계 박스 정보의 최종의 신뢰도를 결정하므로, 객체 경계 박스의 정보 표현 능력을 효과적으로 향상시켜, 객체 경계 박스에 기반하여 객체 포지셔닝을 수행하는 정확도를 향상시키는 데에 유리하다.

Description

포지셔닝 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체

[관련 출원의 교차 인용]

본 발명은 2020년 1월 18일에 제출되고, 출원 번호가 202010058788.7이며, 발명의 명칭이 "포지셔닝 방법 및 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체"인 중국 특허 출원의 우선권을 주장하는 바, 당해 중국 특허 출원에 공개된 모든 내용은 참조로서 본 명세서에 인용된다.

[기술분야]

본 발명은 컴퓨터 기술, 이미지 처리 분야에 관한 것으로, 구체적으로, 포지셔닝 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체에 관한 것이다.

객체 검출 또는 객체 포지셔닝은 컴퓨터 시각에서 중요하고 기본적인 기술로, 인스턴스 분할, 객체 추적, 인물 인식, 얼굴 인식 등 시나리오에 응용될 수 있다.

객체 검출 또는 객체 포지셔닝은 일반적으로 앵커 박스를 이용하는데, 만약 사용되는 앵커 박스의 수량이 많고, 앵커 박스 표현 능력이 약하면, 객체 포지셔닝 계산량이 커지고, 포지셔닝이 정확하지 않는 등 단점을 초래하게 된다.

이를 감안하여, 본 발명은 적어도 포지셔닝 방법 및 장치를 제공한다.

제1 양태에서, 본 발명은, 포지셔닝 방법을 제공하는 바,

목표 이미지를 획득하는 단계 - 상기 목표 이미지는 적어도 하나의 포지셔닝될 객체를 포함함 -;

상기 목표 이미지의 이미지 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보, 상기 객체 유형 정보의 제1 신뢰도 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정하는 단계;

상기 제1 신뢰도 및 상기 제2 신뢰도에 기반하여, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보의 목표 신뢰도를 각각 결정하는 단계; 및

각각의 특징점이 속하는 객체의 객체 경계 박스 정보 및 상기 객체 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정하는 단계를 포함한다.

상기 실시형태에서, 목표 이미지의 이미지 특징맵에 기반하여, 이미지 특징맵 내의 각각의 특징점에 대해 하나의 앵커 박스만 결정할 수 있는 바, 즉 객체 경계 박스 정보에 대응하는 객체 경계 박스를 결정하여, 객체 포지셔닝 과정 중 사용되는 앵커 박스의 수량을 줄이고, 계산량을 감소시킴으로써, 객체 포지셔닝의 효율을 향상시킨다. 아울러, 목표 이미지의 이미지 특징맵에 기반하여, 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 객체 경계 박스 정보의 신뢰도, 객체 유형 정보의 신뢰도도 결정할 수 있고, 나아가 결정된 두 개의 신뢰도에 기반하여 객체 경계 박스 정보의 최종의 신뢰도를 결정하므로, 객체 경계 박스 또는 객체 경계 박스 정보의 정보 표현 능력을 효과적으로 향상시키고, 객체 경계 박스 정보에 대응하는 객체 경계 박스의 포지셔닝 정보, 객체 유형 정보를 표현할 수 있을 뿐만아니라, 객체 경계 박스 정보의 신뢰도 정보도 표현할 수 있으므로, 객체 경계 박스에 기반하여 객체 포지셔닝을 수행하는 정확도를 향상시키는 데에 유리하다.

가능한 일 실시형태에서, 상기 이미지 특징맵은, 상기 이미지 특징맵 내의 특징점이 속하는 객체를 분류하기 위한 분류 특징맵 및 상기 이미지 특징맵 내의 특징점이 속하는 객체를 포지셔닝하기 위한 포지셔닝 특징맵을 포함한다.

상기 목표 이미지의 이미지 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보, 상기 객체 유형 정보의 제1 신뢰도 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정하는 단계는,

상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 분류 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 유형 정보, 및 상기 객체 유형 정보의 제1 신뢰도를 결정하는 단계; 및

상기 포지셔닝 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보, 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정하는 단계를 포함한다.

상기 실시형태는, 목표 이미지의 분류 특징맵 및 포지셔닝 특징맵에 기반하여, 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 경계 박스 정보를 결정할 뿐만아니라, 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 및, 객체 유형 정보와 객체 경계 박스 정보 각각의 신뢰도도 결정하여, 객체 경계 박스의 정보 표현 능력을 향상시킴으로써, 객체 경계 박스에 기반하여 객체 포지셔닝을 수행하는 정확도를 향상시키는 데에 유리하다.

가능한 일 실시형태에서, 상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 포지셔닝 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보를 결정하는 단계는,

상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위를 각각 결정하는 단계;

상기 목표 거리 범위 및 상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 목표 거리를 각각 결정하는 단계; 및

상기 이미지 특징맵에서의 상기 특징점의 위치 정보, 및 상기 특징점과 각 경계 사이의 목표 거리에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보를 결정하는 단계를 포함한다.

상기 실시형태는, 먼저, 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리가 위치하는 목표 거리 범위를 결정하고, 다음, 결정된 목표 거리 범위에 기반하여, 특징점과 각 경계 사이의 목표 거리를 결정하며, 상기 두 단계의 처리를 거쳐, 결정된 목표 거리의 정확도를 향상시킬 수 있다. 다음, 결정된 상기 정확한 목표 거리에 기반하여, 특징점에 대해 하나의 위치가 정확한 객체 경계 박스를 결정할 수 있음으로써, 결정된 객체 경계 박스의 정확도를 향상시킨다.

가능한 일 실시형태에서, 상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위를 결정하는 단계는,

상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계에 대해, 상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 경계 사이의 최대 거리를 결정하는 단계;

상기 최대 거리에 대해 세그먼테이션 처리를 수행하여, 복수의 거리 범위를 획득하는 단계;

상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 경계 사이의 거리가 각각의 거리 범위 내에 위치할 제1 확률값을 결정하는 단계; 및

결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택하는 단계를 포함한다.

상기 실시형태는, 최대 확률값에 대응하는 거리 범위를 특징점과 특정 경계 박스 사이의 거리가 위치하는 목표 거리 범위로 선택할 수 있어, 결정된 목표 거리 범위의 정확도를 향상시킴으로써, 상기 목표 거리 범위에 기반하여 결정된 특징점과 특정 경계 사이의 거리의 정확도를 향상시키는 데에 유리하다.

가능한 일 실시형태에서, 결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택하는 단계는,

가장 큰 상기 제1 확률값에 대응하는 거리 범위를 상기 목표 거리 범위로 이용하는 단계를 포함한다.

상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 경계 사이의 거리의 거리 불확정 파라미터값을 결정하는 단계;

상기 거리 불확정 파라미터값 및 각각의 제1 확률값에 기반하여, 상기 특징점과 상기 경계 사이의 거리가 각각의 거리 범위 내에 위치하는 목표 확률값을 결정하는 단계; 및

가장 큰 상기 목표 확률값에 대응하는 거리 범위를 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위로 이용하는 단계를 포함한다.

상기 실시형태는, 특징점과 특정 경계 박스 사이의 거리가 각각의 거리 범위 내에 위치할 제1 확률값을 결정하는 동시에, 하나의 불확정 파라미터값도 결정하고, 상기 불확정 파라미터값에 기반하여, 제1 확률값을 수정 또는 교정하여, 특징점과 특정 경계 박스 사이의 거리가 각각의 거리 범위 내에 위치하는 목표 확률값을 획득할 수 있어, 결정된 특징점과 특정 경계 박스 사이의 거리가 각각의 거리 범위 내에 위치하는 확률값의 정확도를 향상시킴으로써, 상기 확률값에 기반하여 결정된 목표 거리 범위의 정확도를 향상시키는 데에 유리하다.

가능한 일 실시형태에서, 상기 객체 경계 박스 정보의 제2 신뢰도를 결정하는 단계는,

상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위에 대응하는 제1 확률값에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보의 제2 신뢰도를 결정하는 단계를 포함한다.

가능한 일 실시형태에서, 상기 특징점이 속하는 객체의 객체 경계 박스 정보의 제2 신뢰도를 결정하는 단계는,

상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위에 대응하는 제1 확률값의 평균값을 획득하는 단계; 및

상기 평균값을 상기 제2 신뢰도로 결정하는 단계를 포함한다.

상기 실시형태는, 특징점과 각 경계 사이의 거리가 위치하는 거리 범위에 대응하는 제1 확률값을 이용하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보의 신뢰도를 결정할 수 있음으로써, 객체 경계 박스의 정보 표현 능력을 향상시킨다.

가능한 일 실시형태에서, 상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 분류 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 유형 정보를 결정하는 단계는,

상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 분류 특징맵에 기반하여, 상기 특징점이 속하는 객체가 각각의 사전 설정된 객체 유형일 제2 확률값을 결정하는 단계; 및

가장 큰 상기 제2 확률값에 대응하는 사전 설정된 객체 유형에 기반하여, 상기 특징점이 속하는 객체의 객체 유형 정보를 결정하는 단계를 포함한다.

상기 실시형태는, 최대 제2 확률값에 대응하는 사전 설정된 객체 유형을 상기 특징점이 속하는 객체의 객체 유형 정보로 선택하여 이용함으로써, 결정된 객체 유형 정보의 정확도를 향상시킨다.

가능한 일 실시형태에서, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보 및 상기 객체 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정하는 단계는,

상기 이미지 특징맵에서 복수의 목표 특징점을 선별해내는 단계 - 상기 복수의 목표 특징점의 상호간 거리는 사전 설정된 임계값보다 작고, 각 목표 특징점이 속하는 객체의 객체 유형 정보는 동일함 -;

각각의 목표 특징점이 속하는 객체의 객체 경계 박스 정보에서 목표 신뢰도가 가장 높은 객체 경계 박스 정보를 선택하여, 목표 경계 박스 정보로 이용하는 단계; 및

선택된 상기 목표 경계 박스 정보, 및 상기 목표 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정하는 단계를 포함한다.

상기 실시형태는, 거리가 비교적 가깝고, 객체 유형 정보가 동일한 특징점에서 목표 신뢰도가 가장 높은 객체 경계 박스 정보를 선택하여 객체의 포지셔닝을 수행함으로써, 객체 포지셔닝 수행을 위한 객체 경계 박스 정보의 수량을 효과적으로 줄일 수 있으며, 객체 포지셔닝의 시효성을 향상시키는 데에 유리하다.

제2 양태에서, 본 발명은, 포지셔닝 장치를 제공하는 바,

목표 이미지를 획득하기 위한 이미지 획득 모듈 - 상기 목표 이미지는 적어도 하나의 포지셔닝될 객체를 포함함 -;

상기 목표 이미지의 이미지 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보, 상기 객체 유형 정보의 제1 신뢰도 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정하기 위한 이미지 처리 모듈;

상기 제1 신뢰도 및 상기 제2 신뢰도에 기반하여, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보의 목표 신뢰도를 각각 결정하기 위한 신뢰도 처리 모듈; 및

각각의 특징점이 속하는 객체의 객체 경계 박스 정보 및 상기 객체 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정하기 위한 포지셔닝 모듈을 포함한다.

상기 이미지 처리 모듈은,

상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 분류 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 유형 정보, 및 상기 객체 유형 정보의 제1 신뢰도를 결정하고;

상기 포지셔닝 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보, 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정한다.

가능한 일 실시형태에서, 상기 이미지 처리 모듈은, 상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 포지셔닝 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보를 결정할 경우,

상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위를 각각 결정하고;

상기 목표 거리 범위 및 상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 목표 거리를 각각 결정하며;

상기 이미지 특징맵에서의 상기 특징점의 위치 정보, 및 상기 특징점과 각 경계 사이의 목표 거리에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보를 결정한다.

가능한 일 실시형태에서, 상기 이미지 처리 모듈은, 상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위를 결정할 경우,

상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계에 대해, 상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 경계 사이의 최대 거리를 결정하고;

상기 최대 거리에 대해 세그먼테이션 처리를 수행하여, 복수의 거리 범위를 획득하며;

상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 경계 사이의 거리가 각각의 거리 범위 내에 위치할 제1 확률값을 결정하고;

결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택한다.

가능한 일 실시형태에서, 상기 이미지 처리 모듈은, 결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택할 경우,

가장 큰 상기 제1 확률값에 대응하는 거리 범위를 상기 목표 거리 범위로 이용한다.

상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 경계 사이의 거리의 거리 불확정 파라미터값을 결정하고;

상기 거리 불확정 파라미터값 및 각각의 제1 확률값에 기반하여, 상기 특징점과 상기 경계 사이의 거리가 각각의 거리 범위 내에 위치하는 목표 확률값을 결정하며;

가장 큰 목표 확률값에 대응하는 거리 범위를 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위로 이용한다.

가능한 일 실시형태에서, 상기 이미지 처리 모듈은, 상기 객체 경계 박스 정보의 제2 신뢰도를 결정할 경우,

상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위에 대응하는 제1 확률값에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보의 제2 신뢰도를 결정한다.

가능한 일 실시형태에서, 상기 이미지 처리 모듈은, 상기 특징점이 속하는 객체의 객체 경계 박스 정보의 제2 신뢰도를 결정할 경우,

상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위에 대응하는 제1 확률값의 평균값을 획득하고;

상기 평균값을 상기 제2 신뢰도로 결정한다.

가능한 일 실시형태에서, 상기 이미지 처리 모듈은, 상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 분류 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 유형 정보를 결정할 경우,

상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 분류 특징맵에 기반하여, 상기 특징점이 속하는 객체가 각각의 사전 설정된 객체 유형일 제2 확률값을 결정하고;

가장 큰 상기 제2 확률값에 대응하는 사전 설정된 객체 유형에 기반하여, 상기 특징점이 속하는 객체의 객체 유형 정보를 결정한다.

가능한 일 실시형태에서, 상기 포지셔닝 모듈은,

상기 이미지 특징맵에서 복수의 목표 특징점을 선별해내되, 상기 복수의 목표 특징점의 상호간 거리는 사전 설정된 임계값보다 작고, 각 목표 특징점이 속하는 객체의 객체 유형 정보는 동일하며;

각각의 목표 특징점이 속하는 객체의 객체 경계 박스 정보에서 목표 신뢰도가 가장 높은 객체 경계 박스 정보를 선택하여, 목표 경계 박스 정보로 이용하고;

선택된 상기 목표 경계 박스 정보, 및 상기 목표 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정한다.

제3 양태에서, 본 발명은 프로세서, 메모리 및 버스를 포함하는 전자 기기를 제공하고, 상기 메모리에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 저장되어 있으며, 전자 기기가 실행될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행될 경우, 전술한 포지셔닝 방법의 단계가 수행된다.

제4 양태에서, 본 발명은 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 전술한 포지셔닝 방법의 단계가 수행된다.

본 발명의 상기 장치, 전자 기기, 및 컴퓨터 판독 가능 저장 매체는 적어도 본 발명에 따른 방법의 어느 한 양태 또는 어느 한 양태의 어느 한 실시형태의 기술 특징과 실질적으로 동일하거나 유사한 기술 특징을 포함하므로, 상기 장치, 전자 기기, 및 컴퓨터 판독 가능 저장 매체의 효과에 대한 설명은 상기 방법 내용의 효과에 대한 설명을 참조할 수 있으며, 여기서 더 이상 설명하지 않는다.

본 발명의 실시예의 기술적 해결수단을 보다 명확하게 설명하기 위하여 이하 실시예에서 사용하고자 하는 도면을 간단히 소개하는 바, 아래 도면은 단지 본 발명의 일부 실시예를 도시하므로 범위에 대한 한정으로 간주되지 말아야 하며, 본 기술분야의 통상의 기술자는, 창조적 노력 없이 이러한 도면에 따라 다른 도면을 얻을 수 있다는 것을 이해해야 한다.
도 1은 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 흐름도를 도시한다.
도 2는 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 흐름도를 도시한다.
도 3은 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 흐름도를 도시한다.
도 4는 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 흐름도를 도시한다.
도 5는 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 흐름도를 도시한다.
도 6은 본 발명의 실시예에 의해 제공되는 포지셔닝 장치의 구조 모식도를 도시한다.
도 7은 본 발명의 실시예에 의해 제공되는 전자 기기의 구조 모식도를 도시한다.

본 발명의 실시예의 목적 및 장점을 보다 명확하게 하기 위해, 아래에서는 본 발명의 실시예의 도면을 결부하여, 본 발명의 실시예를 명확하게 설명하며, 본 발명의 도면은 설명과 해석을 위한 것일 뿐, 본 발명의 보호 범위를 제한하기 위한 것이 아님을 이해해야 한다. 이 밖에, 예시적인 도면은 실물 비율에 따라 작성된 것이 아님을 이해해야 한다. 본 발명에서 사용되는 흐름도는 본 발명의 일부 실시예에 따라 구현되는 조작을 도시한다. 흐름도의 조작은 순서에 따라 구현되지 않을 수 있고, 논리적인 문맥 관계가 없는 단계는 역순으로 또는 동시에 수행될 수 있음을 이해해야 한다. 또한, 본 기술분야의 통상의 기술자는 본 발명의 안내 하에, 흐름도에 하나 또는 복수의 다른 조작을 추가할 수 있고, 흐름도에서 하나 또는 복수의 조작을 제거할 수도 있다.

이 밖에, 설명된 실시예는 본 발명의 일부 실시예일 뿐, 전부의 실시예가 아니다. 일반적으로, 여기의 도면에서 설명되고 도시된 본 발명의 실시예의 컴포넌트는 다양한 구성으로 배치되고 설계될 수 있다. 따라서, 아래에서 참고 도면에 대해 제공된 본 발명의 실시예의 상세한 설명은 보호하고자 하는 본 발명의 범위를 제한하려는 것이 아니라, 본 발명의 선택적인 실시예를 나타낼 뿐이다. 본 발명의 실시예에 기반하여, 본 기술분야의 통상의 기술자가 창조적 노력 없이 획득한 모든 다른 실시예는 모두 본 발명의 보호 범위에 속한다.

설명해야 할 것은, 본 발명의 실시예에서는 "포함" 용어를 사용하여, 후속적으로 설명되는 특징의 존재를 나타내지만, 다른 특징의 추가를 배제하지는 않는다.

앵커 박스를 이용하여 객체 포지셔닝을 수행하는 과정 중, 어떻게 포지셔닝에 사용되는 앵커 박스의 수량을 줄이고, 앵커 박스의 정보 표현 능력을 향상시켜, 객체 포지셔닝의 정확도를 향상시키겠는가 하는 것에 대해, 본 발명은 포지셔닝 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체를 제공한다. 여기서, 본 발명은 목표 이미지의 이미지 특징맵에 기반하여, 이미지 특징맵 내의 각각의 특징점에 대해 하나의 앵커 박스만 결정하는 바, 즉 객체 경계 박스 정보에 대응하는 객체 경계 박스를 결정하여, 객체 포지셔닝 과정 중 사용되는 앵커 박스의 수량을 줄이고, 계산량을 감소시킨다. 아울러, 목표 이미지의 이미지 특징맵에 기반하여, 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 객체 경계 박스 정보의 신뢰도, 객체 유형 정보의 신뢰도도 결정할 수 있고, 나아가 결정된 두 개의 신뢰도에 기반하여 객체 경계 박스 정보의 최종의 신뢰도를 결정하므로, 객체 경계 박스의 정보 표현 능력을 효과적으로 향상시킴으로써, 객체 경계 박스에 기반하여 객체 포지셔닝을 수행하는 정확도를 향상시키는 데에 유리하다.

이하, 구체적인 실시예를 통해 본 발명의 포지셔닝 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체를 설명하기로 한다.

본 발명의 실시예는 포지셔닝 방법을 제공하고, 상기 방법은 이미지 내의 객체를 포지셔닝하는 단말 기기에 응용된다. 상기 단말 기기는 카메라, 휴대폰, 웨어러블 기기, 개인용 컴퓨터 등일 수 있고, 본 발명의 실시예에서는 이에 대해 제한하지 않는다. 구체적으로, 도 1에 도시된 바와 같이, 본 발명의 실시예에 의해 제공되는 포지셔닝 방법은 단계 S110 내지 단계 S140을 포함한다.

단계 S110에서, 목표 이미지를 획득한다.

여기서, 목표 이미지는 객체 추적 과정 중 촬영된, 목표 객체가 포함된 이미지일 수 있고, 얼굴 검출 중 촬영된, 얼굴이 포함된 이미지일 수도 있으며, 본 발명은 목표 이미지의 용도에 대해 제한하지 않는다.

목표 이미지에는 적어도 하나의 포지셔닝될 객체가 포함된다. 여기서 객체는 물체일 수 있고, 사람, 동물 등일 수도 있다.

목표 이미지는 본 실시예의 포지셔닝 방법을 수행하는 단말 기기에 의해 촬영될 수 있고, 다른 기기에 의해 촬영된 후, 본 실시예의 포지셔닝 방법을 수행하는 단말 기기에 전송될 수도 있으며, 본 발명은 목표 이미지의 획득 방식에 대해 제한하지 않는다.

단계 S120에서, 상기 목표 이미지의 이미지 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보, 상기 객체 유형 정보의 제1 신뢰도 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정한다.

이 단계를 수행하기 전에, 먼저 목표 이미지를 처리하여, 목표 이미지의 이미지 특징맵을 획득해야 한다. 구체적으로 구현 시, 콘볼루션 신경망을 이용하여 목표 이미지에 대해 이미지 특징 추출을 수행하여, 이미지 특징맵을 획득할 수 있다.

목표 이미지의 이미지 특징맵이 결정된 후, 이미지 특징맵을 처리한다. 이로써, 이미지 특징맵 내의 각각의 특징점에 대해, 상기 특징점이 속하는 객체의 객체 유형 정보, 상기 특징점이 속하는 객체의 객체 경계 박스 정보, 상기 객체 유형 정보의 제1 신뢰도 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정할 수 있다. 구체적으로 구현 시, 콘볼루션 신경망을 이용하여 이미지 특징맵에 대해 이미지 특징 추출을 추가적으로 수행하여, 상기 객체 유형 정보, 객체 경계 박스 정보, 제1 신뢰도 및 제2 신뢰도를 획득할 수 있다.

상기 객체 유형 정보는 특징점이 속하는 객체의 객체 카테고리를 포함한다. 상기 객체 경계 박스 정보는 특징점과 상기 객체 경계 박스 정보에 대응하는 객체 경계 박스 내의 각 경계 사이의 거리를 포함한다. 여기서, 상기 객체 경계 박스를 앵커 박스라고도 칭할 수 있다.

상기 제1 신뢰도는 이미지 특징맵에 기반하여 결정된 객체 유형 정보의 정확도 또는 신뢰도를 특성화한다. 상기 제2 신뢰도는 이미지 특징맵에 기반하여 결정된 객체 경계 박스 정보의 정확도 또는 신뢰도를 특성화한다.

단계 S130에서, 상기 제1 신뢰도 및 상기 제2 신뢰도에 기반하여, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보의 목표 신뢰도를 각각 결정한다.

여기서, 제1 신뢰도 및 제2 신뢰도의 곱을 객체 경계 박스 정보의 목표 신뢰도로 이용할 수 있다. 상기 목표 신뢰도는 객체 경계 박스 정보에 대응하는 객체 경계 박스의 포지셔닝 정확도 및 분류 정확도를 종합적으로 특성화한다.

물론, 다른 방법을 이용하여 목표 신뢰도를 결정할 수도 있는 바, 예를 들어, 제1 신뢰도의 사전 설정된 가중치, 제2 신뢰도의 사전 설정된 가중치, 제1 신뢰도 및 제2 신뢰도를 결합하여 목표 신뢰도를 결정할 수 있고, 본 발명은 제1 신뢰도 및 제2 신뢰도에 기반하여 목표 신뢰도를 결정하는 구체적인 구현 수단에 대해 제한하지 않는다.

단계 S140에서, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보 및 상기 객체 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정한다.

여기서, 특징점이 속하는 객체의 객체 경계 박스 정보 및 객체 경계 박스 정보의 목표 신뢰도를 목표 이미지에서의 특징점이 속하는 객체의 포지셔닝 정보로 이용하고, 다음, 목표 이미지에서의 각각의 특징점이 속하는 객체의 포지셔닝 정보에 기반하여, 목표 이미지 내의 각각의 객체의 포지셔닝 정보를 결정할 수 있다.

여기서, 특징점이 속하는 객체의 객체 경계 박스 정보를 결정할 뿐만아니라, 객체 경계 박스 정보의 목표 신뢰도도 결정하므로, 객체 경계 박스 또는 객체 경계 박스 정보의 정보 표현 능력을 효과적으로 향상시키고, 객체 경계 박스 정보에 대응하는 객체 경계 박스의 포지셔닝 정보, 객체 유형 정보를 표현할 수 있을 뿐만아니라, 객체 경계 박스 정보의 신뢰도 정보도 표현할 수 있으므로, 객체 경계 박스에 기반하여 객체 포지셔닝을 수행하는 정확도를 향상시키는 데에 유리하다.

이 밖에, 상기 실시예는 목표 이미지의 이미지 특징맵에 기반하여 이미지 특징맵 내의 각각의 특징점에 대해 하나의 앵커 박스, 즉 객체 경계 박스 정보에 대응하는 객체 경계 박스를 결정할 수 있음으로써, 객체 포지셔닝 과정에서 사용되는 앵커 박스의 수량을 줄이고, 계산량을 감소시킴으로써, 객체 포지셔닝의 효율을 향상시킨다.

일부 구현예에서, 도 2에 도시된 바와 같이, 상기 이미지 특징맵은, 상기 이미지 특징맵 내의 특징점이 속하는 객체를 분류하기 위한 분류 특징맵 및 상기 이미지 특징맵 내의 특징점이 속하는 객체를 포지셔닝하기 위한 포지셔닝 특징맵을 포함한다.

구체적으로 구현 시, 도 2에 도시된 바와 같이, 콘볼루션 신경망을 이용하여 목표 이미지에 대해 이미지 특징 추출을 수행하여, 초기의 특징맵을 획득한 다음, 4개의 3×3이고, 입력 및 출력이 모두 256인 콘볼루션 층을 각각 이용하여 초기의 특징맵을 처리하여, 상기 분류 특징맵 및 포지셔닝 특징맵을 획득할 수 있다.

분류 특징맵 및 포지셔닝 특징맵이 획득된 후, 상기 목표 이미지의 이미지 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보, 상기 객체 유형 정보의 제1 신뢰도 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정하는 것은 하기와 같은 단계를 이용하여 구현될 수 있다.

상기 분류 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 및 상기 객체 유형 정보의 제1 신뢰도를 결정하고; 상기 포지셔닝 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 경계 박스 정보, 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정한다.

구체적으로 구현 시, 콘볼루션 신경망 또는 콘볼루션 층을 이용하여 분류 특징맵에 대해 이미지 특징 추출을 수행하여, 각각의 특징점이 속하는 객체의 객체 유형 정보, 및 상기 객체 유형 정보의 제1 신뢰도를 획득할 수 있다. 콘볼루션 신경망 또는 콘볼루션 층을 이용하여 포지셔닝 특징맵에 대해 이미지 특징 추출을 수행하여, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보, 및 상기 객체 경계 박스 정보의 제2 신뢰도를 획득한다.

상기 실시예는, 목표 이미지의 분류 특징맵 및 포지셔닝 특징맵에 기반하여, 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 경계 박스 정보를 결정할 뿐만아니라, 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 및, 객체 유형 정보와 객체 경계 박스 정보에 각각 대응하는 신뢰도도 결정하여, 객체 경계 박스의 정보 표현 능력을 향상시킴으로써, 객체 경계 박스에 기반하여 객체 포지셔닝을 수행하는 정확도를 향상시키는 데에 유리하다.

일부 실시예에서, 도 3에 도시된 바와 같이, 상기 포지셔닝 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 경계 박스 정보를 결정하는 것은, 단계 S310 내지 단계 S330을 이용하여 구현될 수 있다.

단계 S310에서, 상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리가 위치하는 목표 거리 범위를 각각 결정하고, 여기서, 객체 경계 박스 내의 각 경계는 각 방향에서의 객체 경계 박스의 경계일 수 있는 바, 예를 들어, 객체 경계 박스 내의 상측 경계, 하측 경계, 좌측 경계 및 우측 경계이다.

여기서, 콘볼루션 신경망 또는 콘볼루션 층을 이용하여 포지셔닝 특징맵에 대해 이미지 특징 추출을 수행하여, 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리가 위치하는 목표 거리 범위를 결정할 수 있다.

구체적으로 구현 시, 먼저, 포지셔닝 특징맵에 기반하여, 상기 특징점과 특정 경계 사이의 최대 거리를 결정하고; 다음, 상기 최대 거리에 대해 세그먼테이션 처리를 수행하여, 복수의 거리 범위를 획득하며; 또한 콘볼루션 신경망 또는 콘볼루션 층을 이용하여 포지셔닝 특징맵에 대해 이미지 특징 추출을 수행함으로써, 상기 특징점과 상기 경계 사이의 거리가 각각의 거리 범위 내에 위치할 제1 확률값을 결정하고; 마지막으로, 결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택할 수 있다. 구체적으로, 가장 큰 제1 확률값에 대응하는 거리 범위를 상기 목표 거리 범위로 이용할 수 있다.

도 2에 도시된 바와 같이, 객체 경계 박스는 예를 들어, 상측 경계, 하측 경계, 좌측 경계 및 우측 경계를 포함할 수 있고, 상기 방법에 기반하여 좌측 경계에 대응하는 5개의 거리 범위의 5개의 제1 확률값 a, b, c, d, e를 결정하며, 가장 큰 제1 확률값 b에 대응하는 거리 범위를 선택하여 목표 거리 범위로 이용한다.

상기 실시예는, 최대 확률값에 대응하는 거리 범위를 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위로 선택하여 사용하여, 결정된 목표 거리 범위의 정확도를 향상시킴으로써, 상기 목표 거리 범위에 기반하여 결정된 특징점과 특정 경계 사이의 거리의 정확도를 향상시키는 데에 유리하다.

단계 S320에서, 상기 목표 거리 범위 및 상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 목표 거리를 각각 결정한다.

목표 거리 범위가 결정된 후, 목표 거리 범위에 매칭되는 회귀망, 예컨대 콘볼루션 신경망을 선택하여, 포지셔닝 특징맵에 대해 이미지 특징 추출을 수행함으로써, 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 목표 거리를 획득한다.

여기서, 목표 거리 범위가 결정된 것을 토대로, 추가적으로 콘볼루션 신경망을 이용하여 하나의 정확한 거리를 결정하므로, 결정된 거리의 정확도를 효과적으로 향상시킬 수 있다.

이 밖에, 도 2에 도시된 바와 같이, 목표 거리가 결정된 후, 하나의 사전 설정되거나 트레이닝된 파라미터 또는 가중치 N을 이용하여, 결정된 목표 거리를 교정하여, 최종의 목표 거리를 획득할 수 있다.

도 2에 도시된 바와 같이, 본 단계를 이용하여 특징점과 좌측 경계 사이의 정확한 목표 거리를 결정하고, 상기 목표 거리는 도 2에 라벨링되며, f로 나타낸다. 도 2에 도시된 바와 같이, 결정된 목표 거리는 결정된 목표 거리 범위 내에 위치한다.

단계 S330에서, 상기 이미지 특징맵에서의 상기 특징점의 위치 정보, 및 상기 특징점과 각 경계 사이의 목표 거리에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보를 결정한다.

여기서, 이미지 특징맵에서의 특징점의 위치 정보 및 상기 특징점과 각 경계 사이의 목표 거리를 이용하여, 객체 경계 박스 정보에 대응하는 객체 경계 박스 내의 각 경계의 이미지 특징맵에서의 위치 정보를 결정할 수 있다. 마지막으로, 객체 경계 박스 내의 모든 경계의 이미지 특징맵에서의 위치 정보를 특징점이 속하는 객체의 객체 경계 박스 정보로 이용할 수 있다.

상기 실시예는, 먼저, 특징점과 객체 경계 박스 내의 각 경계 사이의 거리가 위치하는 목표 거리 범위를 결정하고, 다음, 결정된 목표 거리 범위에 기반하여, 특징점과 각 경계 사이의 목표 거리를 결정하며, 상기 두 단계의 처리를 거쳐, 결정된 목표 거리의 정확도를 향상시킬 수 있다. 다음, 결정된 상기 정확한 목표 거리에 기반하여, 특징점에 대해 하나의 위치가 정확한 객체 경계 박스를 결정할 수 있음으로써, 결정된 객체 경계 박스의 정확도를 향상시킨다.

일부 실시예에서, 도 4에 도시된 바와 같이, 결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 특징점과 특정 경계 사이의 거리가 위치하는 목표 거리 범위를 선택하는 것은, 단계 S410 내지 단계 S430을 이용하여 구현될 수도 있다.

단계 S410에서, 상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 특정 경계 사이의 거리의 거리 불확정 파라미터(distance uncertainty parameter)값을 결정한다.

여기서, 콘볼루션 신경망을 이용하여, 특징점과 특정 경계 사이의 거리가 각각의 거리 범위 내에 위치할 제1 확률값을 결정하는 동시에, 상기 특징점과 상기 경계 사이의 거리의 거리 불확정 파라미터값을 결정할 수 있다. 여기서 거리 불확정 파라미터값은 결정된 각 제1 확률값의 신뢰도를 특성화할 수 있다.

단계 S420에서, 상기 거리 불확정 파라미터값 및 각각의 제1 확률값에 기반하여, 상기 특징점과 상기 경계 사이의 거리가 각각의 거리 범위 내에 위치하는 목표 확률값을 결정한다.

여기서, 거리 불확정 파라미터값을 이용하여 각각의 제1 확률값을 수정하여, 대응하는 목표 확률값을 획득한다.

구체적으로 구현 시, 하기 수학식을 이용하여 목표 확률값을 결정할 수 있다.

수학식에서,

는 특징점과 경계 x 사이의 거리가 n번째 거리 범위 내에 위치하는 목표 확률값을 나타내고, N는 거리 범위의 수량을 나타내며,

는 경계 x에 대응하는 거리 불확정 파라미터값을 나타내고,

는 특징점과 경계 x 사이의 거리가 n번째 거리 범위 내에 위치할 제1 확률값을 나타내며;

는 특징점과 경계 x 사이의 거리가 m번째 거리 범위 내에 위치할 제1 확률값을 나타낸다.

단계 S430에서, 결정된 상기 목표 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택한다.

여기서, 구체적으로, 가장 큰 목표 확률값에 대응하는 거리 범위를 선택하여 목표 거리 범위로 이용할 수 있다.

상기 실시예는, 특징점과 특정 경계 사이의 거리가 각각의 거리 범위 내에 위치할 제1 확률값을 결정하는 동시에, 하나의 거리 불확정 파라미터값도 결정하고, 상기 파라미터값에 기반하여, 제1 확률값을 수정 또는 교정하여, 특징점과 특정 경계 사이의 거리가 각각의 거리 범위 내에 위치하는 목표 확률값을 획득할 수 있어, 결정된 특징점과 특정 경계 사이의 거리가 각각의 거리 범위 내에 위치하는 확률값의 정확도를 향상시킴으로써, 상기 확률값에 기반하여 결정된 목표 거리 범위의 정확도를 향상시키는 데에 유리하다.

특징점과 대응하는 객체 경계 박스 내의 각 경계 사이의 목표 거리가 결정된 후, 하기와 같은 단계를 이용하여, 대응하는 객체 경계 박스 정보의 신뢰도, 즉 상기 제2 신뢰도를 결정할 수 있다: 상기 이미지 특징맵 내의 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리가 위치하는 목표 거리 범위에 대응하는 제1 확률값에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보의 제2 신뢰도를 결정한다.

구체적으로 구현 시, 특징점과 특징점이 속하는 객체의 객체 경계 박스 내의 모든 경계 사이의 거리가 위치하는 목표 거리 범위에 대응하는 제1 확률값의 평균값을 상기 제2 신뢰도로 이용할 수 있다.

물론, 다른 방법을 이용하여 제2 신뢰도를 결정할 수도 있으며, 본 발명은 목표 거리 범위에 대응하는 제1 확률값에 기반하여 제2 신뢰도를 결정하는 방법에 대해 제한하지 않는다.

상기 실시형태는, 특징점과 각 경계 사이의 거리가 위치하는 거리 범위에 대응하는 제1 확률값을 이용하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보의 신뢰도, 즉 상기 제2 신뢰도를 결정할 수 있음으로써, 객체 경계 박스의 정보 표현 능력을 향상시킨다.

일부 실시예에서, 상기 분류 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보를 결정하는 것은 하기와 같은 단계를 이용하여 구현될 수 있다: 상기 분류 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체가 각각의 사전 설정된 객체 유형일 제2 확률값을 결정하고; 가장 큰 상기 제2 확률값에 대응하는 사전 설정된 객체 유형에 기반하여, 상기 특징점이 속하는 객체의 객체 유형 정보를 결정한다.

구체적으로 구현 시, 콘볼루션 신경망 또는 콘볼루션 층을 이용하여 분류 특징맵에 대해 이미지 특징 추출을 수행하여, 특징점이 속하는 객체가 각각의 사전 설정된 객체 유형일 제2 확률값을 획득할 수 있다. 다음, 가장 큰 제2 확률값에 대응하는 사전 설정된 객체 유형을 선택하여, 상기 특징점이 속하는 객체의 객체 유형 정보를 결정한다. 도 2에 도시된 바와 같이, 본 실시예를 이용하여 결정된 사전 설정된 객체 유형 "고양이"에 대응하는 제2 확률값이 가장 크므로, 객체 유형 정보는 고양이에 대응한다고 결정한다. 본 명세서에서, 상이한 조작은 동일한 콘볼루션 신경망의 상이한 부분을 사용할 수 있음에 유의해야 한다.

상기 실시형태는, 최대 제2 확률값에 대응하는 사전 설정된 객체 유형을 선택하여 상기 특징점이 속하는 객체의 객체 유형 정보로 이용함으로써, 결정된 객체 유형 정보의 정확도를 향상시킨다.

일부 실시예에서, 도 5에 도시된 바와 같이, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보 및 상기 객체 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정하는 단계는 단계 S510 내지 단계 S530을 이용하여 구현될 수 있다.

단계 S510에서, 상기 이미지 특징맵에서 복수의 목표 특징점을 선별해내되, 여기서, 상기 복수의 목표 특징점의 상호간 거리는 사전 설정된 임계값보다 작고, 각 목표 특징점이 속하는 객체의 객체 유형 정보는 동일하다.

여기서, 선별하여 획득된 복수의 목표 특징점은 동일한 객체에 속하는 특징점이다.

단계 S520에서, 각각의 목표 특징점이 속하는 객체의 객체 경계 박스 정보에서 목표 신뢰도가 가장 높은 객체 경계 박스 정보를 선택하여, 목표 경계 박스 정보로 이용한다.

동일한 객체에 속하는 특징점의 경우, 가장 높은 목표 신뢰도에 대응하는 객체 경계 박스 정보를 선택하여 객체에 대해 포지셔닝을 수행할 수 있고, 기타 목표 신뢰도가 낮은 다른 객체 경계 박스 정보를 제거하여, 객체 포지셔닝 과정 중의 계산량을 줄일 수 있다.

단계 S530에서, 선택된 상기 목표 경계 박스 정보, 및 상기 목표 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정한다.

상기 실시형태는, 거리가 비교적 가깝고, 객체 유형 정보가 동일한 특징점에 대응하는 객체 경계 박스 정보에서 목표 신뢰도가 가장 높은 객체 경계 박스 정보를 선택하여 객체의 포지셔닝을 수행하므로, 객체 포지셔닝 수행을 위한 객체 경계 박스 정보의 수량을 효과적으로 줄일 수 있어, 객체 포지셔닝의 시효성을 향상시키는 데에 유리하다.

상기 포지셔닝 방법에 대응하여, 본 발명의 실시예는 포지셔닝 장치를 더 제공하고, 상기 장치는 이미지 내의 객체를 포지셔닝하는 단말 기기에 응용되며, 상기 장치 및 이의 각 모듈은 상기 포지셔닝 방법과 동일한 방법 단계를 수행할 수 있으며, 동일하거나 유사한 유익한 효과를 달성할 수 있으므로, 중복되는 부분은 더 이상 설명하지 않기로 한다.

도 6에 도시된 바와 같이, 본 발명에 의해 제공되는 포지셔닝 장치는 하기와 같은 것을 포함한다.

이미지 획득 모듈(610)은 목표 이미지를 획득하고, 상기 목표 이미지는 적어도 하나의 포지셔닝될 객체를 포함한다.

이미지 처리 모듈(620)은, 상기 목표 이미지의 이미지 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보, 상기 객체 유형 정보의 제1 신뢰도 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정한다.

신뢰도 처리 모듈(630)은, 상기 제1 신뢰도 및 상기 제2 신뢰도에 기반하여, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보의 목표 신뢰도를 각각 결정한다.

포지셔닝 모듈(640)은, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보 및 상기 객체 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정한다.

일부 실시예에서, 상기 이미지 특징맵은, 상기 이미지 특징맵 내의 특징점이 속하는 객체를 분류하기 위한 분류 특징맵 및 상기 이미지 특징맵 내의 특징점이 속하는 객체를 포지셔닝하기 위한 포지셔닝 특징맵을 포함한다.

상기 이미지 처리 모듈(620)은,

상기 분류 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 및 상기 객체 유형 정보의 제1 신뢰도를 결정하고;

상기 포지셔닝 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 경계 박스 정보, 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정한다.

일부 실시예에서, 상기 이미지 처리 모듈(620)은, 상기 포지셔닝 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 경계 박스 정보를 결정할 경우,

일부 실시예에서, 상기 이미지 처리 모듈(620)은, 하나의 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위를 결정할 경우,

일부 실시예에서, 상기 이미지 처리 모듈은, 결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택할 경우,

일부 실시예에서, 상기 이미지 처리 모듈(620)은, 결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택할 경우,

일부 실시예에서, 상기 이미지 처리 모듈(620)은, 상기 객체 경계 박스 정보의 제2 신뢰도를 결정할 경우,

상기 이미지 특징맵 내의 하나의 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위에 대응하는 제1 확률값에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보의 제2 신뢰도를 결정한다.

일부 실시예에서, 상기 이미지 처리 모듈은, 상기 특징점이 속하는 객체의 객체 경계 박스 정보의 제2 신뢰도를 결정할 경우,

상기 평균값을 상기 제2 신뢰도로 결정한다.

일부 실시예에서, 상기 이미지 처리 모듈(620)은, 상기 분류 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보를 결정할 경우,

상기 분류 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체가 각각의 사전 설정된 객체 유형일 제2 확률값을 결정하고;

일부 실시예에서, 상기 포지셔닝 모듈(640)은,

본 발명의 실시예는 전자 기기를 개시하고, 도 7에 도시된 바와 같이, 프로세서(701), 메모리(702) 및 버스(703)를 포함하며, 상기 메모리(702)에는 상기 프로세서(701)에 의해 실행 가능한 기계 판독 가능 명령이 저장되어 있고, 전자 기기가 실행될 경우, 상기 프로세서(701)와 상기 메모리(702) 사이는 버스(703)를 통해 통신한다.

상기 기계 판독 가능 명령이 상기 프로세서(701)에 의해 실행될 경우, 이하의 포지셔닝 방법의 단계를 수행하는 바, 아래와 같다:

각각의 특징점이 속하는 객체의 객체 경계 박스 정보 및 상기 객체 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정하는 단계를 수행한다.

이 외에, 기계 판독 가능 명령이 프로세서(701)에 의해 실행될 경우, 상기 방법 부분에서 설명된 어느 한 실시형태의 방법의 내용이 수행될 수도 있으며, 여기서 더 이상 설명하지 않는다.

본 발명의 실시예는 프로그램 코드가 저장된 컴퓨터 판독 가능 저장 매체를 포함하는, 상기 방법 및 장치에 대응하는 컴퓨터 프로그램 제품을 더 제공하고, 프로그램 코드에 포함된 명령은 전술된 방법 실시예의 방법을 수행할 수 있으며, 구체적인 구현은 방법 실시예를 참조할 수 있고, 여기서 더 이상 설명하지 않는다.

상기 각 실시예에 대한 설명은 각 실시예 사이의 차이점을 강조하는 경향이 있고, 동일하거나 유사한 점은 서로 참조될 수 있으며, 간결함을 위해 본 명세서에서 더 이상 설명하지 않는다.

본 기술분야의 통상의 기술자라면, 설명의 편리 및 간결성을 위해, 앞서 설명된 시스템 및 장치의 특정한 동작 프로세스에 대해, 방법 실시예들의 대응하는 프로세스들을 참조하고, 상세사항은 여기서는 설명되지 않는다는 것을 명확하게 이해할 수 있을 것이다. 본 개시내용에서 제공된 실시예들에서, 개시된 시스템, 장치 및 방법은 다른 방식들로 구현될 수 있다는 것을 이해해야 한다. 예를 들어, 전술된 장치 실시예는 예시일 뿐이다. 예를 들어, 모듈들의 분할은 단순히 논리적 기능들의 분할이며 실제 구현에서 다른 분할 모드가 있을 수 있다. 예를 들어, 복수의 모듈 또는 컴포넌트가 결합될 수 있거나 또 다른 시스템에 통합될 수 있거나, 일부 특성이 무시되거나 수행되지 않을 수 있다. 또한, 표시되거나 논의된 상호 결합들 또는 직접적 결합들 또는 통신 접속들은 소정의 통신 인터페이스들을 이용해 구현될 수 있다. 장치들 또는 모듈들 사이의 간접적인 결합들 또는 통신 접속들은, 전자적, 기계적 또는 기타의 형태로 구현될 수 있다.

별개의 컴포넌트들로서 설명된 모듈들은 물리적으로 분리될 수 있거나 분리되지 않을 수 있으며, 모듈들로서 표시되는 컴포넌트들은 물리적 유닛들일 수 있거나 아닐 수도 있다, 즉, 한 곳에 위치할 수 있거나 복수의 네트워크 유닛들에 걸쳐 분산될 수 있다. 유닛들의 일부 또는 전부는 실시예들에서의 솔루션들의 목적들을 달성하기 위한 실제의 요구조건들에 따라 선택될 수 있다.

또한, 본 발명의 실시예들에서의 기능 유닛들은, 하나의 처리 유닛으로 통합되거나, 유닛들 각각이 물리적으로 분리되어 존재하거나, 2개 이상의 유닛들이 하나의 유닛으로 통합될 수 있다.

소프트웨어 기능 유닛들의 형태로 구현되어 독립적인 제품으로서 판매되거나 이용되는 경우, 기능들은 비휘발성의 프로세서-실행가능하고 컴퓨터-판독가능한 저장 매체에 또한 저장될 수 있다. 이러한 이해에 기초하여, 본질적으로 본 개시내용의 기술적 솔루션들, 또는 종래 기술에 기여하는 부분, 또는 기술적 솔루션들의 일부는, 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되며, (PC, 서버, 또는 네트워크 디바이스 등일 수 있는) 컴퓨터 디바이스에게 본 개시내용의 실시예들에서 설명된 방법들의 단계들의 전부 또는 일부를 수행할 것을 지시하기 위한 수 개의 명령어들을 포함한다. 전술된 저장 매체는 : USB 플래시 드라이브, 착탈식 하드 디스크, 판독 전용 메모리(ROM; Read-Only Memory), 랜덤 액세스 메모리(RAM; Random Access Memory), 자기 디스크, 또는 광 디스크 등의, 프로그램 코드들을 저장할 수 있는 임의의 매체를 포함한다.

전술된 설명은 단지 본 개시내용에 관한 상세한 설명일 뿐, 본 개시내용의 보호 범위를 제한하려는 의도는 아니다. 본 개시내용에서 개시된 기술적 범위 내에서 본 기술분야의 통상의 기술자가 용이하게 알아낼 수 있는 임의의 변형이나 대체물은 본 개시내용의 보호 범위 내에 든다. 따라서, 본 개시내용의 보호 범위는 청구항들의 보호 범위에 따라야 한다.

Claims

포지셔닝 방법으로서,
목표 이미지를 획득하는 단계 - 상기 목표 이미지는 적어도 하나의 포지셔닝될 객체를 포함함 -;
상기 목표 이미지의 이미지 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보, 상기 객체 유형 정보의 제1 신뢰도 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정하는 단계;
상기 제1 신뢰도 및 상기 제2 신뢰도에 기반하여, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보의 목표 신뢰도를 각각 결정하는 단계; 및
각각의 특징점이 속하는 객체의 객체 경계 박스 정보 및 상기 객체 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법.
제1항에 있어서,
상기 이미지 특징맵은, 상기 이미지 특징맵 내의 특징점이 속하는 객체를 분류하기 위한 분류 특징맵 및 상기 이미지 특징맵 내의 특징점이 속하는 객체를 포지셔닝하기 위한 포지셔닝 특징맵을 포함하고,
상기 목표 이미지의 이미지 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보, 상기 객체 유형 정보의 제1 신뢰도 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정하는 단계는,
상기 이미지 특징맵 내의 각각의 특징점에 대해,
상기 분류 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 유형 정보, 및 상기 객체 유형 정보의 제1 신뢰도를 결정하는 단계; 및
상기 포지셔닝 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보, 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법.
제2항에 있어서,
상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 포지셔닝 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보를 결정하는 단계는,
상기 이미지 특징맵 내의 각각의 특징점에 대해,
상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위를 각각 결정하는 단계;
상기 목표 거리 범위 및 상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 목표 거리를 각각 결정하는 단계; 및
상기 이미지 특징맵에서의 상기 특징점의 위치 정보, 및 상기 특징점과 각 경계 사이의 목표 거리에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법.
제3항에 있어서,
상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위를 결정하는 단계는,
상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계에 대해,
상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 경계 사이의 최대 거리를 결정하는 단계;
상기 최대 거리에 대해 세그먼테이션 처리를 수행하여, 복수의 거리 범위를 획득하는 단계;
상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 경계 사이의 거리가 각각의 거리 범위 내에 위치할 제1 확률값을 결정하는 단계; 및
결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법.
제4항에 있어서,
결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택하는 단계는,
가장 큰 상기 제1 확률값에 대응하는 거리 범위를 상기 목표 거리 범위로 이용하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법.
제4항에 있어서,
결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택하는 단계는,
상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 경계 사이의 거리의 거리 불확정 파라미터값을 결정하는 단계;
상기 거리 불확정 파라미터값 및 각각의 제1 확률값에 기반하여, 상기 특징점과 상기 경계 사이의 거리가 각각의 거리 범위 내에 위치하는 목표 확률값을 결정하는 단계; 및
가장 큰 상기 목표 확률값에 대응하는 거리 범위를 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위로 이용하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법.
제4항에 있어서,
상기 객체 경계 박스 정보의 제2 신뢰도를 결정하는 단계는,
상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위에 대응하는 제1 확률값에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보의 제2 신뢰도를 결정하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법.
제7항에 있어서,
상기 특징점이 속하는 객체의 객체 경계 박스 정보의 제2 신뢰도를 결정하는 단계는,
상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위에 대응하는 제1 확률값의 평균값을 획득하는 단계; 및
상기 평균값을 상기 제2 신뢰도로 결정하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법.
제2항 내지 제8항 중 어느 한 항에 있어서,
상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 분류 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 유형 정보를 결정하는 단계는,
상기 이미지 특징맵 내의 각각의 특징점에 대해,
상기 분류 특징맵에 기반하여, 상기 특징점이 속하는 객체가 각각의 사전 설정된 객체 유형일 제2 확률값을 결정하는 단계; 및
가장 큰 상기 제2 확률값에 대응하는 사전 설정된 객체 유형에 기반하여, 상기 특징점이 속하는 객체의 객체 유형 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
각각의 특징점이 속하는 객체의 객체 경계 박스 정보 및 상기 객체 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정하는 단계는,
상기 이미지 특징맵에서 복수의 목표 특징점을 선별해내는 단계 - 상기 복수의 목표 특징점의 상호간 거리는 사전 설정된 임계값보다 작고, 각 목표 특징점이 속하는 객체의 객체 유형 정보는 동일함 -;
각각의 목표 특징점이 속하는 객체의 객체 경계 박스 정보에서 목표 신뢰도가 가장 높은 객체 경계 박스 정보를 선택하여, 목표 경계 박스 정보로 이용하는 단계; 및
선택된 상기 목표 경계 박스 정보, 및 상기 목표 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법.
포지셔닝 장치로서,
목표 이미지를 획득하기 위한 이미지 획득 모듈 - 상기 목표 이미지는 적어도 하나의 포지셔닝될 객체를 포함함 -;
상기 목표 이미지의 이미지 특징맵에 기반하여, 상기 이미지 특징맵 내의 각각의 특징점이 속하는 객체의 객체 유형 정보, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보, 상기 객체 유형 정보의 제1 신뢰도 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정하기 위한 이미지 처리 모듈;
상기 제1 신뢰도 및 상기 제2 신뢰도에 기반하여, 각각의 특징점이 속하는 객체의 객체 경계 박스 정보의 목표 신뢰도를 각각 결정하기 위한 신뢰도 처리 모듈; 및
각각의 특징점이 속하는 객체의 객체 경계 박스 정보 및 상기 객체 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정하기 위한 포지셔닝 모듈을 포함하는 것을 특징으로 하는 포지셔닝 장치.
제11항에 있어서,
상기 이미지 특징맵은, 상기 이미지 특징맵 내의 특징점이 속하는 객체를 분류하기 위한 분류 특징맵 및 상기 이미지 특징맵 내의 특징점이 속하는 객체를 포지셔닝하기 위한 포지셔닝 특징맵을 포함하고,
상기 이미지 처리 모듈은,
상기 이미지 특징맵 내의 각각의 특징점에 대해,
상기 분류 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 유형 정보, 및 상기 객체 유형 정보의 제1 신뢰도를 결정하고;
상기 포지셔닝 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보, 및 상기 객체 경계 박스 정보의 제2 신뢰도를 결정하는 것을 특징으로 하는 포지셔닝 장치.
제12항에 있어서,
상기 이미지 처리 모듈은, 상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 포지셔닝 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보를 결정할 경우,
상기 이미지 특징맵 내의 각각의 특징점에 대해,
상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위를 각각 결정하고;
목표 거리 범위 및 상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 목표 거리를 각각 결정하며;
상기 이미지 특징맵에서의 상기 특징점의 위치 정보, 및 상기 특징점과 각 경계 사이의 목표 거리에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보를 결정하는 것을 특징으로 하는 포지셔닝 장치.
제13항에 있어서,
상기 이미지 처리 모듈은, 상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위를 결정할 경우,
상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계에 대해, 상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 경계 사이의 최대 거리를 결정하고;
상기 최대 거리에 대해 세그먼테이션 처리를 수행하여, 복수의 거리 범위를 획득하며;
상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 경계 사이의 거리가 각각의 거리 범위 내에 위치할 제1 확률값을 결정하고;
결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택하는 것을 특징으로 하는 포지셔닝 장치.
제14항에 있어서,
상기 이미지 처리 모듈은, 결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택할 경우,
가장 큰 상기 제1 확률값에 대응하는 거리 범위를 상기 목표 거리 범위로 이용하는 것을 특징으로 하는 포지셔닝 장치.
제14항에 있어서,
상기 이미지 처리 모듈은, 결정된 상기 제1 확률값에 기반하여, 상기 복수의 거리 범위에서 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위를 선택할 경우,
상기 포지셔닝 특징맵에 기반하여, 상기 특징점과 상기 경계 사이의 거리의 거리 불확정 파라미터값을 결정하고;
상기 거리 불확정 파라미터값 및 각각의 제1 확률값에 기반하여, 상기 특징점과 상기 경계 사이의 거리가 각각의 거리 범위 내에 위치하는 목표 확률값을 결정하며;
가장 큰 목표 확률값에 대응하는 거리 범위를 상기 특징점과 상기 경계 사이의 거리가 위치하는 목표 거리 범위로 이용하는 것을 특징으로 하는 포지셔닝 장치.
제14항에 있어서,
상기 이미지 처리 모듈은, 상기 객체 경계 박스 정보의 제2 신뢰도를 결정할 경우,
상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위에 대응하는 제1 확률값에 기반하여, 상기 특징점이 속하는 객체의 객체 경계 박스 정보의 제2 신뢰도를 결정하는 것을 특징으로 하는 포지셔닝 장치.
제17항에 있어서,
상기 이미지 처리 모듈은, 상기 특징점이 속하는 객체의 객체 경계 박스 정보의 제2 신뢰도를 결정할 경우,
상기 특징점과 상기 특징점이 속하는 객체의 객체 경계 박스 내의 각 경계 사이의 거리 각각이 위치하는 목표 거리 범위에 대응하는 제1 확률값의 평균값을 획득하고;
상기 평균값을 상기 제2 신뢰도로 결정하는 것을 특징으로 하는 포지셔닝 장치.
제12항 내지 제18항 중 어느 한 항에 있어서,
상기 이미지 처리 모듈은, 상기 이미지 특징맵 내의 각각의 특징점에 대해, 상기 분류 특징맵에 기반하여, 상기 특징점이 속하는 객체의 객체 유형 정보를 결정할 경우,
상기 이미지 특징맵 내의 각각의 특징점에 대해,
상기 분류 특징맵에 기반하여, 상기 특징점이 속하는 객체가 각각의 사전 설정된 객체 유형일 제2 확률값을 결정하고;
가장 큰 상기 제2 확률값에 대응하는 사전 설정된 객체 유형에 기반하여, 상기 특징점이 속하는 객체의 객체 유형 정보를 결정하는 것을 특징으로 하는 포지셔닝 장치.
제11항 내지 제19항 중 어느 한 항에 있어서,
상기 포지셔닝 모듈은,
상기 이미지 특징맵에서 복수의 목표 특징점을 선별해내되, 상기 복수의 목표 특징점의 상호간 거리는 사전 설정된 임계값보다 작고, 각 목표 특징점이 속하는 객체의 객체 유형 정보는 동일하며;
각각의 목표 특징점이 속하는 객체의 객체 경계 박스 정보에서 목표 신뢰도가 가장 높은 객체 경계 박스 정보를 선택하여, 목표 경계 박스 정보로 이용하고;
선택된 상기 목표 경계 박스 정보, 및 상기 목표 경계 박스 정보의 목표 신뢰도에 기반하여, 상기 목표 이미지 내의 객체의 포지셔닝 정보를 결정하는 것을 특징으로 하는 포지셔닝 장치.
전자 기기로서,
프로세서, 저장 매체 및 버스를 포함하고, 상기 저장 매체에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 저장되어 있으며, 전자 기기가 실행될 경우, 상기 프로세서와 상기 저장 매체 사이는 버스를 통해 통신하고, 상기 프로세서는 상기 기계 판독 가능 명령을 실행하여, 제1항 내지 제10항 중 어느 한 항에 따른 포지셔닝 방법을 수행하는 것을 특징으로 하는 전자 기기.
컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제10항 중 어느 한 항에 따른 포지셔닝 방법이 수행되는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.