KR20210065901A

KR20210065901A - 이미지에서의 키 포인트 위치의 인식 방법, 장치, 전자기기 및 매체

Info

Publication number: KR20210065901A
Application number: KR1020210063419A
Authority: KR
Inventors: 쑤에통 쑤에; 후이 렌; 민 양
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-05-29
Filing date: 2021-05-17
Publication date: 2021-06-04
Also published as: KR102508860B1; CN111709428B; EP3822858A2; EP3822858A3; US11636666B2; JP2021108155A; CN111709428A; US20210279500A1; JP7054746B2

Abstract

본원 발명은 이미지에서의 키 포인트 위치의 인식 방법, 장치, 전자기기 및 매체를 개시하는 바, 이는 컴퓨터 비전 기술분야에 관한 것이다. 구체적인 실현방안은, 검출 대기 이미지를 획득하고 상기 검출 대기 이미지의 특징 맵과 현저성 맵을 획득하고; 상기 검출 대기 이미지의 특징 맵에 근거하여 상기 검출 대기 이미지의 점수 응답 맵을 생성하며; 상기 점수 응답 맵에 근거하여 키 포인트가 상기 점수 응답 맵에서의 제1 키 포인트 위치를 획득하고; 상기 제1 키 포인트 위치에 근거하여 상기 키 포인트가 상기 검출 대기 이미지에 매핑된 제2 키 포인트 위치를 획득하며; 상기 현저성 맵에 근거하여 상기 제2 키 포인트 위치를 수정하는 것이다. 이로써, 이미지에서의 국부 영역의 중심 위치를 이미지의 키 포인트로 고정하는 단점을 방지하여 수정된 후의 키 포인트 위치가 국부 영역의 중심 위치보다 더 대표적이도록 하고 키 포인트 선택의 정확성을 향상시킨다.

Description

이미지에서의 키 포인트 위치의 인식 방법, 장치, 전자기기 및 매체{METHOD, DEVICE, ELECTRONIC EQUIPMENT AND MEDIUM FOR IDENTIFYING KEY POINT POSITIONS IN IMAGES}

본원 발명의 실시예는 전반적으로 이미지 처리 기술분야에 관한 것으로, 더 구체적으로는 컴퓨터 비전 기술분야에 관한 것이다.

이미지 처리분야에서, 이미지의 키 포인트 또는 특징점은 통상적으로 이미지에서 대표성 또는 특징성을 가지는 픽셀점을 가리키는 바, 동일한 시나리오 또는 타겟을 포함하는 기타 유사한 이미지에서 동일하거나 유사한 불변의 형태로 이미지의 의미 또는 이미지에서 타겟팅하는 특성을 나타낼 수 있다. 통상적으로 이미지를 대표하여 이미지 분석과 인식을 진행할 수 있도록 키 포인트의 이미지 정보를 이미지의 특징 기술어로 이용한다. 따라서, 이미지에서의 키 포인트를 정확하게 찾는 것은 이미지의 처리에 있어서 중요한 의미가 있으며 어떻게 이미지에서 키 포인트를 정확히 찾을 것인가 하는 것은 컴퓨터 비전 분야의 연구 포인트의 하나가 되었다.

본원 발명은 이미지에서의 키 포인트 위치의 인식 방법, 장치, 전자기기 및 매체를 제공한다.

제1 양태에 따르면, 이미지에서의 키 포인트 위치의 인식 방법을 제공하는데 이는,

검출 대기 이미지를 획득하고 상기 검출 대기 이미지의 특징 맵과 현저성 맵을 획득하는 단계;

상기 검출 대기 이미지의 특징 맵에 근거하여 상기 검출 대기 이미지의 점수 응답 맵을 생성하는 단계;

상기 점수 응답 맵에 근거하여 키 포인트가 상기 점수 응답 맵에서의 제1 키 포인트 위치를 획득하는 단계;

상기 제1 키 포인트 위치에 근거하여 상기 키 포인트가 상기 검출 대기 이미지에 매핑된 제2 키 포인트 위치를 획득하는 단계; 및

상기 현저성 맵에 근거하여 상기 제2 키 포인트 위치를 수정하는 단계; 를 포함한다.

제2 양태에 따르면, 이미지에서의 키 포인트 위치의 인식 장치를 포함하는데 이는,

검출 대기 이미지를 획득하고 상기 검출 대기 이미지의 특징 맵과 현저성 맵을 획득하는 이미지 획득 모듈;

상기 검출 대기 이미지의 특징 맵에 근거하여 상기 검출 대기 이미지의 점수 응답 맵을 생성하는 생성 모듈;

상기 점수 응답 맵에 근거하여 키 포인트가 상기 점수 응답 맵에서의 제1 키 포인트 위치를 획득하는 제1 키 포인트 획득 모듈;

상기 제1 키 포인트 위치에 근거하여 상기 키 포인트가 상기 검출 대기 이미지에 매핑된 제2 키 포인트 위치를 획득하는 제2 키 포인트 획득 모듈; 및

상기 현저성 맵에 근거하여 상기 제2 키 포인트 위치를 수정하는 수정 모듈; 을 포함한다.

제3 양태에 따르면, 전자기기를 제공하는데,

적어도 하나의 프로세서; 및

상기 적어도 하나의 프로세서와 통신 연결하는 메모리; 를 포함하고,

상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되며 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 제1 양태에 따른 이미지에서의 키 포인트 위치의 인식 방법을 수행한다.

제4 양태에 따르면, 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독 가능 저장매체를 제공하는데, 상기 컴퓨터 프로그램의 명령이 실행될 경우, 제1 양태에 따른 이미지에서의 키 포인트 위치의 인식 방법이 수행된다.

제5 양태에 따르면, 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독 가능 저장매체를 제공하는데, 상기 컴퓨터 프로그램의 명령이 실행될 경우, 제1 양태에 따른 이미지에서의 키 포인트 위치의 인식 방법이 수행된다.

본원 발명이 제공하는 이미지에서의 키 포인트 위치의 인식 방법, 장치, 전자기기 및 매체에는 아래와 같은 유리한 효과가 존재한다.

검출 대기 이미지를 획득하고 검출 대기 이미지의 특징 맵과 현저성 맵을 획득하며; 검출 대기 이미지의 특징 맵에 근거하여 검출 대기 이미지의 점수 응답 맵을 생성하고; 점수 응답 맵에 근거하여 키 포인트가 점수 응답 맵에서의 제1 키 포인트 위치를 획득하며; 제1 키 포인트 위치에 근거하여 키 포인트가 검출 대기 이미지에 매핑된 제2 키 포인트 위치를 획득함으로써 현저성 맵에 근거하여 제2 키 포인트 위치를 수정한다. 이로써, 검출 대기 이미지와 대응하는 현저성 맵을 획득하고 현저성 맵을 이용하여 특징 맵에 따라 결정한 키 포인트의 위치를 수정함으로써 이미지에서의 국부 영역의 중심 위치를 이미지의 키 포인트로 고정하는 단점을 방지하여 수정된 후의 키 포인트 위치가 국부 영역의 중심 위치보다 더 대표적이도록 하고 키 포인트 선택의 정확성을 향상시킨다.

본 명세서에서 설명한 내용은 본 발명의 실시예의 관건적이거나 중요한 특징을 표기하기 위한 것이 아니고 본 발명의 범위를 한정하기 위한 것도 아님을 이해해야 한다. 본 발명의 기타 특징은 아래의 명세서를 통해 더 용이하게 이해할 수 있을 것이다.

첨부 도면은 본 방안을 더 잘 이해하기 위한 것으로, 본원 발명을 한정하지 않는다. 여기서,
도 1은 본원 발명의 제1 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법의 과정 모식도이다.
도 2a는 한 폭의 검출 대기 이미지의 예시도이다.
도 2b는 도 2a에 도시된 검출 대기 이미지와 대응되는 현저성 맵의 예시도이다.
도 3은 본원 발명의 구체적인 실시예에 따른 이미지키 포인트 추출 과정 예시도이다.
도 4는 본원 발명의 제2 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법의 과정 모식도이다.
도 5는 본원 발명의 제3 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법의 과정 모식도이다.
도 6은 본원 발명의 제4 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법의 과정 모식도이다.
도 7은 본원 발명의 제5 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법의 과정 모식도이다.
도 8은 본원 발명의 제6 실시예에 따른 이미지에서의 키 포인트 위치의 인식 장치의 구조 모식도이다.
도 9는 본원 발명의 제7 실시예에 따른 이미지에서의 키 포인트 위치의 인식 장치의 구조 모식도이다.
도 10은 본원 발명의 제8 실시예에 따른 이미지에서의 키 포인트 위치의 인식 장치의 구조 모식도이다.
도 11은 본원 발명의 제9 실시예에 따른 이미지에서의 키 포인트 위치의 인식 장치의 구조 모식도이다.
도 12는 본원 발명의 제10 실시예에 따른 이미지에서의 키 포인트 위치의 인식 장치의 구조 모식도이다.
도 13은 본원 발명의 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법을 구현하기 위한 전자기기의 블록도이다.

이하, 첨부 도면을 결부하여 본원 발명의 예시적인 실시예들을 설명하고자 하며, 이해를 돕기 위해 본원 발명의 실시예들의 다양한 세부 사항들이 포함되는데, 이들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 본원 발명의 기술 분야의 통상의 지식을 가진 자라면 본원 발명의 범위 및 사상을 벗어나지 않으면서 본 명세서에 설명된 실시예들에 대해 다양한 변경 및 수정이 이루어질 수 있음을 알아야 한다. 또한, 명확성 및 간결성을 위해, 공지된 기능 및 구조에 대한 설명은 아래 설명에서 생략된다.

이하 도면을 참조하여 본원 발명에 따른 이미지에서의 키 포인트 위치의 인식 방법, 장치, 전자기기 및 매체를 설명한다.

이미지 처리에 있어서, 이미지를 대표하여 분석하고 인식하도록 통상적으로 키 포인트의 이미지 정보를 이미지의 특징 기술어로 이용한다.

현재 사용하는 컨볼루션 신경망에 기반한 키 포인트 추출 방법에 있어서, 키 포인트 추출을 진행할 경우, 입력 이미지에 대해 해상도가 저하된 특징 맵을 추출하여 표시한 다음, 특징 맵에서 일련의 포인트를 선별하여 기존의 입력 이미지에 투사하는데 이러한 포인트는 기존의 입력 이미지의 일련의 국부 영역과 각각 대응되어 기존의 입력 이미지의 국부 영역의 중심점을 최종적인 키 포인트로 한다.

그러나, 키 포인트가 반영한 것은 이미지에서 고정된 위치가 아닌 제일 대표적인 위치이고, 일반적으로 이미지에서의 코너 위치는 키 포인트로 사용하기에 적합하며, 국부 영역의 중심 위치는 코너 위치가 아닐 수 있으므로 관련 기술에서 국부 영역의 중심점을 키 포인트로 결정하는 방식은 합리적이지 않아 국부 영역의 최적점을 선별하기 어려워 선별된 키 포인트의 정확성이 높지 않게 된다.

상기 문제점에 대하여, 본원 발명은 이미지에서의 키 포인트 위치의 인식 방법을 개시하는 바, 검출 대기 이미지와 대응하는 현저성 맵을 획득하고 현저성 맵을 이용하여 특징 맵에 따라 결정한 키 포인트의 위치를 수정함으로써 이미지에서의 국부 영역의 중심 위치를 이미지의 키 포인트로 고정하는 단점을 방지하여 수정된 후의 키 포인트 위치가 국부 영역의 중심 위치보다 더 대표적이도록 하고 키 포인트 선택의 정확성을 향상시킨다.

도 1은 본원 발명의 제1 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법의 과정 모식도이고, 상기 방법은 본원 발명이 제공하는 이미지에서의 키 포인트 위치의 인식 장치에 의해 수행될 수도 있고 본원 발명이 제공하는 전자기기에 의해 수행될 수도 있으며, 여기서, 전자기기는 서버일 수도 있고 데스크톱 컴퓨터, 노트북 등 단말기기 일 수도 있다. 이하 본원 발명이 제공하는 이미지에서의 키 포인트 위치의 인식 장치에 의해 본원 발명이 제공하는 이미지에서의 키 포인트 위치의 인식 방법을 수행하는 것을 예로 들어 본원 발명을 해석하고 설명한다.

도 1에 도시된 바와 같이, 상기 이미지에서의 키 포인트 위치의 인식 방법은 아래와 같은 단계를 포함할 수 있다.

단계101에서, 검출 대기 이미지를 획득하고 검출 대기 이미지의 특징 맵과 현저성 맵을 획득한다.

여기서, 검출 대기 이미지는 키 포인트 인식을 진행해야 할 임의의 이미지일 수 있고, 검출 대기 이미지에는 적어도 하나의 타겟, 예를 들어 검출 대기 이미지에는 차량, 건축물, 동식물 등 임의의 오브젝트가 포함될 수 있으며, 본원 발명에서 제공하는 이미지에서의 키 포인트 위치의 인식 방법을 통해 검출 대기 이미지에 포함된 오브젝트를 나타내는 키 포인트를 인식할 수 있다.

본 실시예에서, ImageNet 데이터 집합, PASCAL VOC 데이터 집합, Labelme 데이터 집합 등과 같은 개시된 이미지 데이터 집합으로부터 이미지를 획득하여 검출 대기 이미지로 사용하거나; 또는 로컬 갤러리로부터 이미지를 획득하여 검출 대기 이미지로 사용하거나; 또는 한 장의 이미지를 촬영하여 검출 대기 이미지로 사용할 수 있는데 본원 발명은 검출 대기 이미지를 획득하는 방식을 한정하지 않는다.

이어서, 검출 대기 이미지를 획득한 후 검출 대기 이미지와 대응되는 특징 맵을 획득할 수 있다.

하나의 예시로서, 미리 트레이닝된 신경망 모델을 이용하여 검출 대기 이미지에 대해 특징 추출 동작을 진행함으로써 검출 대기 이미지와 대응되는 특징 맵을 획득할 수 있다. 여기서, 신경망 모델은 VGGNet(시각적 기하학 그룹 네트워크, Visual Geometry Group Network), AlexNet, ResNet(잉여 네트워크, Residual Network) 네트워크 또는 이미지 특징 추출에 사용될 수 있는 기타 형태의 신경망 모델일 수 있다.

상기 신경망 모델을 트레이닝할 경우, 먼저 ImageNet 등 큰 규모의 데이터 집합을 사용하여 VGGNet, ResNet, AlexNet등 컨볼루션 신경망 모델에 대해 프리 트레이닝을 진행하되, 트레이닝을 진행할 때 교차 엔트로피 손실 함수를 사용하여 트레이닝에 의해 이미지를 바람직하게 분류할 수 있는 하나의 분류 모델을 얻을 수 있다. 다음, 모션의 구조(Structure From Motion, SFM)를 사용하여 Megadepth 데이터 집합에서 자동으로 키 포인트를 태깅하고 프리 트레이닝된 분류 모델을 미세 조정한다. 여기서, 프리 트레이닝된 분류 모델을 미세 조정할 경우, 상기 프리 트레이닝된 분류 모델을 로딩한 후, Megadepth 데이터 집합에서 새로운 태깅 키 포인트를 구비한 데이터를 새롭게 트레이닝하고 분류 모델을 미세 조정하는 과정에서 트리플렛 마진 랭킹 손실 함수(Triplet Margin Ranking Loss)를 사용하는데, 상기 손실 함수는 메트릭 학습에서 흔히 사용하는 손실 함수이고, 트리플렛의 의미는 네트워크에 입력한 이미지가 3개의 이미지로 조성되어 하나의 트리플렛을 형성하는 것을 의미하며, 3개의 이미지는 참조 이미지(anchor), 양성 샘플(positive) 및 음성 샘플(negative)로 분류되고, 여기서 참조 이미지와 양성 샘플은 간단한 트리플렛을 조성하고, 참조 이미지와 음성 샘플은 어려운 트리플렛을 조성하며, 네트워크 최적화를 통해 간단한 트레플렛의 거리가 점점 가까워지도록 하고 어려운 트리플렛의 거리가 점점 멀어지도록 한다. 다시 말하면, 트리플렛 마진 랭킹 손실 함수를 사용하여 프리 트레이닝된 분류 모델을 미세 조정하는데 상기 손실 함수는 입력된 페어링 이미지 및 대응되는 키 포인트에 근거하여 관계를 태깅하고, 네트워크를 조절하여 최소화로 정확한 포인트의 거리를 대응하도록 하는 동시에 최대화로 잘못된 포인트의 거리를 대응하도록 한다. 미세 조정된 후의 분류 모델은 검출 대기 이미지의 특징 추출에 사용되어 검출 대기 이미지의 특징 맵을 얻을 수 있다.

예를 들어, 검출 대기 이미지를 미리 트레이닝한 신경망 모델에 입력하여 특징 추출을 진행하고, 신경망 모델에서의 어느 한 풀링층의 출력 특징 맵을 검출 대기 이미지의 특징 맵으로 사용할 수 있다.

픽셀 레벨의 태깅은 아주 미세한 것이므로 상이한 인원이 태깅할 때 대응 관계가 통일되지 않게 되어 오차를 발생하게 되고 이미지 데이터 집합의 확장과 더불어 태깅 대기 이미지 비율이 점점 많아지게 되므로 인위적으로 태깅하는 시간 비용도 상승하게 된다. 그러나 본원 발명의 실시예에서, 신경망 모델을 트레이닝할 경우, SFM을 통해 데이터 집합에서 자동으로 키 포인트를 태깅하므로 인위적인 간섭을 절감시키고 태깅하는 인력과 시간 비용을 절약하며 키 포인트 태깅의 정확성도 향상시킬 수 있다.

더 나아가, 검출 대기 이미지의 특징 맵에 근거하여 검출 대기 이미지의 현저성 맵을 획득할 수 있다.

딥 러닝에서, 통상적으로 역전파 알고리즘을 통해 기울기 역 전파를 진행하므로 본 실시예에서 검출 대기 이미지의 현저성 맵을 획득할 때 검출 대기 이미지의 특징 맵을 입력하여 표준화된 역전파 알고리즘을 통해 특징 맵이 검출 대기 이미지에 대한 기울기를 계산함으로써 검출 대기 이미지의 해상도와 같은 구배도를 얻을 수 있으며, 구배도에는 검출 대기 이미지에서의 각 포인트의 구배값이 포함되고, 상기 구배도를 검출 대기 이미지의 현저성 맵으로 한다.

또한, 구배도의 포인트를 선별할 수 있는데, 구배도에서 조건을 만족시키는 포인트를 이용하여 현저성 맵을 조성할 수 있다. 구체적으로, 역전파 알고리즘을 통해 구배도를 얻은 다음, 자기 적응 임계값을 이용하여 구배도에서의 구배값을 선별할 수 있고, 구배값이 자기 적응 임계값에 도달하는 포인트를 이용하여 현저성 맵을 조성할 수 있다. 여기서, 자기 적응 임계값은 이미지 엔트로피 분할 방법으로 계산하여 얻을 수 있다. 자기 적응 임계값을 계산할 때, 구배도에 대하여, 256개의 그레이스케일을 256개의 분할 임계값으로 하여 각 분할 임계값에서의 확률밀도함수를 각각 계산한 다음 다시 각 확률밀도함수에 근거하여 각 분할 임계값에서의 전경과 배경 픽셀의 누적 엔트로피를 계산함으로써 제일 큰 엔트로피를 찾고, 제일 큰 엔트로피와 대응되는 분할 임계값을 최종 임계값, 즉 자기 적응 임계값으로 한다. 구배도에서의 각 구배값과 결정된 자기 적응 임계값을 비교하여 자기 적응 임계값보다 작은 구배값을 제거하고 자기 적응 임계값보다 크거나 같은 구배값을 보류하며, 보류된 구배값이 대응되는 포인트를 이용하여 검출 대기 이미지의 현저성 맵을 조성한다.

설명해야 할 것은, 이미지 엔트로피 분할 방법을 이용하여 자기 적응 임계값을 계산하는 것은 현재 비교적 성숙된 기술이므로 본 실시예에서는 단지 계산 과정에 대하여 간략하게 설명할 뿐 상세히 설명하지 않는다.

도 2a는 한 폭의 검출 대기 이미지의 예시도이고 도 2b는 도 2a에 도시된 검출 대기 이미지와 대응되는 현저성 맵의 예시도이다. 도 2a와 도 2b를 결부하여 알 수 있다 시피, 도 2b의 현저성 맵에서 휘도가 비교적 높은 포인트는 도 2a에서 타겟의 엣지 위치와 세부 위치와 대응되는 바, 즉 현저성 맵에서의 높은 구배값은 검출 대기 이미지에서의 타겟의 엣지, 세부 등 대표적인 위치와 대응된다.

현저성 맵이 반영하는 콘텐츠는 검출 대기 이미지에서의 모든 타겟의 엣지의 구배 변화로서, 높은 구배값은 검출 대기 이미지에서의 타겟의 엣지, 세부 등 대표적인 위치와 대응되므로 구배도에서 자기 적응 임계값보다 작은 구배값을 제거하여, 획득한 현저성 맵의 포인트가 검출 대기 이미지의 타겟의 엣지 위치, 세부 위치만을 반영하도록 함으로써 후속적으로 현저성 맵에 근거하여 키 포인트 위치를 수정하는데 유리하고 후속적인 데이터 처리량을 저하시킬 수 있다.

단계102에서, 검출 대기 이미지의 특징 맵에 근거하여 검출 대기 이미지의 점수 응답 맵을 생성한다.

본 실시예에서, 검출 대기 이미지에서의 각 특징점에 대하여, 상기 특징점 부근의 상이한 기타 특징점 및 기타 채널에서의 동일한 위치의 특징점과 결부하여 상기 특징점의 응답 점수를 계산하여 얻을 수 있는 바, 특징 맵에서의 각 특징점의 응답 점수를 계산한 후 검출 대기 이미지의 점수 응답 맵을 얻을 수 있다.

여기서, 점수 응답 맵에서 각 응답 점수는 특징 맵에서의 특징점의 픽셀 강도(수치 강도)를 가리키는 바, 높은 수치와 대응되는 것은 높은 응답이고 높은 응답은 특징 맵 및 검출 대기 이미지의 타겟이 놓인 위치를 반영한다.

한가지 가능한 실현방식으로서, 특징점의 응답 점수를 계산할 때 특징점 및 이 주변의 몇몇 기타 특징점의 픽셀 값에 근거하여 하나의 제일 큰 픽셀 값을 결정하고 상기 특징점이 각 채널에서의 값을 획득하여 최대값을 선택하여 채널에서의 최대값과 주변에서 제일 큰 픽셀 값에 근거하여 상기 특징점의 응답 점수를 산출하여 얻을 수 있다.

단계103에서, 점수 응답 맵에 근거하여 키 포인트가 점수 응답 맵에서의 제1 키 포인트 위치를 획득한다.

점수 응답 맵에서, 제일 큰 응답 점수는 특징 맵에서 타겟이 놓이는 위치를 더 반영할 수 있으므로 본 실시예에서는 점수 응답 맵에서의 각 응답 점수와 기설정된 임계값을 비교하여 점수 응답 맵에서 응답 점수가 임계값보다 큰 특징점이 놓이는 위치를 제1 키 포인트 위치로 결정할 수 있다.

단계104에서, 제1 키 포인트 위치에 근거하여 키 포인트가 검출 대기 이미지에 매핑된 제2 키 포인트 위치를 획득한다.

본 실시예에서, 키 포인트를 검출 대기 이미지에 매핑할 경우, 특징 맵과 검출 대기 이미지의 해상도 관계를 매핑하는 것에 근거하여 키 포인트가 검출 대기 이미지에서의 제2 키 포인트 위치를 결정할 수 있다.

하나의 예시로서, 특징 맵의 해상도와 검출 대기 이미지의 해상도를 비교할 수 있는데, 만약 양자의 해상도가 동일하면 검출 대기 이미지에서 제1 키 포인트 위치와 동일한 위치를 찾을 수 있는데, 당해 위치가 바로 키 포인트가 검출 대기 이미지에 매핑된 제2 키 포인트 위치이다.

하나의 예시로, 특징 맵의 해상도와 검출 대기 이미지의 해상도가 상이할 경우, 양자 사이의 비율 관계에 근거하여 제1 키 포인트 위치에 따라 키 포인트가 검출 대기 이미지에서의 제2 키 포인트 위치를 결정할 수 있다.

단계105에서, 현저성 맵에 근거하여 제2 키 포인트 위치를 수정한다.

본 실시예에서, 키 포인트가 검출 대기 이미지에서의 제2 키 포인트 위치를 결정한 후, 획득한 검출 대기 이미지의 현저성 맵을 이용하여 제2 키 포인트 위치를 수정할 수 있다.

하나의 예시로서, 키 포인트 위치를 수정할 때, 검출 대기 이미지에서 결정한 제1 키 포인트 위치는 현저성 맵에서의 동일한 영역 내에서 현저성 값의 높고 낮음에 따라 제2 키 포인트 위치를 조절하여 제2 키 포인트 위치를 상기 영역에서 현저성 값이 제일 높은 위치까지 조절할 수 있다.

현저성 맵에서 높은 현저성 값은 검출 대기 이미지에서의 타겟의 엣지, 세부 등 대표적인 위치와 대응되므로 현저성 맵을 이용하여 검출 대기 이미지에서의 제2 키 포인트 위치를 수정함으로써 수정된 후의 위치가 더 대표적이도록 한다.

본 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법은, 검출 대기 이미지를 획득하고 검출 대기 이미지의 특징 맵과 현저성 맵을 획득하며; 검출 대기 이미지의 특징 맵에 근거하여 검출 대기 이미지의 점수 응답 맵을 생성하고; 점수 응답 맵에 근거하여 키 포인트가 점수 응답 맵에서의 제1 키 포인트 위치를 획득하며; 제1 키 포인트 위치에 근거하여 키 포인트가 검출 대기 이미지에 매핑된 제2 키 포인트 위치를 획득함으로써 현저성 맵에 근거하여 제2 키 포인트 위치를 수정한다. 이로써, 검출 대기 이미지와 대응하는 현저성 맵을 획득하고 현저성 맵을 이용하여 특징 맵에 따라 결정한 키 포인트의 위치를 수정함으로써 이미지에서의 국부 영역의 중심 위치를 이미지의 키 포인트로 고정하는 단점을 방지하여 수정된 후의 키 포인트 위치가 국부 영역의 중심 위치보다 더 대표적이도록 하고 키 포인트 선택의 정확성을 향상시킨다.

도 3은 본원 발명의 구체적인 실시예에 따른 이미지키 포인트 추출 과정 예시도이다. 도 3에 도시된 바와 같이, 하나의 검출 대기 이미지에 대하여 먼저 컨볼루션 신경망으로 검출 대기 이미지에 대해 특징 추출을 진행하는 단계(S1)를 수행하여 이미지 특징 맵을 얻고; 다음 특징 맵에 따라 검출 대기 이미지의 점수 응답 맵을 결정하는 단계(S2) 및 특징 맵에 따라 검출 대기 이미지의 현저성 맵을 결정하는 단계(S3)를 수행한다. 이어서 점수 응답 맵에서 높은 응답의 위치를 특징 맵에서의 키 포인트로 선택하는 단계(S4)를 수행하고; 다음, 키 포인트의 좌표를 검출 대기 이미지에 선형 매핑하는 단계(S5)를 수행한 후 현저성 맵을 이용하여 검출 대기 이미지에서 매핑한 키 포인트의 위치를 수정함으로써 새로운 키 포인트를 획득하는 단계(S6)를 수행하는바, 새로운 키 포인트가 바로 최종적으로 인식한 키 포인트이다.

상기 실시예에서의 검출 대기 이미지의 특징 맵에 근거하여 검출 대기 이미지의 점수 응답 맵을 생성하는 구체적인 실현과정을 더 뚜렷하게 설명하기 위하여 이하 도 4와 결부하여 상세히 설명한다.

도 4는 본원 발명의 제2 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법의 과정 모식도이다. 도 4에 도시된 바와 같이, 도 1에 도시된 바와 같은 실시예의 기초상에, 단계102는 아래와 같은 단계를 포함할 수 있다.

단계201에서, 특징 맵에서의 각 특징점의 국부 응답 점수를 획득한다.

본 실시예에서, 특징 맵의 각 특징점에 대하여 각 특징점의 국부 응답 점수를 획득할 수 있다.

본원 발명의 실시예의 한가지 가능한 실현방식에서, 각 특징점의 국부 응답 점수를 획득할 때, i번째 특징점(i는 자연수이고 i의 값의 범위는 1 내지 n이며, n은 특징 맵에 포함되는 특징점의 총 수량을 나타낸다)에 대하여, i번째 특징점의 복수의 이웃하는 특징점, 예를 들어 i번째 특징점 주변의 8개의 이웃하는 특징점을 획득하고 i번째 특징점의 특징값과 복수의 이웃하는 특징점의 특징값을 획득하되, 여기서 특징값은 픽셀 강도로 나타낼 수 있고; 따라서 i번째 특징점의 특징값과 복수의 이웃하는 특징점의 특징값에 근거하여 i번째 특징점의 국부 응답 점수를 획득할 수 있다.

예를 들어, i번째 특징점의 특징값과 복수의 이웃하는 특징점의 특징값의 크기를 비교하여 그 중에서 제일 큰 특징값을 i번째 특징점의 국부 응답 점수로 선택할 수 있다.

마지막으로, 특징 맵에서의 특징점을 순차적으로 순회하여 각 특징점의 국부 응답 점수를 획득한다.

i번째 특징점의 복수의 이웃하는 특징점을 획득하고 i번째 특징점의 특징값과 복수의 이웃하는 특징점의 특징값을 획득함으로써 i번째 특징점의 특징값과 복수의 이웃하는 특징점의 특징값에 근거하여 i번째 특징점의 국부 응답 점수를 획득하여 각 특징점의 국부 응답 점수를 결정할 때 상기 특징점을 고려할 뿐만 아니라 그 주변의 기타 특징점도 고려하여 국부 응답 점수의 계산 정확성을 향상시키는데 유리하고, 더 나아가 획득한 점수 응답 맵의 정확성을 향상시키는데 유리하게 된다.

단계202에서, 특징 맵에서의 각 특징점의 채널 응답 점수를 획득한다.

본 실시예에서, 특징 맵에서의 각 특징점에 대하여, 특징점의 국부 응답 점수를 획득하는 외에, 특징점의 채널 응답 점수도 획득한다.

본원 발명의 실시예의 한가지 가능한 실현방식에서, 각 특징점의 채널 응답 점수를 획득할 때, i번째 특징점에 대하여, i번째 특징점이 복수의 채널에서의 복수의 특징값을 획득함으로써 i번째 특징점이 복수의 채널에서의 복수의 특징값에 근거하여 i번째 특징점의 채널 응답 점수를 생성할 수 있다.

특징 맵의 사이즈를 w*h*c, 여기서, w, h는 각각 길이와 너비이고 c는 채널 수량이라고 가정하면, 특징 맵에서의 각 특징점에 대하여 상기 특징점이 c개의 채널에서 각각 대응하는 특징값을 획득하고 c개의 특징값의 크기를 비교하여 그 중에서 제일 큰 특징값을 선택하며, 제일 큰 특징값을 상기 특징점의 채널 응답 점수로 결정한다.

마지막으로, 상기 특징 맵에서의 특징점을 순차적으로 순회하여 상기 각 특징점의 채널 응답 점수를 획득한다.

i번째 특징점이 복수의 채널에서의 복수의 특징값을 획득함으로써 i번째 특징점이 복수의 채널에서의 복수의 특징값에 근거하여 i번째 특징점의 채널 응답 점수를 생성하고, 이로써, 특징점의 채널 응답 점수를 결정할 때 특징점이 상이한 채널에서의 특징값을 고려하여 획득한 점수 응답 맵의 정확도를 향상시키는데 유리하다.

설명해야 할 것은, 단계201과 단계202의 수행순서는 특별히 한정되지 않는 바, 양자는 동시에 수행될 수도 있고 순차적으로 수행될 수도 있으며, 본원 발명의 실시예는 단지 단계202가 단계201 다음에 수행되는 것을 예로 하여 본원 발명을 해석하고 설명할 뿐 이는 본원 발명에 대한 한정으로 간주되지 말아야 한다.

단계203에서, 각 특징점의 국부 응답 점수와 채널 응답 점수에 근거하여 각 특징점의 응답 점수를 계산한다.

본 실시예에서는, 특징 맵에서 각 특징점의 국부 응답 점수와 채널 응답 점수를 획득한 후 각 특징점의 국부 응답 점수와 채널 응답 점수에 근거하여 각 특징점의 응답 점수를 계산할 수 있다.

하나의 예시로서, 각 특징점의 응답 점수를 계산할 때, 각 특징점의 국부 응답 점수와 채널 응답 점수를 곱하여 각 특징점의 응답 점수를 생성할 수 있다. 이로써, 국부 응답 점수와 채널 응답 점수를 이용하여 특징점의 응답 점수를 획득함으로써 계산된 응답 점수가 특징점 주변의 기타 특징점을 고려할 뿐만 아니라 특징점이 위치한 채널을 고려하여, 획득한 점수 응답 맵의 정확도를 향상시키는데 유리하게 된다.

다른 예로서, 각 특징점의 응답 점수를 계산할 때, 국부 응답 점수와 채널 응답 점수가 특징점의 점수에 대해 응답한 영향 정도에 근거하여 국부 응답 점수와 채널 응답 점수를 위해 미리 대응되는 권리를 미리 배치하고, 나아가 국부 응답 점수와 채널 응답 점수에 대해 가중 합계하여 특징점의 응답 점수를 얻을 수 있다.

단계204에서, 각 특징점의 응답 점수에 근거하여 검출 대기 이미지의 점수 응답 맵을 생성한다.

본 실시예에서, 특징 맵에서의 각 특징점의 응답 점수를 획득한 후, 각 특징점의 응답 점수에 근거하여 검출 대기 이미지의 점수 응답 맵을 생성할 수 있다.

본 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법은, 특징 맵에서의 각 특징점의 국부 응답 점수를 획득하고 특징 맵에서의 각 특징점의 채널 응답 점수를 획득함으로써 각 특징점의 국부 응답 점수와 채널 응답 점수에 근거하여 각 특징점의 응답 점수를 계산하고, 나아가 각 특징점의 응답 점수에 근거하여 검출 대기 이미지의 점수 응답 맵을 생성하는 바, 이로써 획득한 점수 응답 맵에서의 각 특징점의 응답 점수는 특징점 주변의 기타 특징점을 고려할 뿐만 아니라 특징점이 위치한 채널 요소도 고려하여 획득한 점수 응답 맵의 정확도를 향상시키는데 유리하게 된다.

본원 발명의 실시예의 한가지 가능한 실현방식에서, 상기 실시예에서의 점수 응답 맵에 근거하여 키 포인트가 점수 응답 맵에서의 제1 키 포인트 위치를 획득하는 구체적인 실현 과정을 더 뚜렷하게 설명하기 위하여 이하 도 5와 결부하여 상세히 설명한다.

도 5는 본원 발명의 제3 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법의 과정 모식도이다. 도 5에 도시된 바와 같이, 도 1에 도시된 바와 같은 실시예의 기초상에 단계103은 아래와 같은 단계를 포함할 수 있다.

단계301에서, 점수 응답 맵에서의 각 특징점의 응답 점수를 획득한다.

검출 대기 이미지의 점수 응답 맵이 특징 맵에서의 각 특징점의 응답 점수를 계산하여 생성된 것이고, 점수 응답 맵에서의 각 특징점과 특징 맵에서의 동일한 위치의 특징점이 대응되므로, 본 실시예에서는 검출 대기 이미지의 점수 응답 맵에서 각 특징점의 응답 점수를 획득할 수 있다.

단계302에서, 특징점의 응답 점수가 기설정 임계값보다 크면 특징점을 키 포인트로 하고 키 포인트와 대응되는 제1 키 포인트 위치를 획득한다.

여기서, 기설정 임계값은 인위적으로 미리 설정할 수 있고, 자기 적응 계산을 통해 얻을 수도 있는 바, 예를 들어, 흔히 사용하는 임계값 분할 방법을 이용하여 하나의 임계값을 계산하여 얻을 수 있다.

본 실시예에서, 점수 응답 맵에서의 각 특징점의 응답 점수를 획득한 후, 각 응답 점수와 기설정 임계값을 비교하는데, 만약 어느 한 특징점의 응답 점수가 기설정 임계값보다 크면 상기 특징점을 키 포인트로 결정하고 상기 특징점이 위치하는 위치를 제1 키 포인트 위치로 할 수 있다. 상기 방식을 통해 점수 응답 맵에서의 모든 키 포인트와 대응되는 제1 키 포인트 위치를 결정할 수 있다.

여기서, 제1 키 포인트 위치는 대응되는 키 포인트가 점수 응답 맵에서의 위치 좌표로 표시할 수 있는 바, 예를 들어 (P_i, P_j)로 표시할 수 있고, 여기서 P_i는 키 포인트가 점수 응답 맵에서 위치한 픽셀 행 수를 나타내고, P_j는 키 포인트가 점수 응답 맵에서 위치한 픽셀 열 수를 나타낸다.

본 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법은, 점수 응답 맵에서의 각 특징점의 응답 점수를 획득하고, 특징점의 응답 점수가 기설정 임계값보다 크면 특징점을 키 포인트로 하고 키 포인트와 대응되는 제1 키 포인트 위치를 획득함으로써 점수 응답 맵에서의 키 포인트의 선별을 구현하여 후속적으로 검출 대기 이미지에서의 키 포인트 위치를 결정함에 있어서 기초를 마련하였다.

이미지의 특징 맵은 원본 이미지에 대해 특징 추출을 진행하여 얻은 것이므로 특징 맵의 해상도는 통상적으로 원본 이미지의 해상도보다 크지 않다. 본원 발명의 실시예의 한가지 가능한 실현방식에서, 특징 맵의 해상도가 검출 대기 이미지의 해상도보다 작다. 이로써, 특징 맵에서의 특징점의 수량을 감소하고 특징 맵에서의 하나의 특징점을 이용하여 검출 대기 이미지에서의 한 영역 범위를 대표할 수 있어 후속적으로 계산하는 데이터 량을 절감할 수 있다.

더 나아가, 본원 발명의 실시예의 한가지 가능한 실현방식에서, 키 포인트를 검출 대기 이미지에서의 제2 키 포인트 위치에 매핑하는 것을 결정할 경우, 특징 맵과 검출 대기 이미지의 해상도 크기에 근거하여 매핑할 수 있는 바, 이하 도 6과 결부하여 상세히 설명한다.

도 6은 본원 발명의 제4 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법의 과정 모식도이다. 도 6에 도시된 바와 같이, 도 1에 도시된 바와 같은 실시예의 기초상에, 단계104는 아래와 같은 단계를 포함할 수 있다.

단계401에서, 특징 맵의 해상도와 검출 대기 이미지의 해상도 사이의 해상도 비율을 획득한다.

한 폭의 이미지에 있어서, 이의 해상도는 이미지에 저장된 정보 량을 가리키는 바, 매 인치의 이미지 내에 포함되는 픽셀점의 수량을 말한다. 통상적으로, 해상도는 각 방향에서의 픽셀 수량, 예를 들어 640*480을 나타낸다. 이미 알고 있는 이미지에 대하여, 이의 해상도도 이미 알고 있는 것이다. 따라서 본 실시예에서는 특징 맵의 해상도와 검출 대기 이미지의 해상도를 각각 획득하여 특징 맵의 해상도와 검출 대기 이미지의 해상도 사이의 해상도 비율을 계산할 수 있다.

예를 들어 설명하면, 특징 맵의 해상도를 160*120, 검출 대기 이미지의 해상도를 1280*960이라고 가정하면 특징 맵의 해상도와 검출 대기 이미지의 해상도 사이의 해상도 비율은 1/8이다.

단계402에서, 제1 키 포인트 위치와 해상도 비율에 근거하여 제2 키 포인트 위치를 생성한다.

통상적으로, 특징 맵의 사이즈는 일반적으로 원본 이미지 사이즈의 하나의 고정된 비례 축소 값, 예를 들어 원본 이미지의 1/8이고, 점수 응답 맵에서의 특징점과 특징 맵에서의 특징점은 하나씩 대응되며, 키 포인트는 점수 응답 맵에서의 제1 키 포인트 위치, 즉 키 포인트는 특징 맵에서의 키 포인트 위치에 놓이므로 본 실시예에서는 제1 키 포인트 위치와 해상도 비율에 근거하여 제2 키 포인트 위치를 생성하고 제2 키 포인트 위치를 결정할 때 제1 키 포인트 위치와 해상도 비율의 승적을 계산함으로써 획득한 결과를 키 포인트로 하여 검출 대기 이미지의 제2 키 포인트 위치에 매핑할 수 있다.

예를 들어 설명하면, 특징 맵의 해상도와 검출 대기 이미지의 해상도 사이의 해상도 비율을 1/8, 키 포인트의 제1 키 포인트 위치를 (P_i, P_j)라고 가정하면, 동일한 키 포인트가 검출 대기 이미지에 매핑된 제2 키 포인트 위치는 (8*P_i, 8*P_j)이다.

본 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법은, 특징 맵의 해상도와 검출 대기 이미지의 해상도 사이의 해상도 비율을 획득하고 제1 키 포인트 위치와 해상도 비율에 근거하여 제2 키 포인트 위치를 생성함으로써 특징 맵에서의 키 포인트로부터 원본 이미지로의 매핑을 구현하고 키 포인트의 초기 인식을 실현하여 후속적으로 초기 인식된 키 포인트 위치를 수정함에 있어서 조건을 제공한다.

본원 발명의 실시예의 한가지 가능한 실현방식에서, 상기 실시예에서의 현저성 맵에 근거하여 제2 키 포인트 위치를 수정하는 구체적인 실현 과정을 더 뚜렷하게 설명하기 위하여 이하 도 7과 결부하여 상세히 설명한다.

도 7은 본원 발명의 제5 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법의 과정 모식도이다. 도 7에 도시된 바와 같이, 도 1에 도시된 바와 같은 실시예의 기초상에 단계105는 아래와 같은 단계를 포함할 수 있다.

단계501에서, 제2 키 포인트 위치가 위치한 영역을 획득한다.

예를 들어, 제2 키 포인트 위치 주변의 기설정 거리 내의 범위를 하나의 영역으로 구획하고 이를 제2 키 포인트 위치가 놓이는 영역으로 하며, 당해 영역을 획득한다.

또 예를 들어, 제2 키 포인트 위치와 제일 가까운 주변의 기설정 수량의 포인트로 둘러싸인 영역을 제2 키 포인트 위치가 놓이는 영역으로 하고, 당해 영역을 획득한다.

단계502에서, 제2 키 포인트 위치가 위치한 영역에서의 각 특징점의 현저성 값을 획득한다.

단계503에서, 영역에서 현저성 값이 제일 큰 특징점의 위치를 획득하고 영역에서 현저성 값이 제일 큰 특징점의 위치를 수정 위치로 한다.

단계504에서, 제2 키 포인트 위치를 수정 위치로 수정한다.

본 실시예에서, 검출 대기 이미지와 대응되는 현저성 맵에서 제2 키 포인트 위치가 놓이는 영역에서의 각 특징점의 현저성 값을 획득하고 동일한 영역 내의 각 특징점의 현저성 값을 비교하여 동일한 영역에서 현저성 값이 제일 큰 특징점이 놓이는 위치를 획득하여 제2 키 포인트 위치가 놓이는 영역에서 현저성 값이 제일 큰 특징점이 놓이는 위치를 키 포인트의 수정 위치로 결정할 수 있다. 나아가, 제2 키 포인트 위치를 결정된 상기 수정 위치로 수정하여 검출 대기 이미지에서의 키 포인트 위치의 수정을 구현하고 키 포인트 인식의 정확성을 향상시킨다.

본 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법은, 제2 키 포인트 위치가 위치한 영역을 획득하고 제2 키 포인트 위치가 위치한 영역에서의 각 특징점의 현저성 값을 획득하며 영역에서 현저성 값이 제일 큰 특징점의 위치를 획득하고 영역에서 현저성 값이 제일 큰 특징점의 위치를 수정 위치로 하여 제2 키 포인트 위치를 수정 위치로 수정함으로써 검출 대기 이미지에서의 키 포인트 위치의 수정을 구현하여 키 포인트 인식의 정확성을 향상시킨다.

본원 발명의 실시예에 따르면, 본원 발명은 이미지에서의 키 포인트 위치의 인식 장치를 더 제공한다.

도 8은 본원 발명의 제6 실시예에 따른 이미지에서의 키 포인트 위치의 인식 장치의 구조 모식도이다. 도 8에 도시된 바와 같이, 상기 이미지에서의 키 포인트 위치의 인식 장치(60)는 이미지 획득 모듈(610), 생성 모듈(620), 제1 키 포인트 획득 모듈(630), 제2 키 포인트 획득 모듈(640) 및 수정 모듈(650)을 포함한다.

여기서, 이미지 획득 모듈(610)은 검출 대기 이미지를 획득하고 검출 대기 이미지의 특징 맵과 현저성 맵을 획득한다.

생성 모듈(620)은 검출 대기 이미지의 특징 맵에 근거하여 검출 대기 이미지의 점수 응답 맵을 생성한다.

제1 키 포인트 획득 모듈(630)은 점수 응답 맵에 근거하여 키 포인트가 점수 응답 맵에서의 제1 키 포인트 위치를 획득한다.

제2 키 포인트 획득 모듈(640)은 제1 키 포인트 위치에 근거하여 키 포인트가 검출 대기 이미지에 매핑된 제2 키 포인트 위치를 획득한다.

수정 모듈(650)은 현저성 맵에 근거하여 제2 키 포인트 위치를 수정한다.

더 나아가, 본원 발명의 실시예의 한가지 가능한 실현방식에서, 도 9에 도시된 바와 같이, 도 8에 도시된 바와 같은 실시예의 기초상에 생성 모듈(620)은, 제1 획득 유닛(621), 제2 획득 유닛(622), 계산 유닛(623) 및 생성 유닛(624)을 포함한다.

제1 획득 유닛(621)은, 상기 특징 맵에서의 각 특징점의 국부 응답 점수를 획득한다.

한가지 가능한 실현방식으로서, 제1 획득 유닛(621)은 i번째 특징점의 복수의 이웃하는 특징점을 획득하고 상기 i번째 특징점의 특징값과 상기 복수의 이웃하는 특징점의 특징값을 획득하며 상기 i번째 특징점의 특징값과 상기 복수의 이웃하는 특징점의 특징값에 근거하여 상기 i번째 특징점의 국부 응답 점수를 획득하고 상기 특징 맵에서의 특징점을 순차적으로 순회하여 상기 각 특징점의 국부 응답 점수를 획득하는데, 여기서, i는 자연수이다.

제2 획득 유닛(622)은 상기 특징 맵에서의 각 특징점의 채널 응답 점수를 획득한다.

한가지 가능한 실현방식으로서, 제2 획득 유닛(622)은 상기 i번째 특징점이 복수의 채널에서의 복수의 특징값을 획득하고 상기 i번째 특징점이 상기 복수의 채널에서의 복수의 특징값에 근거하여 상기 i번째 특징점의 채널 응답 점수를 생성하며 상기 특징 맵에서의 특징점을 순차적으로 순회하여 상기 각 특징점의 채널 응답 점수를 획득한다.

계산 유닛(623)은 상기 각 특징점의 국부 응답 점수와 상기 채널 응답 점수에 근거하여 상기 각 특징점의 응답 점수를 계산한다.

한가지 가능한 실현방식으로서, 계산 유닛(623)은 각 특징점의 상기 국부 응답 점수와 상기 채널 응답 점수를 곱하여 상기 각 특징점의 응답 점수를 생성한다.

생성 유닛(624)은 상기 각 특징점의 응답 점수에 근거하여 상기 검출 대기 이미지의 점수 응답 맵을 생성한다.

본원 발명의 실시예의 한가지 가능한 실현방식에서, 도 10에 도시된 바와 같이, 도 8에 도시된 바와 같은 실시예의 기초상에 제1 키 포인트 획득 모듈(630)은, 응답 점수 획득 유닛(631) 및 결정 유닛(632)을 포함한다.

응답 점수 획득 유닛(631)은 상기 점수 응답 맵에서의 각 특징점의 응답 점수를 획득한다.

결정 유닛(632)은 상기 특징점의 응답 점수가 기설정 임계값보다 크면 상기 특징점을 상기 키 포인트로 하고 상기 키 포인트와 대응되는 제1 키 포인트 위치를 획득한다.

본원 발명의 실시예의 한가지 가능한 실현방식에서, 상기 특징 맵의 해상도가 상기 검출 대기 이미지의 해상도보다 작다. 이로써, 도 11에 도시된 바와 같이, 도 8에 도시된 바와 같은 실시예의 기초상에 제2 키 포인트 획득 모듈(640)은, 비례 획득 유닛(641) 및 매핑 유닛(642)을 포함한다.

비례 획득 유닛(641)은 상기 특징 맵의 해상도와 상기 검출 대기 이미지의 해상도 사이의 해상도 비율을 획득한다.

매핑 유닛(642)은 상기 제1 키 포인트 위치와 상기 해상도 비율에 근거하여 상기 제2 키 포인트 위치를 생성한다.

본원 발명의 실시예의 한가지 가능한 실현방식에서, 도 12에 도시된 바와 같이, 도 8에 도시된 바와 같은 실시예의 기초상에 수정 모듈(650)은, 영역 획득 유닛(651), 현저성 값 획득 유닛(652), 수정 위치 획득 유닛(653) 및 수정 유닛(654)

영역 획득 유닛(651)은 상기 제2 키 포인트 위치가 위치한 영역을 획득한다.

현저성 값 획득 유닛(652)은 상기 제2 키 포인트 위치가 위치한 영역에서의 각 특징점의 현저성 값을 획득한다.

수정 위치 획득 유닛(653)은 상기 영역에서 현저성 값이 제일 큰 특징점의 위치를 획득하고 상기 영역에서 현저성 값이 제일 큰 특징점의 위치를 수정 위치로 한다.

수정 유닛(654)은 상기 제2 키 포인트 위치를 상기 수정 위치로 수정한다.

설명해야 할 것은, 상기 이미지에서의 키 포인트 위치의 인식 방법의 실시예에 대한 해석과 설명은 상기 실시예의 이미지에서의 키 포인트 위치의 인식 장치에도 적용될 수 있고 이의 실현 원리는 유사한 바, 여기서 더 이상 설명하지 않는다.

본원 발명의 실시예에 따른 이미지에서의 키 포인트 위치의 인식 장치, 검출 대기 이미지를 획득하고 검출 대기 이미지의 특징 맵과 현저성 맵을 획득하며; 검출 대기 이미지의 특징 맵에 근거하여 검출 대기 이미지의 점수 응답 맵을 생성하고; 점수 응답 맵에 근거하여 키 포인트가 점수 응답 맵에서의 제1 키 포인트 위치를 획득하며; 제1 키 포인트 위치에 근거하여 키 포인트가 검출 대기 이미지에 매핑된 제2 키 포인트 위치를 획득함으로써 현저성 맵에 근거하여 제2 키 포인트 위치를 수정한다. 이로써, 검출 대기 이미지와 대응하는 현저성 맵을 획득하고 현저성 맵을 이용하여 특징 맵에 따라 결정한 키 포인트의 위치를 수정함으로써 이미지에서의 국부 영역의 중심 위치를 이미지의 키 포인트로 고정하는 단점을 방지하여 수정된 후의 키 포인트 위치가 국부 영역의 중심 위치보다 더 대표적이도록 하고 키 포인트 선택의 정확성을 향상시킨다.

본원 발명의 실시예에 따르면, 본원 발명은 전자기기 및 판독 가능 저장 매체를 더 제공한다.

도 13에 도시된 바와 같이, 이는 본원 발명의 실시예에 따른 이미지에서의 키 포인트 위치의 인식 방법을 구현하는 전자기기의 블록도이다. 전자기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 벤치, 개인용 정보 단말기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 다른 적합한 컴퓨터 등의 다양한 형태의 디지털 컴퓨터를 가리킨다. 전자기기는 또한 개인용 정보 단말기, 셀룰러 폰, 스마트 폰, 웨어러블 장치 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수 있다. 본 명세서에 도시된 구성 요소, 그들의 연결 및 관계 및 그 기능은 단지 예시에 불과하며, 본 명세서에 기술되거나 및/또는 청구된 구현을 한정하도록 의도되지 않는다.

도 13에 도시된 바와 같이, 상기 전자기기는 하나 이상의 프로세서(701), 메모리(702) 및 고속 인터페이스 및 저속 인터페이스를 포함하는 다양한 구성 요소를 연결하기 위한 인터페이스를 포함한다. 다양한 구성 요소는 서로 다른 버스를 사용하여 서로 연결되며 마더 보드에 설치되거나 필요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 외부 입력/출력 장치(예를 들어, 인터페이스에 연결된 디스플레이 장치)에 GUI의 그래픽 정보를 표시하기 위해 메모리에 저장된 명령을 포함하여 전자기기 내에서 실행되는 명령을 처리할 수 있다. 다른 실시 방식에서, 필요한 경우, 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 여러 전자기기를 연결할 수 있고, 각 장치는 단지 몇가지 필요한 기능(예를 들어, 서버 배열, 블레이드 서버 그룹 또는 다중 프로세서 시스템)을 제공할 수 있다. 도 13은 프로세서(701)가 하나인 경우를 예를 들어 설명한다.

메모리(702)는 본원 발명에 의해 제공된 비 일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 적어도 하나의 프로세서에 의해 본원 발명의 이미지에서의 키 포인트 위치의 인식 방법을 수행하도록, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장된다. 본원 발명의 비 일시적 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되는바, 상기 컴퓨터 프로그램의 명령이 실행될 경우, 본원 발명의 이미지에서의 키 포인트 위치의 인식 방법이 실행된다.

메모리(702)는 비 일시적 컴퓨터 판독 가능 저장 매체로서, 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터 실행 가능 프로그램, 본원 발명의 실시예의 이미지에서의 키 포인트 위치의 인식 방법에 대응하는 프로그램 명령/모듈과 같은 모듈(예를 들어, 도 8에 도시된 이미지 획득 모듈(610), 생성 모듈(620), 제1 키 포인트 획득 모듈(630), 제2 키 포인트 획득 모듈(640) 및 수정 모듈(650))을 저장하기 위해 사용될 수 있다. 프로세서(701)는 메모리(702)에 저장된 비 일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여 서버의 다양한 기능적 애플리케이션 및 데이터 처리를 실행한다. 다시 말하면, 상기 방법 실시예의 이미지에서의 키 포인트 위치의 인식 방법을 구현한다.

메모리(702)는 프로그램을 저장하기 위한 영역 및 데이터를 저장하기 위한 영역을 포함할 수 있고, 여기서 프로그램을 저장하기 위한 영역은 운영 체제 및 적어도 하나의 기능에 필요한 응용 프로그램이 저장될 수 있고; 데이터를 저장하기 위한 영역에는 모델의 파라미터를 업데이트하는 전자기기를 사용하여 생성된 데이터가 저장될 수 있다. 또한, 메모리(702)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 자기 디스크 저장 장치, 플래시 메모리 장치 또는 다른 비 일시적 솔리드 스테이트 저장 장치와 같은 적어도 하나의 비 일시적 메모리를 포함할 수 있다. 일부 실시예에서, 메모리(702)는 프로세서(701)에 대해 원격으로 설정된 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 모델의 파라미터가 업데이트된 전자기기에 연결될 수 있다. 상기 네트워크의 사례는 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하지만 이에 한정되지는 않는다.

이미지에서의 키 포인트 위치의 인식 방법을 수행하는 전자기기는 입력 장치(703) 및 출력 장치(704)를 더 포함할 수 있다. 프로세서(701), 메모리(702), 입력 장치(703) 및 출력 장치(704)는 버스를 통해 연결되거나 또는 다른 방식으로 연결될 수 있으며, 도 13은 버스를 통한 연결을 예시한 것이다.

입력 장치(703)는 입력된 숫자 또는 문자 정보를 수신할 수 있고, 모델의 파라미터를 업데이트하는 전자기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있으며, 터치 스크린, 키 패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 이상의 마우스 버튼, 트랙 볼, 조이스틱 및 기타 입력 장치일 수 있다. 출력 장치(704)는 디스플레이 장치, 보조 조명 장치(예를 들어, LED), 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 디스플레이 장치는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있지만, 이에 한정되지는 않는다. 일부 실시 방식에서, 디스플레이 장치는 터치 스크린일 수 있다.

본 출원의 실시예에 따르면, 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 더 제공한다. 당해 컴퓨터 프로그램의 명령이 실행될 경우, 본 출원의 임의의 실시예의 이미지에서의 키 포인트 위치의 인식 방법이 수행된다.

본 명세서에 설명된 시스템 및 기술의 다양한 실시 방식은 디지털 전자 회로, 집적 회로 시스템, 전용 ASIC(애플리케이션 특정 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 이러한 다양한 실시 방식은 하나 이상의 컴퓨터 프로그램에 의해 실시될 수 있고, 상기 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 시스템에 의해 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하며, 데이터 및 명령을 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치에 전송할 수 있다.

이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 프로그램 또는 코드라고도 함)에는 프로그램 가능 프로세서의 기계 명령어가 포함되고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리 언어/기계어를 사용하여 이러한 컴퓨터 프로그램을 구현할 수 있다. 본 명세서에서 사용되는 용어 “기계 판독 가능 매체” 및 “컴퓨터 판독 가능 매체”는 프로그램 가능 프로세서에 기계 명령 및/또는 데이터를 제공하기 위해 사용되는 임의의 컴퓨터 프로그램 제품, 장비 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 가리키며, 기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 “기계 판독 가능 신호”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 지칭한다.

사용자와의 인터랙티브를 제공하기 위해, 컴퓨터에서 여기에 설명된 시스템 및 기술을 구현할 수 있다. 컴퓨터는 사용자에게 정보를 표시하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터)와 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙 볼)를 포함하고, 사용자는 상기 키보드 및 상기 포인팅 장치를 통해 정보를 입력하여 컴퓨터에 제공할 수 있다. 다른 종류의 장치를 사용하여 사용자와의 인터랙티브를 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백) 일 수 있고, 임의의 형태(음성 입력, 스피치 입력 또는 촉각 입력 포함)로 사용자에 의해 발송된 정보를 수신할 수 있다.

본 명세서에 설명된 시스템 및 기술은 백 엔드 구성 요소(예를 들어, 데이터 서버)를 포함하는 컴퓨팅 시스템 또는 미들웨어 구성 요소(예를 들어, 애플리케이션 서버)를 포함하는 컴퓨팅 시스템 또는 프론트 엔드 구성 요소(예를 들어, 예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 가진 사용자 컴퓨터일 수 있으며, 사용자는 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 여기에 설명된 시스템 및 기술의 실시형태와 인터랙티브 할 수 있음)를 포함하는 컴퓨팅 시스템 또는 이러한 백 엔드 구성 요소, 미들웨어 구성 요소 또는 프론트 엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에 의해 구현될 수 있다. 시스템의 구성 요소는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크의 예로는 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷이 포함될 수 있다.

컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 인터랙티브 한다. 클라이언트와 서버 간의 관계는 해당 컴퓨터에서 실행되고 서로 클라이언트-서버 관계가 있는 컴퓨터 프로그램에 의해 발생된다.

본원 발명의 실시예의 기술적 해결수단에 따르면, 검출 대기 이미지와 대응하는 현저성 맵을 획득하고 현저성 맵을 이용하여 특징 맵에 따라 결정한 키 포인트의 위치를 수정함으로써 이미지에서의 국부 영역의 중심 위치를 이미지의 키 포인트로 고정하는 단점을 방지하여 수정된 후의 키 포인트 위치가 국부 영역의 중심 위치보다 더 대표적이도록 하고 키 포인트 선택의 정확성을 향상시킨다.

상기에 도시된 다양한 형태의 과정을 통해 단계를 재정렬, 추가 또는 삭제할 수 있다는 것을 이해해야 한다. 예를 들어, 본원 발명에 설명된 각 단계들은 병렬, 순차적 또는 상이한 순서로 수행될 수 있으며, 본원 발명에 개시된 기술적 해결책이 원하는 결과를 달성할 수만 있으면, 별도로 한정되지 않는다.

상기 구체적인 실시 방식은 본원 발명의 보호 범위에 대한 제한을 구성하지 않는다. 당업자는 설계 요건 및 다른 요인에 따라 다양한 변형, 조합, 하위 조합 및 대체가 이루어질 수 있다는 것을 이해해야 한다. 본원 발명의 원리와 원칙 내에서 이루어진 모든 수정, 동등한 대체 및 개선은 모두 본원 발명의 보호 범위에 포함된다.

Claims

검출 대기 이미지를 획득하고 상기 검출 대기 이미지의 특징 맵과 현저성 맵을 획득하는 단계;
상기 검출 대기 이미지의 특징 맵에 근거하여 상기 검출 대기 이미지의 점수 응답 맵을 생성하는 단계;
상기 점수 응답 맵에 근거하여 키 포인트가 상기 점수 응답 맵에서의 제1 키 포인트 위치를 획득하는 단계;
상기 제1 키 포인트 위치에 근거하여 상기 키 포인트가 상기 검출 대기 이미지에 매핑된 제2 키 포인트 위치를 획득하는 단계; 및
상기 현저성 맵에 근거하여 상기 제2 키 포인트 위치를 수정하는 단계; 를 포함하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 방법.
제1항에 있어서,
상기 검출 대기 이미지의 특징 맵에 근거하여 상기 검출 대기 이미지의 점수 응답 맵을 생성하는 단계는,
상기 특징 맵에서의 각 특징점의 국부 응답 점수를 획득하는 단계;
상기 특징 맵에서의 각 특징점의 채널 응답 점수를 획득하는 단계;
상기 각 특징점의 국부 응답 점수와 상기 채널 응답 점수에 근거하여 상기 각 특징점의 응답 점수를 계산하는 단계; 및
상기 각 특징점의 응답 점수에 근거하여 상기 검출 대기 이미지의 점수 응답 맵을 생성하는 단계; 를 포함하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 방법.
제2항에 있어서,
상기 특징 맵에서의 각 특징점의 국부 응답 점수를 획득하는 단계는,
i번째 특징점의 복수의 이웃하는 특징점을 획득하되, 여기서 i는 자연수인 단계;
상기 i번째 특징점의 특징값과 상기 복수의 이웃하는 특징점의 특징값을 획득하는 단계; 및
상기 i번째 특징점의 특징값과 상기 복수의 이웃하는 특징점의 특징값에 근거하여 상기 i번째 특징점의 국부 응답 점수를 획득하고, 상기 특징 맵에서의 특징점을 순차적으로 순회하여 상기 각 특징점의 국부 응답 점수를 획득하는 단계; 를 포함하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 방법.
제3항에 있어서,
상기 특징 맵에서의 각 특징점의 채널 응답 점수를 획득하는 단계는,
상기 i번째 특징점이 복수의 채널에서의 복수의 특징값을 획득하는 단계; 및
상기 i번째 특징점이 상기 복수의 채널에서의 복수의 특징값에 근거하여 상기 i번째 특징점의 채널 응답 점수를 생성하고, 상기 특징 맵에서의 특징점을 순차적으로 순회하여 상기 각 특징점의 채널 응답 점수를 획득하는 단계; 를 포함하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 방법.
제2항에 있어서,
상기 각 특징점의 국부 응답 점수와 상기 채널 응답 점수에 근거하여 상기 각 특징점의 응답 점수를 계산하는 단계는,
각 특징점의 상기 국부 응답 점수와 상기 채널 응답 점수를 곱하여 상기 각 특징점의 응답 점수를 생성하는 단계를 포함하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 방법.
제1항에 있어서,
상기 점수 응답 맵에 근거하여 키 포인트가 상기 점수 응답 맵에서의 제1 키 포인트 위치를 획득하는 단계는,
상기 점수 응답 맵에서의 각 특징점의 응답 점수를 획득하는 단계; 및
상기 특징점의 응답 점수가 기설정 임계값보다 크면 상기 특징점을 상기 키 포인트로 하고 상기 키 포인트와 대응되는 제1 키 포인트 위치를 획득하는 단계; 를 포함하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 방법.
제1항에 있어서,
상기 특징 맵의 해상도가 상기 검출 대기 이미지의 해상도보다 작은,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 방법.
제7항에 있어서,
상기 제1 키 포인트 위치에 근거하여 상기 키 포인트가 상기 검출 대기 이미지에 매핑된 제2 키 포인트 위치를 획득하는 단계는,
상기 특징 맵의 해상도와 상기 검출 대기 이미지의 해상도 사이의 해상도 비율을 획득하는 단계; 및
상기 제1 키 포인트 위치와 상기 해상도 비율에 근거하여 상기 제2 키 포인트 위치를 생성하는 단계; 를 포함하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 방법.
제1항에 있어서,
상기 현저성 맵에 근거하여 상기 제2 키 포인트 위치를 수정하는 단계는,
상기 제2 키 포인트 위치가 위치한 영역을 획득하는 단계;
상기 제2 키 포인트 위치가 위치한 영역에서의 각 특징점의 현저성 값을 획득하는 단계;
상기 영역에서 현저성 값이 제일 큰 특징점의 위치를 획득하고 상기 영역에서 현저성 값이 제일 큰 특징점의 위치를 수정 위치로 하는 단계; 및
상기 제2 키 포인트 위치를 상기 수정 위치로 수정하는 단계; 를 포함하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 방법.
검출 대기 이미지를 획득하고 상기 검출 대기 이미지의 특징 맵과 현저성 맵을 획득하는 이미지 획득 모듈;
상기 검출 대기 이미지의 특징 맵에 근거하여 상기 검출 대기 이미지의 점수 응답 맵을 생성하는 생성 모듈;
상기 점수 응답 맵에 근거하여 키 포인트가 상기 점수 응답 맵에서의 제1 키 포인트 위치를 획득하는 제1 키 포인트 획득 모듈;
상기 제1 키 포인트 위치에 근거하여 상기 키 포인트가 상기 검출 대기 이미지에 매핑된 제2 키 포인트 위치를 획득하는 제2 키 포인트 획득 모듈; 및
상기 현저성 맵에 근거하여 상기 제2 키 포인트 위치를 수정하는 수정 모듈;을 포함하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 장치.
제10항에 있어서,
상기 생성 모듈은,
상기 특징 맵에서의 각 특징점의 국부 응답 점수를 획득하는 제1 획득 유닛;
상기 특징 맵에서의 각 특징점의 채널 응답 점수를 획득하는 제2 획득 유닛;
상기 각 특징점의 국부 응답 점수와 상기 채널 응답 점수에 근거하여 상기 각 특징점의 응답 점수를 계산하는 계산 유닛; 및
상기 각 특징점의 응답 점수에 근거하여 상기 검출 대기 이미지의 점수 응답 맵을 생성하는 생성 유닛; 을 포함하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 장치.
제11항에 있어서,
상기 제1 획득 유닛은,
i번째 특징점의 복수의 이웃하는 특징점을 획득하고 상기 i번째 특징점의 특징값과 상기 복수의 이웃하는 특징점의 특징값을 획득하며, 상기 i번째 특징점의 특징값과 상기 복수의 이웃하는 특징점의 특징값에 근거하여 상기 i번째 특징점의 국부 응답 점수를 획득하고, 상기 특징 맵에서의 특징점을 순차적으로 순회하여 상기 각 특징점의 국부 응답 점수를 획득하며,
i는 자연수인,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 장치.
제12항에 있어서,
상기 제2 획득 유닛은,
상기 i번째 특징점이 복수의 채널에서의 복수의 특징값을 획득하고, 상기 i번째 특징점이 상기 복수의 채널에서의 복수의 특징값에 근거하여 상기 i번째 특징점의 채널 응답 점수를 생성하며, 상기 특징 맵에서의 특징점을 순차적으로 순회하여 상기 각 특징점의 채널 응답 점수를 획득하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 장치.
제11항에 있어서,
상기 계산 유닛은 각 특징점의 상기 국부 응답 점수와 상기 채널 응답 점수를 곱하여 상기 각 특징점의 응답 점수를 생성하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 장치.
제10항에 있어서,
상기 제1 키 포인트 획득 모듈은,
상기 점수 응답 맵에서의 각 특징점의 응답 점수를 획득하는 응답 점수 획득 유닛; 및
상기 특징점의 응답 점수가 기설정 임계값보다 크면 상기 특징점을 상기 키 포인트로 하고 상기 키 포인트와 대응되는 제1 키 포인트 위치를 획득하는 결정 유닛; 을 포함하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 장치.
제10항에 있어서,
상기 특징 맵의 해상도가 상기 검출 대기 이미지의 해상도보다 작은,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 장치.
제16항에 있어서,
상기 제2 키 포인트 획득 모듈은,
상기 특징 맵의 해상도와 상기 검출 대기 이미지의 해상도 사이의 해상도 비율을 획득하는 비례 획득 유닛; 및
상기 제1 키 포인트 위치와 상기 해상도 비율에 근거하여 상기 제2 키 포인트 위치를 생성하는 매핑 유닛; 을 포함하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 장치.
제10항에 있어서,
상기 수정 모듈은,
상기 제2 키 포인트 위치가 위치한 영역을 획득하는 영역 획득 유닛;
상기 제2 키 포인트 위치가 위치한 영역에서의 각 특징점의 현저성 값을 획득하는 현저성 값 획득 유닛;
상기 영역에서 현저성 값이 제일 큰 특징점의 위치를 획득하고 상기 영역에서 현저성 값이 제일 큰 특징점의 위치를 수정 위치로 하는 수정 위치 획득 유닛; 및
상기 제2 키 포인트 위치를 상기 수정 위치로 수정하는 수정 유닛; 을 포함하는,
것을 특징으로 하는 이미지에서의 키 포인트 위치의 인식 장치.
전자기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결하는 메모리; 를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 제1항 내지 제9항 중 어느 한 항의 이미지에서의 키 포인트 위치의 인식 방법을 수행하는,
것을 특징으로 하는 전자기기.
컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독 가능 저장매체에 있어서,
상기 컴퓨터 프로그램의 명령이 실행될 경우, 제1항 내지 제9항 중 어느 한 항의 이미지에서의 키 포인트 위치의 인식 방법이 수행되는,
것을 특징으로 하는 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독 가능 저장매체.
컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램의 명령이 실행될 경우, 제1항 내지 제9항 중 어느 한 항의 이미지에서의 키 포인트 위치의 인식 방법이 수행되는,
것을 특징으로 하는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.