KR102421820B1 - 키포인트 검출 방법, 장치, 전자 기기 및 기억 매체 - Google Patents

키포인트 검출 방법, 장치, 전자 기기 및 기억 매체 Download PDF

Info

Publication number
KR102421820B1
KR102421820B1 KR1020207029436A KR20207029436A KR102421820B1 KR 102421820 B1 KR102421820 B1 KR 102421820B1 KR 1020207029436 A KR1020207029436 A KR 1020207029436A KR 20207029436 A KR20207029436 A KR 20207029436A KR 102421820 B1 KR102421820 B1 KR 102421820B1
Authority
KR
South Korea
Prior art keywords
pixels
keypoint
region
determining
direction vector
Prior art date
Application number
KR1020207029436A
Other languages
English (en)
Other versions
KR20200131305A (ko
Inventor
후준 바오
샤오웨이 조우
시다 펑
유안 리우
Original Assignee
저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20200131305A publication Critical patent/KR20200131305A/ko
Application granted granted Critical
Publication of KR102421820B1 publication Critical patent/KR102421820B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 키포인트 검출 방법, 장치, 전자 기기 및 기억 매체에 관한 것으로, 상기 방법은 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하는 것과, 화소가 위치하는 영역 및 상기 영역 내의 복수의 화소의 제1 방향 벡터에 기초하여 상기 영역 내의 키포인트의 위치를 결정하는 것을 포함하는 것으로, 본 발명의 실시예의 키포인트 검출 방법에 의하면, 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 얻고, 제1 방향 벡터에 기초하여 영역 내의 키포인트의 위치를 결정함으로써, 목표 영역이 가려지는 것 또는 이미지의 촬영 범위를 벗어남에 따른 영향을 피할 수 있어 키포인트 검출의 로버스트성이 향상되고, 검출의 정확도가 높아진다.

Description

키포인트 검출 방법, 장치, 전자 기기 및 기억 매체
본 발명은 2018년 12월 25일에 중국 국가지식산권국에 제출된, 출원번호가 201811593614. X이고, 발명의 명칭이 「키포인트 검출 방법, 장치, 전자 기기 및 기억 매체」인 중국 특허출원의 우선권을 주장하고, 그 모든 내용은 원용함으로써 본 발명에 포함된다.
본 발명은 컴퓨터 기술의 분야에 관한 것으로, 특히 키포인트(key point) 검출 방법, 장치, 전자 기기 및 기억 매체에 관한 것이다.
관련 기술에서 1 프레임의 이미지에 인간의 얼굴이나, 물체, 경치 등 복수의 목표가 존재하고, 상기 복수의 목표가 서로 겹치거나 가리거나 또는 서로 영향을 줌으로써 상기 이미지의 키포인트 검출이 부정확해지는 경우가 있다. 또한, 목표가 가려지거나 이미지의 촬영 범위를 벗어남으로써, 즉 목표의 일부가 찍히지 않음으로써 키포인트 검출의 로버스트성(robustness)이 낮아져 목표점의 검출이 부정확해지는 경우가 있다.
본 발명은 키포인트 검출 방법, 장치, 전자 기기 및 기억 매체를 제공한다.
본 발명의 일 측면에 의하면, 하나 또는 복수의 영역을 포함하는 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하는 것과, 상기 화소가 위치하는 영역 및 상기 영역 내의 복수의 화소의 제1 방향 벡터에 기초하여 상기 영역 내의 키포인트의 위치를 결정하는 것을 포함하는 키포인트 검출 방법이 제공된다.
본 발명의 실시예의 키포인트 검출 방법에 의하면, 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 얻고, 제1 방향 벡터에 기초하여 상기 영역 내의 키포인트의 위치를 결정함으로써, 목표 영역이 가려지는 것 또는 이미지의 촬영 범위를 벗어남에 따른 영향을 피할 수 있어 키포인트 검출의 로버스트성이 향상되고, 검출의 정확도가 높아진다.
가능한 일 실시 형태에서, 상기 화소가 위치하는 영역 및 상기 영역 내의 복수의 화소의 제1 방향 벡터에 기초하여 상기 영역 내의 키포인트의 위치를 결정하는 것은, 상기 화소가 위치하는 영역 및 상기 제1 방향 벡터에 기초하여, 상기 하나 또는 복수의 영역의 임의의 하나인 목표 영역 내의 키포인트의 추정 좌표 및 키포인트의 추정 좌표의 가중치를 결정하는 것과, 상기 키포인트의 추정 좌표의 가중치에 기초하여 목표 영역 내의 키포인트의 추정 좌표에 대해 가중 평균 처리를 행하여 목표 영역 내의 키포인트의 위치를 얻는 것을 포함한다.
이러한 방식으로 목표 영역 내의 키포인트의 추정 좌표를 검출하고 각 목표 영역에 대해 키포인트의 추정 좌표를 결정함으로써 상이한 영역간의 상호 영향이 저감되어 키포인트 검출의 정확도가 높아진다. 또한, 제2 방향 벡터에 의해 키포인트의 추정 좌표를 결정하고, 제1 방향 벡터와 제2 방향 벡터의 내적(inner product)에 기초하여 키포인트의 추정 좌표의 가중치를 결정하고, 키포인트의 추정 좌표에 대해 가중 평균 처리를 행하여 키포인트의 위치를 얻음으로써, 키포인트의 위치의 확률 분포를 얻어 키포인트의 위치 결정의 정밀도를 향상시킬 수 있다.
가능한 일 실시 형태에서, 상기 화소가 위치하는 영역 및 상기 제1 방향 벡터에 기초하여 목표 영역 내의 키포인트의 추정 좌표 및 키포인트의 추정 좌표의 가중치를 결정하는 것은, 상기 화소가 위치하는 영역에 기초하여 피처리 이미지의 복수의 화소를 스크리닝하여 상기 목표 영역에 속하는 복수의 목표 화소를 결정하는 것과, 임의의 2개의 목표 화소의 제1 방향 벡터의 교점의 좌표를 키포인트의 추정 좌표로서 결정하는 것과, 키포인트의 추정 좌표 및 상기 목표 영역 내의 화소에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하는 것을 포함한다.
가능한 일 실시 형태에서, 키포인트의 추정 좌표 및 상기 목표 영역 내의 화소에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하는 것은, 상기 키포인트의 추정 좌표 및 목표 영역 내의 복수의 화소의 좌표에 기초하여, 상기 목표 영역 내의 복수의 화소의 키포인트의 추정 좌표를 가리키는 제2 방향 벡터를 각각 결정하는 것과, 상기 목표 영역 내의 복수의 화소의 제2 방향 벡터와 제1 방향 벡터의 내적을 결정하는 것과, 상기 목표 영역 내의 복수의 화소 중, 내적이 소정의 임계치 이상이 되는 화소의 목표 수량을 결정하는 것과, 상기 목표 수량에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하는 것을 포함한다.
가능한 일 실시 형태에서, 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하는 것은, 피처리 이미지에 대해 특징 추출 처리를 행하여, 미리 설정된 해상도의 제1 특징맵을 얻는 것과, 상기 제1 특징맵에 대해 업샘플링 처리를 행하여, 피처리 이미지와 해상도가 동일한 제2 특징맵을 얻는 것과, 상기 제2 특징맵에 대해 제1 합성곱 처리를 행하여, 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하는 것을 포함한다.
이러한 방식으로, 피처리 이미지와 해상도가 동일한 제2 특징맵을 얻은 후, 제2 특징맵에 대해 합성곱 처리를 행함으로써 처리량을 감소시켜 처리 효율을 향상시킬 수 있다.
가능한 일 실시 형태에서, 피처리 이미지에 대해 특징 추출 처리를 행하여, 미리 설정된 해상도의 제1 특징맵을 얻는 것은, 피처리 이미지에 대해 제2 합성곱 처리를 행하여, 미리 설정된 해상도의 제3 특징맵을 얻는 것과, 상기 제3 특징맵에 대해 확장 합성곱 처리를 행하여 상기 제1 특징맵을 얻는 것을 포함한다.
이러한 방식으로, 미리 설정된 해상도의 제3 특징맵을 얻음으로써 처리 정밀도에 대한 영향을 작게 할 수 있고, 확장 합성곱 처리에 의해 수용 영역(Receptive field)을 확대시킴으로써 처리 정밀도를 손상시키지 않고 특징 추출 공정의 처리 정밀도를 향상시킬 수 있다.
가능한 일 실시 형태에서, 뉴럴 네트워크에 의해 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하고, 상기 뉴럴 네트워크는 영역 라벨 및 키포인트 라벨이 부착된 복수의 샘플 이미지를 이용하여 트레이닝(training) 된다.
본 발명의 다른 측면에 의하면, 하나 또는 복수의 영역을 포함하는 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하는 제1 결정 모듈과, 상기 화소가 위치하는 영역 및 상기 영역 내의 복수의 화소의 제1 방향 벡터에 기초하여 상기 영역 내의 키포인트의 위치를 결정하는 제2 결정 모듈을 포함하는 키포인트 검출 장치가 제공된다.
가능한 일 실시 형태에서, 상기 제2 결정 모듈은 추가로, 상기 화소가 위치하는 영역 및 상기 제1 방향 벡터에 기초하여, 상기 하나 또는 복수의 영역의 임 의의 하나인 목표 영역 내의 키포인트의 추정 좌표 및 키포인트의 추정 좌표의 가중치를 결정하고, 상기 키포인트의 추정 좌표의 가중치에 기초하여 목표 영역 내의 키포인트의 추정 좌표에 대해 가중 평균 처리를 행하여 목표 영역 내의 키포인트의 위치를 얻도록 구성된다.
가능한 일 실시 형태에서, 상기 제2 결정 모듈은 추가로, 상기 화소가 위치하는 영역에 기초하여 피처리 이미지의 복수의 화소를 스크리닝하여 상기 목표 영역에 속하는 복수의 목표 화소를 결정하고, 임의의 2개의 목표 화소의 제1 방향 벡터의 교점의 좌표를 키포인트의 추정 좌표로서 결정하고, 키포인트의 추정 좌표 및 상기 목표 영역 내의 화소에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하도록 구성된다.
가능한 일 실시 형태에서, 상기 제2 결정 모듈은 추가로, 상기 키포인트의 추정 좌표 및 목표 영역 내의 복수의 화소의 좌표에 기초하여, 상기 목표 영역 내의 복수의 화소의 키포인트의 추정 좌표를 가리키는 제2 방향 벡터를 각각 결정하고, 상기 목표 영역 내의 복수의 화소의 제2 방향 벡터와 제1 방향 벡터의 내적을 결정하고, 상기 목표 영역 내의 복수의 화소 중, 내적이 소정의 임계치 이상이 되는 화소의 목표 수량을 결정하고, 상기 목표 수량에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하도록 구성된다.
가능한 일 실시 형태에서, 상기 제1 결정 모듈은 추가로, 피처리 이미지에 대해 특징 추출 처리를 행하여, 미리 설정된 해상도의 제1 특징맵을 얻고, 상기 제1 특징맵에 대해 업샘플링 처리를 행하여 피처리 이미지와 해상도가 동일한 제2 특징맵을 얻고, 상기 제2 특징맵에 대해 제1 합성곱 처리를 행하여, 복수의 화소가 위치하는 영역 및 키포인트를 가리키는 제1 방향 벡터를 결정하도록 구성된다.
가능한 일 실시 형태에서, 상기 제1 결정 모듈은 추가로, 피처리 이미지에 대해 제2 합성곱 처리를 행하여, 미리 설정된 해상도의 제3 특징맵을 얻고, 상기 제3 특징맵에 대해 확장 합성곱 처리를 행하여 상기 제1 특징맵을 얻도록 구성된다.
가능한 일 실시 형태에서, 상기 제1 결정 모듈은 추가로, 뉴럴 네트워크에 의해 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하도록 구성되고, 상기 뉴럴 네트워크는 영역 라벨 및 키포인트 라벨이 부착된 복수의 샘플 이미지를 이용하여 트레이닝된다.
본 발명의 다른 측면에 의하면, 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하는 메모리를 포함하고, 상기 프로세서는 상기 키포인트 검출 방법을 실행하도록 구성되는, 전자 기기가 제공된다.
본 발명의 다른 측면에 의하면 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면 상기 키포인트 검출 방법을 실현시키는, 컴퓨터 판독 가능 기억 매체가 제공된다.
본 발명의 실시예의 키포인트 검출 방법에 의하면, 뉴럴 네트워크를 이용하여 복수의 화소가 위치하는 영역을 얻어 목표 영역 내의 키포인트의 추정 좌표를 검출할 수 있고, 상기 뉴럴 네트워크의 확장 합성곱층에 의해 수용 영역을 확대시킴으로써 처리 정밀도를 손상시키지 않고 특징 추출 공정의 처리 정밀도를 향상시킬 수 있고, 또한 피처리 이미지와 해상도가 동일한 제2 특징맵을 얻은 후, 제2 특징맵에 대해 합성곱 처리를 행함으로써 처리량을 감소시켜 처리 효율을 향상시킬 수 있다. 각 목표 영역에 대해 키포인트의 추정 좌표를 결정함으로써 상이한 영역간의 상호 영향이 저감되고, 키포인트의 추정 좌표에 대해 가중 평균 처리를 행하여 키포인트의 위치를 얻음으로써 키포인트의 위치의 확률 분포를 얻어 키포인트의 위치 결정의 정밀도를 향상시킬 수 있다. 또한, 목표 영역이 가려지는 것 또는 이미지의 촬영 범위를 벗어남에 따른 영향을 피할 수 있어 키포인트 검출의 로버스트성이 향상되고, 검출의 정확도가 높아진다.
또한, 상술한 개략적인 설명 및 다음의 상세한 설명은 예시적이고 해석적인 것에 불과한 것으로, 본 발명을 한정하는 것은 아니다.
이하, 도면을 참고하면서 예시적인 실시예를 상세하게 설명함으로써, 본 발명의 다른 특징 및 측면은 명료해진다.
여기서, 본 명세서의 일부로서 포함되는 도면은 본 발명의 실시예에 적합하고, 명세서와 함께 본 발명의 기술적 해결 수단의 설명에 사용된다.
도 1은 본 발명의 실시예에 따른 키포인트 검출 방법의 흐름도를 나타낸다.
도 2는 본 발명의 실시예에 따른 키포인트 검출 방법의 흐름도를 나타낸다.
도 3은 본 발명의 실시예에 따른 키포인트 검출 방법의 적용의 모식도를 나타낸다.
도 4는 본 발명의 실시예에 따른 키포인트 검출 장치의 블록도를 나타낸다.
도 5는 본 발명의 실시예에 따른 전자 장치의 블록도를 나타낸다.
도 6은 본 발명의 실시예에 따른 전자 장치의 블록도를 나타낸다.
이하에 도면을 참조하면서 본 발명의 다양한 예시적인 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서의 동일한 부호는 동일 또는 유사한 기능의 요소를 나타낸다. 도면에서 실시예의 다양한 측면을 나타냈으나, 특별히 언급하지 않는 한, 비례에 따라 도면을 그릴 필요는 없다.
여기에서의 용어 「예시적」이란, 「예, 실시예로서 사용되는 것 또는 설명적인 것」을 의미한다. 여기에서 「예시적」으로 설명되는 어떠한 실시예도 다른 실시예보다 바람직하거나 또는 우수한 것으로 이해해서는 안된다.
본 명세서에서 용어 「및/또는」은 단순히 관련 대상의 관련 관계를 기술하기 위한 것이고, 3개의 관계가 존재 가능함을 나타내며, 예를 들면, A 및/또는 B는 A만이 존재하거나, A와 B가 동시에 존재하거나, B만이 존재하는 세 가지 경우를 나타낼 수 있다. 또한, 본 명세서에서의 용어 「하나 이상」은 다종 중 어느 하나 또는 다종 중 적어도 2개의 임의의 조합을 나타내고, 예를 들면, A, B 및 C 중 하나 이상을 포함하는 것은, A, B 및 C로 구성되는 집합에서 선택된 어느 하나 또는 복수의 요소를 포함하는 것을 나타낼 수 있다.
또한, 본 발명을 보다 효과적으로 설명하기 위해, 이하의 구체적인 실시형태에서 다양한 구체적인 상세를 개시한다. 당업자이면 본 발명은 어떤 구체적인 상세가 없어도 동일하게 실시할 수 있는 것으로 이해해야 한다. 일부 실시예에서는 본 발명의 취지를 강조하기 위해 당업자에게 이미 알려진 방법, 수단, 요소 및 회로에 대해 상세한 설명을 하지 않는다.
도 1은 본 발명의 실시예에 따른 키포인트 검출 방법의 흐름도를 나타내고, 도 1에 나타내는 바와 같이 상기 방법은 하나 또는 복수의 영역을 포함하는 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하는 단계(S11)와, 상기 화소가 위치하는 영역 및 상기 영역 내의 복수의 화소의 제1 방향 벡터에 기초하여 상기 영역 내의 키포인트의 위치를 결정하는 단계(S12)를 포함한다.
본 발명의 실시예의 키포인트 검출 방법에 의하면, 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 얻고, 제1 방향 벡터에 기초하여 영역 내의 키포인트의 위치를 결정함으로써, 목표 영역이 가려지는 것 또는 이미지의 촬영 범위를 벗어남에 따른 영향을 피할 수 있어 키포인트 검출의 로버스트성이 향상되고, 검출의 정확도가 높아진다.
가능한 일 실시 형태에서, 단계(S11)에서, 뉴럴 네트워크를 이용하여 피처리 이미지의 복수의 화소가 위치하는 영역 및 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 취득하도록 할 수 있다. 상기 뉴럴 네트워크는 합성곱 뉴럴 네트워크일 수 있고, 본 발명에서는 뉴럴 네트워크의 타입이 한정되지 않는다. 예시적으로, 하나 또는 복수의 목표 대상물을 포함하는 피처리 이미지를 상기 뉴럴 네트워크에 입력하고 처리하여, 피처리 이미지의 복수의 화소가 위치하는 영역에 관련된 파라미터, 및 복수의 화소의, 복수의 화소가 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 얻도록 할 수 있다. 또는 다른 방법을 사용하여 피처리 이미지의 복수의 화소가 위치하는 영역을 취득할 수도 있고, 예를 들면, 시멘틱 세그먼테이션 등의 방법에 따라 피처리 이미지 내의 하나 이상의 영역을 얻는다. 본 발명에서는 피처리 이미지의 복수의 화소가 위치하는 영역을 얻는 방식이 한정되지 않는다.
예시적으로, 피처리 이미지에 A 및 B의 2개의 목표 대상물이 있는 경우에 피처리 이미지는 3개의 영역, 즉 목표 대상물 A가 위치하는 영역 A, 목표 대상물 B가 위치하는 영역 B 및 배경 영역 C로 나누어 영역의 임의의 파라미터를 사용하여 화소가 위치하는 영역을 나타낼 수 있다. 예를 들면, 좌표(10, 20)의 화소가 영역 A에 위치하는 경우 상기 화소를 (10, 20, A)로 나타내고, 좌표 (50, 80)의 화소가 배경 영역에 위치하는 경우 상기 화소를 (50, 80, C)로 나타내도록 할 수 있다.
다른 일례로서, 화소가 위치하는 영역을 화소가 어느 영역에 위치할 확률로 나타내어, 예를 들면, 화소는 A 영역에 속할 확률이 60％이고, B 영역에 속할 확률이 10％이고, D 영역에 속할 확률이 15％이고, 배경 영역에 속할 확률이 15％인 경우에 상기 화소가 A 영역에 속한다고 결정할 수 있다. 또는 화소가 위치하는 영역을 수치의 구간으로 나타내어, 예를 들면, 뉴럴 네트워크로부터 어느 화소가 위치하는 영역을 나타내는 파라미터 x를 출력하여 0≤x＜25인 경우에 상기 화소가 A 영역에 속하고, 25≤x＜50인 경우에 상기 화소가 B 영역에 속하고, 50≤x＜75인 경우에 상기 화소가 D 영역에 속하고, 75≤x≤100인 경우에 상기 화소가 배경 영역에 속하도록 할 수도 있다. 본 발명에서는 화소가 위치하는 영역을 나타내는 파라미터가 한정되지 않는다. 예시적으로 복수의 영역은 1개의 목표 대상물의 복수의 영역일 수 있고, 예를 들면, 목표 대상물은 인간의 얼굴이고, 영역 A는 이마의 영역이고, B는 볼의 영역 등이도록 할 수 있다. 본 발명에서는 영역이 한정되지 않는다.
예시적으로, 상기 뉴럴 네트워크는 화소로부터 상기 화소가 위치하는 영역의 키포인트를 가리키는 방향 벡터를 추가로 취득하도록 할 수 있다. 예를 들면, 상기 방향 벡터는 단위 벡터일 수 있고 다음 식 (1)에 의해 결정될 수 있다.
Figure 112020108329335-pct00001
여기서, vk(p)는 상기 제1 방향 벡터이고, p는 k(k는 양의 정수)번째 영역 내의 임의의 하나의 화소이고, xk는 p가 위치하는 k번째 영역의 키포인트이고,∥xk-p∥2는 벡터 xk-p의 노름(norm)으로, 즉 상기 제1 방향 벡터 vk(p)는 단위 벡터이다.
예시적으로, 화소가 위치하는 영역 및 제1 방향 벡터를 상기 화소의 좌표에 함께 나타낼 수 있고, 예를 들면, (10, 20, A, 0.707, 0.707)의 경우, (10, 20)은 화소의 좌표이고, A는 화소가 위치하는 영역이 A 영역임을 나타내고, (0.707, 0.707)은 상기 화소의 A 영역의 키포인트를 가리키는 제1 방향 벡터이다.
가능한 일 실시 형태에서, 단계(S11)은 처리 이미지에 대해 특징 추출 처리를 행하여, 미리 설정된 해상도의 제1 특징맵을 얻는 것과, 상기 제1 특징맵에 대해 업샘플링 처리를 행하여, 피처리 이미지와 해상도가 동일한 제2 특징맵을 얻는 것과, 상기 제2 특징맵에 대해 제1 합성곱 처리를 행하여, 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하는 것을 포함한다.
가능한 일 실시 형태에서, 뉴럴 네트워크에 의해 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하도록 할 수 있다. 상기 뉴럴 네트워크는 적어도 다운샘플링 서브 네트워크, 업샘플링 서브 네트워크, 및 특징 결정 서브 네트워크를 포함한다.
가능한 일 실시 형태에서, 피처리 이미지에 대해 특징 추출 처리를 행하여, 미리 설정된 해상도의 제1 특징맵을 얻는 것은, 피처리 이미지에 대해 제2 합성곱 처리를 행하여, 미리 설정된 해상도의 제3 특징맵을 얻는 것과, 상기 제3 특징맵에 대해 확장 합성곱 처리를 행하여 상기 제1 특징맵을 얻는 것을 포함한다.
가능한 일 실시 형태에서, 상기 다운샘플링 서브 네트워크에 의해 피처리 이미지에 대해 다운샘플링 처리를 행하도록 할 수 있다. 상기 다운샘플링 서브 네트워크는 제2 합성곱층과 확장 합성곱층을 포함하고, 다운샘플링 서브 네트워크의 제2 합성곱층은 피처리 이미지에 대해 제2 합성곱 처리를 행하도록 할 수 있다. 상기 제2 합성곱층은 풀링층(pooling layer)을 추가로 포함하여 피처리 이미지에 대해 풀링 등의 처리를 행하도록 할 수 있다. 제2 합성곱층에 의한 처리 후, 미리 설정된 해상도의 제3 특징맵이 얻어진다. 예시적으로, 상기 제3 특징맵은 미리 설정된 해상도의 특징맵으로, 예를 들면, 피처리 이미지의 해상도는 H×W(H 및 W는 양의 정수)이고, 미리 설정된 해상도는 H/8×W/8이며, 본 발명에서는 미리 설정된 해상도가 한정되지 않는다.
가능한 일 실시 형태에서, 미리 설정된 해상도의 제3 특징맵을 얻은 후, 처리 정밀도가 저하되지 않도록, 풀링 등의 다운샘플링 처리를 행하지 않고 확장 합성곱층을 이용하여 특징 추출 처리를 행하도록 할 수 있다. 미리 설정된 해상도의 제3 특징맵을 상기 확장 합성곱층에 입력하여 확장 합성곱 처리를 행하여 상기 제1 특징맵을 얻도록 할 수 있다. 상기 확장 합성곱층에 의해, 해상도가 저하되지 않고 제3 특징맵에 대한 수용 영역이 확대되어 처리 정밀도가 높아진다.
예시적으로, 인터벌 샘플링 등의 방식으로 피처리 이미지에 대해 다운샘플링을 행하여 미리 설정된 해상도의 제1 특징맵을 얻도록 할 수도 있으며, 본 발명에서는 미리 설정된 해상도의 제1 특징맵을 얻는 방식이 한정되지 않는다.
이러한 방식으로, 미리 설정된 해상도의 제3 특징맵을 얻음으로써 처리 정밀도에 대한 영향이 작고, 확장 합성곱 처리에 의해 수용 영역을 확대시킴으로써 처리 정밀도를 손상시키지 않고 특징 추출 공정의 처리 정밀도를 향상시킬 수 있다.
가능한 일 실시 형태에서, 상기 업샘플링 서브 네트워크에 의해 제1 특징맵에 대해 업샘플링 처리를 행하여, 즉 제1 특징맵을 상기 업샘플링 서브 네트워크에 입력하여 업샘플링 처리를 행하여, 피처리 이미지와 해상도가 동일한 제2 특징맵을 얻도록 할 수 있다(예를 들면, 제2 특징맵의 해상도는 H×W이다). 예시적으로, 업샘플링 서브 네트워크는 역합성곱층을 포함하고, 역합성곱 처리에 의해 제1 특징맵의 업샘플링을 행하도록 할 수 있다. 예시적으로, 보간 등의 처리에 의해 제1 특징맵의 업샘플링을 행할 수 있고, 본 발명에서는 업샘플링 처리의 방식이 한정되지 않는다.
가능한 일 실시 형태에서, 특징 결정 서브 네트워크에 의해 제2 특징맵에 대해 제1 합성곱 처리를 행한다. 예시적으로, 상기 특징 결정 서브 네트워크는 제1 합성곱층을 포함하고, 상기 제1 합성곱층에 의해 상기 제2 특징맵에 대해 제1 합성곱 처리를 행하여 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하도록 할 수 있다.
가능한 일 실시 형태에서, 제2 특징맵은 피처리 이미지와 해상도가 동일하고, 전체 결합 처리를 행하지 않을 수 있다. 즉, 특징 결정 서브 네트워크는 전체 결합층을 포함하지 않을 수 있다. 상기 특징 결정 서브 네트워크는 하나 또는 복수의 1×1 합성곱 커널을 갖는 제1 합성곱층을 포함하고, 제1 합성곱층에 의해 제2 특징맵에 대해 제1 합성곱 처리를 행하여 제2 특징맵의 복수의 화소가 위치하는 영역 및 키포인트를 가리키는 제1 방향 벡터를 얻도록 할 수 있다. 제2 특징맵은 피처리 이미지와 해상도가 동일하기 때문에, 제2 특징맵의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를, 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터로서 결정하도록 할 수 있다. 예를 들면, 제2 특징맵 내의 좌표(10, 20)의 화소에 대해 특징 결정 서브 네트워크에 의해 처리하여 얻어진 출력인 (10, 20, A, 0.707, 0.707)은 좌표(10, 20)의 화소가 위치하는 영역이 A 영역이고, 상기 화소의 A 영역의 키포인트를 가리키는 제1 방향 벡터가 (0.707, 0.707)임을 나타낸다. 상기 출력에서, 피처리 이미지에서의 좌표(10, 20)의 화소가 위치하는 영역 및 상기 화소의 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 나타낼 수 있다. 즉 피처리 이미지 내의 좌표(10, 20)의 화소가 위치하는 영역이 A 영역이고, 상기 화소의 A 영역의 키포인트를 가리키는 제1 방향 벡터가 (0.707, 0.707)이다.
이러한 방식으로, 피처리 이미지와 해상도가 동일한 제2 특징맵을 얻은 후, 제2 특징맵에 대해 합성곱 처리를 행함으로써 처리량을 감소시켜 처리 효율을 향상시킬 수 있다.
가능한 일 실시 형태에서, 단계(S12)에서, 상기 화소가 위치하는 영역 및 복수의 영역 내의 복수의 화소의 제1 방향 벡터에 기초하여 복수의 영역 내의 키포인트의 위치, 즉 복수의 영역 내의 키포인트 좌표를 결정하도록 할 수 있다. 단계(S12)는 상기 화소가 위치하는 영역 및 상기 제1 방향 벡터에 기초하여, 상기 하나 또는 복수의 영역의 임의의 하나인 목표 영역 내의 키포인트의 추정 좌표 및 키포인트의 추정 좌표의 가중치를 결정하는 것과, 상기 키포인트의 추정 좌표의 가중치에 기초하여 목표 영역 내의 키포인트의 추정 좌표에 대해 가중 평균 처리를 행하여 목표 영역 내의 키포인트의 위치를 얻는 것을 포함하도록 할 수 있다.
예시적으로, 제1 방향 벡터가 가리키는 방위에 기초하여 키포인트의 위치를 결정할 수 있고, 본 발명에서는 키포인트 위치의 결정 방식이 한정되지 않는다.
가능한 일 실시 형태에서, 상기 화소가 위치하는 영역 및 상기 제1 방향 벡터에 기초하여 목표 영역 내의 키포인트의 추정 좌표 및 키포인트의 추정 좌표의 가중치를 결정하는 것은, 상기 화소가 위치하는 영역에 기초하여 피처리 이미지의 복수의 화소를 스크리닝하여 상기 목표 영역에 속하는 복수의 목표 화소를 결정하는 것과, 임의의 2개의 목표 화소의 제1 방향 벡터의 교점의 좌표를 키포인트의 추정 좌표의 하나로서 결정하는 것과, 키포인트의 추정 좌표 및 상기 목표 영역 내의 화소에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하는 것을 포함하도록 할 수 있다.
가능한 일 실시 형태에서, 목표 영역의 모든 화소를 상기 목표 화소로서 선출할 수 있다. 예를 들면, 복수의 화소가 위치하는 영역에 관한 상기 뉴럴 네트워크의 출력에 기초하여 목표 영역의 모든 화소를 선출하도록 할 수 있다. 예시적으로, 목표 영역은 영역 A이고, 피처리 이미지의 모든 화소로부터, 뉴럴 네트워크의 출력이 영역 A인 화소를 모두 선출하고, 상기 화소로 이루어지는 영역은 영역 A이다. 본 발명에서는 목표 영역이 한정되지 않는다.
가능한 일 실시 형태에서, 목표 영역(예를 들면, 영역 A)의, 상기 제1 방향 벡터를 가짐과 아울러 제1 방향 벡터가 목표 영역의 키포인트를 가리키는 임의의 2개의 목표 화소를 선택하고, 2개의 제1 방향 벡터의 교점을 결정하여 상기 교점을 키포인트의 추정 위치, 즉 키포인트의 추정 좌표로 하도록 할 수 있다. 예시적으로, 각 목표 화소의 제1 방향 벡터에 오차가 포함될 수 있기 때문에, 키포인트의 추정 좌표는 동일하지 않을 수 있다. 즉 2개의 목표 화소의 제1 방향 벡터의 교점에 기초하여 결정되는 키포인트의 추정 좌표와 다른 2개의 목표 화소의 제1 방향 벡터의 교점에 기초하여 결정되는 키포인트의 추정 좌표는 상이할 수 있다. 이러한 방식으로 임의의 2개의 목표 화소의 제1 방향 벡터의 교점을 여러 번 얻음으로써 키포인트의 추정 좌표를 얻도록 할 수 있다.
가능한 일 실시 형태에서, 키포인트의 추정 좌표의 가중치를 결정하도록 할 수 있다. 키포인트의 추정 좌표 및 상기 목표 영역 내의 화소에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하는 것은 상기 키포인트의 추정 좌표 및 목표 영역 내의 복수의 화소의 좌표에 기초하여, 상기 목표 영역 내의 복수의 화소의 키포인트의 추정 좌표를 가리키는 제2 방향 벡터를 각각 결정하는 것과, 상기 목표 영역 내의 복수의 화소의 제2 방향 벡터와 제1 방향 벡터의 내적을 결정하는 것과, 상기 목표 영역 내의 복수의 화소 중, 내적이 소정의 임계치 이상이 되는 화소의 목표 수량을 결정하는 것과, 상기 목표 수량에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하는 것을 포함한다.
가능한 일 실시 형태에서, 키포인트의 추정 좌표에 대해, 상기 키포인트의 추정 좌표의 가중치를 결정하도록 할 수 있다. 키포인트의 추정 좌표가 위치하는 영역의 복수의 화소의, 상기 키포인트의 추정 좌표를 가리키는 제2 방향 벡터를 취득한다. 상기 제2 방향 벡터는 단위 벡터일 수 있다. 목표 영역 내의 복수의 목표 화소의 상기 키포인트의 추정 좌표를 가리키는 제2 방향 벡터와 복수의 목표 화소의 목표 영역 내의 키포인트를 가리키는 제1 방향 벡터를 이용하여 키포인트의 추정 좌표의 가중치를 결정하도록 할 수 있다.
가능한 일 실시 형태에서, 상기 목표 영역 내의 복수의 화소의 제2 방향 벡터 및 제1 방향 벡터에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하도록 할 수 있다. 목표 영역 내의 복수의 화소의 제2 방향 벡터와 제1 방향 벡터의 내적을 결정하고, 복수의 화소에 대응하는 내적과 소정의 임계치를 비교하여 내적이 소정의 임계치보다 큰 화소의 목표 수량을 결정할 수 있다. 예를 들면, 화소의 내적이 소정의 임계치보다 큰 경우에 1로 마크하고, 그렇지 않은 경우에 0으로 마크하여 목표 영역 내의 모든 화소에 대해 마크한 후, 모든 화소의 마크를 가산하여 목표 수량을 결정한다.
가능한 일 실시 형태에서, 상기 목표 수량에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정할 수 있다. 예시적으로, 다음 식 (2)에 의해 상기 키포인트의 추정 좌표의 가중치를 결정하도록 할 수 있다.
Figure 112020108329335-pct00002
여기서, wk,i는 k번째 영역(예를 들면, 영역 A) 내의 i번째 키포인트(예를 들면, 상기 키포인트) 추정 좌표의 가중치이고, O는 상기 영역 내의 모든 화소이고, p'는 상기 영역 내의 임의의 하나의 화소이고, hk,i는 상기 영역 내의 i번째 키포인트의 추정 좌표이고,
Figure 112020108329335-pct00003
는 p'의 hk,i를 가리키는 제2 방향 벡터이고, vk(p')는 p'의 제1 방향 벡터이고, θ는 소정의 임계치로, 예시적으로 θ의 값은 0.99이다. 본 발명에서는 소정의 임계치가 한정되지 않는다. Ⅱ는 활성화 함수이고,
Figure 112020108329335-pct00004
와 vk(p')의 내적이 소정의 임계치 θ이상인 경우에 Ⅱ의 값은 1이고(즉 1로 마크함), 그렇지 않은 경우에 Ⅱ의 값은 0이다(즉 0으로 마크함). 식 (2)는 목표 영역 내의 모든 화소의 활성화 함수의 값(즉 마크)을 가산하여 얻는 결과, 즉 키포인트의 추정 좌표 hk,i의 가중치를 나타낼 수 있다. 본 발명에서는 내적이 소정의 임계치 이상인 경우의 활성화 함수의 값이 한정되지 않는다.
가능한 일 실시 형태에서, 키포인트의 추정 좌표 및 키포인트의 추정 좌표의 가중치를 결정하는 상기 처리를 반복하여 실행함으로써 목표 영역 내의 복수의 키포인트의 추정 좌표 및 키포인트의 추정 좌표의 가중치를 얻도록 할 수 있다.
가능한 일 실시 형태에서, 상기 키포인트의 추정 좌표의 가중치에 기초하여 목표 영역 내의 키포인트의 추정 좌표에 대해 가중 평균 처리를 행하여 목표 영역 내의 키포인트의 위치를 얻도록 할 수 있다. 예시적으로, 다음 식 (3)에 의해 목표 영역 내의 키포인트의 위치를 결정하도록 할 수 있다.
Figure 112020108329335-pct00005
여기서, μk는 k번째 영역(예를 들면, 영역 A) 내의 N(N는 양의 정수)개의 키포인트의 추정 좌표에 대해 가중 평균 처리를 행하여 얻어진 좌표, 즉 k번째 영역 내의 키포인트의 위치 좌표이다.
가능한 일 실시 형태에서, 최우추정법(method of maximum likelihood estimation)에 의해 키포인트에 대응하는 공분산 행렬, 즉 목표 영역 내의 키포인트의 추정 좌표와 키포인트의 위치 좌표의 공분산 행렬에 대해 가중 평균 처리를 행하여 얻어진 행렬을 결정할 수 있다. 예시적으로, 다음 식 (4)로 키포인트에 대응하는 공분산 행렬 Σk를 나타내도록 할 수 있다.
Figure 112020108329335-pct00006
가능한 일 실시 형태에서, 키포인트의 위치 좌표 및 키포인트에 대응하는 공분산 행렬은 목표 영역 내에서의 키포인트가 존재할 수 있는 위치의 확률 분포를 나타내기 위해 사용될 수 있다.
가능한 일 실시 형태에서, 목표 영역의 키포인트의 위치를 얻는 상기 처리를 반복하여 실행함으로써 피처리 이미지의 복수의 영역 내의 키포인트의 위치를 얻도록 할 수 있다.
이러한 방식으로 목표 영역 내의 키포인트의 추정 좌표를 검출하고, 각 목표 영역에 대해 키포인트의 추정 좌표를 결정함으로써 상이한 영역간의 상호 영향이 저감되어 키포인트 검출의 정확도가 높아진다. 또한, 제2 방향 벡터에 기초하여 키포인트의 추정 좌표를 결정하고, 제1 방향 벡터와 제2 방향 벡터의 내적에 기초하여 키포인트의 추정 좌표의 가중치를 결정하고, 키포인트의 추정 좌표에 대해 가중 평균 처리를 행하여 키포인트의 위치를 얻음으로써 키포인트의 위치의 확률 분포를 얻어 키포인트의 위치 결정의 정밀도를 향상시킬 수 있다.
가능한 일 실시 형태에서, 뉴럴 네트워크를 이용하여 복수의 화소가 위치하는 영역 및 키포인트를 가리키는 제1 방향 벡터를 취득하기 전에 상기 뉴럴 네트워크를 트레이닝하도록 할 수 있다.
도 2는 본 발명의 실시예에 따른 키포인트 검출 방법의 흐름도를 나타낸다. 도 2에 나타내는 바와 같이 상기 방법은 영역 라벨 및 키포인트 라벨이 부착된 복수의 샘플 이미지에 의해 상기 뉴럴 네트워크를 트레이닝하는 단계(S13)을 추가로 포함한다.
또한, 단계 11 및 단계 12가 실행될 때마다 단계 13을 실행하는 것은 아니고, 뉴럴 네트워크의 트레이닝이 완료되면 뉴럴 네트워크를 이용하여 제1 샘플 방향 벡터 및 영역 구분 결과를 결정한다. 즉 뉴럴 네트워크의 트레이닝이 완료되면 뉴럴 네트워크를 이용하여 단계 11 및 단계 12의 기능을 몇번이고 실현할 수 있다.
가능한 일 실시 형태에서, 임의의 하나의 샘플 이미지를 뉴럴 네트워크에 입력하고 처리하여 상기 샘플 이미지의 복수의 화소의 제1 샘플 방향 벡터 및 복수의 화소가 위치하는 영역의 영역 구분 결과를 얻도록 할 수 있다. 제1 샘플 방향 벡터 및 상기 영역 구분 결과는 뉴럴 네트워크의 출력이고, 오차를 포함할 수 있다.
가능한 일 실시 형태에서, 키포인트 라벨에 의해 복수의 영역 내의 키포인트의 제1 방향 벡터를 결정하도록 할 수 있다. 예를 들면, 어느 영역 내의 라벨이 부착된 키포인트의 좌표가 (10, 10)인 경우에, 좌표(5, 5)의 화소의 키포인트를 가리키는 제1 방향 벡터는 (0.707, 0.707)이다.
가능한 일 실시 형태에서, 제1 방향 벡터와 제1 샘플 방향 벡터의 차이, 및 영역 구분 결과와 영역 라벨의 차이에 기초하여 뉴럴 네트워크의 네트워크 손실을 결정하도록 할 수 있다. 예시적으로, 제1 방향 벡터와 제1 샘플 방향 벡터의 차이, 및 영역 구분 결과와 영역 라벨의 차이에 기초하여 복수의 화소의 크로스-엔트로피(cross-entropy) 손실 함수를 결정하고, 트레이닝 과정에서 과잉 적합이 발생하지 않도록 상기 크로스-엔트로피 손실 함수에 대해 정칙화(regularization) 처리를 행하도록 할 수 있다. 정칙화 처리된 크로스-엔트로피 손실 함수를 상기 뉴럴 네트워크의 네트워크 손실로서 결정하도록 할 수 있다.
가능한 일 실시 형태에서, 상기 네트워크 손실에 의해 뉴럴 네트워크의 네트워크 파라미터를 조정할 수 있다. 예시적으로, 네트워크 손실이 최소가 되는 방향으로 상기 네트워크 파라미터를 조정하고, 예를 들면, 구배 강하법에 기초하는 네트워크 손실의 역전파에 의해 뉴럴 네트워크의 네트워크 파라미터를 조정하도록 할 수 있다. 뉴럴 네트워크가 트레이닝 조건을 만족시키면 트레이닝 후의 뉴럴 네트워크를 얻는다. 상기 트레이닝 조건은 조정의 횟수이고, 뉴럴 네트워크의 네트워크 파라미터를 소정 횟수 조정하도록 할 수 있다. 다른 일례로서 트레이닝 조건은 네트워크 손실의 크기 또는 수렴/발산으로서, 네트워크 손실이 소정 정도로 낮아지거나 또는 소정의 임계치에 수렴하면 조정을 정지하여 트레이닝 후의 뉴럴 네트워크를 얻도록 할 수도 있다. 트레이닝 후의 뉴럴 네트워크는 피처리 이미지의 복수의 화소가 위치하는 영역 및 키포인트를 가리키는 제1 방향 벡터를 취득하는 처리에 사용 가능하다.
본 발명의 실시예의 키포인트 검출 방법에 의하면, 뉴럴 네트워크를 이용하여 복수의 화소가 위치하는 영역을 얻고, 목표 영역 내의 키포인트의 추정 좌표를 검출할 수 있다. 상기 뉴럴 네트워크의 확장 합성곱층에 의한 수용 영역의 확대에 의해 처리 정밀도를 손상시키지 않고 특징 추출 공정의 처리 정밀도가 높아진다. 또한, 피처리 이미지와 해상도가 동일한 제2 특징맵을 얻은 후, 제2 특징맵에 대해 합성곱 처리를 행함으로써 처리량을 감소시켜 처리 효율을 향상시킬 수 있다. 각 목표 영역에 대해 키포인트의 추정 좌표를 결정함으로써 상이한 영역간의 상호 영향이 저감된다. 키포인트의 추정 좌표에 대해 가중 평균 처리를 행하여 키포인트의 위치를 얻음으로써 키포인트의 위치의 확률 분포를 얻어 키포인트의 위치 결정의 정밀도를 향상시킬 수 있다. 또한, 목표 영역이 가려지는 것 또는 이미지의 촬영 범위를 벗어남에 따른 영향을 피할 수 있어 키포인트 검출의 로버스트성이 향상되고, 검출의 정확도가 높아진다.
도 3은 본 발명의 실시예에 따른 키포인트 검출 방법의 적용의 모식도를 나타낸다. 도 3에 나타내는 바와 같이, 피처리 이미지를 미리 트레이닝된 뉴럴 네트워크에 입력하고 처리하여, 피처리 이미지의 복수의 화소가 위치하는 영역 및 키포인트를 가리키는 제1 방향 벡터를 얻도록 할 수 있다. 예시적으로, 뉴럴 네트워크의 다운샘플링 서브 네트워크에 의해 피처리 이미지에 대해 특징 추출 처리를 행하여, 즉 다운샘플링 서브 네트워크의 제2 합성곱층에 의해 제2 합성곱 처리를 행하고 확장 합성곱층에 의해 확장 합성곱 처리를 행하여, 미리 설정된 해상도의 제1 특징맵을 얻도록 할 수 있다. 제1 특징맵에 대해 업샘플링 처리를 행하여 피처리 이미지와 해상도가 동일한 제2 특징맵을 얻도록 할 수 있다. 제2 특징맵을 특징 결정 서브 네트워크의 제1 합성곱층(하나 또는 복수의 1×1 합성곱 커널을 가짐)에 입력하고 제1 합성곱 처리를 행하여, 복수의 화소가 위치하는 영역 및 키포인트를 가리키는 제1 방향 벡터를 얻도록 할 수 있다.
가능한 일 실시 형태에서, 목표 영역의 복수의 화소에 대해, 임의의 2개의 화소의 제1 방향 벡터의 교점을 키포인트의 추정 좌표로서 결정하도록 할 수 있다. 이러한 방식으로 목표 영역 내의 키포인트의 추정 좌표를 결정할 수 있다.
가능한 일 실시 형태에서, 키포인트의 추정 좌표의 가중치를 결정하도록 할 수 있다. 예시적으로, 목표 영역 내의 복수의 화소의, 어느 키포인트의 추정 좌표를 가리키는 제2 방향 벡터를 결정하고, 복수의 화소의 제2 방향 벡터와 제1 방향 벡터의 내적을 결정하고, 식 (2)에 의해 활성화 함수를 이용하여 상기 키포인트의 추정 좌표의 가중치를 결정하고, 즉 상기 내적이 소정의 임계치 이상인 경우에 활성화 함수의 값을 1로 하고, 그렇지 않은 경우에 0으로 하고, 또한 목표 영역 내의 복수의 화소의 활성화 함수의 값을 가산하여 상기 키포인트의 추정 좌표의 가중치를 얻도록 할 수 있다. 이러한 방식으로 목표 영역 내의 키포인트의 추정 좌표의 가중치를 결정할 수 있다.
가능한 일 실시 형태에서, 목표 영역 내의 키포인트의 추정 좌표에 대해 가중 평균 처리를 행하여 목표 영역의 키포인트의 위치 좌표를 얻도록 할 수 있다. 이러한 방식으로 각 영역 내의 키포인트의 위치 좌표를 결정할 수 있다.
도 4는 본 발명의 실시예에 따른 키포인트 검출 장치의 블록도를 나타낸다. 도 4에 나타내는 바와 같이 상기 장치는 하나 또는 복수의 영역을 포함하는 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하는 제1 결정 모듈(11)과, 상기 화소가 위치하는 영역 및 상기 영역 내의 복수의 화소의 제1 방향 벡터에 기초하여 상기 영역 내의 키포인트의 위치를 결정하는 제2 결정 모듈(12)을 포함한다.
가능한 일 실시 형태에서, 상기 제2 결정 모듈은 추가로, 상기 화소가 위치하는 영역 및 상기 제1 방향 벡터에 기초하여, 상기 하나 또는 복수의 영역의 임 의의 하나인 목표 영역 내의 키포인트의 추정 좌표 및 키포인트의 추정 좌표의 가중치를 결정하고, 상기 키포인트의 추정 좌표의 가중치에 기초하여 목표 영역 내의 키포인트의 추정 좌표에 대해 가중 평균 처리를 행하여 목표 영역 내의 키포인트의 위치를 얻도록 구성된다.
가능한 일 실시 형태에서, 상기 제2 결정 모듈은 추가로, 상기 화소가 위치하는 영역에 기초하여 피처리 이미지의 복수의 화소를 스크리닝하여 상기 목표 영역에 속하는 복수의 목표 화소를 결정하고, 임의의 2개의 목표 화소의 제1 방향 벡터의 교점의 좌표를 키포인트의 추정 좌표로서 결정하고, 키포인트의 추정 좌표 및 상기 목표 영역 내의 화소에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하도록 구성된다.
가능한 일 실시 형태에서, 상기 제2 결정 모듈은 추가로, 상기 키포인트의 추정 좌표 및 목표 영역 내의 복수의 화소의 좌표에 기초하여, 상기 목표 영역 내의 복수의 화소의 키포인트의 추정 좌표를 가리키는 제2 방향 벡터를 각각 결정하고, 상기 목표 영역 내의 복수의 화소의 제2 방향 벡터와 제1 방향 벡터의 내적을 결정하고, 상기 목표 영역 내의 복수의 화소 중, 내적이 소정의 임계치 이상이 되는 화소의 목표 수량을 결정하고, 상기 목표 수량에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하도록 구성된다.
가능한 일 실시 형태에서, 상기 제1 결정 모듈은 추가로, 피처리 이미지에 대해 특징 추출 처리를 행하여, 미리 설정된 해상도의 제1 특징맵을 얻고, 상기 제1 특징맵에 대해 업샘플링 처리를 행하여, 피처리 이미지와 해상도가 동일한 제2 특징맵을 얻고, 상기 제2 특징맵에 대해 제1 합성곱 처리를 행하여, 복수의 화소가 위치하는 영역 및 키포인트를 가리키는 제1 방향 벡터를 결정하도록 구성된다.
가능한 일 실시 형태에서, 상기 제1 결정 모듈은 추가로, 피처리 이미지에 대해 제2 합성곱 처리를 행하여 미리 설정된 해상도의 제3 특징맵을 얻고, 상기 제3 특징맵에 대해 확장 합성곱 처리를 행하여 상기 제1 특징맵을 얻도록 구성된다.
가능한 일 실시 형태에서, 상기 제1 결정 모듈은 추가로, 뉴럴 네트워크에 의해 피처리 이미지의 복수의 화소가 위치하는 영역 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하도록 구성되고, 상기 뉴럴 네트워크는 영역 라벨 및 키포인트 라벨이 부착된 복수의 샘플 이미지를 이용하여 트레이닝된다.
본 발명에서 언급되는 상기 각 방법의 실시예는 원리와 논리에 위반되지 않는 한, 서로 조합하여 실시예를 형성할 수 있음을 이해해야 한다. 분량에 한정이 있으므로, 본 발명에서는 상세한 설명을 생략한다.
또한, 본 발명에서는 키포인트 검출 장치, 전자 기기, 컴퓨터 판독 가능 기억 매체, 프로그램이 제공된다. 이들은 전부 본 발명에 따른 키포인트 검출 방법 중 어느 하나를 실현하기 위해 이용할 수 있다. 대응하는 기술적 해결 수단과 설명은 방법의 대응하는 기재를 참조하면 되고, 상세한 설명을 생략한다.
또한, 당업자이면 구체적인 실시 형태에 따른 상기 방법에서 각 단계의 기재 순서는 실행 순서를 엄밀히 한정하여 실시 과정을 한정하는 것이 아니라, 각 단계의 실행 순서가 그 기능과 내부의 논리에 의해 구체적으로 결정됨을 이해하여야 한다.
일부 실시예에서는 본 발명의 실시예에 따른 장치가 구비하는 기능 또는 모듈은 상술한 방법의 실시예에 설명되는 방법을 실행하기 위해 이용할 수 있고, 그 구체적인 실현에 대해서는 상술한 방법의 실시예의 설명을 참조할 수 있고, 간소화를 위해 여기서 상세한 설명을 생략한다.
본 발명의 실시예에서, 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 상기 방법을 실현시키는, 컴퓨터 판독 가능 기억 매체가 추가로 제공된다. 컴퓨터 판독 가능 기억 매체는 비휘발성의 컴퓨터 판독 가능 기억 매체일 수 있다.
본 발명의 실시예에서는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 판독 가능 코드는 기기에서 동작하면 기기의 프로세서에 상술한 어느 실시예에 따른 키포인트 검출 방법을 실현하기 위한 명령을 실행시키는, 컴퓨터 프로그램 제품이 추가로 제공된다.
본 발명의 실시예에서는 컴퓨터 판독 가능 명령이 기억되어 있는 컴퓨터 프로그램 제품으로서, 명령은 실행되면 컴퓨터에 상술한 어느 실시예에 따른 키포인트 검출 방법의 동작을 실행시키는, 다른 컴퓨터 프로그램 제품이 추가로 제공된다.
상기 컴퓨터 프로그램 제품은 하드웨어, 소프트웨어, 또는 이들의 조합에 의해 구체적으로 실현될 수 있다. 선택적인 하나의 실시예에서는 상기 컴퓨터 프로그램 제품은 컴퓨터 기억 매체로서 구현된다. 선택적인 다른 실시예에서는 컴퓨터 프로그램 제품은 소프트웨어 제품, 예를 들면, 소프트웨어 개발 키트(Software Development Kit, 약칭 SDK) 등으로서 구현화된다.
본 발명의 실시예에서는 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하는 메모리를 포함하고, 상기 프로세서는 상기 방법을 실행하도록 구성되는 전자 기기가 추가로 제공된다.
전자 기기는 단말, 서버 또는 다른 형태의 기기로서 제공될 수 있다.
도 5는 예시적인 일 실시예의 전자 기기(800)의 블록도를 나타낸다. 예를 들면, 전자 기기(800)는 휴대전화, 컴퓨터, 디지털 방송 단말, 메시지 송수신 기기, 게임 콘솔, 태블릿형 기기, 의료 기기, 피트니스 기기, 퍼스널 디지털 어시스턴트 등의 단말일 수 있다.
도 5를 참조하면 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 이상을 포함할 수 있다.
처리 컴포넌트(802)는 통상, 전자 기기(800)의 전체적인 동작, 예를 들면, 표시, 전화의 호출, 데이터 통신, 카메라 동작 및 기록 동작에 관련되는 동작을 제어한다. 처리 컴포넌트(802)는 상기 방법 중 전부 또는 일부 단계를 실행하기 위해, 명령을 실행하는 하나 이상의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 다른 컴포넌트와의 상호 작용을 위한 하나 이상의 모듈을 포함할 수 있다. 예를 들면, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808)와의 상호 작용을 위해 멀티미디어 모듈을 포함할 수 있다.
메모리(804)는 전자 기기(800)에서의 동작을 서포트하기 위한 다양한 타입의 데이터를 기억하도록 구성된다. 상기 데이터는 예로서, 전자 기기(800)에서 조작하는 모든 애플리케이션 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 예를 들면, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크 등의 다양한 타입의 휘발성 또는 비휘발성 기억 장치 또는 이들의 조합에 의해 실현할 수 있다.
전원 컴포넌트(806)는 전자 기기(800)의 각 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 이상의 전원, 및 전자 기기(800)를 위한 전력 생성, 관리 및 배분에 관련되는 다른 컴포넌트를 포함할 수 있다.
멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에서 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서는 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하는 터치 스크린으로서 실현할 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널에서의 제스처를 검지하도록, 하나 이상의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 검지할 뿐만 아니라 상기 터치 또는 슬라이드 조작에 관련되는 지속 시간 및 압력을 검출하도록 할 수 있다. 일부 실시예에서는 멀티미디어 컴포넌트(808)는 전면 카메라 및/또는 후면 카메라를 포함한다. 전자 기기(800)가 동작 모드, 예를 들면, 촬영 모드 또는 촬상 모드가 되는 경우, 전면 카메라 및/또는 후면 카메라는 외부의 멀티미디어 데이터를 수신하도록 할 수 있다. 각 전면 카메라 및 후면 카메라는 고정된 광학 렌즈계, 또는 초점 거리 및 광학 줌 능력을 갖는 것일 수 있다.
오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 마이크(MIC)는 전자 기기(800)가 동작 모드, 예를 들면, 호출 모드, 기록 모드 및 음성 인식 모드가 되는 경우, 외부의 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 추가로 메모리(804)에 기억되거나 또는 통신 컴포넌트(816)을 통해 송신될 수 있다. 일부 실시예에서는 오디오 컴포넌트(810)는 추가로 오디오 신호를 출력하기 위한 스피커를 포함한다.
I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 상기 버튼은 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만, 이들에 한정되지 않는다.
센서 컴포넌트(814)는 전자 기기(800)의 각 측면의 상태 평가를 위해 하나 이상의 센서를 포함한다. 예를 들면, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 예를 들면, 전자 기기(800)의 표시 장치 및 키패드와 같은 컴포넌트의 상대적 위치 결정을 검출할 수 있고, 센서 컴포넌트(814)는 추가로 전자 기기(800) 또는 전자 기기(800)가 있는 컴포넌트의 위치 변화, 사용자와 전자 기기(800)의 접촉 유무, 전자 기기(800)의 방위 또는 가감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없는 경우, 근방의 물체의 존재를 검출하도록 구성되는 근접 센서를 포함할 수도 있다. 센서 컴포넌트(814)는 추가로 CMOS 또는 CCD 이미지 센서와 같은, 이미징 애플리케이션에서 사용하기 위한 광센서를 포함할 수도 있다. 일부 실시예에서는 상기 센서 컴포넌트(814)는 추가로 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함할 수도 있다.
통신 컴포넌트(816)는 전자 기기(800)와 기타 기기의 유선 또는 무선 통신을 실현하도록 구성된다. 전자 기기(800)는 통신 규격에 기초하는 무선 네트워크, 예를 들면, WiFi, 2G 또는 3G, 또는 이들의 조합에 액세스할 수 있다. 일 예시적 실시예에서는 통신 컴포넌트(816)는 방송 채널을 통해 외부의 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서는 상기 통신 컴포넌트(816)는 추가로 근거리 통신을 촉진시키기 위해 근거리 무선 통신(NFC) 모듈을 포함한다. 예를 들면, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 의해 실현할 수 있다.
예시적인 실시예에서는 전자 기기(800)는 하나 이상의 특정 용도용 집적회로(ASIC), 디지털 신호 체리기(DSP), 디지털 신호 처리장치(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 요소에 의해 실현되고, 상기 방법을 실행하기 위해 사용될 수 있다.
예시적인 실시예에서는 추가로 비휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(804)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(800)의 프로세서(820)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.
도 6은 예시적인 일 실시예의 전자 기기(1900)의 블록도를 나타낸다. 예를 들면, 전자 기기(1900)는 서버로서 제공될 수 있다. 도 6을 참조하면, 전자 기기(1900)는 하나 이상의 프로세서를 포함하는 처리 컴포넌트(1922) 및 처리 컴포넌트(1922)에 의해 실행 가능한 명령, 예를 들면, 애플리케이션 프로그램을 기억하기 위한, 메모리(1932)를 대표로 하는 메모리 자원을 포함한다. 메모리(1932)에 기억되어 있는 애플리케이션 프로그램은 각각이 하나의 명령군에 대응하는 하나 이상의 모듈을 포함할 수 있다. 또한, 처리 컴포넌트(1922)는 명령을 실행함으로써 상기 방법을 실행하도록 구성된다.
전자 기기(1900)는 추가로, 전자 기기(1900)의 전원 관리를 실행하도록 구성되는 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 접속하도록 구성되는 유선 또는 무선 네트워크 인터페이스(1950), 및 입출력(I/O) 인터페이스(1958)를 포함할 수 있다. 전자 기기(1900)는 메모리(1932)에 기억되어 있는 오퍼레이팅 시스템, 예를 들면, Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것에 기초하여 동작할 수 있다.
예시적인 실시예에서는 추가로, 비휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.
본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 측면을 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령을 갖고 있는 컴퓨터 판독 가능 기억 매체를 포함할 수 있다.
컴퓨터 판독 가능 기억 매체는 명령 실행 기기에 사용되는 명령을 저장 및 기억 가능한 유형(有形)의 장치일 수 있다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치, 또는 상기 임의의 적당한 조합일 수 있으나, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 더욱 구체적인 예(비망라적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내 돌기 구조와 같은 기계적 부호화 장치, 및 상기 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 순시 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광파이버 케이블을 통과하는 펄스광), 또는 전선을 경유하여 전송되는 전기 신호로 해석되는 것은 아니다.
여기에서 기술된 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 기기에 다운로드될 수도 있고 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크를 통해 외부 컴퓨터 또는 외부 기억 장치에 다운로드될 수도 있다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수도 있다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.
본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블리 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터, 또는 Smalltalk, C＋＋ 등의 오브젝트 지향 프로그래밍 언어, 및 「C」 언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드(object code)일 수 있다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행될 수도 있고, 부분적으로 사용자의 컴퓨터에서 실행될 수도 있고, 독립형 소프트웨어 패키지로서 실행될 수도 있고, 부분적으로 사용자의 컴퓨터에서 그리고 부분적으로 리모트 컴퓨터에서 실행될 수도 있고, 또는 완전히 리모트 컴퓨터 혹은 서버에서 실행될 수도 있다. 리모트 컴퓨터의 경우, 리모트 컴퓨터는 로컬 에리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속될 수도 있고, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용해 인터넷을 경유하여) 외부 컴퓨터에 접속될 수도 있다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 퍼스널라이즈하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써, 본 발명의 각 측면을 실현하도록 할 수도 있다.
여기에서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 측면을 설명했지만, 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능 프로그램 명령에 의해 실현할 수 있음을 이해하여야 한다.
상기 컴퓨터 판독 가능 프로그램 명령들은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공되어 상기 명령이 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현하도록 장치를 제조할 수 있다. 상기 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억되고, 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 기타 기기를 특정 방식으로 동작시키도록 할 수도 있다. 이에 의해, 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체는 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작의 각 측면을 실현하는 명령을 갖는 제품을 포함한다.
컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 기타 프로그래머블 데이터 처리 장치, 또는 기타 기기에 로드되고, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 일련의 동작 단계를 실행시킴으로써, 컴퓨터에 의해 실시 가능한 프로세스를 생성하도록 할 수도 있다. 이에 의해, 컴퓨터, 기타 프로그래머블 데이터 처리 장치, 또는 기타 기기에서 실행되는 명령에 의해 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현한다.
도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리 기능을 실현하기 위한 하나 이상의 실행 가능 명령을 포함한다. 일부 대안으로서의 실시 형태에서는 블록에 표기되는 기능은 도면에 기재된 순서와 상이하게 실현할 수도 있다. 예를 들면, 연속적인 두 개의 블록은 실질적으로 병렬로 실행할 수도 있고, 또한 관련된 기능에 의해, 반대 순서로 실행할 수도 있다. 또한, 블록도 및/또는 흐름도에서의 각 블록, 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 실현할 수도 있고, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현할 수도 있음에 주의해야 한다.
이상, 본 발명의 각 실시예를 기술했지만, 상기 설명은 예시적인 것에 불과하고, 망라적인 것이 아니며, 또한 개시된 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않고, 다양한 수정 및 변경이 자명하다. 본 명세서에 선택된 용어는 각 실시예의 원리, 실제 적용 또는 기존 기술에 대한 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본문에 개시된 각 실시예를 이해시키기 위한 것이다.

Claims (16)

  1. 하나 또는 복수의 영역을 포함하는 하나 이상의 피처리 이미지 중 각각의 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하는 것과,
    상기 화소가 위치하는 영역 및 상기 영역 내의 복수의 화소의 제1 방향 벡터에 기초하여 각각의 영역에 대해 상기 영역 내의 키포인트의 위치를 결정하는 것을 포함하고,
    상기 화소가 위치하는 영역 및 상기 영역 내의 복수의 화소의 제1 방향 벡터에 기초하여 각각의 영역에 대해 상기 영역 내의 키포인트의 위치를 결정하는 것은,
    상기 화소가 위치하는 영역 및 상기 제1 방향 벡터에 기초하여, 상기 하나 또는 복수의 영역의 임의의 하나인 목표 영역 내의 키포인트의 추정 좌표 및 키포인트의 추정 좌표의 가중치를 결정하는 것과,
    상기 키포인트의 추정 좌표의 가중치에 기초하여 목표 영역 내의 키포인트의 추정 좌표에 대해 가중 평균 처리를 행하여 목표 영역 내의 키포인트의 위치를 얻는 것을 포함하는, 키포인트 검출 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 화소가 위치하는 영역 및 상기 제1 방향 벡터에 기초하여 목표 영역 내의 키포인트의 추정 좌표 및 키포인트의 추정 좌표의 가중치를 결정하는 것은,
    상기 화소가 위치하는 영역에 기초하여 피처리 이미지의 복수의 화소를 스크리닝하여 상기 목표 영역에 속하는 복수의 목표 화소를 결정하는 것과,
    임의의 2개의 목표 화소의 제1 방향 벡터의 교점의 좌표를 키포인트의 추정 좌표로서 결정하는 것과,
    키포인트의 추정 좌표 및 상기 목표 영역 내의 화소에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하는 것을 포함하는, 키포인트 검출 방법.
  4. 제 3 항에 있어서,
    상기 키포인트의 추정 좌표 및 상기 목표 영역 내의 화소에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하는 것은,
    상기 키포인트의 추정 좌표 및 목표 영역 내의 복수의 화소의 좌표에 기초하여, 상기 목표 영역 내의 복수의 화소의 키포인트의 추정 좌표를 가리키는 제2 방향 벡터를 각각 결정하는 것과,
    상기 목표 영역 내의 복수의 화소의 제2 방향 벡터와 제1 방향 벡터의 내적을 결정하는 것과,
    상기 목표 영역 내의 복수의 화소 중, 내적이 소정의 임계치 이상이 되는 화소의 목표 수량을 결정하는 것과,
    상기 목표 수량에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하는 것을 포함하는, 키포인트 검출 방법.
  5. 제 1 항에 있어서,
    상기 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하는 것은,
    피처리 이미지에 대해 특징 추출 처리를 행하여, 미리 설정된 해상도의 제1 특징맵을 얻는 것과,
    상기 제1 특징맵에 대해 업샘플링 처리를 행하여, 피처리 이미지와 해상도가 동일한 제2 특징맵을 얻는 것과,
    상기 제2 특징맵에 대해 제1 합성곱 처리를 행하여, 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하는 것을 포함하는, 키포인트 검출 방법.
  6. 제 5 항에 있어서,
    상기 피처리 이미지에 대해 특징 추출 처리를 행하여, 미리 설정된 해상도의 제1 특징맵을 얻는 것은,
    피처리 이미지에 대해 제2 합성곱 처리를 행하여, 미리 설정된 해상도의 제3 특징맵을 얻는 것과,
    상기 제3 특징맵에 대해 확장 합성곱 처리를 행하여 상기 제1 특징맵을 얻는 것을 포함하는, 키포인트 검출 방법.
  7. 제 1 항에 있어서,
    뉴럴 네트워크에 의해 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하고,
    상기 뉴럴 네트워크는 영역 라벨 및 키포인트 라벨이 부착된 복수의 샘플 이미지를 이용하여 트레이닝되는, 키포인트 검출 방법.
  8. 하나 또는 복수의 영역을 포함하는 하나 이상의 피처리 이미지 중 각각의 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하는 제1 결정 모듈과,
    상기 화소가 위치하는 영역 및 상기 영역 내의 복수의 화소의 제1 방향 벡터에 기초하여 각각의 영역에 대해 상기 영역 내의 키포인트의 위치를 결정하는 제2 결정 모듈을 포함하고,
    상기 제2 결정 모듈은 추가로,
    상기 화소가 위치하는 영역 및 상기 제1 방향 벡터에 기초하여, 상기 하나 또는 복수의 영역의 임의의 하나인 목표 영역 내의 키포인트의 추정 좌표 및 키포인트의 추정 좌표의 가중치를 결정하고,
    상기 키포인트의 추정 좌표의 가중치에 기초하여 목표 영역 내의 키포인트의 추정 좌표에 대해 가중 평균 처리를 행하여 목표 영역 내의 키포인트의 위치를 얻도록 구성되는, 키포인트 검출 장치.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 제2 결정 모듈은 추가로,
    상기 화소가 위치하는 영역에 기초하여 피처리 이미지의 복수의 화소를 스크리닝하여 상기 목표 영역에 속하는 복수의 목표 화소를 결정하고,
    임의의 2개의 목표 화소의 제1 방향 벡터의 교점의 좌표를 키포인트의 추정 좌표로서 결정하고,
    키포인트의 추정 좌표 및 상기 목표 영역 내의 화소에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하도록 구성되는, 키포인트 검출 장치.
  11. 제 10 항에 있어서,
    상기 제2 결정 모듈은 추가로,
    상기 키포인트의 추정 좌표 및 목표 영역 내의 복수의 화소의 좌표에 기초하여, 상기 목표 영역 내의 복수의 화소의 키포인트의 추정 좌표를 가리키는 제2 방향 벡터를 각각 결정하고,
    상기 목표 영역 내의 복수의 화소의 제2 방향 벡터와 제1 방향 벡터의 내적을 결정하고,
    상기 목표 영역 내의 복수의 화소 중, 내적이 소정의 임계치 이상이 되는 화소의 목표 수량을 결정하고,
    상기 목표 수량에 기초하여 상기 키포인트의 추정 좌표의 가중치를 결정하도록 구성되는, 키포인트 검출 장치.
  12. 제 8 항에 있어서,
    상기 제1 결정 모듈은 추가로,
    피처리 이미지에 대해 특징 추출 처리를 행하여, 미리 설정된 해상도의 제1 특징맵을 얻고,
    상기 제1 특징맵에 대해 업샘플링 처리를 행하여, 피처리 이미지와 해상도가 동일한 제2 특징맵을 얻고,
    상기 제2 특징맵에 대해 제1 합성곱 처리를 행하여, 복수의 화소가 위치하는 영역 및 키포인트를 가리키는 제1 방향 벡터를 결정하도록 구성되는, 키포인트 검출 장치.
  13. 제 12 항에 있어서,
    상기 제1 결정 모듈은 추가로,
    피처리 이미지에 대해 제2 합성곱 처리를 행하여, 미리 설정된 해상도의 제3 특징맵을 얻고,
    상기 제3 특징맵에 대해 확장 합성곱 처리를 행하여 상기 제1 특징맵을 얻도록 구성되는, 키포인트 검출 장치.
  14. 제 8 항에 있어서,
    상기 제1 결정 모듈은 추가로,
    뉴럴 네트워크에 의해 피처리 이미지의 복수의 화소가 위치하는 영역, 및 복수의 화소의, 그 위치하는 영역의 키포인트를 가리키는 제1 방향 벡터를 결정하도록 구성되고,
    상기 뉴럴 네트워크는 영역 라벨 및 키포인트 라벨이 부착된 복수의 샘플 이미지를 이용하여 트레이닝되는, 키포인트 검출 장치.
  15. 프로세서와,
    프로세서에 의해 실행 가능한 명령을 기억하는 메모리를 포함하고,
    상기 프로세서는 제 1 항 및 제 3 항 내지 제 7 항 중 어느 한 항의 방법을 실행하도록 구성되는, 전자 기기.
  16. 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 제 1 항 및 제 3 항 내지 제 7 항 중 어느 한 항의 방법을 실현시키는, 컴퓨터 판독 가능 기억 매체.
KR1020207029436A 2018-12-25 2019-11-29 키포인트 검출 방법, 장치, 전자 기기 및 기억 매체 KR102421820B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811593614.X 2018-12-25
CN201811593614.XA CN109522910B (zh) 2018-12-25 2018-12-25 关键点检测方法及装置、电子设备和存储介质
PCT/CN2019/122112 WO2020134866A1 (zh) 2018-12-25 2019-11-29 关键点检测方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
KR20200131305A KR20200131305A (ko) 2020-11-23
KR102421820B1 true KR102421820B1 (ko) 2022-07-15

Family

ID=65796959

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207029436A KR102421820B1 (ko) 2018-12-25 2019-11-29 키포인트 검출 방법, 장치, 전자 기기 및 기억 매체

Country Status (6)

Country Link
US (1) US20210012143A1 (ko)
JP (1) JP2021516838A (ko)
KR (1) KR102421820B1 (ko)
CN (1) CN109522910B (ko)
SG (1) SG11202009794RA (ko)
WO (1) WO2020134866A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN109522910B (zh) * 2018-12-25 2020-12-11 浙江商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN110288551B (zh) * 2019-06-29 2021-11-09 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110555812A (zh) * 2019-07-24 2019-12-10 广州视源电子科技股份有限公司 图像调整方法、装置和计算机设备
CN112529985A (zh) * 2019-09-17 2021-03-19 北京字节跳动网络技术有限公司 图像处理方法及装置
CN112528986A (zh) * 2019-09-18 2021-03-19 马上消费金融股份有限公司 图像对齐方法、人脸识别方法及相关装置
CN110969115B (zh) * 2019-11-28 2023-04-07 深圳市商汤科技有限公司 行人事件的检测方法及装置、电子设备和存储介质
CN111223143B (zh) * 2019-12-31 2023-04-11 广州市百果园信息技术有限公司 关键点检测方法、装置及计算机可读存储介质
CN111080749B (zh) * 2019-12-31 2023-08-15 广州供电局有限公司 配电网广域测量控制系统中多源量测的标注方法及装置
CN111310616B (zh) * 2020-02-03 2023-11-28 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111339846B (zh) * 2020-02-12 2022-08-12 深圳市商汤科技有限公司 图像识别方法及装置、电子设备和存储介质
CN113111880B (zh) * 2021-05-12 2023-10-17 中国平安人寿保险股份有限公司 证件图像校正方法、装置、电子设备及存储介质
CN113838134B (zh) * 2021-09-26 2024-03-12 广州博冠信息科技有限公司 图像关键点检测方法、装置、终端和存储介质
CN117422721B (zh) * 2023-12-19 2024-03-08 天河超级计算淮海分中心 一种基于下肢ct影像的智能标注方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127755A (zh) * 2016-06-21 2016-11-16 奇瑞汽车股份有限公司 基于特征的图像匹配方法和装置
CN108520251A (zh) * 2018-04-20 2018-09-11 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4367475B2 (ja) * 2006-10-06 2009-11-18 アイシン精機株式会社 移動物体認識装置、移動物体認識方法及びコンピュータプログラム
JP2009129237A (ja) * 2007-11-26 2009-06-11 Toshiba Corp 画像処理装置及びその方法
KR101467307B1 (ko) * 2013-08-19 2014-12-01 성균관대학교산학협력단 인공 신경망 모델을 이용한 보행자 계수 방법 및 장치
CN104881881B (zh) * 2014-02-27 2018-04-10 株式会社理光 运动对象表示方法及其装置
EP2977931A1 (en) * 2014-07-24 2016-01-27 Universität Zürich Method for tracking keypoints in a scene
CN106575367B (zh) * 2014-08-21 2018-11-06 北京市商汤科技开发有限公司 用于基于多任务的人脸关键点检测的方法和系统
JP6234349B2 (ja) * 2014-09-16 2017-11-22 株式会社東芝 移動体位置推定装置、移動体位置推定方法及び移動体位置推定プログラム
KR20170024303A (ko) * 2015-08-25 2017-03-07 영남대학교 산학협력단 얼굴의 특징점 검출 시스템 및 방법
US9727800B2 (en) * 2015-09-25 2017-08-08 Qualcomm Incorporated Optimized object detection
CN105654092B (zh) * 2015-11-25 2019-08-30 小米科技有限责任公司 特征提取方法及装置
CN106340015B (zh) * 2016-08-30 2019-02-19 沈阳东软医疗系统有限公司 一种关键点的定位方法和装置
CN108229489B (zh) * 2016-12-30 2020-08-11 北京市商汤科技开发有限公司 关键点预测、网络训练、图像处理方法、装置及电子设备
KR101917369B1 (ko) * 2017-04-24 2018-11-09 세종대학교산학협력단 컨볼루션 신경망을 이용한 영상 검색 방법 및 그 장치
CN107886069A (zh) * 2017-11-10 2018-04-06 东北大学 一种多目标人体2d姿态实时检测系统及检测方法
CN108875504B (zh) * 2017-11-10 2021-07-23 北京旷视科技有限公司 基于神经网络的图像检测方法和图像检测装置
CN107729880A (zh) * 2017-11-15 2018-02-23 北京小米移动软件有限公司 人脸检测方法及装置
CN108596093B (zh) * 2018-04-24 2021-12-03 北京市商汤科技开发有限公司 人脸特征点的定位方法及装置
CN108960211B (zh) * 2018-08-10 2020-12-01 罗普特（厦门）科技集团有限公司 一种多目标人体姿态检测方法以及系统
CN109522910B (zh) * 2018-12-25 2020-12-11 浙江商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127755A (zh) * 2016-06-21 2016-11-16 奇瑞汽车股份有限公司 基于特征的图像匹配方法和装置
CN108520251A (zh) * 2018-04-20 2018-09-11 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN109522910A (zh) 2019-03-26
US20210012143A1 (en) 2021-01-14
CN109522910B (zh) 2020-12-11
KR20200131305A (ko) 2020-11-23
WO2020134866A1 (zh) 2020-07-02
JP2021516838A (ja) 2021-07-08
SG11202009794RA (en) 2020-11-27

Similar Documents

Publication Publication Date Title
KR102421820B1 (ko) 키포인트 검출 방법, 장치, 전자 기기 및 기억 매체
KR102423730B1 (ko) 위치 자세 추정 방법, 장치, 전자 기기 및 기억 매체
TWI724736B (zh) 圖像處理方法及裝置、電子設備、儲存媒體和電腦程式
KR20210102180A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
JP2022500791A (ja) 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
TWI747325B (zh) 目標對象匹配方法及目標對象匹配裝置、電子設備和電腦可讀儲存媒介
CN108629354B (zh) 目标检测方法及装置
KR20210019537A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
WO2019141042A1 (zh) 图像分类方法、装置及终端
CN111507408B (zh) 图像处理方法及装置、电子设备和存储介质
CN109615006B (zh) 文字识别方法及装置、电子设备和存储介质
JP7098763B2 (ja) 画像処理方法及び装置、電子機器、並びに記憶媒体
JP2022522551A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN112598063A (zh) 神经网络生成方法及装置、电子设备和存储介质
CN111259967A (zh) 图像分类及神经网络训练方法、装置、设备及存储介质
CN113326768A (zh) 训练方法、图像特征提取方法、图像识别方法及装置
TW202205127A (zh) 目標檢測方法、電子設備和電腦可讀儲存介質
KR20210113242A (ko) 검출기의 배치 방법 및 장치, 전자 기기 및 기억 매체
WO2022141969A1 (zh) 图像分割方法及装置、电子设备、存储介质和程序
CN111523599B (zh) 目标检测方法及装置、电子设备和存储介质
KR20210113617A (ko) 네트워크 트레이닝 방법 및 장치, 이미지 처리 방법 및 장치
KR20210054522A (ko) 얼굴 인식 방법 및 장치, 전자 기기 및 저장 매체
CN111523555A (zh) 图像处理方法及装置、电子设备和存储介质
US10354142B2 (en) Method for holographic elements detection in video stream
CN111488964A (zh) 图像处理方法及装置、神经网络训练方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant