KR101884874B1 - Method and apparatus for distinguishing object based on partial image - Google Patents

Method and apparatus for distinguishing object based on partial image Download PDF

Info

Publication number
KR101884874B1
KR101884874B1 KR1020170009273A KR20170009273A KR101884874B1 KR 101884874 B1 KR101884874 B1 KR 101884874B1 KR 1020170009273 A KR1020170009273 A KR 1020170009273A KR 20170009273 A KR20170009273 A KR 20170009273A KR 101884874 B1 KR101884874 B1 KR 101884874B1
Authority
KR
South Korea
Prior art keywords
target
image
images
category
feature vector
Prior art date
Application number
KR1020170009273A
Other languages
Korean (ko)
Other versions
KR20180085565A (en
Inventor
양현승
홍성은
한병옥
임우빈
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020170009273A priority Critical patent/KR101884874B1/en
Publication of KR20180085565A publication Critical patent/KR20180085565A/en
Application granted granted Critical
Publication of KR101884874B1 publication Critical patent/KR101884874B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F17/30244—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 부분 이미지 기반 객체 판별 방법은 타겟 이미지를 입력 받는 단계, 타겟 이미지의 기울기 및 스케일이 기 설정된 크기로 변환된 복수의 변환 타겟 이미지를 생성하는 단계, 변환 타겟 이미지의 각각의 타겟 특징점을 추출하는 단계, 타겟 특징점을 기준으로 소정 크기의 타겟 부분 이미지를 생성하고, 타겟 부분 이미지의 각각의 타겟 특징 벡터를 추출하는 단계, 데이터베이스의 카테고리의 각각에서 각각의 카테고리에 매핑된 특징 벡터 중 타겟 특징 벡터의 각각과 거리가 가장 가까운 제1 특징 벡터를 추출하는 단계, 타겟 특징 벡터의 각각과 타겟 특징 벡터의 각각으로부터 추출된 제1 특징 벡터와의 연관 관계를 나타내는 스파스 배열을 계산하는 단계, 스파스 배열을 기초로 타겟 특징 벡터의 각각으로부터 추출된 제1 특징 벡터 중 타겟 특징 벡터의 각각과 연관 관계가 가장 큰 제1 특징 벡터의 카테고리를 판별하는 단계, 판별된 카테고리 및 스파스 배열의 각각을 기초로 타겟 이미지와 연관 관계가 가장 큰 카테고리를 판별하는 단계 및 타겟 이미지의 객체를 판별된 카테고리와 대응되는 이미지의 객체로 판별하는 단계를 포함한다. According to an embodiment of the present invention, there is provided a partial image-based object determining method comprising: inputting a target image; generating a plurality of conversion target images in which a slope and a scale of the target image are converted into predetermined sizes; Generating a target portion image of a predetermined size based on the target feature point, and extracting each target feature vector of the target portion image, extracting feature points mapped to respective categories in each of the categories of the database Calculating a sparse array representing a relationship between each of the target feature vectors and a first feature vector extracted from each of the target feature vectors, extracting a first feature vector having a distance closest to each of the target feature vectors, Extracted from each of the target feature vectors based on the sparse arrangement, Determining a category of the first feature vector having the largest correlation with each of the target feature vectors, determining a category having the largest correlation with the target image based on each of the determined category and sparse arrangement And determining an object of the target image as an object of the image corresponding to the discriminated category.

Figure R1020170009273
Figure R1020170009273

Description

부분 이미지 기반 객체 판별 방법 및 장치{METHOD AND APPARATUS FOR DISTINGUISHING OBJECT BASED ON PARTIAL IMAGE}[0001] METHOD AND APPARATUS FOR DISTINGUISHING OBJECT BASED ON PARTIAL IMAGE [0002]

본 발명은 부분 이미지 기반 객체 판별 방법 및 장치에 관한 것으로서, 보다 자세하게는 타겟 이미지의 특징점을 기준으로 부분 이미지를 생성하고, 부분 이미지의 특징 벡터를 데이터베이스에 저장된 부분 이미지들의 특징 벡터와 비교하여 타겟 이미지의 객체를 판별하는 부분 이미지 기반 객체 판별 방법 및 장치에 관한 것이다.The present invention relates to a partial image-based object discrimination method and apparatus, and more particularly, to a partial image-based object discrimination method and apparatus for generating partial images based on minutiae points of a target image and comparing feature vectors of partial images with feature vectors of partial images stored in a database, Based object discrimination method and apparatus for discriminating an object of a partial image based object.

최근 컴퓨터를 이용하여 얼굴을 인식하는 기술이 많은 주목을 받고 있다. 얼굴 인식은 지문, DNA, 홍채 인식과 달리 사용자의 협조를 필요로 하지 않고, 카메라를 통해 얻은 인물의 얼굴 이미지만 있으면 해당 인물을 식별할 수 있다는 장점이 있다. 이러한 장점 때문에 얼굴 인식 기술은 감시 애플리케이션뿐만 아니라 신원 정보 확인, 디지털 앨범의 자동 분류, 화상 전화, 엔터테인먼트 등 수많은 분야에 활용되고 있다. Recently, a technique of recognizing a face using a computer has attracted much attention. Unlike fingerprint, DNA, and iris recognition, facial recognition does not require the cooperation of the user, and it is advantageous that the person can be identified only by the face image of the person obtained through the camera. Because of these advantages, face recognition technology is used not only in surveillance applications, but also in a number of fields, such as identification of identity information, automatic classification of digital albums, video telephony, and entertainment.

이러한 얼굴 인식 기술은 특정 각도, 특정 조명 등의 통제된 조건에서 인물의 정면 이미지를 식별하는 기술로부터 이미지의 종류에 대한 제한 없이 인간 수준으로 인물을 식별하는 기술로 진보하고 있다.Such face recognition technology is advancing from the technique of identifying a frontal image of a person in a controlled condition such as a specific angle, a specific illumination, etc. to a technique of identifying a person to a human level without restriction on the kind of the image.

그러나 실생활에서 사람들은 선글라스, 모자, 마스크 등으로 얼굴의 일부를 가리는 경우가 있고, 포즈, 인물의 표정에 따라 이미지가 달라질 수 있으며, 장소에 따라 이미지의 조도 차이가 발생하기 때문에 인간 수준의 식별력에 근접하는 얼굴 인식 기술을 달성하는 데에는 어려움이 남아있다. However, in real life, people sometimes cover a part of the face with sunglasses, a hat, a mask, and the image can be changed according to the pose and the expression of the person. Since the illuminance of the image varies depending on the place, There is still a difficulty in achieving close face recognition technology.

본 발명의 실시예에서 해결하고자 하는 과제는 얼굴의 일부가 가리어진 이미지 또는 표정에 의해 얼굴 텍스처가 변형된 이미지로부터 객체를 판별할 수 있는 기술을 제공하는 것이다. A problem to be solved by an embodiment of the present invention is to provide a technique capable of discriminating an object from an image in which a part of a face is covered or an image in which a face texture is modified by a facial expression.

다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed.

본 발명의 일 실시예에 따른 c개(c는 자연수)의 이미지를 이용하여 부분 이미지 기반의 데이터베이스를 생성하는 방법은 상기 c개의 이미지 중 j번째(j는 1부터 c의 자연수) 이미지를 입력 받는 단계, 상기 j번째 이미지의 기울기 또는 스케일을 기 설정된 크기로 변환하여 복수의 변환 이미지를 생성하는 단계, 상기 변환 이미지의 각각의 특징점을 추출하는 단계, 상기 특징점의 각각을 기준으로 소정 크기의 부분 이미지를 생성하고, 상기 부분 이미지의 각각의 j번째 특징 벡터를 추출하는 단계 및 상기 j번째 이미지와 대응하는 j번째 카테고리를 생성하고, 상기 j번째 특징 벡터를 상기 j번째 카테고리와 매핑하여 저장하는 단계를 포함한다. A method of generating a partial image-based database using c (c is a natural number) image according to an embodiment of the present invention includes receiving a j-th image (j is a natural number from 1 to c) Generating a plurality of transformed images by converting a slope or a scale of the j-th image into a predetermined size, extracting each of the feature points of the transformed image, Extracting each j-th feature vector of the partial image, generating a j-th category corresponding to the j-th image, mapping the j-th feature vector to the j-th category, and storing .

본 발명의 일 실시예에 따른 부분 이미지 기반의 데이터베이스를 생성하는 방법에 따라 생성된 데이터베이스를 사용하여 타겟 이미지 내의 객체를 판별하는 방법은 상기 타겟 이미지를 입력 받는 단계, 상기 타겟 이미지의 기울기 또는 스케일을 기 설정된 크기로 변환하여 복수의 변환 타겟 이미지를 생성하는 단계, 상기 복수의 변환 타겟 이미지의 각각의 타겟 특징점을 추출하는 단계, 상기 타겟 특징점을 기준으로 소정 크기의 타겟 부분 이미지를 생성하고, 상기 타겟 부분 이미지의 각각의 타겟 특징 벡터를 추출하는 단계, 상기 타겟 특징 벡터의 각각의 타겟 특징 벡터에 대하여, 상기 데이터베이스의 카테고리의 각각에서 상기 각각의 카테고리에 매핑된 특징 벡터 중 상기 각각의 타겟 특징 벡터와 거리가 가장 가까운 제1 특징 벡터를 추출하는 단계, 상기 각각의 타겟 특징 벡터와 상기 각각의 타겟 특징 벡터로부터 추출된 제1 특징 벡터와의 연관 관계를 나타내는 스파스 배열(sparse array)를 계산하는 단계, 상기 스파스 배열을 기초로 상기 각각의 타겟 특징 벡터로부터 추출된 상기 제1 특징 벡터 중 상기 각각의 타겟 특징 벡터와 연관 관계가 가장 큰 제1 특징 벡터의 카테고리를 판별하는 단계, 상기 판별된 카테고리 및 상기 스파스 배열의 각각을 기초로 상기 타겟 이미지와 연관 관계가 가장 큰 카테고리를 판별하는 단계 및 상기 타겟 이미지의 객체를 상기 판별된 카테고리와 대응되는 이미지의 객체로 판별하는 단계를 포함한다. A method of determining an object in a target image using a database generated according to a method of generating a partial image-based database according to an embodiment of the present invention includes receiving the target image, calculating a slope or a scale of the target image, Generating a plurality of conversion target images by converting the target feature points into predetermined sizes, extracting respective target feature points of the plurality of conversion target images, generating a target portion image of a predetermined size based on the target feature points, For each of the target feature vectors of the target feature vector, each of the feature vectors mapped to each of the categories in each of the categories of the database, The first feature vector having the closest distance is extracted Calculating a sparse array representing a relationship between each of the target feature vectors and a first feature vector extracted from the respective target feature vectors; Determining a category of a first feature vector having the largest correlation with each of the first feature vectors extracted from the target feature vector; determining, based on the determined category and the sparse arrangement, Determining a category having the largest correlation with the target image, and discriminating the object of the target image as an object of the image corresponding to the discriminated category.

이때 상기 복수의 변환 타겟 이미지를 생성하는 단계는 affine simulation을 사용하여 상기 타겟 이미지의 가로 기울기, 세로 기울기 또는 스케일을 변환하는 단계를 포함할 수 있다. The generating of the plurality of conversion target images may include transforming a horizontal slope, a vertical slope, or a scale of the target image using affine simulation.

또한 상기 타겟 특징점을 추출하는 단계는 harris corner detector를 이용하여 상기 타겟 특징점을 추출하는 단계를 포함할 수 있다. The step of extracting the target feature points may include extracting the target feature points using a harris corner detector.

더하여 상기 타겟 특징 벡터를 추출하는 단계는 intensity value, LBP(local binary pattern) 및 HOG(histogram of oriented gradient) 중 적어도 하나를 사용하여 상기 타겟 특징 벡터를 추출하는 단계를 포함할 수 있다. In addition, extracting the target feature vector may include extracting the target feature vector using at least one of an intensity value, a local binary pattern (LBP), and a histogram of oriented gradient (HOG).

아울러 상기 각각의 타겟 특징 벡터와 거리가 가장 가까운 제1 특징 벡터를 상기 카테고리 각각에서 추출하는 단계는 1-NN(1-nearest neighbor)을 이용하여 상기 각각의 카테고리에 매핑된 특징 벡터와 상기 각각의 타겟 특징 벡터와의 거리를 계산하는 단계를 포함할 수 있다. The step of extracting a first feature vector having a distance closest to each of the target feature vectors in each of the categories may include extracting feature vectors mapped to the respective categories using 1-nearest neighbor (NN) And calculating a distance to the target feature vector.

또한 상기 스파스 배열을 계산하는 단계는 [수학식 1]

Figure 112017006775726-pat00001
(
Figure 112017006775726-pat00002
는 i번째 타겟 특징 벡터,
Figure 112017006775726-pat00003
는 각 카테고리 마다 추출된 i번째 타겟 특징 벡터와 거리가 가장 가까운 제1 특징 벡터들의 집합,
Figure 112017006775726-pat00004
은 소정의 오차)을 만족하는 벡터(
Figure 112017006775726-pat00005
) 중 [수학식 2]
Figure 112017006775726-pat00006
(
Figure 112017006775726-pat00007
는 상기 [수학식 1]을 만족하는
Figure 112017006775726-pat00008
) 에 따라 크기가 가장 작은 벡터(
Figure 112017006775726-pat00009
)를 상기 스파스 배열로 계산하는 단계를 포함할 수 있다. In addition, the step of calculating the sparse array may be expressed by Equation (1)
Figure 112017006775726-pat00001
(
Figure 112017006775726-pat00002
Is an i-th target feature vector,
Figure 112017006775726-pat00003
Is a set of first feature vectors having a distance closest to the i-th target feature vector extracted for each category,
Figure 112017006775726-pat00004
(A predetermined error)
Figure 112017006775726-pat00005
(2)
Figure 112017006775726-pat00006
(
Figure 112017006775726-pat00007
Satisfies the above-described expression (1)
Figure 112017006775726-pat00008
The vector with the smallest size (
Figure 112017006775726-pat00009
) To the sparse array.

더하여 상기 카테고리를 판별하는 단계는 [수학식 3]

Figure 112017006775726-pat00010
(
Figure 112017006775726-pat00011
는 상기 타겟 특징 벡터,
Figure 112017006775726-pat00012
는 상기 제1 특징 벡터들의 집합,
Figure 112017006775726-pat00013
는 상기 스파스 배열,
Figure 112017006775726-pat00014
는 상기 스파스 배열(
Figure 112017006775726-pat00015
)의 j번째 원소 이외의 원소를 모두 0으로 만드는 함수, j는 j번째 카테고리의 식별자)을 만족하는 j번째 카테고리를 상기 타겟 특징 벡터(
Figure 112017006775726-pat00016
)와 연관 관계가 가장 큰 카테고리로 판별하는 단계를 포함할 수 있다. In addition, the step of determining the category may comprise the steps of:
Figure 112017006775726-pat00010
(
Figure 112017006775726-pat00011
The target feature vector,
Figure 112017006775726-pat00012
Is a set of the first feature vectors,
Figure 112017006775726-pat00013
Lt; RTI ID = 0.0 >
Figure 112017006775726-pat00014
Lt; RTI ID = 0.0 >
Figure 112017006775726-pat00015
(J is a function of making all elements other than the jth element of the jth category) 0, and j is an identifier of the jth category)
Figure 112017006775726-pat00016
) And the category having the greatest association with each other.

아울러 상기 타겟 이미지와 연관 관계가 가장 큰 카테고리를 판별하는 단계는 상기 타겟 특징 벡터와 대응하는 상기 스파스 배열의 원소들의 값이 밀집된 정도를 나타내는 수치를 계산하는 단계 및 상기 판별된 카테고리마다 상기 수치를 부여하고, 상기 수치의 합이 가장 높은 카테고리를 상기 타겟 이미지와 연관 관계가 가장 큰 카테고리로 판별하는 단계를 포함할 수 있다. The step of determining a category having the largest correlation with the target image may further include the step of calculating a numerical value indicating the degree of densification of the values of the elements of the sparse array corresponding to the target feature vector, And determining the category having the highest sum of the numbers as the category having the largest correlation with the target image.

이때 상기 스파스 배열의 원소들의 값이 밀집된 정도를 나타내는 수치는 [수학식 4]

Figure 112017006775726-pat00017
(
Figure 112017006775726-pat00018
는 i번째 타겟 특징 벡터에 대응되는 스파스 배열,
Figure 112017006775726-pat00019
는 상기 스파스 배열(
Figure 112017006775726-pat00020
)의 j번째 원소 이외의 원소를 모두 0으로 만드는 함수, j는 j번째 카테고리의 식별자, c는 상기 데이터베이스의 카테고리의 수)에 의해 산출될 수 있다. In this case, the numerical value indicating the degree of densification of the elements of the sparse array is expressed by Equation (4)
Figure 112017006775726-pat00017
(
Figure 112017006775726-pat00018
Is a sparse array corresponding to the i-th target feature vector,
Figure 112017006775726-pat00019
Lt; RTI ID = 0.0 >
Figure 112017006775726-pat00020
), J is an identifier of the j-th category, and c is the number of categories of the database).

본 발명의 일 실시예에 따른 c개(c는 자연수)의 이미지를 이용하여 부분 이미지 기반의 데이터베이스를 생성하는 장치는 상기 c개의 이미지 중 j번째(j는 1부터 c의 자연수) 이미지를 입력 받는 입력부, 상기 j번째 이미지의 기울기 또는 스케일을 기 설정된 크기로 변환하여 복수의 변환 이미지를 생성하는 변환 이미지 생성부, 상기 변환 이미지의 각각의 특징점을 추출하는 특징점 추출부, 상기 특징점의 각각을 기준으로 소정 크기의 부분 이미지를 생성하고, 상기 부분 이미지의 각각의 j번째 특징 벡터를 추출하는 특징 벡터 추출부 및 상기 j번째 이미지와 대응하는 j번째 카테고리를 생성하고, 상기 j번째 특징 벡터를 상기 j번째 카테고리와 매핑하여 저장하는 매핑부를 포함한다. An apparatus for generating a partial image-based database using c (c is a natural number) image according to an embodiment of the present invention includes an input unit for receiving a j-th image (j is a natural number from 1 to c) An input unit, a transformed image generating unit for transforming the slope or scale of the j-th image into a predetermined size to generate a plurality of transformed images, a feature point extracting unit for extracting each feature point of the transformed image, A feature vector extractor for generating a partial image of a predetermined size and extracting each jth feature vector of the partial image and a jth category corresponding to the jth image, And a mapping unit for storing the mapping information.

본 발명의 일 실시예 따른 부분 이미지 기반의 데이터베이스 생성 장치에 의하여 생성된 데이터베이스를 사용하여 타겟 이미지 내의 객체를 판별하는 장치는 상기 타겟 이미지를 입력 받는 입력부, 상기 타겟 이미지의 기울기 또는 스케일을 기 설정된 크기로 변환하여 복수의 변환 타겟 이미지를 생성하는 변환 이미지 생성부, 상기 복수의 변환 타겟 이미지의 각각의 타겟 특징점을 추출하는 특징점 추출부, 상기 타겟 특징점을 기준으로 소정 크기의 타겟 부분 이미지를 생성하고, 상기 타겟 부분 이미지의 각각의 타겟 특징 벡터를 추출하고, 상기 타겟 특징 벡터의 각각의 타겟 특징 벡터에 대하여 상기 데이터베이스의 카테고리의 각각에서 상기 각각의 카테고리에 매핑된 특징 벡터 중 상기 각각의 타겟 특징 벡터와 거리가 가장 가까운 제1 특징 벡터를 추출하는 특징 벡터 추출부, 상기 각각의 타겟 특징 벡터와 상기 각각의 타겟 특징 벡터로부터 추출된 제1 특징 벡터와의 연관 관계를 나타내는 스파스 배열(sparse array)를 계산하는 스파스 배열 계산부, 상기 스파스 배열을 기초로 상기 각각의 타겟 특징 벡터로부터 추출된 상기 제1 특징 벡터 중 상기 각각의 타겟 특징 벡터와 연관 관계가 가장 큰 제1 특징 벡터의 카테고리를 판별하고, 상기 판별된 카테고리 및 상기 스파스 배열의 각각을 기초로 상기 타겟 이미지와 연관 관계가 가장 큰 카테고리를 판별하여, 상기 타겟 이미지의 객체를 상기 판별된 카테고리와 대응되는 이미지의 객체로 판별하는 객체 판별부를 포함한다. An apparatus for determining an object in a target image using a database generated by a partial image-based database generation apparatus according to an exemplary embodiment of the present invention includes an input unit for inputting the target image, an input unit for inputting a slope or a scale of the target image, A feature point extracting unit for extracting each of the target feature points of the plurality of conversion target images to generate a target portion image of a predetermined size based on the target feature points, Extracting each of the target feature vectors of the target portion image and for each target feature vector of the target feature vector, each of the feature vectors mapped to each of the categories in each of the categories of the database, The closest distance feature A sparse array calculation unit for calculating a sparse array indicating a relationship between each of the target feature vectors and a first feature vector extracted from each of the target feature vectors, Determining a category of a first feature vector having the largest correlation with each of the first feature vectors extracted from the respective target feature vectors based on the sparse array, And an object discrimination unit for discriminating an object of the target image as an object of an image corresponding to the discriminated category based on each of the sparse arrays.

본 발명의 실시예에 따르면, 얼굴의 부분적 특징은 변하지 않는다는 점에 착안하여, 얼굴 이미지의 특징점을 기준으로 부분 이미지를 생성하고 다른 부분 이미지들과 비교함으로써, 얼굴의 일부가 가리어지거나 표정에 따라 얼굴 텍스처가 변형된 이미지에서도 객체를 판별할 수 있게 한다. According to the embodiment of the present invention, considering that the partial characteristic of the face does not change, a partial image is generated based on the characteristic point of the face image and compared with other partial images, so that a part of the face becomes humorous, Allows the object to be identified even in images with deformed textures.

도 1은 본 발명의 일 실시예에 따른 부분 이미지 기반 데이터베이스 생성 장치의 기능 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 부분 이미지 기반 객체 판별 장치의 기능 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 부분 이미지 기반 객체 판별 방법의 전체적인 프로세스를 도식화한 개략도이다.
도 4는 본 발명의 일 실시예에 따른 부분 이미지 기반 데이터베이스 생성 방법의 프로세스를 도시하는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 부분 이미지 기반 객체 판별 방법의 프로세스를 도시하는 흐름도이다.
도 6은 본 발명의 일 실시예에 따라 변환 이미지를 생성하는 것을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따라 변환 이미지로부터 부분 이미지를 생성하고 특징 벡터를 추출하는 것을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따라 타겟 이미지를 입력받아 스파스 배열을 계산하는 것을 설명하기 위한 예시도이다. 1 is a functional block diagram of a partial image-based database generation apparatus according to an embodiment of the present invention.
2 is a functional block diagram of a partial image-based object discrimination apparatus according to an embodiment of the present invention.
3 is a schematic diagram illustrating an overall process of a partial image-based object determination method according to an exemplary embodiment of the present invention.
4 is a flowchart illustrating a process of a partial image-based database generation method according to an embodiment of the present invention.
5 is a flowchart illustrating a process of a partial image-based object determination method according to an embodiment of the present invention.
6 is an exemplary diagram for illustrating generating a transformed image according to an embodiment of the present invention.
7 is an exemplary diagram for illustrating generating a partial image from a transformed image and extracting a feature vector according to an embodiment of the present invention.
8 is an exemplary diagram for explaining calculation of a sparse array by receiving a target image according to an embodiment of the present invention.

본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.DETAILED DESCRIPTION OF THE EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment according to the present invention will be described in detail with reference to the accompanying drawings.

본 명세서에서 개시되는 실시예들은 본 발명의 범위를 한정하는 것으로 해석되거나 이용되지 않아야 할 것이다. 이 분야의 통상의 기술자에게 본 명세서의 실시예를 포함한 설명은 다양한 응용을 갖는다는 것이 당연하다. 따라서, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것이며 본 발명의 범위가 실시예들로 한정되는 것을 의도하지 않는다.The embodiments disclosed herein should not be construed or interpreted as limiting the scope of the present invention. It will be apparent to those of ordinary skill in the art that the description including the embodiments of the present specification has various applications. Accordingly, any embodiment described in the Detailed Description of the Invention is illustrative for a better understanding of the invention and is not intended to limit the scope of the invention to embodiments.

도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한, 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.The functional blocks shown in the drawings and described below are merely examples of possible implementations. In other implementations, other functional blocks may be used without departing from the spirit and scope of the following detailed description. Also, although one or more functional blocks of the present invention are represented as discrete blocks, one or more of the functional blocks of the present invention may be a combination of various hardware and software configurations that perform the same function.

또한, 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.In addition, the expression "including any element" is merely an expression of an open-ended expression, and is not to be construed as excluding the additional elements.

나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. Further, when a component is referred to as being connected or connected to another component, it may be directly connected or connected to the other component, but it should be understood that there may be other components in between.

또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다. Also, the expressions such as 'first, second', etc. are used only to distinguish a plurality of configurations, and do not limit the order or other features between configurations.

이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다. Hereinafter, embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 부분 이미지 기반 데이터베이스 생성 장치(100)의 기능 블럭도이다. 1 is a functional block diagram of a partial image-based database generation apparatus 100 according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 부분 이미지 기반 데이터베이스 생성 장치(100)는 입력부(110), 변환 이미지 생성부(120), 특징점 추출부(130), 특징 벡터 추출부(140) 및 매핑부(150)를 포함한다. 1, an apparatus 100 for generating a partial image-based database according to an exemplary embodiment of the present invention includes an input unit 110, a transformed image generating unit 120, a feature point extracting unit 130, (140) and a mapping unit (150).

입력부(110)는 이미지를 입력 받는다. 이때 입력 받는 이미지는 식별을 목적으로 입력되는 타겟 이미지를 식별하기 위한 대조군으로서 인물의 얼굴을 포함한다. 예를 들어, 입력 받는 이미지는 인물의 정면 이미지를 찍은 사진일 수 있다.The input unit 110 receives an image. At this time, the input image includes the face of the person as a control group for identifying the target image inputted for the purpose of identification. For example, the input image may be a photograph of a frontal image of a person.

변환 이미지 생성부(120)는 이미지의 기울기 또는 스케일을 기 설정된 크기로 변환한 변환 이미지를 생성한다. 이때 도 7에 도시된 바와 같이, 변환하기 위한 기울기 또는 스케일을 다르게 하여 복수의 변환 이미지를 생성할 수 있다. The converted image generating unit 120 generates a converted image obtained by converting the slope or the scale of the image into a predetermined size. At this time, as shown in FIG. 7, a plurality of converted images can be generated by changing the slopes or scales for conversion.

특징점 추출부(130)는 변환 이미지로부터 특징점을 추출할 수 있다. 이때 도 8과 같이 하나의 변환 이미지로부터 하나 이상의 특징점을 추출할 수 있다.The feature point extracting unit 130 may extract feature points from the transformed image. At this time, one or more feature points can be extracted from one transformed image as shown in FIG.

특징 벡터 추출부(140)는 도 8에 도시된 바와 같이, 특징점 추출부(130)가 추출한 특징점 각각을 기준으로 소정 크기의 부분 이미지를 생성하고, 부분 이미지의 특징 벡터를 추출할 수 있다. 8, the feature vector extracting unit 140 may generate a partial image of a predetermined size based on each of the feature points extracted by the feature extracting unit 130, and extract a feature vector of the partial image.

매핑부(150)는 입력 받은 이미지와 대응하는 카테고리를 생성하고, 입력 받은 이미지로부터 추출된 특징 벡터를 생성한 카테고리와 매핑하여 저장할 수 있다. The mapping unit 150 generates a category corresponding to the input image and maps the extracted feature vector to the generated category.

한편 상술한 실시예가 포함하는 입력부(110), 변환 이미지 생성부(120), 특징점 추출부(130), 특징 벡터 추출부(140) 및 매핑부(150)는 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리, 및 이들 명령어를 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다. Meanwhile, the input unit 110, the transformed image generating unit 120, the feature point extracting unit 130, the feature vector extracting unit 140, and the mapping unit 150, which are included in the above-described embodiments, And a microprocessor for carrying out these instructions.

도 2는 본 발명의 일 실시예에 따른 부분 이미지 기반 객체 판별 장치(200)의 기능 블럭도이다.FIG. 2 is a functional block diagram of a partial image-based object determination apparatus 200 according to an exemplary embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 부분 이미지 기반 객체 판별 장치(200)는 입력부(210), 변환 이미지 생성부(220), 특징점 추출부(230), 특징 벡터 추출부(240), 스파스 배열 계산부(250) 및 객체 판별부(260)를 포함한다. 2, the partial image-based object discrimination apparatus 200 according to an exemplary embodiment of the present invention includes an input unit 210, a transformed image generation unit 220, a feature point extraction unit 230, A sparse array calculation unit 250, and an object determination unit 260.

한편, 후술할 변환 타겟 이미지, 타겟 부분 이미지, 타겟 특징점, 타겟 특징 벡터의 용어는 도 1에서 사용된 용어, 즉 변환 이미지, 부분 이미지, 특징점, 특징 벡터 등과 구분하여 식별하고자 하는 인물의 얼굴을 포함하는 타겟 이미지로부터 추출된 것임을 의미하는 것일 뿐, 특별한 한정을 표현하는 것은 아니다. On the other hand, the terms of the conversion target image, the target partial image, the target feature point, and the target feature vector to be described later include the face of a person to be identified by distinguishing the terms used in FIG. 1, But is not meant to imply any particular limitation.

입력부(210)는 타겟 이미지를 입력 받는다. 타겟 이미지는 판별하기 위한 객체의 얼굴을 포함하는 이미지로서 이미지의 조건에 대하여 제한이 없다. 예를 들어, 타겟 이미지는 장신구로 인해 판별하기 위한 객체의 얼굴 일부가 가리어진 이미지, 객체의 포즈 또는 표정에 의해 얼굴 텍스처가 변형된 이미지 또는 하나의 이미지 안에 다수의 인물들이 포함된 이미지일 수 있다. The input unit 210 receives a target image. The target image is an image including the face of the object for discrimination, and there is no restriction on the condition of the image. For example, the target image may be an image in which a part of the face of the object is discriminated due to trinkets, an image in which the face texture is deformed by a pose or expression of the object, or an image including a plurality of characters in one image .

변환 이미지 생성부(220)는 타겟 이미지의 기울기 또는 스케일을 기 설정된 크기로 변환한 변환 타겟 이미지를 생성한다. 이때 도 6과 같이 변환하기 위한 기울기 또는 스케일을 다르게 하여 복수의 변환 타겟 이미지를 생성할 수 있다.The converted image generating unit 220 generates a converted target image by converting the slope or the scale of the target image into a predetermined size. At this time, as shown in FIG. 6, a plurality of conversion target images can be generated by changing the slopes or scales for conversion.

특징점 추출부(230)는 변환 타겟 이미지로부터 특징점을 추출할 수 있다. 이때 도 7과 같이 하나의 변환 타겟 이미지로부터 하나 이상의 특징점을 추출할 수 있다.The feature point extracting unit 230 may extract feature points from the conversion target image. At this time, one or more minutiae points can be extracted from one transformation target image as shown in Fig.

특징 벡터 추출부(240)는 도 7과 같이 특징점 추출부(230)가 추출한 타겟 특징점을 기준으로 소정 크기의 타겟 부분 이미지를 생성하고, 타겟 부분 이미지의 타겟 특징 벡터를 추출하여, 부분 이미지 기반 데이터베이스 생성 장치(100)에 의해 생성된 데이터베이스에 저장되어 있는 각 카테고리마다, 각 카테고리에 매핑되어 있는 특징 벡터 중 타겟 특징 벡터와 거리가 가장 가까운 제1 특징 벡터를 추출할 수 있다. 7, the feature vector extracting unit 240 generates a target portion image of a predetermined size based on the target feature point extracted by the feature extracting unit 230, extracts a target feature vector of the target portion image, The first feature vector having the closest distance to the target feature vector among the feature vectors mapped to each category can be extracted for each category stored in the database generated by the generation apparatus 100. [

스파스 배열 계산부(250)는 각 카테고리에서 추출된 제1 특징 벡터들과 타겟 특징 벡터와의 연관 관계를 나타내는 스파스 배열(sparse array)을 계산한다. The sparse array calculation unit 250 calculates a sparse array representing a relationship between the first feature vectors extracted in each category and the target feature vector.

객체 판별부(260)는 스파스 배열을 기초로 각 카테고리에서 추출된 제1 특징 벡터들 중 타겟 특징 벡터와 연관 관계가 가장 큰 제1 특징 벡터의 카테고리를 판별할 수 있다. 이에, 객체 판별부(260)는 타겟 이미지로부터 도출된 모든 타겟 특징 벡터의 각각으로부터 연관 관계가 가장 큰 것으로 도출된 제1 특징 벡터의 카테고리 및 스파스 배열을 기초로 타겟 이미지와 연관 관계가 가장 큰 카테고리를 판별하여, 타겟 이미지의 객체를 판별된 카테고리와 대응되는 이미지의 객체로 판별할 수 있다. The object determination unit 260 can determine the category of the first feature vector having the largest correlation with the target feature vector among the first feature vectors extracted from each category based on the sparse array. Accordingly, the object determining unit 260 determines the largest correlation between the target image and the target image based on the category of the first feature vector and the sparse array derived from each of all the target feature vectors derived from the target image, It is possible to identify the category and identify the object of the target image as an object of the image corresponding to the discriminated category.

한편 상술한 실시예가 포함하는 입력부(210), 변환 이미지 생성부(220), 특징점 추출부(230), 특징 벡터 추출부(240), 스파스 배열 계산부(250) 및 객체 판별부(260)는 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리, 및 이들 명령어를 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다. The feature point extracting unit 230, the feature vector extracting unit 240, the sparse array calculating unit 250, and the object determining unit 260, which are included in the above-described embodiments, include the input unit 210, the transformed image generating unit 220, May be implemented by a computing device including a memory including instructions programmed to perform their functions, and a microprocessor executing the instructions.

도 3은 본 발명의 일 실시예에 따른 부분 이미지 기반 데이터베이스 생성 방법 및 부분 이미지 기반 객체 판별 방법의 전체적인 프로세스를 도식화한 개략도이다. 3 is a schematic diagram illustrating an overall process of a partial image-based database generation method and a partial image-based object classification method according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 부분 이미지 기반 데이터베이스 생성 방법은 얼굴을 포함하는 복수의 이미지를 입력 받아, 입력 받은 이미지를 변환하여 복수의 변환 이미지를 생성하고, 변환 이미지들의 특징점을 기준으로 부분 이미지를 생성하여, 부분 이미지의 특징 벡터를 추출하여 입력받은 이미지에 대응되는 카테고리를 생성하고 추출한 특징 벡터를 카테고리에 매핑하여 저장함으로써 데이터베이스를 생성한다. Referring to FIG. 3, a partial image-based database generation method according to an embodiment of the present invention includes receiving a plurality of images including faces, converting a received image to generate a plurality of converted images, Generates a partial image corresponding to the input image, generates a category corresponding to the input image, and maps the extracted feature vector to a category and stores the partial database.

이에, 본 발명의 일 실시예에 따른 부분 이미지 기반 객체 판별 방법은 식별하기 위한 객체의 얼굴을 포함하는 타겟 이미지를 입력 받아, 입력 받은 이미지를 변환하여 복수의 변환 타겟 이미지를 생성하고, 변환 타겟 이미지들의 특징점을 기준으로 타겟 부분 이미지를 생성하여, 타겟 부분 이미지의 타겟 특징 벡터를 추출하여 데이터베이스에 저장된 특징 벡터들과 비교하여 스파스 배열을 계산함으로써 타겟 이미지의 객체를 판별할 수 있다. According to an aspect of the present invention, there is provided a partial image-based object discrimination method comprising: receiving a target image including a face of an object to be identified; transforming the input image to generate a plurality of transformation target images; A target portion image of the target portion image is extracted based on the feature points of the target portion image, and the target feature vector of the target portion image is extracted and compared with the feature vectors stored in the database to calculate the sparse array.

이에, 도 4 및 도 5와 함께 각 단계를 보다 구체적으로 살펴보기로 한다. 4 and 5, each step will be described in more detail.

도 4는 본 발명의 일 실시예에 따른 부분 이미지 기반 데이터베이스 생성 방법의 프로세스를 도시하는 흐름도이다. 도 4에 따른 부분 이미지 기반 데이터베이스 생성 방법의 각 단계는 도 1을 통해 설명된 부분 이미지 기반 데이터베이스 생성 장치(100)에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.4 is a flowchart illustrating a process of a partial image-based database generation method according to an embodiment of the present invention. Each step of the partial image-based database generation method according to FIG. 4 can be performed by the partial image-based database generation apparatus 100 described with reference to FIG. 1, and each step will be described below.

우선, 입력부(110)는 이미지를 입력 받는다(S410). 이때 입력 받는 이미지는 객체의 식별을 목적으로 입력되는 타겟 이미지를 식별하기 위한 대조군 이미지로서 인물의 얼굴을 포함한다. 예를 들어, 입력 받는 이미지는 인물의 정면 이미지를 찍은 사진일 수 있다.First, the input unit 110 receives an image (S410). The input image includes a face of a person as a control image for identifying a target image input for the purpose of identifying the object. For example, the input image may be a photograph of a frontal image of a person.

다음으로, 변환 이미지 생성부(120)는 이미지의 기울기 또는 스케일을 여러 가지로 변환하여 얻어지는 변환 이미지를 생성한다(S420). 도 6을 참조하면, 변환 이미지 생성부(120)는 입력 받은 이미지의 가로 기울기 또는 세로 기울기를 변환하거나, 가로/세로 스케일을 변환할 수 있다. Next, the transformed image generation unit 120 generates a transformed image obtained by transforming the slope or scale of the image into various types (S420). Referring to FIG. 6, the transformed image generation unit 120 may transform a horizontal slope or a vertical slope of an input image, or may convert a horizontal / vertical scale.

이를 위해, 변환 이미지 생성부(120)는 아래 수학식 1의 affine simulation을 이용하여 변환 이미지를 생성할 수 있다. For this, the transformed image generation unit 120 can generate the transformed image using the affine simulation of Equation 1 below.

Figure 112017006775726-pat00021
Figure 112017006775726-pat00021

(

Figure 112017006775726-pat00022
는 입력받은 이미지의 좌표, T는 입력받은 이미지를 변환하기 위한 행렬,
Figure 112017006775726-pat00023
는 변환 이미지의 좌표)(
Figure 112017006775726-pat00022
T is a matrix for transforming the input image,
Figure 112017006775726-pat00023
The coordinates of the transformed image)

이때 수학식 1의

Figure 112017006775726-pat00024
는At this time,
Figure 112017006775726-pat00024
The

Figure 112017006775726-pat00025
로 구성될 수 있으며,
Figure 112017006775726-pat00026
및
Figure 112017006775726-pat00027
은 각각 입력 받은 이미지의 가로 기울기 및 세로 기울기의 변환 정도를 나타내며,
Figure 112017006775726-pat00028
는 x축 또는 y축 방향으로의 스케일링 정도를 나타내는 행렬이고, 이때 수학식 1의 t는 가로축을 기준으로 이미지의 변형된 기울기로
Figure 112017006775726-pat00029
이며,
Figure 112017006775726-pat00030
는
Figure 112017006775726-pat00031
의 기울기에 따라 변환된 각도로
Figure 112017006775726-pat00032
이다.
Figure 112017006775726-pat00025
, ≪ / RTI >
Figure 112017006775726-pat00026
And
Figure 112017006775726-pat00027
Represents the degree of horizontal slope and vertical slope of the input image, respectively,
Figure 112017006775726-pat00028
Is a matrix representing the degree of scaling in the x-axis or y-axis direction, where t in Equation (1) is the transformed slope of the image
Figure 112017006775726-pat00029
Lt;
Figure 112017006775726-pat00030
The
Figure 112017006775726-pat00031
At a converted angle according to the slope of
Figure 112017006775726-pat00032
to be.

또한 affine simulation을 컴퓨터로 구현 가능한 코드의 형식으로 나타내면 아래 표 1과 같다. Table 1 shows the affine simulation in the form of computer-executable code.

Figure 112017006775726-pat00033
Figure 112017006775726-pat00033

이후, 특징점 추출부(130)는 변환 이미지로부터 특징점을 추출할 수 있다(S430). 도 7에 도시된 바와 같이, 특징점 추출부(130)는 하나의 변환 이미지로부터 하나 이상의 특징점을 추출할 수 있다. 이때 특징점을 추출하기 위해 harris corner detector를 이용할 수 있다. Then, the feature point extracting unit 130 may extract feature points from the converted image (S430). As shown in FIG. 7, the feature point extracting unit 130 may extract one or more feature points from one transformed image. At this time, a harris corner detector can be used to extract feature points.

이에, 특징 벡터 추출부(140)는 도 7에 도시된 바와 같이 특징점 추출부(130)가 추출한 특징점을 기준으로 소정 크기의 부분 이미지를 생성할 수 있다(S440). 객체의 얼굴 일부가 가리어져 있거나, 표정에 따라 얼굴 텍스처의 변형이 발생하는 경우 얼굴 전체 이미지의 특징 벡터의 변화량은 크지만, 부분 이미지는 전체 얼굴의 특징점을 기준으로 분할하여 만들어진 이미지이기 때문에, 객체의 얼굴 일부가 가리어져 있거나 표정에 따라 얼굴 텍스처의 변형이 발생하더라도 부분 이미지의 특징 벡터는 변화량이 거의 없다는 장점이 있어, 부분 이미지를 기준으로 객체를 식별하기 용이하다는 효과가 있다. The feature vector extracting unit 140 may generate a partial image having a predetermined size based on the feature points extracted by the feature extracting unit 130 as shown in FIG. 7 (S440). When a part of the face of the object is covered or the face texture is deformed according to the facial expression, the change amount of the feature vector of the whole face image is large. However, since the partial image is an image formed by dividing based on the feature point of the whole face, Even if a part of the face of the face image is covered or the face texture is deformed according to the facial expression, the feature vector of the partial image has almost no change amount, so that it is easy to identify the object based on the partial image.

이때 특징 벡터 추출부(140)는 도 7에 도시된 바와 같이 부분 이미지로부터 특징 벡터를 추출할 수 있다(S450). 이를 위해, 특징 벡터 추출부(140)는 intensity value, LBP(local binary pattern) 및 HOG(histogram of oriented gradient) 등의 알고리즘을 통하여 특징 벡터를 추출할 수 있다. At this time, the feature vector extracting unit 140 may extract a feature vector from the partial image as shown in FIG. 7 (S450). To this end, the feature vector extractor 140 may extract a feature vector through an algorithm such as an intensity value, a local binary pattern (LBP), and a histogram of oriented gradient (HOG).

다음으로, 매핑부(150)는 입력 받은 이미지와 대응하는 카테고리를 생성하고, 입력 받은 이미지로부터 추출된 특징 벡터를 카테고리와 매핑하여 저장할 수 있다(S460).Next, the mapping unit 150 generates a category corresponding to the input image, and stores the feature vector extracted from the input image by mapping it with a category (S460).

예를 들어, 매핑부(150)는 입력 받은 이미지가 c개인 경우, 입력받은 이미지와 대응되는 c개의 카테고리

Figure 112017006775726-pat00034
를 생성하고, c개의 이미지 중 j번째 입력받은 이미지로부터 추출된 j번째 특징 벡터들을
Figure 112017006775726-pat00035
카테고리와 매핑하여 저장할 수 있다. 즉, j번째 카테고리
Figure 112017006775726-pat00036
에는 j번째 이미지로부터 추출된
Figure 112017006775726-pat00037
개의 j번째 특징 벡터들이 매핑되어 있다. For example, if the input image has a size of c, the mapping unit 150 may convert the input image into c categories
Figure 112017006775726-pat00034
And extracts j-th feature vectors extracted from the j-th input image of the c images
Figure 112017006775726-pat00035
Can be mapped to categories and stored. That is,
Figure 112017006775726-pat00036
Is extracted from the j < th >
Figure 112017006775726-pat00037
J < / RTI > feature vectors are mapped.

도 5는 본 발명의 일 실시예에 따른 부분 이미지 기반 객체 판별 방법의 프로세스를 도시하는 흐름도이다. 도 5는 본 발명의 일 실시예에 따른 부분 이미지 기반 객체 판별 방법을 설명하기 위한 도면이다. 도 5에 따른 부분 이미지 기반 객체 판별 방법의 각 단계는 도 2를 통해 설명된 부분 이미지 기반 객체 판별 장치(200)에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.5 is a flowchart illustrating a process of a partial image-based object determination method according to an embodiment of the present invention. 5 is a view for explaining a partial image-based object discrimination method according to an embodiment of the present invention. Each step of the partial image-based object discrimination method according to FIG. 5 can be performed by the partial image-based object discrimination apparatus 200 explained with reference to FIG. 2, and each step will be described below.

우선, 입력부(210)는 타겟 이미지를 입력 받는다(S510). 타겟 이미지는 판별하기 위한 객체의 얼굴을 포함하는 이미지로서 이미지의 조건에 대한 제한이 없다. 예를 들어, 타겟 이미지는 판별하기 위한 객체의 얼굴 일부가 가리어진 이미지, 표정에 의하여 얼굴 텍스처가 변형된 이미지 또는 하나의 이미지 안에 다수의 인물들이 포함된 이미지일 수 있다.First, the input unit 210 receives a target image (S510). The target image is an image containing the face of the object for discrimination, and there is no restriction on the condition of the image. For example, the target image may be an image in which a part of the face of the object for discrimination is displayed, an image in which the face texture is modified by facial expression, or an image including a plurality of persons in one image.

다음으로, 변환 이미지 생성부(220)는 타겟 이미지의 기울기 또는 스케일을 기 설정된 크기로 변환한 변환 타겟 이미지를 생성한다(S520). 이후, 특징점 추출부(230)는 변환 타겟 이미지로부터 타겟 특징점을 추출할 수 있다(S530). 이에, 특징 벡터 추출부(240)는 특징점 추출부(230)가 추출한 타겟 특징점을 기준으로 소정 크기의 타겟 부분 이미지를 생성할 수 있다(S540). 이후, 특징 벡터 추출부(240)는 타겟 부분 이미지로부터 타겟 특징 벡터를 추출할 수 있다(S550). 이때 S520, S530, S540, S550 단계의 구체적 과정은 도 4와 함께 설명된 S420, S430, S440, S450 단계의 과정과 동일하므로 중복된 설명은 생략한다. Next, the transformed image generation unit 220 generates a transformed target image by converting the slope or scale of the target image into a predetermined size (S520). Then, the minutiae point extracting unit 230 may extract a target minutia point from the converted target image (S530). Accordingly, the feature vector extracting unit 240 may generate a target portion image of a predetermined size based on the target feature points extracted by the feature extracting unit 230 (S540). Thereafter, the feature vector extracting unit 240 may extract the target feature vector from the target portion image (S550). At this time, the detailed procedure of steps S520, S530, S540, and S550 is the same as that of steps S420, S430, S440, and S450 described with reference to FIG.

한편, S550 단계에서 타겟 이미지로부터 생성된 타겟 부분 이미지가 n개인 경우 타겟 특징 벡터 또한 n개이므로, n개의 타겟 특징 벡터(

Figure 112017006775726-pat00038
)들로 이루어진 집합을
Figure 112017006775726-pat00039
와 같이 표현할 수 있다. On the other hand, if the target partial image generated from the target image is n in step S550, the target feature vector is also n, so that n target feature vectors
Figure 112017006775726-pat00038
),
Figure 112017006775726-pat00039
Can be expressed as

다음으로, 특징 벡터 추출부(240)는 부분 이미지 기반 데이터베이스 생성 장치에 의해 생성된 데이터베이스에 저장되어 있는 카테고리마다 각 카테고리의 특징 벡터 중 타겟 특징 벡터와 거리가 가장 가까운 제1 특징 벡터를 추출할 수 있다(S560).Next, the feature vector extracting unit 240 extracts a first feature vector that is closest to the target feature vector among the feature vectors of each category for each category stored in the database generated by the partial image-based database generation apparatus (S560).

즉, 데이터베이스에 저장된 c개의 카테고리

Figure 112017006775726-pat00040
중 j번째 카테고리
Figure 112017006775726-pat00041
에는
Figure 112017006775726-pat00042
와 같이 j번째 특징 벡터들이 매핑되어 있다고 할 때, 데이터베이스에 저장되어 있는 카테고리
Figure 112017006775726-pat00043
마다 각 카테고리의 특징 벡터 중 각 타겟 특징 벡터
Figure 112017006775726-pat00044
와 거리가 가장 가까운 제1 특징 벡터를 추출하여, 타겟 특징 벡터 별로 추출된 제1 특징 벡터들의 집합을
Figure 112017006775726-pat00045
로 표현할 수 있으며, 이때
Figure 112017006775726-pat00046
의 원소
Figure 112017006775726-pat00047
는 타겟 특징 벡터
Figure 112017006775726-pat00048
에 대응하여 추출된 제1 특징 벡터들로 구성되어 있다. That is, c categories stored in the database
Figure 112017006775726-pat00040
The jth category
Figure 112017006775726-pat00041
There
Figure 112017006775726-pat00042
And the jth feature vectors are mapped as shown in FIG.
Figure 112017006775726-pat00043
Each target characteristic vector among the characteristic vectors of each category
Figure 112017006775726-pat00044
The first feature vector having the closest distance to the target feature vector is extracted,
Figure 112017006775726-pat00045
Can be expressed as
Figure 112017006775726-pat00046
Element of
Figure 112017006775726-pat00047
≪ / RTI >
Figure 112017006775726-pat00048
The first feature vectors extracted corresponding to the first feature vectors.

이때 특징 벡터 추출부(240)는 아래 수학식 2와 같이 1-NN(1-nearest neighbor)를 통해 각 타겟 특징 벡터

Figure 112017006775726-pat00049
마다 데이터베이스의 각 카테고리
Figure 112017006775726-pat00050
에서 타겟 특징 벡터(
Figure 112017006775726-pat00051
)와 거리가 가장 가까운 제1 특징 벡터(
Figure 112017006775726-pat00052
)를 추출할 수 있다. At this time, the feature vector extracting unit 240 extracts each target feature vector (1-NN) through 1-NN (1-NN)
Figure 112017006775726-pat00049
Each category of database
Figure 112017006775726-pat00050
The target feature vector (
Figure 112017006775726-pat00051
) And the first feature vector (
Figure 112017006775726-pat00052
Can be extracted.

Figure 112017006775726-pat00053
Figure 112017006775726-pat00053

(

Figure 112017006775726-pat00054
는 i번째 타겟 특징 벡터,
Figure 112017006775726-pat00055
는 j번째 카테고리에 매핑되어 있는 특징 벡터 중 h번째 특징 벡터,
Figure 112017006775726-pat00056
는 j 번째 카테고리에 매핑되어 있는 특징 벡터 중
Figure 112017006775726-pat00057
와 거리가 가장 가까운 제1 특징 벡터)(
Figure 112017006775726-pat00054
Is an i-th target feature vector,
Figure 112017006775726-pat00055
Is the h-th feature vector among the feature vectors mapped to the j-th category,
Figure 112017006775726-pat00056
Of the feature vectors mapped to the j-th category
Figure 112017006775726-pat00057
And the closest first feature vector)

이에, 스파스 배열 계산부(250)는 도 8과 같이 타겟 특징 벡터와 각 카테고리에서 추출된 제1 특징 벡터들과의 연관 관계를 나타내는 스파스 배열을 계산한다.8, the sparse array calculation unit 250 calculates a sparse array indicating a relation between the target feature vector and the first feature vectors extracted from each category.

예를 들어, 스파스 배열은 아래 수학식 3을 만족하는 배열

Figure 112017006775726-pat00058
일 수 있다. For example, the sparse array may be an array
Figure 112017006775726-pat00058
Lt; / RTI >

Figure 112017006775726-pat00059
Figure 112017006775726-pat00059

(

Figure 112017006775726-pat00060
는 i번째 타겟 특징 벡터,
Figure 112017006775726-pat00061
는 각 카테고리 마다 추출된 i번째 타겟 특징 벡터와 거리가 가장 가까운 제1 특징 벡터들의 집합,
Figure 112017006775726-pat00062
은 소정의 오차)(
Figure 112017006775726-pat00060
Is an i-th target feature vector,
Figure 112017006775726-pat00061
Is a set of first feature vectors having a distance closest to the i-th target feature vector extracted for each category,
Figure 112017006775726-pat00062
Is a predetermined error)

즉, 스파스 배열은

Figure 112017006775726-pat00063
를 소정의 오차
Figure 112017006775726-pat00064
정도로
Figure 112017006775726-pat00065
벡터와 유사해지도록 하는 숫자들의 집합으로 구성되어 있다. That is,
Figure 112017006775726-pat00063
To a predetermined error
Figure 112017006775726-pat00064
About
Figure 112017006775726-pat00065
It consists of a set of numbers that are similar to a vector.

또한 수학식 3을 만족하는 스파스 배열

Figure 112017006775726-pat00066
중 아래 수학식 4와 같이 l1-minimization 을 이용하여 크기가 가장 작은 스파스 배열
Figure 112017006775726-pat00067
을 계산할 수 있다. Also, a sparse array satisfying expression (3)
Figure 112017006775726-pat00066
The smallest sparse array is obtained by using l1-minimization as shown in the following equation (4)
Figure 112017006775726-pat00067
Can be calculated.

Figure 112017006775726-pat00068
Figure 112017006775726-pat00068

(

Figure 112017006775726-pat00069
는 수학식 3의
Figure 112017006775726-pat00070
와
Figure 112017006775726-pat00071
으로부터 추출된 스파스 배열) (
Figure 112017006775726-pat00069
(3)
Figure 112017006775726-pat00070
Wow
Figure 112017006775726-pat00071
Lt; RTI ID = 0.0 >

이후, 객체 판별부(260)는 스파스 배열

Figure 112017006775726-pat00072
을 기초로 각 카테고리
Figure 112017006775726-pat00073
에서 추출된 제1 특징 벡터들
Figure 112017006775726-pat00074
중 타겟 특징 벡터 (
Figure 112017006775726-pat00075
)와 연관 관계가 가장 큰 제1 특징 벡터의 카테고리를 판별할 수 있다(S580). Thereafter, the object determination unit 260 determines whether the sparse array
Figure 112017006775726-pat00072
Based on each category
Figure 112017006775726-pat00073
The first feature vectors
Figure 112017006775726-pat00074
Target characteristic vector (
Figure 112017006775726-pat00075
And the category of the first feature vector having the largest correlation with the category of the first feature vector (S580).

예를 들어 아래 수학식 5와 같이,

Figure 112017006775726-pat00076
를 이루는 벡터 중
Figure 112017006775726-pat00077
와 가장 유사한 벡터를
Figure 112017006775726-pat00078
를 통해 판별할 수 있다. 따라서 위 수학식 5를 통해 판별된 j는 타겟 특징 벡터
Figure 112017006775726-pat00079
와 연관 관계가 가장 큰 제1 특징 벡터의 카테고리를 의미한다. For example, as shown in Equation (5) below,
Figure 112017006775726-pat00076
Of the vector
Figure 112017006775726-pat00077
The vector most similar to
Figure 112017006775726-pat00078
. ≪ / RTI > Therefore, j determined through Equation (5)
Figure 112017006775726-pat00079
And the category of the first feature vector having the largest correlation.

Figure 112017006775726-pat00080
Figure 112017006775726-pat00080

(

Figure 112017006775726-pat00081
는 상기 타겟 특징 벡터,
Figure 112017006775726-pat00082
는 제1 특징 벡터들의 집합,
Figure 112017006775726-pat00083
는 상기 스파스 배열,
Figure 112017006775726-pat00084
는 스파스 배열(
Figure 112017006775726-pat00085
)의 j번째 원소 이외의 원소를 모두 0으로 만드는 함수, j는 j번째 카테고리의 식별자)(
Figure 112017006775726-pat00081
The target feature vector,
Figure 112017006775726-pat00082
Is a set of first feature vectors,
Figure 112017006775726-pat00083
Lt; RTI ID = 0.0 >
Figure 112017006775726-pat00084
Is a sparse array (
Figure 112017006775726-pat00085
), And j is an identifier of the j-th category)

이에, 객체 판별부(260)는 타겟 이미지로부터 도출된 모든 타겟 특징 벡터의 각각

Figure 112017006775726-pat00086
로부터 연관 관계가 가장 큰 것으로 도출된 제1 특징 벡터의 카테고리 및 스파스 배열을 기초로 타겟 이미지와 연관 관계가 가장 큰 카테고리를 판별할 수 있다(S590).Accordingly, the object determination unit 260 determines the target feature vector of each of the target feature vectors derived from the target image
Figure 112017006775726-pat00086
The category having the largest correlation with the target image can be determined based on the category and the sparse array of the first feature vector derived as the largest association relation (S590).

한편, n개의 타겟 특징 벡터

Figure 112017006775726-pat00087
로부터 각각 연관 관계가 가장 큰 것으로 도출된 제1 특징 벡터의 카테고리 j는 예를 들어,
Figure 112017006775726-pat00088
와 같이 n개의 타겟 특징 벡터마다 다를 수 있다. On the other hand, n target characteristic vectors
Figure 112017006775726-pat00087
The category j of the first feature vector, which is derived from the largest correlation among the categories j,
Figure 112017006775726-pat00088
The target feature vector may be different for each of the n target feature vectors.

이때 객체 판별부(260)는 타겟 특징 벡터와 대응하는 스파스 배열의 원소들의 값이 밀집된 정도를 나타내는 수치를 계산한다. 스파스 배열의 원소들의 값이 밀집되어 있을수록 해당 S580 단계에서 도출된 제1 특징 벡터가 연관 정도가 큰 것을 의미하기 때문이다. At this time, the object determining unit 260 calculates a value indicating the degree of densification of the values of the elements of the sparse array corresponding to the target feature vector. The more the values of the elements of the sparse array are dense, the greater the degree of association of the first feature vector derived in step S580.

이를 위해, 객체 판별부(260)는 아래 수학식 6을 통해 스파스 배열의 원소들의 값이 밀집된 정도를 구할 수 있다. For this, the object determining unit 260 can obtain the density of the values of the elements of the sparse array by Equation (6) below.

Figure 112017006775726-pat00089
Figure 112017006775726-pat00089

(

Figure 112017006775726-pat00090
는 i번째 타겟 특징 벡터에 대응되는 스파스 배열,
Figure 112017006775726-pat00091
는 스파스 배열(
Figure 112017006775726-pat00092
)의 j번째 원소 이외의 원소를 모두 0으로 만드는 함수, j는 j번째 카테고리의 식별자, c는 상기 데이터베이스의 카테고리의 수)(
Figure 112017006775726-pat00090
Is a sparse array corresponding to the i-th target feature vector,
Figure 112017006775726-pat00091
Is a sparse array (
Figure 112017006775726-pat00092
), J is an identifier of the j-th category, and c is the number of categories of the database)

이에, 객체 판별부(260)는 판별된 카테고리마다 수학식 6을 통해 도출된 수치를 부여하고, 각 카테고리 중 위 수치가 가장 높은 카테고리를 타겟 이미지와 연관 관계가 가장 큰 카테고리로 판별할 수 있다. Accordingly, the object determining unit 260 may assign the values derived from Equation (6) to each of the identified categories, and determine the category having the highest correlation value among the respective categories as the category having the largest correlation with the target image.

예를 들어, 5개의 타겟 특징 벡터

Figure 112017006775726-pat00093
로부터 각각 연관 관계가 가장 큰 것으로 도출된 제1 특징 벡터의 카테고리가
Figure 112017006775726-pat00094
과 같은 경우, 각 타겟 특징 벡터에 대응되는 SCI 점수가
Figure 112017006775726-pat00095
와 같다면, 카테고리 1에 부여된 점수는 0.4 + 0.1 + 0.1 = 0.6점이고, 카테고리 2에 부여된 점수는 0.8 + 0.9 =1.7로 카테고리 2를 최종적으로 타겟 이미지와 연관 관계가 가장 큰 카테고리로 판별할 수 있다. For example, five target feature vectors
Figure 112017006775726-pat00093
The category of the first feature vector,
Figure 112017006775726-pat00094
, The SCI score corresponding to each target feature vector is
Figure 112017006775726-pat00095
, The score assigned to category 1 is 0.4 + 0.1 + 0.1 = 0.6, and the score assigned to category 2 is 0.8 + 0.9 = 1.7, so that category 2 is finally determined as a category having the largest association with the target image .

이에, 객체 판별부(260)는 타겟 이미지의 객체를 상기 판별된 카테고리와 대응되는 이미지의 객체로 판별할 수 있다(S599). 즉, 최종적으로 카테고리 2가 타겟 이미지와 연관 관계가 가장 큰 카테고리로 판별된 경우, 카테고리 2에 저장된 이미지의 인물을 타겟 이미지의 인물과 동일한 것으로 결정한다.Accordingly, the object determining unit 260 can determine the object of the target image as an object of the image corresponding to the determined category (S599). That is, when the category 2 is finally determined as a category having the largest correlation with the target image, the person of the image stored in the category 2 is determined to be the same as the person of the target image.

상술한 실시예에 따르면, 본 발명은 얼굴의 부분적 특징은 변하지 않는다는 점에 착안하여, 얼굴 이미지의 특징점을 기준으로 부분 이미지를 생성하고 다른 부분 이미지들과 비교함으로써, 얼굴이 일부가 가리워지거나 표정에 따라 얼굴 텍스처가 변형된 이미지에서도 객체를 판별할 수 있게 한다. According to the above-described embodiment, the present invention is based on the fact that the partial features of the face are not changed, so that a partial image is generated based on the feature points of the face image and compared with other partial images, This makes it possible to discriminate the object even in the image in which the face texture is deformed.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described embodiments of the present invention can be implemented by various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.In the case of hardware implementation, the method according to embodiments of the present invention may be implemented in one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs) , FPGAs (Field Programmable Gate Arrays), processors, controllers, microcontrollers, microprocessors, and the like.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.In the case of an implementation by firmware or software, the method according to embodiments of the present invention may be implemented in the form of a module, a procedure or a function for performing the functions or operations described above. The software code can be stored in a memory unit and driven by the processor. The memory unit may be located inside or outside the processor, and may exchange data with the processor by various well-known means.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Thus, those skilled in the art will appreciate that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

100: 부분 이미지 기반 데이터베이스 생성 장치
200: 부분 이미지 기반 객체 판별 장치
110, 210: 입력부
120, 220: 변환 이미지 생성부
130, 230: 특징점 추출부
140, 240: 특징 벡터 추출부
150: 매핑부
250: 스파스 배열 계산부
260: 객체 판별부 100: Partial image-based database creation device
200: Partial image-based object discriminator
110, 210:
120, and 220:
130, and 230:
140, 240: a feature vector extracting unit
150:
250: Sparse array calculation unit
260:

Claims (14)

복수의 이미지들을 이용하여 부분 이미지 기반의 데이터베이스를 생성하는 방법에 있어서,
상기 복수의 이미지들 중 제1 이미지를 입력 받는 단계;
상기 제1 이미지의 기울기 또는 스케일을 기 설정된 크기로 변환하여 각각 서로 다른 기울기 또는 스케일을 갖는 복수의 변환 이미지들을 생성하는 단계;
상기 복수의 변환 이미지들 각각으로부터 복수의 특징점들을 추출하는 단계;
상기 복수의 특징점들 각각을 포함하는 소정 크기의 복수의 부분 이미지들을 생성하고, 상기 복수의 부분 이미지들 각각에 대한 특징 벡터를 각각 추출하는 단계; 및
상기 제1이미지와 대응하는 카테고리를 생성하고, 상기 추출된 상기 부분 이미지들 각각에 대한 특징 벡터를 상기 카테고리와 매핑하여 저장하는 단계를 포함하되, 상기 입력받는 단계, 상기 생성하는 단계, 상기 복수의 특징점들을 추출하는 단계, 상기 특징 벡터를 각각 추출하는 단계 및 상기 저장하는 단계를 상기 복수의 이미지들 모두에 대해 반복 수행하는
부분 이미지 기반의 데이터베이스 생성 방법.
A method of generating a partial image-based database using a plurality of images,
Receiving a first image of the plurality of images;
Converting a slope or a scale of the first image into a predetermined size to generate a plurality of transformed images each having a different slope or scale;
Extracting a plurality of feature points from each of the plurality of transformed images;
Generating a plurality of partial images of a predetermined size including each of the plurality of feature points, and extracting a feature vector for each of the plurality of partial images; And
Generating a category corresponding to the first image, and mapping and storing a feature vector for each of the extracted partial images with the category, wherein the step of receiving, the step of generating, Extracting the feature vectors, and repeating the storing step for all of the plurality of images
A method of generating a partial image based database.
데이터베이스를 사용하여 타겟 이미지 내의 객체를 판별하는 방법에 있어서,
복수의 이미지들 중 제1 이미지를 상기 타겟 이미지로서 입력 받는 단계;
상기 타겟 이미지의 기울기 또는 스케일을 기 설정된 크기로 변환하여 각각 서로 다른 기울기 또는 스케일을 갖는 복수의 변환 타겟 이미지들을 생성하는 단계;
상기 복수의 변환 타겟 이미지들 각각으로부터 복수의 타겟 특징점들을 추출하는 단계;
상기 복수의 타겟 특징점들을 각각 포함하는 소정 크기의 복수의 타겟 부분 이미지들을 생성하고, 상기 복수의 타겟 부분 이미지들 각각의 타겟 특징 벡터를 추출하는 단계;
상기 추출된 상기 복수의 타겟 부분 이미지들 각각의 타겟 특징 벡터에 대하여, 상기 데이터베이스 내에 포함된 복수의 카테고리들 각각에서, 상기 복수의 카테고리들 각각에 매핑된 복수의 특징 벡터들 중 상기 각각의 타겟 특징 벡터와 거리가 가장 가까운 특징 벡터를 추출하는 단계, -상기 복수의 카테고리들 각각은 상기 데이터베이스에 저장되어 있으며, 상기 복수의 이미지들은 상기 복수의 카테고리들 중 하나에 각각 대응됨-; 및
상기 복수의 카테고리들 각각에서 추출된 복수의 특징 벡터들을 이용하여 상기 타겟 이미지의 객체를 판별하는 단계를 포함하는
객체 판별 방법.
A method of determining an object in a target image using a database,
Receiving a first one of the plurality of images as the target image;
Converting a slope or a scale of the target image into a predetermined size to generate a plurality of conversion target images each having a different slope or scale;
Extracting a plurality of target feature points from each of the plurality of conversion target images;
Generating a plurality of target portion images of a predetermined size each including the plurality of target feature points and extracting a target feature vector of each of the plurality of target portion images;
For each of the plurality of target images of the extracted plurality of target partial images, in each of a plurality of categories included in the database, the target feature vector of each of the plurality of feature vectors mapped to each of the plurality of categories Extracting a feature vector closest to the vector, each of the plurality of categories being stored in the database, the plurality of images each corresponding to one of the plurality of categories; And
And determining an object of the target image using a plurality of feature vectors extracted from each of the plurality of categories
Object identification method.
제2항에 있어서, 상기 타겟 이미지의 객체를 판별하는 단계는,
상기 각각의 타겟 특징 벡터와 상기 각각의 타겟 특징 벡터로부터 추출된 복수의 특징 벡터들과의 연관 관계를 나타내는 스파스 배열(sparse array)를 계산하는 단계;
상기 스파스 배열을 기초로 상기 추출된 복수의 특징 벡터들 중 상기 각각의 타겟 특징 벡터와 연관 관계가 가장 큰 특징 벡터의 카테고리를 판별하는 단계;
상기 판별된 카테고리 및 상기 스파스 배열 각각을 기초로 상기 타겟 이미지와 연관 관계가 가장 큰 카테고리를 판별하는 단계; 및
상기 타겟 이미지의 객체를 상기 판별된 카테고리와 대응되는 이미지의 객체로 판별하는 단계를 포함하는
객체 판별 방법.
3. The method of claim 2, wherein the determining the object of the target image comprises:
Calculating a sparse array representing a relationship between each of the target feature vectors and a plurality of feature vectors extracted from the respective target feature vectors;
Determining a category of a feature vector having the largest correlation with each of the plurality of extracted feature vectors based on the sparse array;
Determining a category having the largest correlation with the target image based on the determined category and the sparse arrangement, respectively; And
And discriminating an object of the target image as an object of an image corresponding to the discriminated category
Object identification method.
제2항에 있어서,
상기 복수의 변환 타겟 이미지들을 생성하는 단계는, affine simulation을 사용하여 상기 타겟 이미지의 가로 기울기, 세로 기울기 또는 스케일을 변환하는 단계를 포함하고, 및
상기 타겟 특징점을 추출하는 단계는, harris corner detector를 이용하여 상기 타겟 특징점을 추출하는 단계를 포함하는
객체 판별 방법.
3. The method of claim 2,
Wherein the step of generating the plurality of transformation target images comprises transforming a horizontal slope, a vertical slope, or a scale of the target image using an affine simulation, and
Wherein the extracting of the target feature points comprises extracting the target feature points using a harris corner detector
Object identification method.
제2항에 있어서,
상기 타겟 특징 벡터를 추출하는 단계는,
intensity value, LBP(local binary pattern) 및 HOG(histogram of oriented gradient) 중 적어도 하나를 사용하여 상기 타겟 특징 벡터를 추출하는 단계를 포함하는
객체 판별 방법.
3. The method of claim 2,
Wherein the extracting of the target feature vector comprises:
extracting the target feature vector using at least one of an intensity value, a local binary pattern (LBP), and a histogram of oriented gradient (HOG)
Object identification method.
제3항에 있어서,
상기 각각의 타겟 특징 벡터와 거리가 가장 가까운 특징 벡터를 상기 복수의 카테고리들 각각에서 추출하는 단계는,
1-NN(1-nearest neighbor)을 이용하여 상기 복수의 카테고리들 각각에 매핑된 복수의 특징 벡터들과 상기 복수의 타겟 부분 이미지들 각각의 타겟 특징 벡터와의 거리를 계산하는 단계를 포함하는
객체 판별 방법.
The method of claim 3,
Wherein extracting, in each of the plurality of categories, a feature vector having a distance closest to the respective target feature vectors,
Calculating a distance between a plurality of feature vectors mapped to each of the plurality of categories and a target feature vector of each of the plurality of target partial images using 1-nearest neighbor (NN)
Object identification method.
제3항에 있어서,
상기 스파스 배열을 계산하는 단계는,
[수학식 1]
Figure 112018026755435-pat00124

(
Figure 112018026755435-pat00125
는 i번째 타겟 특징 벡터,
Figure 112018026755435-pat00126
는 각 카테고리 마다 추출된 i번째 타겟 특징 벡터와 거리가 가장 가까운 특징 벡터들의 집합,
Figure 112018026755435-pat00127
은 소정의 오차)
을 만족하는 벡터(
Figure 112018026755435-pat00128
) 중
[수학식 2]
Figure 112018026755435-pat00129

(
Figure 112018026755435-pat00130
는 상기 [수학식 1]을 만족하는
Figure 112018026755435-pat00131
)
에 따라 크기가 가장 작은 벡터(
Figure 112018026755435-pat00132
)를 상기 스파스 배열로 계산하는 단계를 포함하는
객체 판별 방법.
The method of claim 3,
Wherein the calculating the sparse array comprises:
[Equation 1]
Figure 112018026755435-pat00124

(
Figure 112018026755435-pat00125
Is an i-th target feature vector,
Figure 112018026755435-pat00126
Is a set of feature vectors having a distance closest to the i-th target feature vector extracted for each category,
Figure 112018026755435-pat00127
Is a predetermined error)
(
Figure 112018026755435-pat00128
) Of
&Quot; (2) "
Figure 112018026755435-pat00129

(
Figure 112018026755435-pat00130
Satisfies the above-described expression (1)
Figure 112018026755435-pat00131
)
The smallest vector (
Figure 112018026755435-pat00132
) To the sparse array
Object identification method.
제3항에 있어서,
상기 카테고리를 판별하는 단계는,
[수학식 3]
Figure 112018026755435-pat00133

(
Figure 112018026755435-pat00134
는 상기 타겟 특징 벡터,
Figure 112018026755435-pat00135
는 상기 각각의 타겟 특징 벡터와 거리가 가장 가까운 특징 벡터들의 집합,
Figure 112018026755435-pat00136
는 상기 스파스 배열,
Figure 112018026755435-pat00137
는 상기 스파스 배열(
Figure 112018026755435-pat00138
)의 j번째 원소 이외의 원소를 모두 0으로 만드는 함수, j는 j번째 카테고리의 식별자)
을 만족하는 j번째 카테고리를 상기 타겟 특징 벡터(
Figure 112018026755435-pat00139
)와 연관 관계가 가장 큰 카테고리로 판별하는 단계를 포함하는
객체 판별 방법.
The method of claim 3,
Wherein the step of determining the category comprises:
&Quot; (3) "
Figure 112018026755435-pat00133

(
Figure 112018026755435-pat00134
The target feature vector,
Figure 112018026755435-pat00135
Is a set of feature vectors that are closest in distance to the respective target feature vectors,
Figure 112018026755435-pat00136
Lt; RTI ID = 0.0 >
Figure 112018026755435-pat00137
Lt; RTI ID = 0.0 >
Figure 112018026755435-pat00138
), And j is an identifier of the j-th category)
J < / RTI > category that satisfies < RTI ID = 0.0 &
Figure 112018026755435-pat00139
) And the category having the largest correlation with the category
Object identification method.
제3항에 있어서,
상기 타겟 이미지와 연관 관계가 가장 큰 카테고리를 판별하는 단계는,
상기 타겟 특징 벡터와 대응하는 상기 스파스 배열의 원소들의 값이 밀집된 정도를 나타내는 수치를 계산하는 단계; 및
상기 판별된 카테고리마다 상기 수치를 부여하고, 상기 수치의 합이 가장 높은 카테고리를 상기 타겟 이미지와 연관 관계가 가장 큰 카테고리로 판별하는 단계를 포함하는
객체 판별 방법.
The method of claim 3,
Wherein the step of determining the category having the largest correlation with the target image comprises:
Calculating a numerical value indicating the degree of densification of the values of the elements of the sparse array corresponding to the target feature vector; And
Assigning the numerical value to each of the discriminated categories, and discriminating the category having the highest sum of the numerical values as a category having the largest correlation with the target image
Object identification method.
제9항에 있어서,
상기 스파스 배열의 원소들의 값이 밀집된 정도를 나타내는 수치는,
[수학식 4]
Figure 112018026755435-pat00140

(
Figure 112018026755435-pat00141
는 i번째 타겟 특징 벡터에 대응되는 스파스 배열,
Figure 112018026755435-pat00142
는 상기 스파스 배열(
Figure 112018026755435-pat00143
)의 j번째 원소 이외의 원소를 모두 0으로 만드는 함수, j는 j번째 카테고리의 식별자, c는 상기 데이터베이스의 카테고리의 수)
에 의해 산출되는
객체 판별 방법.
10. The method of claim 9,
The numerical value indicating the degree of densification of the values of the elements of the sparse array,
&Quot; (4) "
Figure 112018026755435-pat00140

(
Figure 112018026755435-pat00141
Is a sparse array corresponding to the i-th target feature vector,
Figure 112018026755435-pat00142
Lt; RTI ID = 0.0 >
Figure 112018026755435-pat00143
), J is an identifier of the j-th category, and c is the number of categories of the database)
Calculated by
Object identification method.
복수의 이미지들을 이용하여 부분 이미지 기반의 데이터베이스를 생성하는 장치에 있어서, 명령어들을 저장하는 메모리; 및
상기 메모리와 동작 가능하게 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
상기 복수의 이미지들 중 제1 이미지를 입력 받고,
상기 제1 이미지의 기울기 또는 스케일을 기 설정된 크기로 변환하여 각각 서로 다른 기울기 또는 스케일을 갖는 복수의 변환 이미지들을 생성하고,
상기 복수의 변환 이미지들 각각으로부터 복수의 특징점들을 추출하고,상기 복수의 특징점들을 각각 포함하는 소정 크기의 복수의부분 이미지들을 생성하고, 상기 복수의 부분 이미지들 각각의 특징 벡터를 추출하고, 및
상기 제1 이미지와 대응하는 카테고리를 생성하고, 상기 추출된 상기 복수의 부분 이미지들 각각에 대한 특징 벡터를 상기 카테고리와 매핑하여 저장하되, 상기 제1 이미지를 입력받고, 상기 복수의 변환 이미지들을 생성하고, 상기 복수의 특징점들을 추출하고, 상기 특징 벡터를 각각 추출하고 상기 매핑하여 저장하는 것을 상기 복수의 이미지들 모두에 대해 반복 수행하기 위해 상기 저장된 명령어들을 실행하도록 설정되는
부분 이미지 기반의 데이터베이스 생성 장치.
An apparatus for generating a partial image-based database using a plurality of images, the apparatus comprising: a memory for storing instructions; And
And at least one processor operably coupled to the memory,
Receiving a first image of the plurality of images,
Converting a slope or a scale of the first image into a predetermined size to generate a plurality of transformed images having different slopes or scales,
Extracting a plurality of feature points from each of the plurality of transformed images, generating a plurality of partial images of a predetermined size each including the plurality of feature points, extracting a feature vector of each of the plurality of partial images, and
And generating a plurality of transformed images by generating a plurality of transformed images, generating a category corresponding to the first image, storing a feature vector for each of the plurality of extracted partial images with the category, Extracting the plurality of feature points, extracting each of the feature vectors, and mapping and storing the feature vectors to execute the stored instructions to perform repetition on all of the plurality of images
A partial image based database generation device.
데이터베이스를 사용하여 타겟 이미지 내의 객체를 판별하는 장치에 있어서,
명령어들을 저장하는 메모리; 및
상기 메모리와 동작 가능하게 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
복수의 이미지들 중 제1 이미지를 상기 타겟 이미지로서 입력받고,
상기 타겟 이미지의 기울기 또는 스케일을 기 설정된 크기로 변환하여 각각 서로 다른 기울기 또는 스케일을 갖는 복수의 변환 타겟 이미지들을 생성하고,
상기 복수의 변환 타겟 이미지들 각각으로부터 복수의 타겟 특징점들을 추출하고,
상기 복수의 타겟 특징점들을 각각 포함하는 소정 크기의 복수의 타겟 부분 이미지들을 생성하고, 상기 복수의 타겟 부분 이미지들 각각의 타겟 특징 벡터를 추출하고,
상기 추출된 상기 복수의 타겟 부분 이미지들 각각의 타겟 특징 벡터에 대하여, 상기 데이터베이스 내에 포함된 복수의 카테고리들 각각에서, 상기 복수의 카테고리들 각각에 매핑된 복수의 특징 벡터들 중 상기 각각의 타겟 특징 벡터와 거리가 가장 가까운 특징 벡터를 추출하고, -상기 복수의 카테고리들 각각은 상기 타겟 이미지의 객체를 판별하기 위해 상기 데이터베이스에 저장되어 있으며, 상기 복수의 이미지들은 상기 복수의 카테고리들 중 하나에 각각 대응됨-, 및
상기 복수의 카테고리들 각각에서 추출된 복수의 특징 벡터들을 이용하여 상기 타겟 이미지의 객체를 판별하기 위해 상기 저장된 명령어들을 실행하도록 설정되는
객체 판별 장치.
An apparatus for determining an object in a target image using a database,
A memory for storing instructions; And
And at least one processor operably coupled to the memory,
Receiving a first one of the plurality of images as the target image,
Converting a slope or a scale of the target image into a predetermined size to generate a plurality of conversion target images having different slopes or scales,
Extracting a plurality of target feature points from each of the plurality of conversion target images,
Generating a plurality of target portion images of a predetermined size each including the plurality of target feature points, extracting a target feature vector of each of the plurality of target portion images,
For each of the plurality of target images of the extracted plurality of target partial images, in each of a plurality of categories included in the database, the target feature vector of each of the plurality of feature vectors mapped to each of the plurality of categories Extracting a feature vector that is closest to the vector, and ??? each of the plurality of categories is stored in the database for determining an object of the target image, and the plurality of images are stored in one of the plurality of categories Corresponding -, and
And to execute the stored instructions to determine an object of the target image using a plurality of feature vectors extracted from each of the plurality of categories
Object discrimination device.
제2항 내지 제10항 중 어느 한 항의 방법을 프로세서가 수행하도록 하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
A program stored in a computer-readable medium for causing a processor to perform the method of any one of claims 2 to 10.
제2항 내지 제10항 중 어느 한 항의 방법을 프로세서가 수행하게 하는 명령어를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체. 11. A computer-readable medium having recorded thereon a program for causing a processor to perform the method of any one of claims 2 to 10.
KR1020170009273A 2017-01-19 2017-01-19 Method and apparatus for distinguishing object based on partial image KR101884874B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170009273A KR101884874B1 (en) 2017-01-19 2017-01-19 Method and apparatus for distinguishing object based on partial image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170009273A KR101884874B1 (en) 2017-01-19 2017-01-19 Method and apparatus for distinguishing object based on partial image

Publications (2)

Publication Number Publication Date
KR20180085565A KR20180085565A (en) 2018-07-27
KR101884874B1 true KR101884874B1 (en) 2018-08-03

Family

ID=63078471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170009273A KR101884874B1 (en) 2017-01-19 2017-01-19 Method and apparatus for distinguishing object based on partial image

Country Status (1)

Country Link
KR (1) KR101884874B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102113756B1 (en) * 2018-12-20 2020-05-21 주식회사 디알엠인사이드 System and method for identifying online comics based on region of interest

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016042346A (en) * 2014-08-18 2016-03-31 富士ゼロックス株式会社 Method, system, and program for determining social type of person

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016042346A (en) * 2014-08-18 2016-03-31 富士ゼロックス株式会社 Method, system, and program for determining social type of person

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
동일발명자논문*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102113756B1 (en) * 2018-12-20 2020-05-21 주식회사 디알엠인사이드 System and method for identifying online comics based on region of interest

Also Published As

Publication number Publication date
KR20180085565A (en) 2018-07-27

Similar Documents

Publication Publication Date Title
Elmahmudi et al. Deep face recognition using imperfect facial data
Yoon et al. Hand gesture recognition using combined features of location, angle and velocity
JP5010905B2 (en) Face recognition device
Lin et al. RSCM: Region selection and concurrency model for multi-class weather recognition
Xu et al. Data uncertainty in face recognition
RU2427911C1 (en) Method to detect faces on image using classifiers cascade
KR20170006355A (en) Method of motion vector and feature vector based fake face detection and apparatus for the same
Anand et al. An improved local binary patterns histograms techniques for face recognition for real time application
Vishwakarma et al. An efficient interpretation of hand gestures to control smart interactive television
Paul et al. Extraction of facial feature points using cumulative histogram
Yin et al. A face anti-spoofing method based on optical flow field
Haji et al. Real time face recognition system (RTFRS)
CN109145704B (en) Face portrait recognition method based on face attributes
Swamy et al. Indian sign language interpreter with android implementation
Alghamdi et al. Automated person identification framework based on fingernails and dorsal knuckle patterns
KR101884874B1 (en) Method and apparatus for distinguishing object based on partial image
Fachrurrozi et al. Real-time multi-object face recognition using content based image retrieval (CBIR)
Curran et al. The use of neural networks in real-time face detection
Bulugu et al. Higher-order local autocorrelation feature extraction methodology for hand gestures recognition
Elsayed et al. Hybrid method based on multi-feature descriptor for static sign language recognition
Suzuki et al. Illumination-invariant face identification using edge-based feature vectors in pseudo-2D Hidden Markov Models
Bingöl et al. Facial action unit intensity estimation using rotation invariant features and regression analysis
Joshi et al. CFS-InfoGain based Combined Shape-based Feature Vector for Signer Independent ISL Database
Singh et al. Off-Line signature verification using sub uniform local binary patterns and support vector machine
Mahbub et al. One-shot-learning gesture recognition using motion history based gesture silhouettes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right