KR20220144269A - Object re-recognition device based on artificial intelligence - Google Patents

Object re-recognition device based on artificial intelligence Download PDF

Info

Publication number
KR20220144269A
KR20220144269A KR1020210050750A KR20210050750A KR20220144269A KR 20220144269 A KR20220144269 A KR 20220144269A KR 1020210050750 A KR1020210050750 A KR 1020210050750A KR 20210050750 A KR20210050750 A KR 20210050750A KR 20220144269 A KR20220144269 A KR 20220144269A
Authority
KR
South Korea
Prior art keywords
images
similarity
recognition
resolution
candidate
Prior art date
Application number
KR1020210050750A
Other languages
Korean (ko)
Other versions
KR102499861B1 (en
Inventor
박윤하
김대수
김종일
서우석
Original Assignee
주식회사우경정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사우경정보기술 filed Critical 주식회사우경정보기술
Priority to KR1020210050750A priority Critical patent/KR102499861B1/en
Publication of KR20220144269A publication Critical patent/KR20220144269A/en
Application granted granted Critical
Publication of KR102499861B1 publication Critical patent/KR102499861B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 속성분석 및 초해상화(Super-Resolution) 알고리즘을 적용하여 정확도를 향상시킨 인공지능 기반 객체 재인식 장치에 관한 것으로,
본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치는,
복수개의 이미지들 중에서 특정 객체를 포함하는 이미지들을 검출하여 객체 이미지 그룹을 생성하는 객체 검출부; 상기 객체 이미지 그룹의 이미지들과 사용자가 찾고자 하는 재인식 대상 객체를 이용하여 산출된 유사도를 기반으로 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹을 생성하는 객체 재인식 모델부; 선별된 후보 객체 이미지들과 재인식 대상 객체에 대해 초해상화를 수행하여 고해상도 이미지들로 변환하는 초해상화 모델부; 및, 상기 변환된 고해상도 이미지에서 특징이 되는 주요 요소들을 검출하고, 검출된 주요 요소들을 분석하여 얻은 특징 벡터를 이용하여 유사도를 산출하고, 산출된 유사도를 기반으로 후보 객체 이미지 그룹의 이미지들에 대해 유사도 순위를 결정하는 속성분석 모델부;를 포함한다.The present invention relates to an artificial intelligence-based object re-recognition device with improved accuracy by applying a property analysis and super-resolution algorithm,
Artificial intelligence-based object re-recognition apparatus according to an embodiment of the present invention,
an object detection unit generating an object image group by detecting images including a specific object from among a plurality of images; an object re-recognition model unit for generating a candidate object image group by selecting candidate object images based on the similarity calculated using the images of the object image group and the re-recognition target object that the user wants to find; a super-resolution model unit that performs super-resolution on the selected candidate object images and the re-recognition target object and converts them into high-resolution images; and detecting major elements that are characteristic in the converted high-resolution image, calculating a similarity using a feature vector obtained by analyzing the detected main elements, and calculating a similarity for images of a candidate object image group based on the calculated similarity. It includes; an attribute analysis model unit that determines the similarity ranking.

Description

인공지능 기반 객체 재인식 장치 {Object re-recognition device based on artificial intelligence}Object re-recognition device based on artificial intelligence}

본 발명은 인공지능 기반 객체 재인식 장치에 관한 것으로, 보다 구체적으로는 속성분석 및 초해상화(Super-Resolution) 알고리즘을 적용하여 정확도를 향상시킨 인공지능 기반 객체 재인식 장치에 관한 것이다.The present invention relates to an artificial intelligence-based object recognizing apparatus, and more particularly, to an artificial intelligence-based object recognizing apparatus having improved accuracy by applying a property analysis and super-resolution algorithm.

사건, 사고 등을 탐지하고 증거를 남기기 위해 수많은 CCTV가 보급되어 있다. 설치된 CCTV에 비해 이를 관리하는 인력은 매우 적어 사건 발생 시 CCTV 영상을 사람이 직접 분석하는 것은 많은 시간이 소요된다. 이러한 문제를 해결하기 위해 최근에는 객체 검출에 인공지능을 활용하고 있다. 뿐만 아니라 검출된 객체를 식별하는 재인식 기술도 활발하게 연구되고 있다. 하지만 객체 검출 기술에 비해 재인식 기술의 성장이 매우 더딘 상태이다. 이에 재인식 기술의 경우 지속적인 연구를 통해 고도화가 필요한 상황이다.Numerous CCTVs are distributed to detect incidents and accidents and to leave evidence. Compared to the installed CCTV, there are very few manpower to manage it, so it takes a lot of time for a person to directly analyze the CCTV image when an incident occurs. In order to solve this problem, artificial intelligence has recently been used for object detection. In addition, re-recognition technology for identifying detected objects is being actively studied. However, the growth of re-recognition technology is very slow compared to object detection technology. Therefore, in the case of recognition technology, it is necessary to advance through continuous research.

기존 객체 재인식 기술 연구들은 머신러닝을 통해 얻은 특징값들을 비교하여 재인식을 수행한다. 객체의 전반적인 이미지에서 특징(벡터값)을 추출하여 유사도(거리)를 비교하는 방식을 사용한다. 찾고자 하는 객체의 요소와 일치하는 부분이 많을수록 높은 유사도를 갖게 된다. Existing object re-recognition technology studies perform re-recognition by comparing feature values obtained through machine learning. A method of comparing similarity (distance) by extracting features (vector values) from the overall image of an object is used. The more parts that match the elements of the object to be found, the higher the similarity.

특징 추출시, 크기가 큰 요소에 비해 작은 요소들의 비중이 낮아지는 문제가 생긴다. 반지, 귀걸이와 같이 중요하지만 크기가 작은 요소들은 특징 추출 시 비중이 낮아 재인식 성능이 낮아지게 된다. 즉, 특징추출시 작은 요소의 비중을 높인다면 재인식 성능을 개선할 수 있다.In feature extraction, there is a problem in that the proportion of small elements is lower than that of large elements. Important but small elements, such as rings and earrings, have a low specific gravity when extracting features, resulting in lower recognition performance. That is, the recognition performance can be improved by increasing the proportion of small elements in feature extraction.

이러한 문제점을 보완한 연구 중 하나로 OS-Net(Omni-Scale Feature Learning for Person Re-Identification. (https://arxiv.org/abs/1905.00953))이 있다. OS-Net은 다양한 크기의 요소로부터 특징을 구하여 취합하는 방법을 사용한다. OS-Net은 기존 연구보다 작은 요소의 특징 추출 비중을 높여 성능을 개선하였다. OS-Net은 보다 정확한 결과 도출을 위해 여러 결과를 구하여 사용자에게 제공한다. 사용자가 찾고자 하는 객체와 유사도가 높은 객체 n개를 사용자에게 반환하며 사용자가 n개의 객체 중 1개를 선택하는 방식을 사용한다. 이는 CCTV 환경에서 재인식시 기본적으로 검출되는 객체 크기가 작은 문제로 인해 재인식 성능이 떨어지기 때문이다. One of the studies that supplemented these problems is OS-Net (Omni-Scale Feature Learning for Person Re-Identification. (https://arxiv.org/abs/1905.00953)). OS-Net uses a method of collecting and collecting features from elements of various sizes. OS-Net improved the performance by increasing the proportion of feature extraction of small elements compared to previous studies. OS-Net obtains multiple results and provides them to users for more accurate results. n objects with high similarity to the object the user is looking for are returned to the user, and the user selects one of the n objects. This is because the re-recognition performance is lowered due to the problem that the object size detected by default is small when re-recognizing in a CCTV environment.

대부분의 재인식 기술은 저해상도 이미지를 사용시 성능이 떨어지는 문제를 갖는다. 재인식시 객체 이미지로부터 추출한 특징값을 비교하기 때문에 이미지의 크기는 성능에 많은 영향을 주게 된다. 보다 정확하게 재인식을 수행하기 위해서는 저해상도 이미지가 갖는 근본적인 문제를 해결해야 한다. Most of the recognition techniques have a problem of poor performance when using a low-resolution image. Since feature values extracted from object images are compared during re-recognition, the size of the image has a great impact on performance. In order to perform re-recognition more accurately, it is necessary to solve the fundamental problem of low-resolution images.

한국등록특허 10-2044914호Korean Patent No. 10-2044914

본 발명은 속성분석 및 초해상화(Super-Resolution) 알고리즘을 적용하여 정확도를 향상시킨 인공지능 기반 객체 재인식 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide an artificial intelligence-based object re-recognition apparatus with improved accuracy by applying a property analysis and super-resolution algorithm.

본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치는,Artificial intelligence-based object re-recognition apparatus according to an embodiment of the present invention,

복수개의 이미지들 중에서 특정 객체를 포함하는 이미지들을 검출하여 객체 이미지 그룹을 생성하는 객체 검출부; 상기 객체 이미지 그룹의 이미지들과 사용자가 찾고자 하는 재인식 대상 객체를 이용하여 산출된 유사도를 기반으로 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹을 생성하는 객체 재인식 모델부; 선별된 후보 객체 이미지들과 재인식 대상 객체에 대해 초해상화를 수행하여 고해상도 이미지들로 변환하는 초해상화 모델부; 및, 상기 변환된 고해상도 이미지에서 특징이 되는 주요 요소들을 검출하고, 검출된 주요 요소들을 분석하여 얻은 특징 벡터를 이용하여 유사도를 산출하고, 산출된 유사도를 기반으로 후보 객체 이미지 그룹의 이미지들에 대해 유사도 순위를 결정하는 속성분석 모델부;를 포함한다.an object detection unit generating an object image group by detecting images including a specific object from among a plurality of images; an object re-recognition model unit for generating a candidate object image group by selecting candidate object images based on the similarity calculated using the images of the object image group and the re-recognition target object that the user wants to find; a super-resolution model unit that performs super-resolution on the selected candidate object images and the re-recognition target object and converts them into high-resolution images; and detecting major elements that are characteristic in the converted high-resolution image, calculating a similarity using a feature vector obtained by analyzing the detected main elements, and calculating a similarity for images of a candidate object image group based on the calculated similarity. It includes; an attribute analysis model unit that determines the similarity ranking.

본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치에 있어서, 상기 객체 재인식 모델부는, 하나의 이미지를 복수개의 관심 영역으로 분류하고, 분류된 관심영역으로부터 특징벡터를 추출하는 특징 추출부와, 하나의 벡터공간에 객체 이미지들을 표상하는 제1 특징벡터들을 입력하고, 재인식 대상 객체를 표상하는 제2 특징벡터를 입력한 후, 상기 제1 특징벡터들과 상기 제2 특징벡터 사이의 거리를 계산하여 유사도를 산출하고, 산출된 유사도를 기반으로 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹을 생성하는 후보 객체 선별부를 포함한다.In the AI-based object re-recognition apparatus according to an embodiment of the present invention, the object re-recognition model unit comprises: a feature extractor that classifies one image into a plurality of ROIs and extracts a feature vector from the classified ROI; After inputting first feature vectors representing object images in the vector space of and a candidate object selector that calculates a similarity and selects candidate object images based on the calculated similarity to generate a candidate object image group.

본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치에 있어서, 상기 후보 객체 이미지 그룹은, 유사도가 높은 순으로 정렬된 특정 개수의 객체 이미지들 또는 기준치 이상의 유사도를 갖는 객체 이미지들을 포함한다.In the AI-based object re-recognition apparatus according to an embodiment of the present invention, the candidate object image group includes a specific number of object images arranged in an order of high similarity or object images having a similarity greater than or equal to a reference value.

본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치에 있어서, 상기 속성분석 모델부는, 상기 재인식 대상 객체의 이미지에 포함된 복수개의 주요 요소와 상기 후보 객체 이미지들에 포함된 복수개의 주요 요소를 검출하는 검출 모델과, 상기 검출 모델에서 검출된 상기 복수개의 주요 요소로부터 재인식 대상 객체 특징벡터와 후보 객체 특징벡터를 추출하고 이를 이용하여 유사도를 산출하는 속성분석 모델을 포함한다.In the artificial intelligence-based object re-recognition apparatus according to an embodiment of the present invention, the attribute analysis model unit detects a plurality of main elements included in the image of the re-recognition target object and a plurality of main elements included in the candidate object images and a property analysis model for extracting a re-recognition target object feature vector and a candidate object feature vector from the plurality of main elements detected in the detection model, and calculating a similarity by using the detection model.

본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치에 있어서, 상기 속성분석 모델은, 하나의 벡터공간을 생성하고, 상기 벡터공간에 상기 재인식 대상 객체 특징벡터와 상기 후보 객체 특징벡터를 입력하고, 상기 재인식 대상 객체 특징벡터와 상기 후보 객체 특징벡터 사이의 거리를 계산하여 최종 유사도를 산출할 수 있다. In the artificial intelligence-based object re-recognition apparatus according to an embodiment of the present invention, the attribute analysis model generates one vector space, inputs the re-recognition target object feature vector and the candidate object feature vector into the vector space, A final similarity may be calculated by calculating a distance between the re-recognition target object feature vector and the candidate object feature vector.

본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치에 있어서, 상기 속성분석 모델은, 최종 유사도가 높은 순으로 정렬된 특정 개수의 최종 후보 객체 이미지들 또는 기준치 이상의 최종 유사도를 갖는 최종 후보 객체 이미지들을 결정할 수 있다.In the artificial intelligence-based object re-recognition apparatus according to an embodiment of the present invention, the attribute analysis model includes a specific number of final candidate object images sorted in the order of highest final similarity or final candidate object images having a final similarity greater than or equal to a reference value. can decide

기타 본 발명의 다양한 측면에 따른 구현예들의 구체적인 사항은 이하의 상세한 설명에 포함되어 있다.Other details of implementations according to various aspects of the invention are included in the detailed description below.

본 발명의 실시 형태에 따르면, 속성분석 및 초해상화(Super-Resolution) 알고리즘을 적용하여 재인식의 정확도를 향상시킬 수 있다.According to an embodiment of the present invention, it is possible to improve the accuracy of re-recognition by applying a property analysis and a super-resolution (Super-Resolution) algorithm.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 객체 재인식 장치가 도시된 도면이다.
도 2는 객체 검출부에서 객체를 검출하는 과정을 예시하는 것으로, 객체가 사람인 경우를 예시한 도면이다.
도 3은 객체 재인식 모델부가 도시된 도면이다.
도 4는 객체 재인식 모델부의 동작 과정이 도시된 도면이다.
도 5는 초해상화 모델부가 도시된 도면이다.
도 6은 초해상화 모델부 적용 결과가 예시된 도면이다.
도 7은 속성분석 모델부가 도시된 도면이다.
도 8은 속성분석 모델부의 동작 과정이 도시된 도면이다.
도 9는 기존의 객체 재인식 방식(도 9의 (a))과 본 발명의 객체 재인식 방식(도 9의 (b))의 차이점을 대비하여 보여주는 도면이다.
도 10은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.1 is a diagram illustrating an apparatus for recognizing an object based on artificial intelligence according to an embodiment of the present invention.
2 is a diagram illustrating a process of detecting an object by an object detection unit, and illustrates a case in which the object is a person.
3 is a diagram illustrating an object re-recognition model unit.
4 is a diagram illustrating an operation process of the object re-recognition model unit.
5 is a view showing a super-resolution model unit.
6 is a diagram illustrating an application result of the super-resolution model unit.
7 is a diagram illustrating an attribute analysis model unit.
8 is a diagram illustrating an operation process of the attribute analysis model unit.
FIG. 9 is a diagram showing the difference between the existing object re-recognition method (FIG. 9 (a)) and the object re-recognition method of the present invention (FIG. 9 (b)).
10 is a diagram illustrating a computing device according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치를 설명한다. The terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present invention, terms such as 'comprise' or 'have' are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, and one or more other features It is to be understood that this does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof. Hereinafter, an apparatus for recognizing an object based on artificial intelligence according to an embodiment of the present invention will be described with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 객체 재인식 장치가 도시된 도면이다.1 is a diagram illustrating an apparatus for recognizing an object based on artificial intelligence according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공지능 기반 객체 재인식 장치는, 객체 검출부(100), 객체 재인식 모델부(200), 초해상화 모델부(300), 속성분석 모델부(400)를 포함한다. As shown in FIG. 1 , the artificial intelligence-based object re-recognition apparatus according to an embodiment of the present invention includes an object detection unit 100 , an object re-recognition model unit 200 , a super-resolution model unit 300 , and an attribute analysis model. part 400 .

객체 검출부(100)는 복수개의 이미지들 중에서 특정 객체를 포함하는 이미지들을 검출하여 객체 이미지 그룹을 생성한다.The object detection unit 100 generates an object image group by detecting images including a specific object from among a plurality of images.

객체 재인식 모델부(200)는 객체 이미지 그룹의 이미지들과 사용자가 찾고자 하는 재인식 대상 객체(M)를 이용하여 산출된 유사도를 기반으로 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹을 생성한다.The object re-recognition model unit 200 generates a candidate object image group by selecting candidate object images based on the similarity calculated using the images of the object image group and the re-recognition target object M that the user wants to find.

초해상화 모델부(300)는 선별된 후보 객체 이미지들과 재인식 대상 객체(M)에 대해 초해상화를 수행하여 고해상도 이미지들로 변환한다.The super-resolution model unit 300 converts the selected candidate object images and the re-recognition target object (M) into high-resolution images by performing super-resolution.

속성분석 모델부(400)는 변환된 고해상도 이미지들에서 복수개의 주요 요소들을 검출하고, 검출된 복수개의 주요 요소들을 분석하여 얻은 재인식 대상 객체 특징벡터와 후보 객체 특징벡터를 이용하여 유사도를 산출하고, 산출된 유사도를 기반으로 후보 객체 이미지 그룹의 이미지들에 대해 유사도 순위를 결정하여 사용자에게 제공한다.The attribute analysis model unit 400 detects a plurality of main elements from the converted high-resolution images, and calculates a similarity by using the re-recognition target object feature vector and the candidate object feature vector obtained by analyzing the detected plurality of main elements, Based on the calculated similarity, a similarity ranking is determined for the images of the candidate object image group and provided to the user.

이하, 각 부(100 ~ 400)에 대해 도 2 내지 도 8을 참조하여 설명한다. Hereinafter, each part 100 to 400 will be described with reference to FIGS. 2 to 8 .

도 2는 객체 검출부에서 객체를 검출하는 과정을 예시하는 것으로, 객체가 사람인 경우를 예시한 도면이다.2 is a diagram illustrating a process of detecting an object by an object detection unit, and illustrates a case in which the object is a person.

객체 검출부(100)는, 영상 장치, 예를 들어 복수개의 CCTV로부터 제공되는 복수개의 이미지들 중에서 찾고자 하는 특정 객체를 포함하는 복수개의 이미지들을 검출한다. The object detection unit 100 detects a plurality of images including a specific object to be found from among a plurality of images provided from an imaging device, for example, a plurality of CCTVs.

예를 들어, 도 2에 예시된 바와 같이, 특정 사람을 재인식 대상 객체(M)로 하는 경우, 객체 검출부(100)는 차량과 사람이 있는 원본 이미지(I)에서 사람만을 객체로 하여 검출(M1, M2, M3)하고, 개별 사람마다 하나의 객체 이미지를 생성한 후, 생성된 객체 이미지를 모아서 객체 이미지 그룹(G1)을 생성한다.For example, as illustrated in FIG. 2 , when a specific person is a re-recognition target object M, the object detection unit 100 detects only a person as an object in the original image I with a vehicle and a person (M1) , M2, M3), and after generating one object image for each person, the generated object images are collected to create an object image group G1.

객체 검출부(100)에 의해 생성된 객체 이미지 그룹(G1)은 객체 재인식 모델부(200)로 전달된다.The object image group G1 generated by the object detection unit 100 is transmitted to the object re-recognition model unit 200 .

도 3은 객체 재인식 모델부가 도시된 도면이고, 도 4는 객체 재인식 모델부의 동작 과정이 도시된 도면이다.3 is a diagram illustrating an object re-recognition model unit, and FIG. 4 is a diagram illustrating an operation process of the object re-recognition model unit.

도 3 및 도 4에 도시된 바와 같이, 객체 재인식 모델부(200)는 특징 추출부(210)와 후보 객체 선별부(220)를 포함한다.3 and 4 , the object re-recognition model unit 200 includes a feature extraction unit 210 and a candidate object selection unit 220 .

특징 추출부(210)는 하나의 이미지를 복수개의 관심 영역으로 분류하고, 분류된 관심영역으로부터 추출한 특징값을 특징벡터로 변환할 수 있다. 특징 추출부(210)는 객체 검출부(100)에서 생성된 객체 이미지들을 입력 받아서 특징추출 모델로 개개의 객체들의 특징값을 추출하고 특징벡터로 변환할 수 있다. 또한, 특징 추출부(210)는 사용자가 찾고자 하는 재인식 대상 객체(M)의 이미지를 입력 받아서 재인식 대상 객체(M)의 특징값을 추출하고 특징벡터로 변환할 수 있다. 여기서, 특징벡터는 분류된 관심 영역에 대하여 픽셀 단위 특징값 추출과 컨볼루셔널 기반 특징값 추출을 수행한 후 특정 크기의 차원으로 고정하는 재구성을 수행하여 특징벡터로서 표현할 수 있다.The feature extractor 210 may classify one image into a plurality of regions of interest, and convert a feature value extracted from the classified regions of interest into a feature vector. The feature extractor 210 may receive the object images generated by the object detector 100 as input, extract feature values of individual objects with a feature extraction model, and convert them into feature vectors. In addition, the feature extraction unit 210 may receive an image of the re-recognition target object (M) that the user wants to find, extract a feature value of the re-recognition target object (M), and convert it into a feature vector. Here, the feature vector can be expressed as a feature vector by performing pixel unit feature value extraction and convolutional-based feature value extraction on the classified ROI, and then performing reconstruction to fix it to a dimension of a specific size.

후보 객체 선별부(220)는 하나의 벡터공간에 객체 이미지들을 표상하는 제1 특징벡터들을 입력한다.(221) 또한, 후보 객체 선별부(220)는 동일한 벡터공간에 재인식 대상 객체(M)를 표상하는 제2 특징벡터를 입력한다.(222) 후보 객체 선별부(220)는 제1 특징벡터들과 제2 특징벡터 사이의 거리를 계산하여 유사도를 산출한다.(223) 특징벡터들 간의 거리가 작을수록 유사도가 크고, 거리가 클수록 유사도는 작아진다. The candidate object selection unit 220 inputs first feature vectors representing object images in one vector space. (221) Also, the candidate object selection unit 220 selects the re-recognition target object M in the same vector space. The represented second feature vector is input ( 222 ). The candidate object selection unit 220 calculates a distance between the first and second feature vectors to calculate similarity. ( 223 ) Distance between feature vectors The smaller the , the greater the similarity, and the larger the distance, the smaller the similarity.

후보 객체 선별부(220)는 유사도가 높은 객체 이미지들을 포함하는 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹(G2)을 생성한다. 선별된 후보 객체 이미지들은 유사도가 높은 순으로 정렬된 특정 개수의 이미지일 수 있다. 예를 들어, 유사도가 높은 순으로 정렬된 100개의 이미지일 수 있다. The candidate object selection unit 220 generates a candidate object image group G2 by selecting candidate object images including object images with high similarity. The selected candidate object images may be a specific number of images arranged in an order of high similarity. For example, it may be 100 images that are sorted in order of high similarity.

또는, 후보 객체 선별부(220)는 기준치 이상의 유사도를 갖는 객체 이미지를 후보 객체 이미지로 선별하여 후보 객체 이미지 그룹(G2)을 생성할 수 있다. 유사도의 기준치는 통계적인 방법으로 산출되어 설정될 수 있다.Alternatively, the candidate object selection unit 220 may generate the candidate object image group G2 by selecting an object image having a similarity greater than or equal to a reference value as a candidate object image. The reference value of the similarity may be calculated and set by a statistical method.

객체 검출부(100)에서 검출 생성된 객체 이미지 그룹(G1)의 이미지 개수는 수천 ~ 수백만개가 될 수 있으나, 객체 재인식 모델부(200)를 통해 신속하게 유사도가 낮은 객체 이미지들이 걸러진 후, 수십 ~ 수백개 단위로 선별됨으로써, 전체적인 장치의 연산량은 획기적으로 줄어들게 되고, 연산 속도를 비약적으로 향상시킬 수 있게 된다. The number of images of the object image group G1 detected and generated by the object detection unit 100 may be thousands to millions, but after object images with low similarity are quickly filtered through the object re-recognition model unit 200, tens to hundreds By selecting each unit, the amount of computation of the entire device is remarkably reduced, and the computation speed can be dramatically improved.

객체 재인식 모델부(200)에 의해 선별된 후보 객체 이미지 그룹(G2)과 재인식 대상 객체(M) 이미지는 초해상화 모델부(300)로 전달된다.The candidate object image group G2 and the re-recognition target object M image selected by the object re-recognition model unit 200 are transmitted to the super-resolution model unit 300 .

도 5는 초해상화 모델부가 도시된 도면이고, 도 6은 초해상화 모델부 적용 결과가 예시된 도면이다.5 is a diagram showing a super-resolution model unit, FIG. 6 is a diagram illustrating an application result of the super-resolution model unit.

초해상화 모델부(300)는 저해상도 이미지를 고해상도 이미지로 변환한다. 초해상화 모델부(300)는 딥러닝 모델을 사용하여 초해상화를 수행한다. 초해상화를 통해 속성분석 모델부(400)는 고해상도 이미지를 이용하여 정밀하게 분석을 수행할 수 있게 된다.The super-resolution model unit 300 converts a low-resolution image into a high-resolution image. The super-resolution model unit 300 performs super-resolution using a deep learning model. Through the super-resolution, the attribute analysis model unit 400 is able to precisely analyze using the high-resolution image.

후보 객체 선별부(220)에 의해 선별된 후보 객체 이미지들 및 재인식 대상 객체(M)의 이미지는 초해상화 모델부(300)의 입력 크기에 맞게 리사이징(resizing)되고, 리사이징된 이미지는 딥러닝 기반의 초해상화 모델에 입력되어 저해상도 이미지는 고해상도 이미지로 변환된다. 딥러닝 기반의 초해상화 모델은 알려진 모델이므로, 이에 대한 상세한 설명은 생략한다.The image of the candidate object images and the re-recognition target object M selected by the candidate object selection unit 220 is resized to fit the input size of the super-resolution model unit 300, and the resized image is deep learning The low-resolution image is converted into a high-resolution image by being input to the super-resolution model based on it. Since the deep learning-based super-resolution model is a known model, a detailed description thereof will be omitted.

초해상화 모델부(300)에 의해 고해상도 이미지로 변환된 후보 객체 이미지들 및 재인식 대상 객체(M) 이미지는 속성모델 분석부(400)로 전달된다.The candidate object images and the re-recognition target object (M) image converted into a high-resolution image by the super-resolution model unit 300 are transmitted to the attribute model analysis unit 400 .

도 7은 속성분석 모델부가 도시된 도면이고, 도 8은 속성분석 모델부의 동작 과정이 도시된 도면이다.7 is a diagram illustrating an attribute analysis model unit, and FIG. 8 is a diagram illustrating an operation process of the attribute analysis model unit.

속성분석 모델부(400)는 초해상화 모델부(300)에 의해 변환된 고해상도 이미지를 기반으로 속성을 탐지하고 분석하여 보다 정확하게 특징값을 구하여 유사도를 계산한다.The attribute analysis model unit 400 detects and analyzes attributes based on the high-resolution image converted by the super-resolution model unit 300 to more accurately obtain feature values and calculates similarity.

속성분석 모델부(400)는 객체 재인식에 도움이 되는 요소들만 사용해 재인식을 수행한다. 객체 재인식에 도움이 되는 요소를 주요 요소라 한다. 주요 요소는 객체 재인식에 도움이 되는, 객체에 수반될 수 있는 서브 객체로서, 의류, 신발, 시계, 장신구(목걸이, 귀걸이 등) 등이 될 수 있다. 이와 같이, 객체 이미지에서 배경 등 불필요한 부분을 최소화하여 기존 재인식보다 성능을 향상시킬 수 있게 된다.The attribute analysis model unit 400 performs re-recognition using only elements that help re-recognize the object. Factors that help object re-recognition are called main factors. The main element is a sub-object that can accompany an object, which helps to recognize the object, and may be clothing, shoes, a watch, or accessories (necklace, earring, etc.). In this way, it is possible to improve performance compared to the existing re-recognition by minimizing unnecessary parts such as the background in the object image.

구체적으로, 속성분석 모델부(400)는 변환된 고해상도 이미지들(재인식 대상 객체의 이미지와 후보 객체 이미지들)에서 복수개의 주요 요소를 검출하고, 검출된 복수개의 주요 요소로부터 재인식 대상 객체 특징벡터와 후보 객체 특징벡터를 추출하고 이를 이용하여 유사도를 산출하고, 산출된 유사도를 기반으로 초해상화된 후보 객체 이미지들에 대해 유사도 순위를 결정하고, 유사도가 높은 순으로 정렬된 특정 개수의 후보 객체 이미지 또는 기준치 이상의 유사도를 갖는 후보 객체 이미지를 사용자에게 제공한다. 이러한 속성분석 모델부(400)는 검출 모델(410)과 속성분석 모델(420)을 포함한다. Specifically, the attribute analysis model unit 400 detects a plurality of major elements in the converted high-resolution images (images of the re-recognition target object and candidate object images), and the re-recognition target object feature vector and A candidate object feature vector is extracted and similarity is calculated using it, a similarity ranking is determined for super-resolution candidate object images based on the calculated similarity, and a specific number of candidate object images are sorted in order of high similarity. Alternatively, a candidate object image having a similarity greater than or equal to a reference value is provided to the user. The attribute analysis model unit 400 includes a detection model 410 and an attribute analysis model 420 .

검출 모델(410)은 이미지 내에 포함된 객체를 검출하는 모델을 이용하여, 고해상도 이미지 내에 포함된 주요 요소를 검출한다. 즉, 검출 모델(410)은 재인식 대상 객체(M)의 이미지에 포함된 주요 요소와, 후보 객체 이미지들에 포함된 주요 요소를 검출한다. 이때, 검출 모델(410)은 고해상도 이미지에서 검출을 수행하기 때문에 주요 특징이 되는 주요 요소들을 정밀하게 검출할 수 있다. 주요 요소는 재인식 대상 객체(M)의 종류에 따라 달라질 수 있다. 예를 들어, 재인식 대상 객체(M)가 차량인 경우, 주요 요소는 차량 번호판, 타이어 종류, 차량에 부착되는 액세서리 등이 될 수 있다.The detection model 410 detects a major element included in the high-resolution image by using a model for detecting an object included in the image. That is, the detection model 410 detects a main element included in the image of the re-recognition target object M and a main element included in the candidate object images. In this case, since the detection model 410 performs detection on a high-resolution image, it is possible to precisely detect the main elements that are the main features. The main factor may vary depending on the type of the re-recognition target object (M). For example, when the re-recognition target object M is a vehicle, the main elements may be a vehicle license plate, a tire type, an accessory attached to the vehicle, and the like.

검출 모델(410)은, 예를 들어, YOLO(You Only Look Once) 모델이 될 수 있다. 물론, 이에 한정되지 않고 Faster-RCNN, MobileNet, SSD(Single Shot Multibox Detector) 등의 모델이 검출 모델이 될 수 있다.The detection model 410 may be, for example, a You Only Look Once (YOLO) model. Of course, models such as Faster-RCNN, MobileNet, and SSD (Single Shot Multibox Detector) may be the detection model without being limited thereto.

속성분석 모델(420)은 검출 모델(410)에서 검출된 주요 요소로부터 특징벡터를 추출하고 이를 이용하여 최종 유사도를 산출한다.The attribute analysis model 420 extracts a feature vector from the main elements detected by the detection model 410 and calculates a final similarity using the extracted feature vector.

속성분석 모델(420)은 검출 모델(410)에서 검출된 재인식 대상 객체(M)의 주요 요소와 후보 객체 이미지들의 주요 요소를 입력 받고, 입력 받은 모든 이미지들을 동등한 입력값으로 변환한 후, 후보 객체 이미지들 각각을 하나의 특징벡터로 추출한다. 즉, 속성분석 모델(420)은 재인식 대상 객체(M)의 주요 요소들로부터 재인식 대상 객체 특징벡터를 추출하고, 후보 객체 이미지들로부터 후보 객체 특징벡터를 추출한다.The attribute analysis model 420 receives the main elements of the re-recognition target object M detected in the detection model 410 and the main elements of the candidate object images, converts all the received images into equivalent input values, and then the candidate object Each of the images is extracted as one feature vector. That is, the attribute analysis model 420 extracts the re-recognition target object feature vector from the main elements of the re-recognition target object M, and extracts the candidate object feature vector from the candidate object images.

그 다음, 속성분석 모델(420)은 하나의 벡터공간을 생성하고, 해당 벡터공간에 재인식 대상 객체 특징벡터와 후보 객체 특징벡터들을 입력한다. 속성분석 모델(420)은 재인식 대상 객체 특징벡터와 후보 객체 특징벡터 사이의 거리를 계산하여 유사도를 비교한다. 특징벡터들 간의 거리가 작을수록 유사도가 크고, 거리가 클수록 유사도는 작아진다.Then, the attribute analysis model 420 generates one vector space, and inputs the re-recognition target object feature vector and the candidate object feature vectors into the vector space. The attribute analysis model 420 calculates a distance between the re-recognition target object feature vector and the candidate object feature vector and compares the similarity. The smaller the distance between the feature vectors, the greater the similarity, and the larger the distance, the smaller the similarity.

예를 들어, 도 8에 예시된 바와 같이, 검출 모델(410)에서 상의, 하의, 신발, 안경, 시계 등 5개의 주요 요소가 검출되면, 속성분석 모델(420)은 후보 객체 이미지에서 상의, 하의, 신발, 안경, 시계 각각에 대해 특징값을 얻고, 이들로부터 하나의 특징벡터를 추출한다. 이후, 속성분석 모델(420)은 하나의 벡터공간에 재인식 대상 객체 특징벡터와 후보 객체 특징벡터를 입력하고 특징벡터들 간의 거리를 이용하여 각각 유사도를 산출한다. 그 다음, 속성분석 모델(420)은 산출된 유사도를 이용하여 재인식 대상 객체(M)와 후보 객체들 간의 최종 유사도를 산출한다.For example, as illustrated in FIG. 8 , when five main elements such as a top, bottom, shoes, glasses, and watch are detected in the detection model 410 , the attribute analysis model 420 determines the top and bottom in the candidate object image. , shoes, glasses, and watches, respectively, are obtained feature values, and one feature vector is extracted from them. Thereafter, the attribute analysis model 420 inputs a re-recognition target object feature vector and a candidate object feature vector into one vector space, and calculates a similarity by using the distance between the feature vectors. Then, the attribute analysis model 420 calculates the final similarity between the re-recognition target object M and the candidate objects using the calculated similarity.

속성분석 모델(420)은 최종 유사도가 높은 순으로 특정 개수의 후보 객체 이미지를 사용자에게 제공할 수 있다. 예를 들어, 최종 유사도가 높은 순으로 정렬된 100개의 최종 후보 객체 이미지를 사용자에게 제공할 수 있다.The attribute analysis model 420 may provide the user with a specific number of candidate object images in the order of highest final similarity. For example, 100 final candidate object images sorted in the order of highest final similarity may be provided to the user.

또는, 속성분석 모델(420)은 기준치 이상의 최종 유사도를 갖는 최종 후보 객체 이미지를 사용자에게 제공할 수 있다. 유사도의 기준치는 통계적인 방법으로 산출되어 설정될 수 있다.Alternatively, the attribute analysis model 420 may provide a final candidate object image having a final similarity greater than or equal to a reference value to the user. The reference value of the similarity may be calculated and set by a statistical method.

도 9는 기존의 객체 재인식 방식(도 9의 (a))과 본 발명의 객체 재인식 방식(도 9의 (b))의 차이점을 대비하여 보여준다.9 shows the difference between the existing object re-recognition method (FIG. 9 (a)) and the object re-recognition method of the present invention (FIG. 9 (b)) in comparison.

도 9의 (a)를 참조하면, 기존 객체 재인식 방식은 객체 전체로부터 하나의 특징벡터를 추출하고 벡터공간 상에서의 거리를 계산하여 유사도를 산출한다. Referring to (a) of FIG. 9 , the existing object re-recognition method extracts one feature vector from the entire object and calculates a distance in a vector space to calculate similarity.

그리고, 도 9의 (b)를 참조하면, 본 발명의 객체 재인식 방식은 객체마다 객체에 포함된 주요 요소를 검출하고, 검출된 주요 요소들을 이용하여 하나의 특징벡터를 추출한 후, 벡터공간 상에서의 거리를 계산하여 유사도를 산출한다.And, referring to FIG. 9(b), the object re-recognition method of the present invention detects a main element included in an object for each object, extracts one feature vector using the detected main elements, and then By calculating the distance, the similarity is calculated.

이와 같은 본 발명의 객체 재인식 방식은 객체 이미지에서 배경과 같이 불필요한 부분은 자연스럽게 잘려 나가게 하여 불필요한 정보를 최소화함으로써, 객체에 대한 더 정확한 분석을 수행하여 분석 정확도를 향상시킬 수 있게 한다.As described above, the object re-recognition method of the present invention minimizes unnecessary information by naturally cutting out an unnecessary part such as a background from an object image, thereby improving the analysis accuracy by performing a more accurate analysis of the object.

도 10은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 10의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(인공지능 기반 객체 재인식 장치) 일 수 있다. 10 is a diagram illustrating a computing device according to an embodiment of the present invention. The computing device TN100 of FIG. 10 may be a device (artificial intelligence-based object re-recognition device) described herein.

도 10의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.In the embodiment of FIG. 10 , the computing device TN100 may include at least one processor TN110 , a transceiver device TN120 , and a memory TN130 . Also, the computing device TN100 may further include a storage device TN140 , an input interface device TN150 , an output interface device TN160 , and the like. Components included in the computing device TN100 may be connected by a bus TN170 to communicate with each other.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.The processor TN110 may execute a program command stored in at least one of the memory TN130 and the storage device TN140. The processor TN110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to an embodiment of the present invention are performed. The processor TN110 may be configured to implement procedures, functions, and methods described in connection with an embodiment of the present invention. The processor TN110 may control each component of the computing device TN100 .

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다. Each of the memory TN130 and the storage device TN140 may store various information related to the operation of the processor TN110 . Each of the memory TN130 and the storage device TN140 may be configured as at least one of a volatile storage medium and a nonvolatile storage medium. For example, the memory TN130 may include at least one of a read only memory (ROM) and a random access memory (RAM).

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다. The transceiver TN120 may transmit or receive a wired signal or a wireless signal. The transceiver TN120 may be connected to a network to perform communication.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다. On the other hand, the embodiment of the present invention is not implemented only through the apparatus and/or method described so far, and a program for realizing a function corresponding to the configuration of the embodiment of the present invention or a recording medium in which the program is recorded may be implemented. And, such an implementation can be easily implemented by those skilled in the art from the description of the above-described embodiments.

이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.Above, an embodiment of the present invention has been described, but those of ordinary skill in the art can add, change, delete or add components within the scope that does not depart from the spirit of the present invention described in the claims. The present invention may be variously modified and changed by such as, and it will be said that it is also included within the scope of the present invention.

100 : 객체 검출부 200 : 객체 재인식 모델부
300 : 초해상화 모델부 400 : 속성분석 모델부
410 : 검출 모델 420 : 속성분석 모델
G1 : 객체 이미지 그룹 G2 : 후보 객체 이미지 그룹100: object detection unit 200: object re-recognition model unit
300: super-resolution model unit 400: attribute analysis model unit
410: detection model 420: attribute analysis model
G1 : object image group G2 : candidate object image group

Claims (6)

복수개의 이미지들 중에서 특정 객체를 포함하는 이미지들을 검출하여 객체 이미지 그룹을 생성하는 객체 검출부;
상기 객체 이미지 그룹의 이미지들과 사용자가 찾고자 하는 재인식 대상 객체를 이용하여 산출된 유사도를 기반으로 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹을 생성하는 객체 재인식 모델부;
선별된 후보 객체 이미지들과 재인식 대상 객체에 대해 초해상화를 수행하여 고해상도 이미지들로 변환하는 초해상화 모델부; 및,
상기 변환된 고해상도 이미지에서 특징이 되는 주요 요소들을 검출하고, 검출된 주요 요소들을 분석하여 얻은 특징 벡터를 이용하여 유사도를 산출하고, 산출된 유사도를 기반으로 후보 객체 이미지 그룹의 이미지들에 대해 유사도 순위를 결정하는 속성분석 모델부;
를 포함하는 인공지능 기반 객체 재인식 장치.
an object detection unit generating an object image group by detecting images including a specific object from among a plurality of images;
an object re-recognition model unit for generating a candidate object image group by selecting candidate object images based on the similarity calculated using the images of the object image group and the re-recognition target object that the user wants to find;
a super-resolution model unit that performs super-resolution on the selected candidate object images and the re-recognition target object and converts them into high-resolution images; and,
Detects major elements that become features in the converted high-resolution image, calculates a similarity using a feature vector obtained by analyzing the detected major elements, and ranks similarity for images of a candidate object image group based on the calculated similarity Attribute analysis model unit to determine;
Artificial intelligence-based object re-recognition device comprising a.
 청구항 1에 있어서, 상기 객체 재인식 모델부는,
하나의 이미지를 복수개의 관심 영역으로 분류하고, 분류된 관심영역으로부터 추출한 특징값을 특징벡터로 변환하는 특징 추출부와,
하나의 벡터공간에 객체 이미지들을 표상하는 제1 특징벡터들을 입력하고, 재인식 대상 객체를 표상하는 제2 특징벡터를 입력한 후, 상기 제1 특징벡터들과 상기 제2 특징벡터 사이의 거리를 계산하여 유사도를 산출하고, 산출된 유사도를 기반으로 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹을 생성하는 후보 객체 선별부
를 포함하는 인공지능 기반 객체 재인식 장치.
The method according to claim 1, The object re-recognition model unit,
a feature extraction unit that classifies one image into a plurality of regions of interest and converts a feature value extracted from the classified region of interest into a feature vector;
After inputting first feature vectors representing object images into one vector space and inputting a second feature vector representing the re-recognition target object, a distance between the first feature vectors and the second feature vector is calculated. a candidate object selection unit that calculates the similarity by doing so, and generates a candidate object image group by selecting candidate object images based on the calculated similarity.
Artificial intelligence-based object re-recognition device comprising a.
 청구항 2에 있어서, 상기 후보 객체 이미지 그룹은,
유사도가 높은 순으로 정렬된 특정 개수의 객체 이미지들 또는 기준치 이상의 유사도를 갖는 객체 이미지들을 포함하는 인공지능 기반 객체 재인식 장치.
The method according to claim 2, The candidate object image group,
An artificial intelligence-based object re-recognition apparatus including a specific number of object images arranged in an order of high similarity or object images having a similarity greater than or equal to a reference value.
 청구항 1에 있어서, 상기 속성분석 모델부는,
상기 재인식 대상 객체의 이미지에 포함된 복수개의 주요 요소와 상기 후보 객체 이미지들에 포함된 복수개의 주요 요소를 검출하는 검출 모델과,
상기 검출 모델에서 검출된 상기 복수개의 주요 요소로부터 재인식 대상 객체 특징벡터와 후보 객체 특징벡터를 추출하고 이를 이용하여 유사도를 산출하는 속성분석 모델
을 포함하는 인공지능 기반 객체 재인식 장치.
The method according to claim 1, The attribute analysis model unit,
a detection model for detecting a plurality of main elements included in the image of the re-recognition target object and a plurality of main elements included in the candidate object images;
A property analysis model that extracts a re-recognition target object feature vector and a candidate object feature vector from the plurality of main elements detected in the detection model, and calculates the similarity by using them
Artificial intelligence-based object re-recognition device comprising a.
 청구항 4에 있어서, 상기 속성분석 모델은,
하나의 벡터공간을 생성하고, 상기 벡터공간에 상기 재인식 대상 객체 특징벡터와 상기 후보 객체 특징벡터를 입력하고, 상기 재인식 대상 객체 특징벡터와 상기 후보 객체 특징벡터 사이의 거리를 계산하여 최종 유사도를 산출하는, 인공지능 기반 객체 재인식 장치.
The method according to claim 4, The attribute analysis model,
A single vector space is generated, the re-recognition target object feature vector and the candidate object feature vector are input into the vector space, and a final similarity is calculated by calculating the distance between the re-recognition target object feature vector and the candidate object feature vector. AI-based object re-recognition device.
 청구항 5에 있어서, 상기 속성분석 모델은,
최종 유사도가 높은 순으로 정렬된 특정 개수의 최종 후보 객체 이미지들 또는 기준치 이상의 최종 유사도를 갖는 최종 후보 객체 이미지들을 결정하는, 인공지능 기반 객체 재인식 장치.The method according to claim 5, The attribute analysis model,
An artificial intelligence-based object re-recognition apparatus for determining a specific number of final candidate object images sorted in order of highest final similarity or final candidate object images having a final similarity greater than or equal to a reference value.
KR1020210050750A 2021-04-19 2021-04-19 Object re-recognition device based on artificial intelligence KR102499861B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210050750A KR102499861B1 (en) 2021-04-19 2021-04-19 Object re-recognition device based on artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210050750A KR102499861B1 (en) 2021-04-19 2021-04-19 Object re-recognition device based on artificial intelligence

Publications (2)

Publication Number Publication Date
KR20220144269A true KR20220144269A (en) 2022-10-26
KR102499861B1 KR102499861B1 (en) 2023-02-15

Family

ID=83785675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210050750A KR102499861B1 (en) 2021-04-19 2021-04-19 Object re-recognition device based on artificial intelligence

Country Status (1)

Country Link
KR (1) KR102499861B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102587427B1 (en) 2022-12-19 2023-10-12 (주)웨이버스 Moving object location generation and movement trajectory generation system
KR102665208B1 (en) * 2023-05-09 2024-05-13 한국건설기술연구원 Object labeling system and object lebaling method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190014908A (en) * 2017-08-04 2019-02-13 삼성전자주식회사 Method and apparatus of detecting objects of interest
KR102044914B1 (en) 2018-01-02 2019-11-14 중앙대학교 산학협력단 System and Method for Reidentificating Object in Image Processing
JP2020027504A (en) * 2018-08-14 2020-02-20 日本電信電話株式会社 Object recognition apparatus, object recognition learning apparatus, method, and program
KR102144975B1 (en) * 2019-11-08 2020-08-14 주식회사 알체라 Machine learning system and method for operating machine learning system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190014908A (en) * 2017-08-04 2019-02-13 삼성전자주식회사 Method and apparatus of detecting objects of interest
KR102044914B1 (en) 2018-01-02 2019-11-14 중앙대학교 산학협력단 System and Method for Reidentificating Object in Image Processing
JP2020027504A (en) * 2018-08-14 2020-02-20 日本電信電話株式会社 Object recognition apparatus, object recognition learning apparatus, method, and program
KR102144975B1 (en) * 2019-11-08 2020-08-14 주식회사 알체라 Machine learning system and method for operating machine learning system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102587427B1 (en) 2022-12-19 2023-10-12 (주)웨이버스 Moving object location generation and movement trajectory generation system
KR102665208B1 (en) * 2023-05-09 2024-05-13 한국건설기술연구원 Object labeling system and object lebaling method

Also Published As

Publication number Publication date
KR102499861B1 (en) 2023-02-15

Similar Documents

Publication Publication Date Title
US20220067335A1 (en) Method for dim and small object detection based on discriminant feature of video satellite data
JP5202148B2 (en) Image processing apparatus, image processing method, and computer program
CN105574063B (en) Image retrieval method based on visual saliency
Mai et al. Comparing salient object detection results without ground truth
KR102070956B1 (en) Apparatus and method for processing image
CN113112498B (en) Grape leaf spot identification method based on fine-grained countermeasure generation network
CN105718866A (en) Visual target detection and identification method
CN110689044A (en) Target detection method and system combining relationship between targets
KR20130058286A (en) Pedestrian detection method of pedestrian detection device
KR102499861B1 (en) Object re-recognition device based on artificial intelligence
CN109993187A (en) Modeling method, robot and storage device for identifying object types
CN109583452B (en) Human identity identification method and system based on barefoot footprints
WO2015146113A1 (en) Identification dictionary learning system, identification dictionary learning method, and recording medium
CN103530646B (en) The complex object cascaded using grader is detected
Jubair et al. Scale invariant feature transform based method for objects matching
Jayanthiladevi et al. Text, images, and video analytics for fog computing
JP2017084006A (en) Image processor and method thereof
KR101672814B1 (en) Method for recognizing gender using random forest
CN107679467B (en) Pedestrian re-identification algorithm implementation method based on HSV and SDALF
KR102264988B1 (en) Traditional Korean character Hanja Recognition System and method using thereof
Bardeh et al. New approach for human detection in images using histograms of oriented gradients
KR20190107480A (en) Aparatus and method for face recognition
KR100449486B1 (en) Document recognition system and method using vertical line adjacency graphs
KR102538804B1 (en) Device and method for landmark detection using artificial intelligence
JP2016081472A (en) Image processing device, and image processing method and program

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210419

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220715

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230127

PG1601 Publication of registration