KR102225022B1 - 사람 재식별 장치 및 방법 - Google Patents
사람 재식별 장치 및 방법 Download PDFInfo
- Publication number
- KR102225022B1 KR102225022B1 KR1020190104887A KR20190104887A KR102225022B1 KR 102225022 B1 KR102225022 B1 KR 102225022B1 KR 1020190104887 A KR1020190104887 A KR 1020190104887A KR 20190104887 A KR20190104887 A KR 20190104887A KR 102225022 B1 KR102225022 B1 KR 102225022B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- identity
- feature vector
- shuffle
- person
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000013598 vector Substances 0.000 claims abstract description 204
- 238000000605 extraction Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 239000002131 composite material Substances 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 claims description 7
- 230000002596 correlated effect Effects 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims 2
- 238000010168 coupling process Methods 0.000 claims 2
- 238000005859 coupling reaction Methods 0.000 claims 2
- 238000013475 authorization Methods 0.000 abstract description 2
- 230000036544 posture Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G06K9/00362—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G06K9/481—
-
- G06K9/6201—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 포함된 사람이 재식별되어야 하는 다수의 이미지를 인가받고, 미리 학습된 패턴 추정 방식에 따라 각 이미지에 포함된 사람의 정체성에 관련되는 특징을 추출하여, 각 이미지에 대한 정체성 연관 특징 벡터를 획득하는 정체성 특징 추출부 및 상기 다수의 이미지 중 탐색 대상이 포함된 원본 이미지에서 획득된 정체성 연관 특징 벡터와 다른 이미지에서 획득된 정체성 연관 특징 벡터 사이의 유사도를 분석하여, 다른 이미지에 탐색 대상인 사람이 포함되어 있는지를 판별하는 재식별 판별부를 포함하는 사람 재식별 장치 및 방법을 제공할 수 있다.
Description
본 발명은 사람 재식별 장치 및 방법에 관한 것으로, 정체성 도치를 통한 딥러닝 기반 사람 재식별 장치 및 방법에 관한 것이다.
기존에 사람 식별 기법은 얼굴과 같이 개개인의 식별이 용이한 특징이 포함된 이미지를 기반으로만 수행 가능하였다. 따라서 자세의 변화, 배경의 변화, 조명의 변화, 촬영 거리 및 각도 변화와 같이 서로 다른 다양한 환경에서 촬영된 이미지에 대해서는 동일한 사람일지라도 재식별이 어렵다는 한계가 있었다.
이에 최근에는 서로 다른 환경에서 촬영된 동일한 사람을 탐색할 수 있는 사람 재식별(Person Re-identification: reID 라고 함) 기술에 대한 연구가 활발하게 이루어지고 있다. 사람 재식별 기술은 실종자 탐색 또는 범죄자 탐색과 같이 여러 이미지에서 특정인을 탐색 및 추적하는 여러 분야에 이용될 수 있다.
이러한 사람 재식별 기술은 이미지로부터 주로 인공 신경망을 이용하여 개인을 식별하기 위해 사람의 특정 부분이 아닌 정체성을 나타내는 특징을 추출하고, 추출된 특징을 기반으로 동일한 사람을 식별할 수 있도록 한다. 즉 사람의 얼굴 형태나 특정한 자세, 배경, 촬영 각도, 조명 등에 한정되지 않고 개개인 각각의 정체성을 나타내는 특징을 추출하여 사람을 재식별함으로써, 서로 다른 다수의 이미지에서 동일한 사람을 검출할 수 있다.
그러나 사람 재식별 기술에 사람의 정체성을 나타내는 특징을 추출하도록 학습된 인공 신경망을 이용할지라도 매우 다양한 환경 조건에서 강인하게 특정 사람을 정확하게 탐지하기는 어려울 뿐만 아니라 학습을 위해서는 다양한 자세 정보와 배경 정보 등을 제공해야 하는 어려움이 있다.
본 발명의 목적은 다양한 환경 조건에서 강인하게 특정 사람을 정확하게 탐지할 수 있는 사람 재식별 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 자세나 배경과 같은 다양한 레이블을 제공하지 않고, 단지 이미지에 포함된 사람에 대한 식별자만 레이블된 학습 데이터로 용이하게 학습되어 정확하게 사람을 식별할 수 있는 사람 재식별 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 사람 재식별 장치는 포함된 사람이 재식별되어야 하는 다수의 이미지를 인가받고, 미리 학습된 패턴 추정 방식에 따라 각 이미지에 포함된 사람의 정체성에 관련되는 특징을 추출하여, 각 이미지에 대한 정체성 연관 특징 벡터를 획득하는 정체성 특징 추출부; 및 상기 다수의 이미지 중 탐색 대상이 포함된 원본 이미지에서 획득된 정체성 연관 특징 벡터와 다른 이미지에서 획득된 정체성 연관 특징 벡터 사이의 유사도를 분석하여, 다른 이미지에 탐색 대상인 사람이 포함되어 있는지를 판별하는 재식별 판별부를 포함한다.
상기 정체성 특징 추출부는 학습 시에 이미지에 포함된 사람의 식별자가 레이블된 다수의 학습 이미지에서 획득된 정체성 연관 특징 벡터와 각 이미지에 포함된 사람의 정체성에 무관한 특징을 추출하여 획득되는 다수의 정체성 비연관 특징 벡터를 결합 및 도치 결합하고 합성하여 생성되는 셔플 이미지와 학습 이미지 사이의 차이를 판별하여 획득되는 손실을 역전파하여 학습이 수행될 수 있다.
상기 정체성 특징 추출부는 상기 정체성 특징 추출부를 학습시키기 위한 학습 시스템에서 학습이 수행될 수 있다.
상기 학습 시스템은 동일한 사람의 식별자가 레이블된 다수의 학습 이미지를 인가받고, 학습 이미지에 포함된 사람의 정체성에 무관한 특징을 추출하여 정체성 비연관 특징 벡터를 획득하는 비정체성 특징 추출부; 상기 다수의 학습 이미지 각각 획득된 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터 중 동일한 학습 이미지에서 획득된 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 결합할 뿐만 아니라 서로 다른 학습 이미지에서 획득된 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 서로 도치하여 결합하여 결합 특징 벡터를 생성하는 특징 도치 결합부; 상기 결합 특징 벡터를 인가받아 합성하여 상기 셔플 이미지를 생성하는 이미지 합성부; 상기 셔플 이미지가 합성 이미지인지 여부를 판별하는 도메인 식별부; 및 상기 정체성 특징 추출부, 상기 비정체성 특징 추출부 및 상기 이미지 합성부에서 발생된 손실을 상기 셔플 이미지와 학습 이미지 사이의 차이로 계산하여 역전파하는 오차 역전파부를 포함할 수 있다.
상기 특징 도치 결합부는 서로 다른 학습 이미지에서 획득된 정체성 연관 특징 벡터 각각을 기지정된 영역 단위로 분할하고, 분할된 다수의 분할 연관 특징 벡터들을 서로 섞어 부분 셔플 연관 특징 벡터를 생성하며, 상기 부분 셔플 연관 특징 벡터와 상기 정체성 비연관 특징 벡터를 결합하여 부분 셔플 결합 특징 벡터를 더 생성할 수 있다.
상기 이미지 합성부는 상기 부분 셔플 결합 특징 벡터를 합성하여 부분 셔플 이미지를 생성할 수 있다.
상기 특징 도치 결합부는 다수의 정체성 연관 특징 벡터 각각에서 분할된 다수의 분할 연관 특징 벡터들 중 서로 대응하는 위치의 분할 연관 특징 벡터들을 기지정된 순서 또는 랜덤하게 선택 및 교환하여 상기 부분 셔플 연관 특징 벡터를 획득할 수 있다.
상기 오차 역전파부는 상기 정체성 비연관 특징 벡터가 추출된 학습 이미지와 상기 셔플 이미지 또는 상기 부분 셔플 이미지 사이의 차를 상기 손실로 계산할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 사람 재식별 방법은 이미지에 포함된 사람의 식별자가 레이블된 다수의 학습 이미지에서 획득된 정체성 연관 특징 벡터와 각 이미지에 포함된 사람의 정체성에 무관한 특징을 추출하여 획득되는 다수의 정체성 비연관 특징 벡터를 결합 및 도치 결합하고 합성하여 생성되는 셔플 이미지와 학습 이미지 사이의 차이를 판별하여 획득되는 손실을 역전파하는 학습 단계; 및 포함된 사람이 재식별되어야 하는 다수의 이미지를 인가받아 상기 다수의 이미지에서 동일한 사람이 포함되어 있는지 판별하는 사람 재식별 단계를 포함한다.
상기 사람 재식별 단계는 상기 다수의 이미지를 인가받고, 학습 단계에서 학습된 패턴 추정 방식에 따라 각 이미지에 포함된 사람의 정체성에 관련되는 특징을 추출하여, 각 이미지에 대한 정체성 연관 특징 벡터를 획득하는 단계; 및 상기 다수의 이미지 중 탐색 대상이 포함된 원본 이미지에서 획득된 정체성 연관 특징 벡터와 다른 이미지에서 획득된 정체성 연관 특징 벡터 사이의 유사도를 분석하여, 다른 이미지에 탐색 대상인 사람이 포함되어 있는지를 판별하는 단계를 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 사람 재식별 장치 및 방법은 이미지에 포함되는 사람의 정체성을 나타내는 정체성 연관 특징 및 정체성을 제외한 특징을 나타내는 정체성 비연관 특징을 혼합하여 셔플 이미지를 생성하고, 셔플 이미지를 기반으로 사람을 식별하도록 학습됨으로써, 다양한 환경 조건에서 강인하게 특정 사람을 정확하게 탐지할 수 있다. 또한 단순히 이미지에 포함된 사람에 대한 식별자만 레이블된 학습 이미지를 이용하여 학습이 수행되므로, 배경이나 자세 등의 부가 정보를 레이블하지 않아도 되어 용이하게 학습이 수행될 수 있다.
도 1은 본 발명의 일 실시예에 따른 사람 재식별 장치를 학습시키기 위한 학습 시스템의 개략적 구조를 나타낸다.
도 2는 도 1의 학습 시스템에서 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 추출하는 동작을 설명하기 위한 도면이다.
도 3 내지 도 6은 도 1의 학습 시스템에서 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 이용하여 합성 이미지를 생성하여 사람 재식별하는 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 사람 재식별 장치의 개략적 구조를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 사람 재식별 방법을 나타낸다.
도 9는 본 실시예에 따른 사람 재식별 장치 및 방법에 따라 사람 재식별한 결과를 나타낸다.
도 2는 도 1의 학습 시스템에서 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 추출하는 동작을 설명하기 위한 도면이다.
도 3 내지 도 6은 도 1의 학습 시스템에서 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 이용하여 합성 이미지를 생성하여 사람 재식별하는 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 사람 재식별 장치의 개략적 구조를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 사람 재식별 방법을 나타낸다.
도 9는 본 실시예에 따른 사람 재식별 장치 및 방법에 따라 사람 재식별한 결과를 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 사람 재식별 장치를 학습시키기 위한 학습 시스템의 개략적 구조를 나타내고, 도 2는 도 1의 학습 시스템에서 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 추출하는 동작을 설명하기 위한 도면이며, 도 3 내지 도 6은 도 1의 학습 시스템에서 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 이용하여 합성 이미지를 생성하여 사람 재식별하는 동작을 설명하기 위한 도면이다.
도 1을 참조하면, 본 실시예에 따른 사람 재식별 장치를 학습시키기 위한 학습 시스템은 이미지 획득부(110), 특징 벡터 추출부(120), 셔플 이미지 생성부(130), 식별부(140) 및 오차 역전파부(150)를 포함한다.
이미지 획득부(110)는 동일한 사람이 포함되어 있는 다수의 학습 이미지를 획득한다. 이미지 획득부(110)는 다수의 이미지가 저장된 데이터베이스(미도시)나 카메라 등의 이미지 획득 장치로부터 학습 이미지를 획득하거나, 외부의 장치와 네트워크를 통해 학습 이미지를 인가받아 획득할 수도 있다.
이미지 획득부(110)는 제1 이미지 획득부(111)와 제2 이미지 획득부(112)를 포함할 수 있다. 제1 이미지 획득부(111)와 제2 이미지 획득부(112)는 동일 사람에 대한 서로 다른 학습 이미지를 획득하며, 제1 이미지 획득부(111)가 획득하는 학습 이미지를 이하에서는 앵커 이미지(anchor image)(Ia)라 하고, 제2 이미지 획득부(112)는 앵커 이미지(Ia)에 포함된 탐색 대상인 사람과 동일한 사람이 포함된 학습 이미지인 적어도 하나의 포지티브 이미지(Ip)를 획득한다.
특징 벡터 추출부(120)는 이미지 획득부(110)에서 획득된 앵커 이미지(Ia)와 포지티브 이미지(Ip)를 인가받고, 인가된 앵커 이미지(Ia)와 포지티브 이미지(Ip) 각각에서 사람의 정체성에 관련된 특징을 나타내는 정체성 연관 특징 벡터(identity-related features vector)(φR(Ia), φR(Ip))와 사람의 정체성에 관련되지 않은 특징을 나타내는 정체성 비연관 특징 벡터(identity-unrelated features vector)(φU(Ia), φU(Ip))를 추출한다.
특징 벡터 추출부(120)는 정체성 특징 추출부(121)와 비정체성 특징 추출부(122)를 포함할 수 있다. 정체성 특징 추출부(121)와 비정체성 특징 추출부(122) 각각은 패턴 추정 방식이 학습되는 인공 신경망으로 구현될 수 있다. 정체성 특징 추출부(121)와 비정체성 특징 추출부(122)는 도 2에 도시된 바와 같이, 각각 앵커 이미지(Ia)와 포지티브 이미지(Ip)를 인가받고, 학습되는 패턴 추정 방식에 따라 앵커 이미지(Ia)와 포지티브 이미지(Ip) 각각의 특징을 추출한다.
다만 정체성 특징 추출부(121)와 비정체성 특징 추출부(122)는 서로 다른 패턴을 추정하도록 학습되어 앵커 이미지(Ia)와 포지티브 이미지(Ip) 각각에서 서로 다른 특징을 추출한다. 정체성 특징 추출부(121)는 도 2의 (a)에 도시된 바와 같이, 앵커 이미지(Ia)와 포지티브 이미지(Ip) 각각에 포함된 사람의 정체성과 관련된 특징을 추출하여, 정체성 연관 특징 벡터(φR(Ia), φR(Ip))를 획득한다. 여기서 정체성 특징 추출부(121)가 추출하는 사람의 정체성과 관련된 특징에는 일예로 얼굴 모양, 헤어스타일, 복장 및 성별을 나타내는 특징일 수 있다.
그에 반해, 비정체성 특징 추출부(122)는 도 2의 (b)에 도시된 바와 같이, 앵커 이미지(Ia)와 포지티브 이미지(Ip) 각각에서 사람의 정체성에 무관한 특징을 추출하여, 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 획득한다. 비정체성 특징 추출부(122)가 추출하는 사람의 정체성과 관련이 없는 특징에는 스케일이나 자세, 배경 등을 나타내는 특징일 수 있다.
여기서 앵커 이미지(Ia)에서 추출된 정체성 연관 특징 벡터(φR(Ia))와 정체성 비연관 특징 벡터(φU(Ia))는 앵커 이미지(Ia)의 모든 특징을 포함하며, 포지티브 이미지(Ip)에서 추출된 정체성 연관 특징 벡터(φR(Ip))와 정체성 비연관 특징 벡터(φU(Ip))는 포지티브 이미지(Ip)의 모든 특징을 포함하도록 학습된다.
특징 벡터 추출부(120)가 정체성 특징 추출부(121)와 비정체성 특징 추출부(122)를 구비하여, 정체성 연관 특징 벡터(φR(Ia), φR(Ip))뿐만 아니라 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 획득하는 것은 사람 재식별을 위해 강인한 특징 표현을 학습할 수 있도록 생성적 적대 신경망(Generative Adversarial Networks: GAN)을 이용하기 위해서이다.
생성적 적대 신경망(GAN)은 두개의 신경망 모델이 실제와 유사한 가상의 합성 이미지를 생성하고, 생성된 합성 이미지가 실제 이미지인지 합성 이미지인지 판별하는 경쟁 방식으로 학습을 반복적으로 수행함으로써, 더욱 정교한 합성 이미지를 생성함과 동시에 실제 이미지를 식별할 수 있는 능력을 향상시키는 기법이다.
본 실시예의 학습 시스템은 실제 이미지와 합성 이미지를 식별하기 위해 이용되는 생성적 적대 신경망(GAN)을 기반으로, 정체성 특징 추출부(121)가 인가된 이미지에서 정체성 연관 특징 벡터(φR(Ia), φR(Ip))를 추출할 수 있도록 학습시켜, 사람 재식별 장치가 서로 다른 이미지에 포함된 사람이 동일인인지 정확하게 식별할 수 있도록 한다.
셔플 이미지 생성부(130)는 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 인가받아 결합하여 합성 이미지인 셔플 이미지를 생성한다. 특히 본 실시예에서 셔플 이미지 생성부(130)는 배경이나 자세와 같은 환경 조건에 무관하게 정확하게 사람을 재식별할 수 있는 학습이 수행될 수 있도록, 앵커 이미지(Ia)와 포지티브 이미지(Ip) 각각에서 추출된 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 다양하게 조합하여 셔플 이미지를 생성한다.
이때 셔플 이미지 생성부(130)는 앵커 이미지(Ia)의 정체성 연관 특징 벡터(φR(Ia))와 정체성 비연관 특징 벡터(φU(Ia))를 조합하고, 포지티브 이미지(Ip)의 정체성 연관 특징 벡터(φR(Ip))와 정체성 비연관 특징 벡터(φU(Ip))를 조합하여 셔플 이미지를 생성할 수 있다. 뿐만 아니라, 앵커 이미지(Ia)와 포지티브 이미지(Ip)의 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 서로 도치(inversion)하여 셔플 이미지를 생성할 수 있다.
셔플 이미지 생성부(130)는 특징 벡터 추출부(120)에서 인가된 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 인가받아 결합(concatenate)하는 특징 결합부(131)와 이미지 합성부(132)는 특징 결합부(131)에서 결합된 특징 벡터를 인가받아 합성하여 셔플 이미지를 생성하는 이미지 합성부(132)를 포함할 수 있다.
특징 결합부(131)는 우선 동일 이미지(Ia, Ip)에서 추출된 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 결합하여 결합 특징 벡터를 생성한다. 즉 도 3에 도시된 바와 같이, 앵커 이미지(Ia)에서 추출된 정체성 연관 특징 벡터(φR(Ia))와 정체성 비연관 특징 벡터(φU(Ia))를 인가받아 결합하여 합성 이미지를 생성하고, 포지티브 이미지(Ip)에서 추출된 정체성 연관 특징 벡터(φR(Ip))와 정체성 비연관 특징 벡터(φU(Ip))를 인가받아 결합하여 결합 특징 벡터를 생성한다.
또한 본 실시예에서 특징 결합부(131)는 도 4에 도시된 바와 같이, 앵커 이미지(Ia)에서 추출된 정체성 연관 특징 벡터(φR(Ia))와 포지티브 이미지(Ip)에서 추출한 정체성 비연관 특징 벡터(φU(Ip))를 결합하여 결합 특징 벡터를 생성할 수 있다. 또한 특징 결합부(131)는 앵커 이미지(Ia)에서 추출한 정체성 비연관 특징 벡터(φU(Ia))와 포지티브 이미지(Ip)에서 추출한 정체성 연관 특징 벡터(φR(Ip))를 결합하여, 결합 특징 벡터를 생성할 수 있다.
즉 앵커 이미지(Ia)와 포지티브 이미지(Ip) 각각에서 추출된 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 서로 도치하여 결합할 수 있다.
도 3 및 도 4에서 
는 두개의 특징 벡터를 결합(concatenate)하는 결합 연산자를 나타낸다.
뿐만 아니라, 특징 결합부(131)는 도 5에 도시된 바와 같이, 앵커 이미지(Ia)와 포지티브 이미지(Ip) 각각에서 추출된 정체성 연관 특징 벡터(φR(Ia), φR(Ip))를 기지정된 크기 단위로 분할하고, 분할된 다수의 분할 연관 특징 벡터(φk R(Ia), φk R(Ip))들을 서로 섞어서 부분 셔플 연관 특징 벡터(S(φk R(Ia), φk R(Ip)))를 생성할 수 있다. 이때 특징 결합부(131)는 일예로 분할된 다수의 연관 특징 벡터(φk R(Ia), φk R(Ip))들 중 서로 대응하는 연관 특징 벡터들을 기지정된 방식 또는 랜덤하게 교환하여 부분 셔플 연관 특징 벡터(S(φR(Ia), φR(Ip)))를 생성할 수 있다.
그리고 생성된 부분 셔플 연관 특징 벡터(S(φR(Ia), φR(Ip)))를 앵커 이미지(Ia)에서 추출된 정체성 비연관 특징 벡터(φU(Ia)) 또는 포지티브 이미지(Ip)에서 추출된 정체성 비연관 특징 벡터(φU(Ia))와 결합하여 부분 셔플 결합 특징 벡터를 생성할 수 있다.
이미지 합성부(132)는 특징 결합부(131)에서 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))가 여러 조합으로 결합된 결합 특징 벡터를 인가받아 합성하여 합성 이미지인 셔플 이미지(G(φR(Ia)
φU(Ia)), G(φR(Ip)
φU(Ip)), G(φR(Ip)
φU(Ia)), G(φR(Ia)
φU(Ip)))를 생성한다.
여기서 이미지 합성부(132)는 학습이 수행되는 인공 신경망으로 구현되어, 학습되는 방식에 따라 결합 특징 벡터로부터 셔플 이미지를 생성할 수 있다.
또한 이미지 합성부(132)는 부분 셔플 결합 특징 벡터를 인가받아 합성하여, 부분 셔플 이미지(G(S(φR(Ia), φR(Ip))
φU(Ia)), G(S(φR(Ia), φR(Ip))
φU(Ip)))를 생성할 수 있다.
본 실시예에서 셔플 이미지 생성부(130)가 앵커 이미지(Ia)에서 추출된 정체성 연관 특징 벡터(φR(Ia))와 정체성 비연관 특징 벡터(φU(Ia))를 합성하고, 포지티브 이미지(Ip)에서 추출된 정체성 연관 특징 벡터(φR(Ip))와 정체성 비연관 특징 벡터(φU(Ip))를 합성하여, 셔플 이미지(G(φR(Ia)
φU(Ia)), G(φR(Ip)
φU(Ip)))를 생성하는 것은 동일한 이미지에서 추출되는 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))가 이미지의 정체성 연관 특징과 정체성 비연관 특징을 모두 추출할 수 있도록 학습시키기 위함이다.
그리고 본 실시예에서 셔플 이미지 생성부(130)가 앵커 이미지(Ia)와 포지티브 이미지(Ip) 각각에서 추출된 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 서로 도치하여 합성하여 셔플 이미지(G(φR(Ip) 
φU(Ia)), G(φR(Ia) 
φU(Ip)))를 생성하는 것은 폐색(occlusion)이나 큰 자세 변화 등에도 매우 강인한 사람 표현을 획득하여, 다양한 환경에서 획득되는 앵커 이미지(Ia)와 포지티브 이미지(Ip)에 포함된 사람이 동일한 사람인지를 정확하게 판별할 수 있도록 학습시키기 위함이다.
또한 셔플 이미지 생성부(130)가 셔플 이미지(G(φR(Ia) 
φU(Ia)), G(φR(Ip) 
φU(Ip)), G(φR(Ip) 
φU(Ia)), G(φR(Ia) 
φU(Ip))) 뿐만 아니라, 정체성 연관 특징 벡터(φR(Ia), φR(Ip))를 분할한 분할 연관 특징 벡터(φk R(Ia), φk R(Ip))를 혼합한 셔플 결합 특징 벡터를 이용하여 부분 셔플 이미지(G(S(φR(Ia), φR(Ip))
φU(Ia)), G(S(φR(Ia), φR(Ip))
φU(Ip)))를 생성하는 것은 앵커 이미지(Ia)와 포지티브 이미지(Ip)의 글로컬 특징 뿐만 아니라 로컬 특징만으로도 앵커 이미지(Ia)와 포지티브 이미지(Ip)에 포함된 사람이 동일한 사람인지를 정확하게 판별할 수 있도록 하여 더욱 강인하게 사람을 재식별할 수 있도록 하기 위함이다.
식별부(140)는 셔플 이미지 생성부(130)에서 셔플 이미지(G(φR(Ia) 
φU(Ia)), G(φR(Ip) 
φU(Ip)), G(φR(Ip) 
φU(Ia)), G(φR(Ia) 
φU(Ip))) 또는 부분 셔플 이미지(G(S(φR(Ia), φR(Ip))
φU(Ia)), G(S(φR(Ia), φR(Ip))
φU(Ip)))가 생성되면, 셔플 이미지 또는 부분 셔플 이미지의 패턴을 분석하여 셔플 이미지에 포함된 사람이 학습 데이터베이스에 지정된 사람 중 어떤 사람인지 판별한다. 즉 셔플 이미지 또는 부분 셔플 이미지의 클래스를 판별한다.
식별부(140)는 셔플 이미지 생성부(130)에서 생성된 셔플 이미지 또는 부분 셔플 이미지가 실제 이미지인지 가상으로 생성된 합성 이미지인지를 판별하는 도메인 식별부(141)와 셔플 이미지 또는 부분 셔플 이미지의 클래스를 판별하여 포지티브 이미지(Ip)에 포함된 사람의 식별자인 클래스를 식별하는 클래스 식별부(142)를 포함할 수 있다. 여기서 도메인 식별부(141)와 클래스 식별부(142)는 각각 패턴 추정 방식이 학습되는 인공 신경망으로 구현될 수 있다.
도메인 식별부(141)는 학습되는 패턴 추정 방식에 따라 셔플 이미지 또는 부분 셔플 이미지의 패턴을 추정하여 셔플 이미지 또는 부분 셔플 이미지가 합성 이미지인지 아닌지 여부를 판별한다. 도메인 식별부(141)는 합성 이미지를 생성하는 이미지 합성부(132)와 함께 생성적 적대 신경망(Generative Adversarial Networks: GAN)에서 상호 보완 학습을 수행하도록 하는 구성이다. 특히 본 실시예에 따른 사람 재식별 장치의 경우, 특징 결합부(131)가 앵커 이미지(Ia)와 포지티브 이미지(Ip) 각각에서 추출된 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 서로 섞어 결합한 결합 이미지를 이용하여 이미지 합성부(132)가 합성 이미지인 셔플 이미지 또는 부분 셔플 이미지를 생성하므로, 앵커 이미지(Ia)와 포지티브 이미지(Ip)에 포함된 사람의 정체성을 혼합하여 셔플 이미지 또는 부분 셔플 이미지를 생성하는 것으로 볼 수 있다.
이렇게 앵커 이미지(Ia)와 포지티브 이미지(Ip)에 포함된 사람의 정체성을 혼합하여 합성 이미지인 셔플 이미지 또는 부분 셔플 이미지를 생성하는 기법을 여기서는 정체성 혼합 생성적 적대 신경망(Identity Shuffle Generative Adversarial Networks: IS-GAN)이라 한다. 즉 본 실시예에 다른 사람 재식별 장치는 정체성 혼합 생성적 적대 신경망(IS-GAN)을 이용하여 사람을 재식별할 수 있도록 학습된다.
한편, 클래스 식별부(142)는 학습되는 패턴 추정 방식에 따라 셔플 이미지의 패턴을 추정하여 셔플 이미지의 클래스를 판별한다. 여기서 클래스는 각기 서로 다른 사람에 대한 식별자(y = {1, 2, …, C})를 의미한다. 즉 클래스 식별부(142)는 셔플 이미지 또는 부분 셔플 이미지에 포함된 각 사람의 식별 레이블을 판별한다. 즉 앵커 이미지(Ia) 또는 포지티브 이미지(Ip)에 포함된 사람을 재식별한다.
오차 역전파부(150)는 인공 신경망으로 구성되는 정체성 특징 추출부(121), 비정체성 특징 추출부(122), 이미지 합성부(132), 도메인 식별부(141) 및 클래스 식별부(142)의 손실을 계산하고 계산된 손실을 역전파하여 사람 재식별 장치가 학습되도록 한다.
오차 역전파부(150)는 특징 추출부(121)의 손실(L(ER) = LR)과 비정체성 특징 추출부(122)의 손실(L(EU) = LU), 이미지 합성부(132)의 손실(L(G) = LS + LPS), 도메인 식별부(141)의 손실(L(DD) = LD) 및 클래스 식별부(142)의 손실(L(DC) = LC) 각각을 계산하고, 계산된 각 손실(L(ER), L(EU), L(G), L(DD), L(DC))에 대응하여 기지정된 가중치(λR, λU, λS, λPS, λD, λC)를 가중하여 합한 가중 합으로 총 손실(L(ER, EU, G, DD, DC))을 수학식 1에 따라 계산할 수 있다.
여기서 이미지 합성부(132)의 손실(L(G))은 셔플 이미지에 대한 손실(LS)과 부분 셔플 이미지에 대한 손실(LPS)로 구분되어 2개의 손실로 표현되었다.
상기한 바와 같이, 본 실시예에 따른 사람 재식별 장치는 학습 시에 동일한 사람이 포함된 학습 이미지를 인가받아 학습을 수행한다. 여기서 학습 이미지는 이미지에 포함된 사람에 대한 식별자(y = {1, 2, …, C})가 레이블된 이미지이다. 즉 서로 동일한 사람이 포함된 학습 이미지에는 동일한 식별자가 레이블되며, 다른 사람이 포함된 학습 이미지에는 상이한 식별자가 레이블된다.
오차 역전파부(150)는 우선 정체성 특징 추출부(121)의 손실(LR)을 수학식 2에 따라 획득할 수 있다.
여기서 p()는 확률 함수를 나타내고, Ik는 학습 이미지(I)가 기지정된 영역별로 분할된 분할 이미지를 나타내고, φk R(Ik)는 분할 이미지(Ik)에서 추출된 분할 연관 특징 벡터를 나타내며, 
이다.
그리고 wk c는 학습 이미지에 레이블된 식별자와 분할된 영역에 대한 가중치이다. 또한 qk c는 식별자(c)가 분할 이미지(Ik)의 정체성에 대응하는지 여부를 나타내는 인덱스로서 식별자(c)가 분할 이미지(Ik)의 정체성에 대응(예를 들면 c = y)하면, qk c = 1이고, 대응하지 않으면 0의 값을 갖는다.
수학식 2에서 분할 이미지(Ik)가 식별자(c)를 가질 확률 
은 소프트맥스(softmax) 함수를 이용하여 수학식 3과 같이 정의될 수 있다.
그리고 오차 역전파부(150)는 비정체성 특징 추출부(122)에서 추출되는 정체성과 비연관된 특징들이 제로 평균과 단위 분산을 갖는 정규 분포(N(0,1))를 따르도록 하여 비정체성 특징 추출부(122)의 손실(LU)을 KL 발산(Kullback??Leibler divergence) 손실을 이용하여 수학식 4에 따라 획득할 수 있다.
여기서 DKL은 두 확률분포의 정보 엔트로피 차이를 계산하는 KL 발산 함수로서 
이고, φk U(Ik)는 분할 이미지(Ik)에서 추출된 분할 비연관 특징 벡터를 나타낸다. KL 발산 손실은 분배 범위를 제한하여 신원 관련이 없는 특징을 정당화하므로 많은 신원 관련 정보가 포함되지 않는다. 이는 새로운 사람에 대한 이미지를 합성할 때, 셔플 이미지 생성부(130)가 정체성 연관 특징을 사용하도록 하여 합성 프로세스를 용이하게 한다.
오차 역전파부(150)는 셔플 이미지 생성부(130)의 셔플 이미지에 대한 손실(LS)과 부분 셔플 이미지에 대한 손실(LPS) 각각을 수학식 5 및 6에 따라 계산할 수 있다.
여기서 ∥∥1 은 L1-norm 함수이다.
수학식 5 및 6에 따르면, 오차 역전파부(150)는 2개의 학습 이미지(Ia, Ip)와 2개의 학습 이미지(Ia, Ip)에서 추출된 특징의 조합으로 획득되는 셔플 이미지(G(φR(Ia)
φU(Ia)), G(φR(Ip)
φU(Ip)), G(φR(Ip)
φU(Ia)), G(φR(Ia)
φU(Ip))) 또는 부분 셔플 이미지(G(S(φR(Ia), φR(Ip))
φU(Ia)), G(S(φR(Ia), φR(Ip))
φU(Ip))) 사이의 차이를 누적하여 셔플 이미지에 대한 손실(LS)과 부분 셔플 이미지에 대한 손실(LPS)을 계산한다.
여기서 오차 역전파부(150)는 수학식 5 및 6에 나타난 바와 같이, 셔플 이미지 생성부(130)에서 생성되는 셔플 이미지(G(φR(Ia)
φU(Ia)), G(φR(Ip)
φU(Ip)), G(φR(Ip)
φU(Ia)), G(φR(Ia)
φU(Ip))) 중 동일한 이미지에서 추출된 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 결합한 결합 특징 벡터를 이용하여 합성한 셔플 이미지(G(φR(Ia)
φU(Ia)), G(φR(Ip)
φU(Ip)))와 원 이미지(Ia, Ip) 사이의 차이를 셔플 이미지에 대한 손실(LS)로 계산한다.
또한 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터가 서로 도치되어 결합된 특징 벡터를 이용하여 합성한 셔플 이미지(G(φR(Ip)
φU(Ia)), G(φR(Ia)
φU(Ip)))와 비연관 특징 벡터가 도출된 이미지 사이의 차이를 셔플 이미지에 대한 손실(LS)로 계산한다.
한편, 부분 셔플 이미지에 대한 손실(LPS)은 부분 셔플 이미지(G(S(φR(Ia), φR(Ip))
φU(Ia)), G(S(φR(Ia), φR(Ip))
φU(Ip)))와 부분 셔플 결합 특징 벡터에 결합되는 비연관 특징 벡터가 도출된 이미지 사이의 차이로 계산한다.
그리고 오차 역전파부(150)는 도메인 식별부(141)의 손실(LD)과 클래스 식별부(142)의 손실(LC)을 각각 수학식 7 및 8에 따라 획득할 수 있다.
수학식 7에서 DD()는 도메인 식별부(141) 가 인가된 이미지에 대한 도메인을 판별한 결과를 나타내는 함수이고, 수학식 8에서 DC()는 클래스 식별부(142) 가 인가된 이미지에 대한 클래스(식별자)를 판별한 결과를 나타내는 함수이다.
결과적으로 오차 역전파부(150)는 수학식 2 내지 8에 따라 사람 재식별 장치의 각 구성에서의 손실(LR, LU, LS, LPS, LD, LC)를 계산하고, 계산된 손실들을 수학식 1에 대입하여 총 손실(L(ER, EU, G, DD, DC))을 획득할 수 있다.
그리고 획득된 총 손실이 기지정된 기준 손실 이하가 되도록 반복적으로 역전파하여 사람 재식별 장치를 학습시킬 수 있다. 경우에 따라서는 기지정된 횟수만큼 손실을 역전파하여 사람 재식별 장치를 학습시킬 수도 있다.
다만 도 1에 도시된 사람 재식별 장치를 위한 학습 시스템은 정체성 혼합 생성적 적대 신경망(IS-GAN) 기법을 이용하여 학습을 수행하기 위한 구성이다. 그리고 오차 역전파부(150)가 수학식 1의 총 손실(L(ER, EU, G, DD, DC))을 계산하는 것은 도 1에 도시된 학습 시스템 전체를 학습시키기 위함이다.
그러나 본 발명에 따른 사람 재식별 장치는 도 1의 학습 시스템에서 정체성 특징 추출부(121)만을 추출하여 이용한다. 따라서 정체성 특징 추출부(121), 비정체성 특징 추출부(122) 및 이미지 합성부(132)만을 학습시켜도 무방하며, 이경우, 총 손실(L(ER, EU, G, DD, DC))이 아닌 수학식 5 및 6으로 나타나는 셔플 이미지에 대한 손실(LS)과 부분 셔플 이미지에 대한 손실(LPS)을 이용하여 학습시킬 수 있다.
즉 본 실시예에서는 오차 역전파부(150)가 셔플 이미지에 대한 손실(LS)과 부분 셔플 이미지에 대한 손실(LPS)을 역전파하여, 정체성 특징 추출부(121), 비정체성 특징 추출부(122) 및 이미지 합성부(132)를 학습시킬 수 있다.
도 7은 본 발명의 일 실시예에 따른 사람 재식별 장치의 개략적 구조를 나타낸다.
도 7을 참조하면, 본 실시예에 따른 사람 재식별 장치는 정체성 특징 추출부(210) 및 재식별 판별부(220)를 포함한다. 여기서 정체성 특징 추출부(210)는 도 1에 도시된 학습 시스템에서 미리 학습된 정체성 특징 추출부(121)로서, 탐색 대상인 사람이 포함된 원본 이미지(Io)와 원본 이미지(Io)에 포함된 사람과 동일인이 포함되어 있는지 판별되어야 하는 재식별 이미지(Id)를 인가받고, 원본 이미지(Io)와 재식별 이미지(Id) 각각에서 정체성 특징 벡터를 추출한다.
경우에 따라서 정체성 특징 추출부(210)는 원본 이미지(Io)에 대한 정체성 특징 벡터를 미리 추출하여 재식별 판별부(220)에 저장되도록 할 수 있다. 이는 사람 재식별 기술이 일반적으로 특정 원본 이미지(Io)에 포함된 사람이 다수의 재식별 이미지(Id) 중 어떠한 재식별 이미지(Id)에 포함되어 있는지 탐색하는 방식으로 수행되기 때문이다.
재식별 판별부(220)는 정체성 특징 추출부(121)에서 추출된 정체성 특징 벡터 사이의 유사도를 계산하고, 계산된 유사도가 기지정된 기준값 이상이면, 재식별 이미지(Id)에 원본 이미지(Io)와 동일한 사람이 포함된 것으로 판별한다. 반면, 계산된 유사도가 기지정된 기준값을 미만이면, 원본 이미지(Io)에 포함된 사람이 재식별 이미지(Id)에 포함되지 않은 것으로 판별한다. 즉 재식별 이미지(Id)에서 원본 이미지(Io)에 포함된 사람을 재식별 할 수 있다.
여기서 재식별 판별부(220)는 일예로 코사인 유사도를 이용하여 정체성 특징 벡터 사이의 차이를 획득할 수 있다.
도 8은 본 발명의 일 실시예에 따른 사람 재식별 방법을 나타낸다.
도 1 내지 도 7을 참조하여, 본 실시예에 따른 사람 재식별 방법은 크게 사람 재식별이 가능하도록 학습하는 학습 단계(S10)와 학습된 방식에 따라 이미지에 포함된 사람을 식별하는 사람 재식별 단계(S20)로 구분될 수 있다.
학습 단계(S10)에서는 우선 사람이 포함된 이미지로서 포함된 사람에 대한 식별자(y = {1, 2, …, C})가 레이블된 학습 이미지를 획득한다(S11). 이때, 다수의 사람에 대한 식별자가 레이블된 다수의 학습 이미지 중 동일한 식별자가 레이블된, 즉 동일한 사람이 포함된 것으로 레이블된 적어도 한 쌍의 학습 이미지(Ia, Ip)를 추출하여 획득할 수 있다.
그리고 획득된 적어도 한 쌍의 학습 이미지 각각에서 학습 이미지에 포함된 사람의 정체성에 관련된 특징을 나타내는 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 사람의 정체성에 관련되지 않은 특징을 나타내는 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 각각 추출한다(S12).
그리고 추출된 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))가 추출되면, 한 쌍의 학습 이미지(Ia, Ip) 각각에서 추출된 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 여러 조합으로 결합하여, 결합 특징 벡터를 생성한다(S13).
이때, 동일한 학습 이미지(Ia, Ip)에서 추출된 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 결합할 수 있을 뿐만 아니라 서로 다른 학습 이미지(Ia, Ip)에서 추출된 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 서로 도치하여 결합할 수도 있다.
결합 특징 벡터가 생성되면, 결합 특징 벡터를 합성하여 셔플 이미지를 생성한다(S14).
또한 경우에 따라서는 추출된 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 영역별로 분할하고, 분할된 영역들 중 대응하는 영역들을 서로 셔플하여 부분 셔플 연관 특징 벡터(S(φR(Ia), φR(Ip))))를 생성할 수도 있다(S15).
그리고 부분 셔플 연관 특징 벡터(S(φR(Ia), φR(Ip))))를 정체성 비연관 특징 벡터(φU(Ia), φU(Ia))와 결합하여 부분 셔플 결합 특징 벡터를 생성하고, 생성된 부분 셔플 결합 특징 벡터를 미리 학습된 방식에 따라 합성하여 부분 셔플 이미지를 생성한다(S16).
셔플 이미지 또는 부분 셔플 이미지가 생성되면, 생성된 셔플 이미지 또는 부분 셔플 이미지가 합성된 이미지인지 실제 이미지인지 여부를 나타내는 도메인을 식별한다(S17).
이와 함께 셔플 이미지 또는 부분 셔플 이미지에 대한 식별자를 나타내는 클래스를 식별한다(S18).
그리고 정체성 연관 특징 벡터(φR(Ia), φR(Ip))와 정체성 비연관 특징 벡터(φU(Ia), φU(Ip))를 추출하고 셔플 이미지 또는 부분 셔플 이미지를 생성하면서 발생되는 손실(LS, LPS)을 획득하고, 획득된 손실(LS, LPS)을 역전파하여, 학습을 수행한다.
여기서 학습은 손실이 기지정된 기준 손실 이하가 되거나 기지정된 횟수 도달할 때까지 학습 단계(S19)를 반복하여 수행될 수 있다.
학습이 완료되면, 사람 재식별 단계(S20)에서 탐색 대상인 사람이 포함된원본 이미지(Io)와 함께 사람이 재식별되어야 하는 재식별 이미지(Id)를 획득한다(S21). 여기서 사람이 재식별되어야 하는 이미지는 해당 이미지내에 탐색 대상이 되는 사람이 포함되어 있는지 여부가 판정되어야 하는 이미지를 의미한다.
재식별 이미지(Id)가 획득되면, 미리 학습된 패턴 추정 방식에 따라 재식별 이미지에서 정체성 연관 특징 벡터를 추출한다(S22). 그리고 추출된 원본 이미지(Io)의 정체성 연관 특징 벡터와 재식별 이미지(Id)의 정체성 연관 특징 벡터 사이의 유사도를 분석하여 재식별 이미지(Id)에 원본 이미지(Ia)에 포함된 사람과 동일한 사람이 포함되어 있는지 여부를 판별한다. 즉 사람을 재식별한다(S23).
도 9는 본 실시예에 따른 사람 재식별 장치 및 방법에 따라 사람 재식별한 결과를 나타낸다.
도 9에서는 본 실시예에 따른 정체성 혼합 생성적 적대 신경망(IS-GAN)을 이용하는 사람 재식별 장치 및 방법의 성능을 확인하기 위해, 기존의 부분 기반 컨볼루션 베이스라인(Part-based Convolutional Baseline: PCB) 기법과 특징 정제 생성적 적대 신경망(Feature Distilling GAN: FD-GAN) 기법을 이용하여 사람 재식별 결과를 함께 도시하였다.
도 9는 Market-1501 데이터 셋에 대한 사람 재식별 결과를 나타내고, 초록색으로 표시된 이미지는 해당 기법에서 질의된 앵커 이미지에 포함된 사람과 동일한 사람이 포함된 것으로 판별한 경우를 나타내고, 붉은색으로 표시된 이미지는 해당 기법에서 질의된 앵커 이미지에 포함된 사람과 다른 사람이 포함된 것으로 판별한 경우를 나타낸다.
도 9를 참조하면, Market-1501 데이터 셋에 대한 사람 재식별 결과, PCB는 주로 색상에 중점을 두어 사람을 재식별하기 때문에 빨간색 가방에 집중하여 오판단하는 경우가 발생하고, FD-GAN은 자세에 대한 정보를 요구하지 않는 것이 장점이지만 성별이 다른 사람조차도 유사하다고 오판단하는 경우가 발생한다. 반면, 본 실시예에 따른 정체성 혼합 생성적 적대 신경망(IS-GAN)의 경우, 자세나 배경 등에 강건하게 정확한 동일인을 검출할 수 있다.
표 1은 본 실시예에 따른 정체성 혼합 생성적 적대 신경망(IS-GAN)을 이용하는 사람 재식별 장치 및 방법의 성능을 기존에 공개된 다른 사람 재식별 기법과 비교한 결과를 나타낸다.
표 1에서는 Market-1501 데이터 셋과 CUHK03 데이터 셋 및 DukeMTMC 데이터 셋의 3가지 데이터 셋에 대해 사람 재식별 결과를 나타낸다.
표 1에 나타난 바와 같이, Market-1501 데이터 셋의 경우, 나머지 두 데이터 셋에 비해 상대적으로 사람 재식별이 용이한 이미지로 구성되어 다수의 기존 기법에서도 90% 이상의 정확도를 나타내는 반면, CUHK03 데이터 셋 및 DukeMTMC 데이터 셋에 대해서는 각각 70% 및 90% 이하의 정확도만을 나타내고 있다. 그에 반해, 본 실시예에 따른 정체성 혼합 생성적 적대 신경망(IS-GAN)을 이용하는 사람 재식별 기법에서는 CUHK03 데이터 셋 및 DukeMTMC 데이터 셋에 대해서도 각각 70% 및 90% 이하의 정확도를 나타냄을 알 수 있다. 즉 다양한 데이터 셋에서 기존의 기법보다 높은 정확도를 나타냄을 알 수 있다.
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110: 이미지 획득부 120: 특징 벡터 추출부
130: 셔플 이미지 생성부 140: 식별부
150: 오차 역전파부
130: 셔플 이미지 생성부 140: 식별부
150: 오차 역전파부
Claims (10)
- 포함된 사람이 재식별되어야 하는 다수의 이미지를 인가받고, 미리 학습된 패턴 추정 방식에 따라 각 이미지에 포함된 사람의 정체성에 관련되는 특징을 추출하여, 각 이미지에 대한 정체성 연관 특징 벡터를 획득하는 정체성 특징 추출부; 및
상기 다수의 이미지 중 탐색 대상이 포함된 원본 이미지에서 획득된 정체성 연관 특징 벡터와 다른 이미지에서 획득된 정체성 연관 특징 벡터 사이의 유사도를 분석하여, 다른 이미지에 탐색 대상인 사람이 포함되어 있는지를 판별하는 재식별 판별부를 포함하고,
상기 정체성 특징 추출부는
학습 시스템을 이용하여 학습이 수행되고,
상기 학습 시스템은
동일한 사람의 식별자가 레이블된 다수의 학습 이미지를 인가받고, 학습 이미지에 포함된 사람의 정체성에 무관한 특징을 추출하여 정체성 비연관 특징 벡터를 획득하는 비정체성 특징 추출부;
상기 다수의 학습 이미지 각각 획득된 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터 중 동일한 학습 이미지에서 획득된 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 결합할 뿐만 아니라 서로 다른 학습 이미지에서 획득된 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 서로 도치하여 결합하여 결합 특징 벡터를 생성하는 특징 도치 결합부;
상기 결합 특징 벡터를 인가받아 합성하여 셔플 이미지를 생성하는 이미지 합성부;
상기 셔플 이미지가 합성 이미지인지 여부를 판별하는 도메인 식별부; 및
상기 정체성 특징 추출부, 상기 비정체성 특징 추출부 및 상기 이미지 합성부에서 발생된 손실을 상기 셔플 이미지와 학습 이미지 사이의 차이로 계산하여 역전파하는 오차 역전파부를 포함하는 사람 재식별 장치.
- 삭제
- 제1 항에 있어서, 상기 특징 도치 결합부는
서로 다른 학습 이미지에서 획득된 정체성 연관 특징 벡터 각각을 기지정된 영역 단위로 분할하고, 분할된 다수의 분할 연관 특징 벡터들을 서로 섞어 부분 셔플 연관 특징 벡터를 생성하며, 상기 부분 셔플 연관 특징 벡터와 상기 정체성 비연관 특징 벡터를 결합하여 부분 셔플 결합 특징 벡터를 더 생성하고,
상기 이미지 합성부는
상기 부분 셔플 결합 특징 벡터를 합성하여 부분 셔플 이미지를 생성하는 사람 재식별 장치. - 제3 항에 있어서, 상기 특징 도치 결합부는
다수의 정체성 연관 특징 벡터 각각에서 분할된 다수의 분할 연관 특징 벡터들 중 서로 대응하는 위치의 분할 연관 특징 벡터들을 기지정된 순서 또는 랜덤하게 선택 및 교환하여 상기 부분 셔플 연관 특징 벡터를 획득하는 사람 재식별 장치. - 제3 항에 있어서, 상기 오차 역전파부는
상기 정체성 비연관 특징 벡터가 추출된 학습 이미지와 상기 셔플 이미지 또는 상기 부분 셔플 이미지 사이의 차를 상기 손실로 계산하는 사람 재식별 장치. - 다수의 이미지를 인가받고, 학습 단계에서 학습된 패턴 추정 방식에 따라 각 이미지에 포함된 사람의 정체성에 관련되는 특징을 추출하여, 각 이미지에 대한 정체성 연관 특징 벡터를 획득하는 단계; 및
상기 다수의 이미지 중 탐색 대상이 포함된 원본 이미지에서 획득된 정체성 연관 특징 벡터와 다른 이미지에서 획득된 정체성 연관 특징 벡터 사이의 유사도를 분석하여, 다른 이미지에 탐색 대상인 사람이 포함되어 있는지를 판별하는 단계를 포함하되,
상기 정체성 연관 특징 벡터는 학습 단계를 통해 미리 학습된 인공 신경망을 이용하여 획득되고,
상기 학습 단계는
동일한 사람의 식별자가 레이블된 다수의 학습 이미지를 인가받고, 상기 학습 이미지에 대한 정체성 연관 특징 벡터와 상기 학습 이미지에 포함된 사람의 정체성에 무관한 특징을 추출하여 정체성 비연관 특징 벡터를 획득하는 단계;
상기 다수의 학습 이미지 각각 획득된 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터 중 동일한 학습 이미지에서 획득된 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 결합할 뿐만 아니라 서로 다른 학습 이미지에서 획득된 정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 서로 도치하여 결합하여 결합 특징 벡터를 생성하는 단계;
상기 결합 특징 벡터를 인가받아 합성하여 셔플 이미지를 생성하는 단계;
상기 셔플 이미지가 합성 이미지인지 여부를 판별하는 단계;
상기 셔플 이미지에 포함된 사람의 식별자를 판별하는 단계; 및
정체성 연관 특징 벡터와 정체성 비연관 특징 벡터를 획득하는 단계와 상기 셔플 이미지를 생성하는 단계에서 발생된 손실을 상기 셔플 이미지와 학습 이미지 사이의 차이로 계산하여 역전파하는 단계를 포함하는 사람 재식별 방법.
- 삭제
- 제6 항에 있어서, 상기 학습 단계는
서로 다른 학습 이미지에서 획득된 정체성 연관 특징 벡터 각각을 기지정된 영역 단위로 분할하는 단계;
분할된 다수의 분할 연관 특징 벡터들을 서로 섞어 부분 셔플 연관 특징 벡터를 생성하는 단계;
상기 부분 셔플 연관 특징 벡터와 상기 정체성 비연관 특징 벡터를 결합하여 부분 셔플 결합 특징 벡터 생성하는 단계; 및
상기 부분 셔플 결합 특징 벡터를 합성하여 부분 셔플 이미지를 생성하는 단계를 더 포함하는 사람 재식별 방법. - 제8 항에 있어서, 상기 부분 셔플 연관 특징 벡터를 생성하는 단계는
다수의 정체성 연관 특징 벡터 각각에서 분할된 다수의 분할 연관 특징 벡터들 중 서로 대응하는 위치의 분할 연관 특징 벡터들을 기지정된 순서 또는 랜덤하게 선택 및 교환하여 상기 부분 셔플 연관 특징 벡터를 획득하는 사람 재식별 방법. - 제8 항에 있어서, 상기 역전파하는 단계는
상기 정체성 비연관 특징 벡터가 추출된 학습 이미지와 상기 셔플 이미지 또는 상기 부분 셔플 이미지 사이의 차를 상기 손실로 계산하는 사람 재식별 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190104887A KR102225022B1 (ko) | 2019-08-27 | 2019-08-27 | 사람 재식별 장치 및 방법 |
| US17/003,990 US11321556B2 (en) | 2019-08-27 | 2020-08-27 | Person re-identification apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190104887A KR102225022B1 (ko) | 2019-08-27 | 2019-08-27 | 사람 재식별 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102225022B1 true KR102225022B1 (ko) | 2021-03-08 |
Family
ID=74679757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190104887A KR102225022B1 (ko) | 2019-08-27 | 2019-08-27 | 사람 재식별 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11321556B2 (ko) |
| KR (1) | KR102225022B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023058816A1 (ko) * | 2021-10-08 | 2023-04-13 | 주식회사 디알엠인사이드 | 이미지 저작권 보호를 위한 이미지 식별 장치 및 이의 동작 방법 |
| KR20230079688A (ko) | 2021-11-29 | 2023-06-07 | 연세대학교 산학협력단 | 프로토타입 기반 중요 특징자 추출을 통한 인물 탐색 장치 및 방법 |
| KR20230090642A (ko) | 2021-12-15 | 2023-06-22 | 연세대학교 산학협력단 | 시공간 메모리 네트워크를 활용한 동영상 기반 사람 재식별 장치 및 방법 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11367268B2 (en) * | 2019-08-27 | 2022-06-21 | Nvidia Corporation | Cross-domain image processing for object re-identification |
| KR102225022B1 (ko) * | 2019-08-27 | 2021-03-08 | 연세대학교 산학협력단 | 사람 재식별 장치 및 방법 |
| CN113128456B (zh) * | 2021-04-30 | 2023-04-07 | 北京理工大学 | 一种联合图片生成的行人重识别方法 |
| KR20230054182A (ko) * | 2021-10-15 | 2023-04-24 | 주식회사 알체라 | 인공신경망을 이용한 사람 재식별 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
| CN113723366B (zh) * | 2021-10-25 | 2022-03-25 | 山东力聚机器人科技股份有限公司 | 一种行人重识别方法、装置及计算机设备 |
| CN115223018B (zh) * | 2022-06-08 | 2023-07-04 | 东北石油大学 | 伪装对象协同检测方法及装置、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016071502A (ja) * | 2014-09-29 | 2016-05-09 | セコム株式会社 | 対象識別装置 |
| JP2018147392A (ja) * | 2017-03-08 | 2018-09-20 | 日本電信電話株式会社 | モデル学習装置、スコア計算装置、方法、データ構造、及びプログラム |
| KR20190068000A (ko) | 2017-12-08 | 2019-06-18 | 이의령 | 다중 영상 환경에서의 동일인 재식별 시스템 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030113002A1 (en) * | 2001-12-18 | 2003-06-19 | Koninklijke Philips Electronics N.V. | Identification of people using video and audio eigen features |
| US7853081B2 (en) * | 2007-04-02 | 2010-12-14 | British Telecommunications Public Limited Company | Identifying data patterns |
| US9396412B2 (en) * | 2012-06-21 | 2016-07-19 | Siemens Aktiengesellschaft | Machine-learnt person re-identification |
| US9710729B2 (en) * | 2014-09-04 | 2017-07-18 | Xerox Corporation | Domain adaptation for image classification with class priors |
| CN106127103B (zh) * | 2016-06-12 | 2019-06-25 | 广州广电运通金融电子股份有限公司 | 一种离线身份认证的方法和装置 |
| US10902243B2 (en) * | 2016-10-25 | 2021-01-26 | Deep North, Inc. | Vision based target tracking that distinguishes facial feature targets |
| US10474883B2 (en) * | 2016-11-08 | 2019-11-12 | Nec Corporation | Siamese reconstruction convolutional neural network for pose-invariant face recognition |
| US20180173940A1 (en) * | 2016-12-19 | 2018-06-21 | Canon Kabushiki Kaisha | System and method for matching an object in captured images |
| US10503981B2 (en) * | 2017-06-27 | 2019-12-10 | Canon Kabushiki Kaisha | Method and apparatus for determining similarity of objects in images |
| US11734955B2 (en) * | 2017-09-18 | 2023-08-22 | Board Of Trustees Of Michigan State University | Disentangled representation learning generative adversarial network for pose-invariant face recognition |
| US11080483B1 (en) * | 2018-02-28 | 2021-08-03 | Verisign, Inc. | Deep machine learning generation of domain names leveraging token metadata |
| US10825219B2 (en) * | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
| EP3769264A1 (en) * | 2018-05-18 | 2021-01-27 | Deepmind Technologies Limited | Meta-gradient updates for training return functions for reinforcement learning systems |
| US10747989B2 (en) * | 2018-08-21 | 2020-08-18 | Software Ag | Systems and/or methods for accelerating facial feature vector matching with supervised machine learning |
| KR20200071838A (ko) * | 2018-12-03 | 2020-06-22 | 한국전자통신연구원 | 특징 벡터를 이용한 얼굴 검색이 가능한 얼굴 인식 방법 및 장치 |
| US11756291B2 (en) * | 2018-12-18 | 2023-09-12 | Slyce Acquisition Inc. | Scene and user-input context aided visual search |
| US11138469B2 (en) * | 2019-01-15 | 2021-10-05 | Naver Corporation | Training and using a convolutional neural network for person re-identification |
| US20200242771A1 (en) * | 2019-01-25 | 2020-07-30 | Nvidia Corporation | Semantic image synthesis for generating substantially photorealistic images using neural networks |
| US11055572B2 (en) * | 2019-02-22 | 2021-07-06 | Canon Kabushiki Kaisha | System and method of training an appearance signature extractor |
| CN110175527B (zh) * | 2019-04-29 | 2022-03-25 | 北京百度网讯科技有限公司 | 行人再识别方法及装置、计算机设备及可读介质 |
| KR102225022B1 (ko) * | 2019-08-27 | 2021-03-08 | 연세대학교 산학협력단 | 사람 재식별 장치 및 방법 |
| US20210097691A1 (en) * | 2019-09-30 | 2021-04-01 | Nvidia Corporation | Image generation using one or more neural networks |
| US11651526B2 (en) * | 2020-01-23 | 2023-05-16 | Northeastern University | Frontal face synthesis from low-resolution images |
-
2019
- 2019-08-27 KR KR1020190104887A patent/KR102225022B1/ko active IP Right Grant
-
2020
- 2020-08-27 US US17/003,990 patent/US11321556B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016071502A (ja) * | 2014-09-29 | 2016-05-09 | セコム株式会社 | 対象識別装置 |
| JP2018147392A (ja) * | 2017-03-08 | 2018-09-20 | 日本電信電話株式会社 | モデル学習装置、スコア計算装置、方法、データ構造、及びプログラム |
| KR20190068000A (ko) | 2017-12-08 | 2019-06-18 | 이의령 | 다중 영상 환경에서의 동일인 재식별 시스템 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023058816A1 (ko) * | 2021-10-08 | 2023-04-13 | 주식회사 디알엠인사이드 | 이미지 저작권 보호를 위한 이미지 식별 장치 및 이의 동작 방법 |
| KR20230079688A (ko) | 2021-11-29 | 2023-06-07 | 연세대학교 산학협력단 | 프로토타입 기반 중요 특징자 추출을 통한 인물 탐색 장치 및 방법 |
| KR20230090642A (ko) | 2021-12-15 | 2023-06-22 | 연세대학교 산학협력단 | 시공간 메모리 네트워크를 활용한 동영상 기반 사람 재식별 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210064853A1 (en) | 2021-03-04 |
| US11321556B2 (en) | 2022-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102225022B1 (ko) | 사람 재식별 장치 및 방법 | |
| Li et al. | Face x-ray for more general face forgery detection | |
| Tian et al. | Eliminating background-bias for robust person re-identification | |
| RU2738325C2 (ru) | Способ и устройство аутентификации личности | |
| Matas et al. | Comparison of face verification results on the XM2VTFS database | |
| Klare et al. | Sketch-to-photo matching: a feature-based approach | |
| Jia et al. | 3D face anti-spoofing with factorized bilinear coding | |
| US5901244A (en) | Feature extraction system and face image recognition system | |
| KR100651010B1 (ko) | 3차원 물체 모델을 사용한 화상 대조 시스템, 화상 대조 방법 및 화상 대조 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 | |
| Yan et al. | Multi-biometrics 2D and 3D ear recognition | |
| JP2008152789A (ja) | 顔映像の類似度の算出方法及び装置とこれを利用した顔映像の検索方法及び装置、並びに顔合成方法 | |
| Paulino et al. | Latent fingerprint matching: Fusion of manually marked and derived minutiae | |
| CN114241007B (zh) | 基于跨任务互学习的多目标跟踪方法、终端设备及介质 | |
| Liu et al. | Iterative local-global collaboration learning towards one-shot video person re-identification | |
| KR102225613B1 (ko) | 사람 재식별 장치 및 방법 | |
| Dave et al. | 3d ear biometrics: acquisition and recognition | |
| Feng et al. | Occluded visible-infrared person re-identification | |
| Ksibi et al. | Deep salient-Gaussian Fisher vector encoding of the spatio-temporal trajectory structures for person re-identification | |
| Ajina et al. | Evaluation of SVM classification of avatar facial recognition | |
| Liu et al. | 3D action recognition using multi-temporal skeleton visualization | |
| Yadav et al. | iWarpGAN: Disentangling Identity and Style to Generate Synthetic Iris Images | |
| Li et al. | Appearance and gait-based progressive person re-identification for surveillance systems | |
| Roig et al. | Multi-modal pyramid feature combination for human action recognition | |
| Chung et al. | Improved part-aligned deep features learning for person re-identification | |
| Chaudhry et al. | TransFAS: Transformer-based network for Face Anti-Spoofing using Token Guided Inspection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |