KR102106898B1 - 얼굴 데이터베이스를 이용한 인물 추적 방법 및 시스템 - Google Patents
얼굴 데이터베이스를 이용한 인물 추적 방법 및 시스템 Download PDFInfo
- Publication number
- KR102106898B1 KR102106898B1 KR1020180069641A KR20180069641A KR102106898B1 KR 102106898 B1 KR102106898 B1 KR 102106898B1 KR 1020180069641 A KR1020180069641 A KR 1020180069641A KR 20180069641 A KR20180069641 A KR 20180069641A KR 102106898 B1 KR102106898 B1 KR 102106898B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- face
- person
- tracking
- database
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000013145 classification model Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 206010038743 Restlessness Diseases 0.000 claims 1
- 238000002203 pretreatment Methods 0.000 claims 1
- 230000003042 antagnostic effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
- G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 얼굴 데이터베이스를 이용한 인물 추적 방법 및 시스템에 관한 것이다. 본 발명은 서버가 인물을 추적하는 방법에 있어서, 상기 인물의 얼굴이 포함된 얼굴 이미지를 수신하면, 상기 얼굴 이미지를 추적 장치로 전송하는 단계, 상기 얼굴 이미지를 이용하여 상기 인물의 얼굴 데이터베이스를 구축하는 단계, 상기 추적 장치로부터 상기 추적 장치가 상기 얼굴 이미지를 이용하여 획득한 상기 인물의 추적 영상을 포함하는 추적 정보를 수신하는 단계, 상기 추적 영상에서 얼굴 영역을 추출하고, 상기 얼굴 영역이 상기 얼굴 데이터베이스에 저장된 복수의 이미지 중 어느 하나에 매칭되는지 여부를 판단하는 단계, 상기 판단 결과, 상기 얼굴 영역이 상기 복수의 이미지 중 어느 하나에 매칭되면, 상기 추적 정보를 관제 서버 또는 관제 단말에 전송하는 단계를 포함하는 것을 일 특징으로 한다. 본 발명에 의하면, 인물 추적에 사용되는 얼굴 데이터베이스를 구축함으로써, 인물 추적 과정에서 찾고자 하는 인물의 얼굴을 보다 정확하고 높은 신뢰도로 식별할 수 있다.
Description
본 발명은 얼굴 데이터베이스를 이용한 인물 추적 방법 및 시스템에 관한 것으로, 보다 자세하게는 딥러닝을 이용하여 얼굴 데이터베이스를 생성하고, 이를 이용하여 인물을 추적할 수 있는 방법 및 시스템에 관한 것이다.
특정 인물, 예를 들어 수배자, 용의자 또는 실종자를 찾기 위해, 가장 일반적으로 사용되는 데이터 소스는 CCTV 영상이다. 경찰 등은 CCTV 영상에서 육안으로 찾고자 하는 인물을 식별하거나, 얼굴 이미지의 특징 정보를 이용하여 CCTV 영상에서 특징 정보가 매칭되는 인물을 탐색한다.
감시 카메라를 이용하여 얼굴을 식별하는 종래 기술로, 대한민국 공개특허공보 제10-2017-0119379호의 CCTV 영상에 대한 실시간 얼굴 인식 시스템 및 방법이 개시되어 있는데, 이러한 종래 방법에 의하면 실시간으로 특정 인물을 인식하더라도 영상에 노출된 인물은 계속 움직이는 상태에 있기 때문에 인물의 인식이 추적으로 바로 이어지기 어려운 단점이 있다.
뿐만 아니라, 종래에는 특정 방향에서 촬영된 사진에 포함된 얼굴의 특징 정보와 감시 카메라를 통해 수집한 영상을 비교하여 얼굴을 인식하는데, 사진에 포함된 얼굴의 각도와 감시 카메라에 노출된 얼굴의 각도가 일치하기는 어려우므로 인식률이 떨어지는 단점이 있다.
따라서, 인물 추적 시 얼굴 식별의 신뢰도 및 정확도를 개선함으로써, 보다 확실하게 인물을 탐색 및 추적할 수 있는 인물 추적 방법 및 시스템이 요구된다.
본 발명은 전술한 문제점을 해결하기 위한 것으로, 인물 추적에 사용되는 얼굴 데이터베이스를 구축함으로써, 인물 추적 과정에서 찾고자 하는 인물의 얼굴을 보다 정확하고 높은 신뢰도로 식별할 수 있도록 하는 것을 일 목적으로 한다.
또한, 본 발명은 감시카메라가 아닌 드론을 이용하여 인물을 추적함으로써, 감시카메라의 공간적 제약을 극복할 수 있는 방법을 제공하는 것을 다른 목적으로 한다.
또한, 본 발명은 용의자, 실종자 등 광범위하고 불특정한 공간을 움직이는 인물을 오류 없이 신속하게 추적할 수 있는 방법을 제공하는 것을 다른 목적으로 한다.
.
이러한 목적을 달성하기 위한 본 발명은 서버가 인물을 추적하는 방법에 있어서, 상기 인물의 얼굴이 포함된 얼굴 이미지를 수신하면, 상기 얼굴 이미지를 추적 장치로 전송하는 단계, 상기 얼굴 이미지를 이용하여 상기 인물의 얼굴 데이터베이스를 구축하는 단계, 상기 추적 장치로부터 상기 추적 장치가 상기 얼굴 이미지를 이용하여 획득한 상기 인물의 추적 영상을 포함하는 추적 정보를 수신하는 단계, 상기 추적 영상에서 얼굴 영역을 추출하고, 상기 얼굴 영역이 상기 얼굴 데이터베이스에 저장된 복수의 이미지 중 어느 하나에 매칭되는지 여부를 판단하는 단계, 상기 판단 결과, 상기 얼굴 영역이 상기 복수의 이미지 중 어느 하나에 매칭되면, 상기 추적 정보를 관제 서버 또는 관제 단말에 전송하는 단계를 포함하는 것을 일 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 인물 추적에 사용되는 얼굴 데이터베이스를 구축함으로써, 인물 추적 과정에서 찾고자 하는 인물의 얼굴을 보다 정확하고 높은 신뢰도로 식별할 수 있다.
또한, 본 발명에 의하면 감시카메라가 아닌 드론 등의 추적 장치를 이용하여 인물을 추적함으로써, 감시카메라의 공간적 제약을 극복할 수 있다.
또한, 본 발명에 의하면 용의자, 실종자 등 광범위하고 불특정한 공간을 움직이는 인물을 오류 없이 신속하게 추적할 수 있다.
도 1은 본 발명의 일 실시 예에 의한 인물 추적 시스템을 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 의한 서버의 구성을 설명하기 위한 블록도,
도 3은 본 발명의 일 실시 예에 의한 얼굴 데이터베이스 생성부의 구성을 설명하기 위한 블록도,
도 4는 본 발명의 일 실시 예에 의한 보정 이미지 생성 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 의한 전처리 단계를 설명하기 위한 순서도,
도 6은 본 발명의 일 실시 예에 의한 인물 추적 방법을 설명하기 위한 순서도,
도 7은 본 발명의 일 실시 예에 의한 얼굴 데이터베이스 구축 단계를 설명하기 위한 순서도이다.
도 2는 본 발명의 일 실시 예에 의한 서버의 구성을 설명하기 위한 블록도,
도 3은 본 발명의 일 실시 예에 의한 얼굴 데이터베이스 생성부의 구성을 설명하기 위한 블록도,
도 4는 본 발명의 일 실시 예에 의한 보정 이미지 생성 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 의한 전처리 단계를 설명하기 위한 순서도,
도 6은 본 발명의 일 실시 예에 의한 인물 추적 방법을 설명하기 위한 순서도,
도 7은 본 발명의 일 실시 예에 의한 얼굴 데이터베이스 구축 단계를 설명하기 위한 순서도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.
또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 인물 추적 시스템을 도시한 도면이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 인물 추적 시스템은 서버(100), 단말(50), 추적장치(200), 경찰 시스템(300)을 포함할 수 있다.
서버(100)는 일종의 관제 서버로, 본 발명의 일 실시 예에 따른 인물 추적 시스템에서 인물을 추적(또는 탐색)하기 위한 각 단계를 전체적으로 관리 및 제어한다. 서버(100)는 추적하고자 하는 인물의 얼굴 이미지를 가공하는 것을 주요한 기능으로 하며, 이를 위하여 인물 추적에 필요한 얼굴 데이터베이스를 구축할 수 있다.
추적 장치(200)는 추적 요청 신호를 서버로부터 수신하면, 추적 요청 신호를 이용하여 임의의 추적 영상을 획득하고, 추적 영상을 포함하는 추적 정보를 생성할 수 있다. 추적 요청 신호는 인물의 얼굴 이미지를 포함하며, 실종자의 얼굴 이미지, 실종자의 인상 착의, 실종 장소, 보호자 연락처 등 보호자 정보, 실종자의 이름, 나이 등의 부가 정보를 더 포함할 수 있다.
추적 장치(200)는 도 1에 도시된 바와 같은 드론, 일반적으로 사용되는 감시카메라, GCS(ground Control Station) 등을 포함하며, 현장을 순찰하는 경찰 등이 사용하는 단말일 수 있다.
추적 장치(200)가 카메라가 부착된 드론인 경우, 추적 장치(200)는 추적 요청 신호에 포함된 얼굴 이미지에 포함된 특징 정보와 유사한 특징 정보를 갖는 사람 또는 목표물을 발견하면, 지상으로부터 5~10m 상공에 접근하여 줌-인 카메라로 사람 또는 목표물을 촬영하여 추적 영상을 획득할 수 있다. 추적 장치(200)는 추적 영상, 추적 영상이 촬영된 시각, 추적 영상이 촬영된 위치 정보(GPS 정보) 중 적어도 하나를 포함하는 추적 정보를 생성하고, 생성된 추적 정보를 서버(100)로 전송할 수 있다.
추적 장치(200)는 다른 실시 예로, 추적 요청 신호에 포함된 실종 실종자의 인상 착의, 실종 장소 등의 정보를 이용하여 인상 착의가 유사하거나 실종 장소 인근을 배회하는 사람을 촬영하여 추적 영상을 획득할 수도 있다.
추적 장치(200)가 획득한 추적 영상은 서버(100)로 전송되어, 추적 영상에 포함된 인물이 추적 대상인지 여부를 판단하는 데 사용될 수 있다.
경찰 시스템(300)은 경찰 등 인물 추적을 수행하는 조직이 관리하는 서버 또는 단말을 의미하는 것으로 이해될 수 있다.
도 2를 참조하면, 서버(100)는 통신부(130), 데이터베이스 생성부(150), 판단부(170), 알림부(190)를 포함할 수 있다.
통신부(130)는 유무선 네트워크를 통해 외부 장치와 데이터를 송수신하는 통신 모듈로, 인물의 얼굴 이미지가 포함된 추적 요청 신호를 수신하면 추적 요청 신호를 추적 장치로 전송하고, 추적 장치로부터 추적 정보를 수신할 수 있다.
단말(50)이 서버(100)로 전송한 실종자 신고 등일 수 있다. 예를 들어, 추적 요청 신호에는 실종자의 얼굴 이미지, 실종자의 인상 착의, 실종 장소, 보호자 연락처 등 보호자 정보, 실종자의 이름, 나이 등의 부가 정보 등이 포함될 수 있다.
데이터베이스 생성부(150)는 얼굴 이미지를 이용하여 인물의 얼굴 데이터베이스를 구축할 수 있다. 얼굴 데이터베이스는 데이터베이스 생성부(150)가 특정 인물의 얼굴 이미지를 가공하여, 인물 추적에 사용할 수 있는 보정 이미지를 생성하면, 생성된 보정 이미지를 저장하는 데이터베이스로, 추적 대상이 되는 인물 별로 구축된 것일 수 있다.
예를 들어, 도 4에 도시된 바와 같이 인물 A의 얼굴 이미지로 (a), 인물 B의 얼굴 이미지로 (b)가 서버(100)에 수신된 경우를 가정하자. 데이터베이스(150)는 (a) 또는 (b)와 같이 해상도가 낮거나 노이즈가 포함되어 있거나, 훼손된 이미지를 복구하여 인물 A의 얼굴 데이터베이스와 인물 B의 얼굴 데이터베이스를 새롭게 구축할 수 있다.
도 4의 예시에서, 데이터베이스 생성부(150)는 인물 A의 얼굴 이미지로 수신된 (a)의 해상도가 너무 낮아 인물을 특정할 수 없으므로, (a3)와 같이 해상도를 보정하여 인물 A의 얼굴 데이터베이스를 생성할 수 있으며, 인물 B의 얼굴 이미지로 수신된 (b)의 경우, 일부 영역이 훼손되어 있으므로, (b1)과 같이 훼손된 영역을 복구하여 인물 B의 얼굴 데이터베이스를 생성할 수 있다.
보다 구체적으로, 도 3을 참조하면, 데이터베이스 생성부(150)는 전처리부(153), 다각도 이미지 생성부(155), 저장부(157)를 포함할 수 있다.
전처리부(153)는 생성적 대립쌍 신경망을 이용하여 얼굴 이미지의 노이즈 제거 및 해상도 보정을 수행하고, 얼굴 이미지에 훼손된 영역이 존재하면 훼손된 영역을 복구하여 보정 이미지를 생성할 수 있다.
생성적 대립쌍 신경망은 GAN(Generative Adversial Network)로, 적대적 생성 신경망으로도 불린다. 생성적 대립쌍 신경망은 서로 대립하는 두 개의 신경망(본 명세서에서는 이를 각각 분류 모델과 생성 모델로 명명함)을 동시에 학습시키면서 원본 이미지와 유사한 이미지를 만들어낼 수 있다.
전처리부(153)는 생성적 대립쌍 신경망을 이용하여 수신된 얼굴 이미지의 노이즈를 제거하고 해상도를 보정하며, 훼손된 영역을 복구하여 보정 이미지를 생성할 수 있다. 전술한 도 4의 예시에서, 전처리부(153)는 수신된 얼굴 이미지 (a), (b)를 각각 전처리하여 보정 이미지인 (a3)과 (b1)을 생성한다.
생성적 대립쌍 신경망은 얼굴 이미지를 전처리하기 위하여 노이즈가 존재하지 않는 복수개의 실제 얼굴 이미지와 노이즈가 추가된 이미지로 미리 비지도 학습된 것일 수 있다.
예를 들어, 전처리부(153)는 수신된 얼굴 이미지를 가공할 수 있도록 미리 생성적 대립쌍 신경망을 학습시키는데, 구체적으로 도 5를 참조하면, 전처리부(153)는 노이즈가 존재하지 않는 복수개의 실제 얼굴 이미지로 구성된 제1 학습데이터셋을 생성하고(S10), 실제 얼굴 이미지의 일 영역에 노이즈가 추가된 이미지로 제2 학습데이터셋을 생성할 수 있다(S20). 다음으로, 생성적 대립쌍 신경망의 생성 모델(generator)에 제2 학습데이터셋을 입력하여 노이즈가 제거된 이미지를 생성하고(S30), 생성적 대립쌍 신경망의 분류 모델(Discriminator)에 노이즈가 제거된 이미지와 제1 학습데이터셋을 입력하여 분류 결과를 획득할 수 있다(S40). 전처리부(153)는 분류 결과의 정확도가 기 설정된 기준값 이상인지, 기준값 미만인지 여부를 판단할 수 있다(S50).
만약 단계 50에서의 판단 결과, 분류 결과의 정확도가 기 설정된 기준값 미만이면 분류 결과를 생성 모델에 반영하여 생성 모델을 최적화할 수 있다(S60). 생성 모델의 최적화는 기계 학습에서 신경망을 구성하는 각 계층의 가중치 값을 분류 결과를 반영하여 조정하는 것을 의미한다.
전처리부(153)는 분류 결과의 정확도가 기준값 이상이 될 때까지 상기 단계 30 내지 단계 60을 반복하여 생성 모델 및 분류 모델을 학습시킬 수 있다. 그리고 생성적 대립쌍 신경망의 학습이 완료되면, 전처리부(153)는 학습이 완료된 생성적 대립쌍 신경망에 얼굴 이미지를 적용함으로써 보정 이미지를 획득할 수 있다.
다각도 이미지 생성부(155)는 복수개의 다각도 얼굴 학습 이미지 및 정면 학습 이미지를 이용하여 학습된 다각도 이미지 생성 모델에 보정 이미지를 적용하여 보정 이미지를 좌, 우, 상, 하 방향의 기 설정된 각도로 회전시킨 복수개의 다각도 얼굴 이미지를 생성할 수 있다. 다각도 이미지 생성 모델 역시 생성적 대립쌍 신경망 모델일 수 있으며, 특히 다각도 이미지 생성 모델로는 InfoGAN 알고리즘이 사용될 수 있다.
다각도 얼굴 학습 이미지와 정면 학습 이미지는 다각도 이미지 생성 모델을 훈련(학습) 시키기 위한 학습 데이터로, 정면 학습 이미지는 정면에서 얼굴을 촬영한 이미지, 다각도 얼굴 학습 이미지는 얼굴의 정면을 기준으로 좌, 우, 상, 하 방향의 기 설정된 각도에서 촬영한 이미지일 수 있다. 예를 들어, 다각도 얼굴 학습 이미지는 정면 학습 이미지에 포함된 인물을 좌, 우, 상, 하 방향으로 각 5도, 10도, 15도 방향에서 촬영하여 획득한 이미지일 수 있는데, 이 경우, 다각도 이미지 생성 모델은 특정 각도에서 획득한 학습 이미지와 정면 학습 이미지를 이용하여 각도별로 독립적으로 학습된 하나 이상의 기계 학습 모델을 포함하는 것일 수 있다.
즉, 다각도 이미지 생성 모델은 좌측 5도에서 획득한 복수개의 학습 이미지로 학습된 기계 학습 모델, 좌측 10도에서 획득한 복수개의 학습 이미지로 학습된 기계 학습 모델 등 각도별로 독립적으로 학습된 기계 학습 모델 여러 개를 포함할 수 있다.
다각도 이미지 생성부(155)는 복수개의 정면 학습 이미지와 다각도 얼굴 학습 이미지를 이용하여 다각도 이미지 생성 모델을 비지도학습시키며, 학습이 완료된 다각도 이미지 생성 모델에 보정 이미지를 적용하여, 보정 이미지를 좌, 우, 상, 하 방향의 기 설정된 각도로 회전시킨 복수개의 다각도 얼굴 이미지를 생성할 수 있다. 전술한 예시와 같이 다각도 이미지 생성 모델이 좌, 우, 상, 하 방향으로 각 5도, 10도, 15도 방향에서 획득한 학습 이미지를 이용하여 학습된 기계학습 모델인 경우, 다각도 이미지 생성부(155)가 다각도 이미지 생성 모델에 보정 이미지를 적용하면, 총 36개의 다각도 얼굴 이미지가 생성될 수 있다. 다각도 이미지 생성부(155)가 도 1에서 단말(50)로부터 수신한 얼굴 이미지(1)를 이용하여 생성한 다각도 얼굴 이미지의 일 예는 도 1의 (2)-2에 도시된 바와 같다.
저장부(157)는 이렇게 생성된 각도별 다각도 얼굴 이미지를 추적 대상이 되는 인물의 얼굴 데이터베이스에 저장할 수 있다. 즉, 상술한 실시 예에서, (1)의 얼굴 이미지에 대응되는 인물 X의 얼굴 데이터베이스에는 해상도와 노이즈 등이 보정된 보정 이미지(정면)을 포함하며 서로 다른 방향 및 각도로 회전된 다각도 얼굴 이미지 등 총 36장의 얼굴 이미지가 추적 대상이 되는 인물 X의 얼굴 데이터베이스에 저장될 수 있다.
판단부(170)는 추적 영상에서 얼굴 영역을 추출하고, 얼굴 영역이 얼굴 데이터베이스에 저장된 복수의 이미지 중 어느 하나에 대응되는지 여부를 판단할 수 있다. 도 1을 참조하면, 추적 영상은 추적 장치(200)가 카메라 등을 통해 획득한 실제 영상(3)으로, 판단부(170)는 실제 영상(3)에서 얼굴 영역(4)을 추출하고, 얼굴 영역(4)이 얼굴 데이터베이스에 저장된 복수의 이미지(2) - 보정 이미지 및 다각도 얼굴 이미지 포함- 중 어느 하나에 대응되는지 여부를 판단할 수 있다.
알림부(190)는 판단 결과, 얼굴 영역이 복수의 이미지 중 어느 하나에 대응되면, 추적 정보를 경찰 시스템(300), 즉 경찰 서버 또는 단말에 전송할 수 있다.
이하에서는 도 6을 참조하여, 본 발명의 일 실시 예에 따른 인물 추적 방법을 설명한다. 도 6을 참조하면, 서버는 인물의 얼굴 이미지가 포함된 추적 요청 신호를 수신하면(S100), 추적 요청 신호를 추적 장치로 전송할 수 있다(S200). 서버는 얼굴 이미지를 이용하여 인물의 얼굴 데이터베이스를 구축할 수 있으며(S300), 추적 장치는 단계 200에서 수신한 추적 요청 신호를 이용하여 추적 영상을 획득할 수 있다(S400). 추적 장치는 추적 영상을 포함하는 추적 정보를 생성하고(S500), 생성된 추적 정보를 서버로 전송한다(S600).
서버는 추적 장치로부터 추적 정보를 수신하면(S600), 추적 영상에서 얼굴 영역을 추출할 수 있다(S700). 서버는 추출한 얼굴 영역을 얼굴 데이터베이스와 비교하여(S800). 얼굴 영역이 얼굴 데이터베이스에 저장된 복수의 이미지 중 어느 하나에 매칭되는지 여부를 판단할 수 있다(S900). 만약, 단계 900에서의 판단 결과, 얼굴 영역이 복수의 이미지 중 어느 하나에 매칭되면, 서버는 추적 정보를 경찰 시스템(경찰 서버 또는 단말)에 전송할 수 있다(S1000).
한편, 단계 300에서 서버는 생성적 대립쌍 신경망을 이용하여 얼굴 이미지의 노이즈 제거 및 해상도 보정을 수행하고, 얼굴 이미지에 훼손된 영역이 존재하면 훼손된 영역을 복구하여 보정 이미지를 생성할 수 있다(S310). 그리고 복수개의 다각도 얼굴 학습 이미지 및 정면 학습 이미지를 이용하여 학습된 다각도 이미지 생성 모델에 보정 이미지를 적용하여 보정 이미지를 좌, 우, 상, 하 방향의 기 설정된 각도로 회전시킨 복수개의 다각도 얼굴 이미지를 생성할 수 있다(S330). 서버는 보정 이미지와 다각도 얼굴 이미지를 인물의 얼굴 데이터베이스에 저장함으로써, 인물의 얼굴 데이터베이스를 구축할 수 있다(S350).
단계 310에서 서버는 얼굴 이미지의 전처리에 사용되는 생성적 대립쌍 신경망을 학습시키기 위하여 학습 데이터셋을 생성하고, 이를 이용하여 생성적 대립쌍 신경망을 학습시키는 데, 이와 관련된 실시 예는 도 5에서 전술한 바 있으므로 중복되는 설명은 생략한다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
Claims (7)
- 서버가 인물을 추적하는 방법에 있어서,
상기 인물의 얼굴 이미지 및 실종 장소 정보가 포함된 추적 요청 신호를 수신하면, 상기 추적 요청 신호를 카메라가 부착된 드론으로 전송하는 단계;
상기 얼굴 이미지를 이용하여 상기 인물의 얼굴 데이터베이스를 구축하는 단계;
상기 드론으로부터 상기 드론이 상기 추적 요청 신호에 포함된 실종 장소 정보를 이용하여 상기 실종 장소 인근을 배회하는 사람을 촬영하여 획득한 추적 영상 및 상기 추적 영상이 촬영된 위치 정보를 포함하는 추적 정보를 수신하는 단계;
상기 추적 영상에서 얼굴 영역을 추출하고, 상기 얼굴 영역이 상기 얼굴 데이터베이스에 저장된 복수의 이미지 중 어느 하나에 매칭되는지 여부를 판단하는 단계;
상기 판단 결과, 상기 얼굴 영역이 상기 복수의 이미지 중 어느 하나에 매칭되면, 상기 추적 정보를 경찰 시스템에 전송하는 단계를 포함하고,
상기 인물의 얼굴 데이터베이스를 구축하는 단계는
생성적 대립쌍 신경망을 이용하여 상기 얼굴 이미지의 노이즈 제거 및 해상도 보정을 수행하고, 상기 얼굴 이미지에 훼손된 영역이 존재하면 상기 훼손된 영역을 복구하여 보정 이미지를 생성하는 전처리 단계;
복수개의 다각도 얼굴 학습 이미지 및 정면 학습 이미지를 이용하여 학습된 다각도 이미지 생성 모델에 상기 보정 이미지를 적용하여 상기 보정 이미지를 좌, 우, 상, 하 방향의 기 설정된 각도로 회전시킨 복수개의 다각도 얼굴 이미지를 생성하는 단계;
상기 보정 이미지 및 상기 다각도 얼굴 이미지를 상기 인물의 얼굴 데이터베이스에 저장하는 단계를 포함하는 인물 추적 방법.
- 제1항에 있어서,
상기 전처리 단계는
노이즈가 존재하지 않는 복수개의 실제 얼굴 이미지로 구성된 제1 학습데이터셋을 생성하는 a 단계;
상기 실제 얼굴 이미지의 일 영역에 노이즈가 추가된 이미지로 제2 학습데이터셋을 생성하는 b 단계;
상기 생성적 대립쌍 신경망의 생성 모델에 상기 제2 학습데이터셋을 입력하여 노이즈가 제거된 이미지를 생성하는 c 단계;
상기 생성적 대립쌍 신경망의 분류 모델에 상기 노이즈가 제거된 이미지와 상기 제1 학습데이터셋을 입력하여 분류 결과를 획득하는 d 단계;
상기 분류 결과의 정확도가 기 설정된 기준값 미만이면 상기 분류 결과를 상기 생성 모델에 반영하는 e 단계;
상기 분류 결과의 정확도가 상기 기준값 이상이 될 때까지 상기 c 단계 내지 상기 e 단계를 반복하여 상기 생성 모델 및 상기 분류 모델을 학습시키는 단계;
상기 학습이 완료된 생성적 대립쌍 신경망에 상기 얼굴 이미지를 적용하여 상기 보정 이미지를 획득하는 단계를 포함하는 인물 추적 방법.
- 제1항에 있어서,
상기 다각도 얼굴 학습 이미지는 상기 정면 학습 이미지에 포함된 인물을 좌, 우, 상, 하 방향으로 각 5도, 10도, 15도 방향에서 촬영하여 획득한 이미지로, 상기 다각도 이미지 생성 모델은 특정 각도에서 획득한 학습 이미지와 상기 정면 학습 이미지를 이용하여 각도별로 독립적으로 학습된 하나 이상의 기계 학습 모델을 포함하는 인물 추적 방법.
- 제1항에 있어서,
상기 추적 요청 신호는
상기 인물의 인상 착의, 상기 인물의 예상 위치, 상기 인물의 신상 정보 또는 상기 인물의 보호자 연락처 중 적어도 하나를 더 포함하는 인물 추적 방법.
- 제1항에 있어서,
상기 추적 정보는
상기 추적 영상이 촬영된 시각, 상기 추적 영상이 촬영된 위치 정보 중 적어도 하나를 더 포함하는 인물 추적 방법.
- 인물을 추적하는 시스템에 있어서,
상기 인물의 얼굴 이미지를 가공하는 서버;
상기 얼굴 이미지를 서버로부터 수신하면, 상기 얼굴 이미지를 이용하여 상기 인물의 추적 영상을 포함하는 추적 정보를 생성하는 카메라가 부착된 드론을 포함하며,
상기 서버는
상기 인물의 얼굴이 포함된 얼굴 이미지 및 실종 장소 정보가 포함된 추적 요청 신호를 수신하면, 상기 추적 요청 신호를 상기 드론으로 전송하고, 상기 드론으로부터 상기 추적 정보를 수신하는 통신부;
상기 얼굴 이미지를 이용하여 상기 인물의 얼굴 데이터베이스를 구축하는 데이터베이스 생성부;
상기 추적 영상에서 얼굴 영역을 추출하고, 상기 얼굴 영역이 상기 얼굴 데이터베이스에 저장된 복수의 이미지 중 어느 하나에 대응되는지 여부를 판단하는 판단부;
상기 판단 결과, 상기 얼굴 영역이 상기 복수의 이미지 중 어느 하나에 대응되면, 상기 추적 정보를 경찰 시스템에 전송하는 알림부를 포함하며,
상기 데이터베이스 생성부는
생성적 대립쌍 신경망을 이용하여 상기 얼굴 이미지의 노이즈 제거 및 해상도 보정을 수행하고, 상기 얼굴 이미지에 훼손된 영역이 존재하면 상기 훼손된 영역을 복구하여 보정 이미지를 생성하는 전처리부;
복수개의 다각도 얼굴 학습 이미지 및 정면 학습 이미지를 이용하여 학습된 다각도 이미지 생성 모델에 상기 보정 이미지를 적용하여 상기 보정 이미지를 좌, 우, 상, 하 방향의 기 설정된 각도로 회전시킨 복수개의 다각도 얼굴 이미지를 생성하는 다각도 이미지 생성부;
상기 보정 이미지 및 상기 다각도 얼굴 이미지를 상기 인물의 얼굴 데이터베이스에 저장하는 저장부를 포함하는 인물 추적 시스템.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180069641A KR102106898B1 (ko) | 2018-06-18 | 2018-06-18 | 얼굴 데이터베이스를 이용한 인물 추적 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180069641A KR102106898B1 (ko) | 2018-06-18 | 2018-06-18 | 얼굴 데이터베이스를 이용한 인물 추적 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190142553A KR20190142553A (ko) | 2019-12-27 |
| KR102106898B1 true KR102106898B1 (ko) | 2020-05-06 |
Family
ID=69062628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180069641A KR102106898B1 (ko) | 2018-06-18 | 2018-06-18 | 얼굴 데이터베이스를 이용한 인물 추적 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102106898B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023526899A (ja) * | 2021-04-29 | 2023-06-26 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 画像修復モデルを生成するための方法、デバイス、媒体及びプログラム製品 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102583686B1 (ko) * | 2020-03-25 | 2023-09-27 | 한국전자통신연구원 | 객체 검출 방법 및 장치 |
| KR102555680B1 (ko) * | 2020-11-06 | 2023-07-17 | 카페24 주식회사 | 초상권 보호를 위한 영상 처리 방법, 장치 및 시스템 |
| WO2022098074A1 (ko) * | 2020-11-06 | 2022-05-12 | 카페24 주식회사 | 초상권 보호 방법, 장치 및 시스템 |
| CN112613480A (zh) * | 2021-01-04 | 2021-04-06 | 上海明略人工智能(集团)有限公司 | 一种人脸识别方法、系统、电子设备及存储介质 |
| CN113610890A (zh) * | 2021-07-02 | 2021-11-05 | 河南橡树智能科技有限公司 | 一种基于多路摄像头的实时人员轨迹二维平面显示方法 |
| KR102567616B1 (ko) * | 2022-10-27 | 2023-08-17 | 한화시스템 주식회사 | 탄착 오차 확인 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101215948B1 (ko) * | 2012-04-02 | 2012-12-27 | 주식회사 뉴인테크 | 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법 |
| KR101793510B1 (ko) * | 2017-03-27 | 2017-11-06 | 한밭대학교 산학협력단 | 얼굴 학습 및 인식 시스템과 그 방법 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120068150A (ko) * | 2010-12-17 | 2012-06-27 | 주식회사 앤비젼 | 객체 추적 시스템 및 그 방법 |
-
2018
- 2018-06-18 KR KR1020180069641A patent/KR102106898B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101215948B1 (ko) * | 2012-04-02 | 2012-12-27 | 주식회사 뉴인테크 | 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법 |
| KR101793510B1 (ko) * | 2017-03-27 | 2017-11-06 | 한밭대학교 산학협력단 | 얼굴 학습 및 인식 시스템과 그 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023526899A (ja) * | 2021-04-29 | 2023-06-26 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 画像修復モデルを生成するための方法、デバイス、媒体及びプログラム製品 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190142553A (ko) | 2019-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102106898B1 (ko) | 얼굴 데이터베이스를 이용한 인물 추적 방법 및 시스템 | |
| CN110070010B (zh) | 一种基于行人重识别的人脸属性关联方法 | |
| Kumar et al. | The p-destre: A fully annotated dataset for pedestrian detection, tracking, and short/long-term re-identification from aerial devices | |
| Saha et al. | Unsupervised deep joint segmentation of multitemporal high-resolution images | |
| CN101095149B (zh) | 图像比较设备和图像比较方法 | |
| CN108154075A (zh) | 经由单次学习的群体分析法 | |
| KR20170080454A (ko) | 온칩 상황 인식 접촉 리스트를 제공하는 시스템 및 방법 | |
| CN110399835B (zh) | 一种人员停留时间的分析方法、装置及系统 | |
| US20220180534A1 (en) | Pedestrian tracking method, computing device, pedestrian tracking system and storage medium | |
| KR101943433B1 (ko) | 몽타주 인식을 통한 실시간 수배자 검출 시스템 | |
| CN112989889B (zh) | 一种基于姿态指导的步态识别方法 | |
| CN110555408A (zh) | 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法 | |
| Benli et al. | Human behavior-based target tracking with an omni-directional thermal camera | |
| Jiao et al. | Anatomy of a multicamera video surveillance system | |
| CN112507893A (zh) | 一种基于边缘计算的分布式无监督行人重识别方法 | |
| US20230350418A1 (en) | Position determination by means of neural networks | |
| Saraswat et al. | Anti-spoofing-enabled contactless attendance monitoring system in the COVID-19 pandemic | |
| JP7488674B2 (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
| JP2019121019A (ja) | 情報処理装置、３次元位置推定方法、コンピュータプログラム、及び記憶媒体 | |
| KR20220019377A (ko) | 딥러닝을 이용한 드론 검출 장치 및 방법 | |
| JP2019012497A (ja) | 部位認識方法、装置、プログラム、及び撮像制御システム | |
| Bardas et al. | 3D tracking and classification system using a monocular camera | |
| Song et al. | A low false negative filter for detecting rare bird species from short video segments using a probable observation data set-based EKF method | |
| CN114694204A (zh) | 社交距离检测方法、装置、电子设备及存储介质 | |
| Kumar et al. | Pedestrian Tracking in UAV Images With Kalman Filter Motion Estimator and Correlation Filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |