KR102498384B1 - CCTV-based missing person search method using face prediction according to age change and AI - Google Patents

CCTV-based missing person search method using face prediction according to age change and AI Download PDF

Info

Publication number
KR102498384B1
KR102498384B1 KR1020200130618A KR20200130618A KR102498384B1 KR 102498384 B1 KR102498384 B1 KR 102498384B1 KR 1020200130618 A KR1020200130618 A KR 1020200130618A KR 20200130618 A KR20200130618 A KR 20200130618A KR 102498384 B1 KR102498384 B1 KR 102498384B1
Authority
KR
South Korea
Prior art keywords
image
face
missing person
cctv
age
Prior art date
Application number
KR1020200130618A
Other languages
Korean (ko)
Other versions
KR20220047103A (en
Inventor
강우석
정재홍
Original Assignee
(주)가시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)가시 filed Critical (주)가시
Priority to KR1020200130618A priority Critical patent/KR102498384B1/en
Publication of KR20220047103A publication Critical patent/KR20220047103A/en
Application granted granted Critical
Publication of KR102498384B1 publication Critical patent/KR102498384B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법에 관한 것으로, CCTV(Closed Circuit Television)를 통해 촬영된 영상신호를 기록하는 VMS(Video Management System)의 3rd-party로 세월의 흐름에 따라 변화한 실종자의 얼굴을 예측하고, DB데이터와 비교 후 인지해 내는 얼굴 예측 및 얼굴인식하여 DB와의 매칭시켜 실종자를 찾을 수 있도록 한 것을 특징으로 하며, 실종자 몽타주 예상을 할 경우 1분 안에 이뤄지며 이는 몽타주 예측시간을 획기적으로 줄이면서 기존의 몽타주 예측 프로그램의 나이 변화에 따른 얼굴예측 뿐만 아니라 CCTV를 통해 유사 얼굴에 대해 검색함으로써 실종자에 대한 실질적인 수색에 활용 가능한 효과가 있다. It is about a CCTV-based missing person search method using AI and face prediction according to age change. It predicts the face of the missing person who has changed according to the flow, compares it with the DB data, and recognizes the face, predicts and recognizes the face, and matches it with the DB to find the missing person. This has the effect of being able to be used for practical search for missing persons by drastically reducing montage prediction time and searching for similar faces through CCTV as well as predicting faces according to age changes of existing montage prediction programs.

Description

나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법{CCTV-based missing person search method using face prediction according to age change and AI}CCTV-based missing person search method using face prediction according to age change and AI}

본 발명은 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법에 관한 것으로, 더욱 상세하게는 CCTV(Closed Circuit Television)를 통해 촬영된 영상신호를 기록하는 VMS(Video Management System)의 3rd-party로 세월의 흐름에 따라 변화한 실종자의 얼굴을 예측하고, DB데이터와 비교 후 인지해 내는 얼굴 예측 및 얼굴인식하여 DB와의 매칭하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법에 관한 것이다.The present invention relates to a CCTV-based missing person search method using AI and face prediction according to age change, and more particularly, to a VMS (Video Management System) recording video signals captured through CCTV (Closed Circuit Television). Predict the face of the missing person who has changed over time as a 3rd -party, compare with DB data, and recognize face prediction and face recognition to match with DB Face prediction according to age change and AI-based CCTV-based It is about a method of searching for missing persons.

일반적으로 영상감시 장치로서 CCTV(Closed Circuit TV) 시스템이 지속적으로 확산되면서 다양한 분야로 파급되고 있으며, 데이터 기반의 도시 관제가 급속도로 추진됨에 따라, CCTV의 영상 데이터를 활용한 지능형 플랫폼의 중요성이 강조되고 있다.In general, CCTV (Closed Circuit TV) systems as a video surveillance device are continuously spreading and spreading to various fields, and as data-based city control is rapidly promoted, the importance of intelligent platforms using CCTV video data is emphasized. It is becoming.

공공부문 중심으로 영상 데이터에 대한 관심이 높아지고 있으며, 도로의 교통 카메라부터 건물 내외부의 CCTV등 다양한 영상 데이터가 생성, 수집되고 있으며, 이러한 데이터는 플랫폼을 통해 관리되고 있다. Interest in video data is increasing in the public sector, and various video data such as traffic cameras on roads and CCTVs inside and outside buildings are being created and collected, and these data are managed through platforms.

상기 플랫폼은 사람, 사물, 주변 환경으로부터 수집한 데이터의 분석을 통해 자율적으로 상항을 판단하여 적절한 서비스를 제공할 수 있는 지능형 플랫폼으로 스마트 시티 구현의 핵심으로 평가받고 있다.The platform is evaluated as the core of smart city implementation as an intelligent platform capable of providing appropriate services by autonomously determining conditions through analysis of data collected from people, objects, and the surrounding environment.

상기의 플랫폼은 관제센터라는 인프라에 4차 산업혁명 기술이 접목·연계되어 다양한 분야에서 새로운 가치 창출이 실현되고 있다.The above platform is being grafted and connected with the 4th industrial revolution technology to the infrastructure of the control center, and new value creation is being realized in various fields.

그리고 매년 마다 정상아동 및 지적 장애인, 치매 환자의 실종자 수는 약 4만 건이다. 이는 실종자를 찾기 위해 국가적으로 많은 인력과 예산이 투입되고 있으며 매년 약 4만건씩 꾸준하게 실종사고가 발생하고 있다.And every year, there are about 40,000 missing persons of normal children, intellectually disabled, and dementia patients. This means that a lot of manpower and budget are being invested nationally to find missing persons, and about 40,000 cases of missing persons are steadily occurring each year.

특히, 고령화로 인한 노인수가 증가하고 이에 따른 치매환자의 증가로 인해 치매 환자와 고령자의 실종신고가 꾸준히 증가하고 있다. 장기 실종자의 경우 얼굴 형태 변화에 따라서 현재 나이의 얼굴을 알 수 없음에 따라 실종자를 찾기 어려움에 있다.In particular, due to the increase in the number of elderly people due to population aging and the corresponding increase in dementia patients, the number of missing persons with dementia and the elderly is steadily increasing. In the case of a long-term missing person, it is difficult to find the missing person as the face of the current age cannot be identified according to the change in the shape of the face.

관련하여 이미 알려진 나이 변화에 따른 몽타주 작성 시스템인 KIST에서 개발한 "폴리스케치"가 있지만 일일이 얼굴을 편집하고, 예측하면서 실종자 몽타주를 작성함에 따라 2주~4주의 작업시간이 요구되어 진다.In relation to this, there is "Poly Sketch" developed by KIST, which is a montage creation system according to age changes, but it requires 2 to 4 weeks of work time to create a missing person montage while editing and predicting the face one by one.

이는 2016년까지의 실종자를 기준으로 실종자 전원에 대한 몽타주 작업을 할 때 약, 평균 3주 X 3만 6천 건 = 108,000주, 약 2076년이 소요된다. 이는 100명의 몽타주 전문 작업 인원이 20년 동안 작업을 해야하는 수치이다. 그리고 작업한 몽타주로 기존 시스템에서 실종자 찾기는 한계가 있다. Based on the missing people up to 2016, it takes about 3 weeks on average X 36,000 cases = 108,000 weeks, or about 2076 years, to create a montage for all missing people. This is a figure that requires 100 montage experts to work for 20 years. Also, there is a limit to finding the missing person in the existing system with the montage I worked on.

또한, “폴리스케치” 기술의 문제점 미래얼굴 예측 프로그램은 있으나, 예측하기 위한 수정 작업이 오래걸리는 문제점이 있다.In addition, there is a problem with “Poly Sketch” technology, but there is a future face prediction program, but there is a problem that the correction work to predict takes a long time.

상기와 같은 문제점을 해결하기 위한 선행문헌으로 대한민국 공개특허 제2017-0035050호(2017.03.30. 공개)의 '얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법, 이를 수행하기 위한 기록매체 및 장치'는 입력되는 얼굴 영상을 기초로 얼굴 부위별 나이를 측정하는 단계; 개인의 환경적인 요인을 지정하는 단계; 상기 얼굴 부위별 나이와 상기 환경적인 요인에 따른 나이 변환 모델을 적용하여 상기 얼굴 부위별로 나이를 변환하는 단계; 상기 얼굴 부위별로 변환된 영상을 복원하는 단계; 및 복원된 영상을 합성하여 나이 변환된 얼굴을 생성하는 단계를 포함하는 것을 특징으로 한다. As prior literature for solving the above problems, Korean Patent Publication No. 2017-0035050 (published on March 30, 2017) 'Age conversion method based on age and environmental factors for each facial part, recording medium for performing this and measuring the age of each part of the face based on the input face image; specifying the individual's environmental factors; converting the age for each part of the face by applying an age conversion model according to the age of each part of the face and the environmental factor; restoring the converted image for each face part; and generating an age-converted face by synthesizing the restored images.

상기와 같은 특징으로 이루어지는 선행문헌은 얼굴의 부위별로 나이를 측정하기 때문에 부위별에서 측정이 일어지지 않은 부분에 대해서는 노화를 예측할 수 없어 얼굴의 변화를 정확하게 판단할 수 없는 문제점이 있다. Since age is measured for each part of the face in the prior literature having the above features, aging cannot be predicted for the part where measurement has not occurred for each part, so there is a problem in that the change of the face cannot be accurately determined.

또한, 환경적인 요인의 적용 시 장소, 시간, 햇빛의 일조량 등 다양한 환경에 대해 접목되어야 하기 때문에 얼굴을 예측하는 과정에 따른 시간의 소요가 많이 소모되어 빠른 시간내에 얼굴의 변화를 파악하기 곤란한 문제점이 내포되어 있다. In addition, since the application of environmental factors must be applied to various environments such as place, time, and amount of sunlight, the process of predicting a face consumes a lot of time, making it difficult to grasp changes in the face in a short time. It is implied.

대한민국 공개특허 제2017-0035050호(2017.03.30. 공개)Republic of Korea Patent Publication No. 2017-0035050 (published on March 30, 2017)

본 발명은 상기한 문제점을 해결하기 위하여 실종자 몽타주 예상을 할 경우 1분 안에 이뤄지며 이는 몽타주 예측시간을 획기적으로 줄이면서 기존의 몽타주 예측 프로그램의 나이 변화에 따른 얼굴예측 뿐만 아니라 CCTV를 통해 유사 얼굴에 대해 검색함으로써 실종자에 대한 실질적인 수색에 활용 가능할 수 있도록 한 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법을 제공하는 데 목적이 있다. In order to solve the above problems, the present invention predicts a montage of a missing person within 1 minute, which drastically reduces the montage prediction time and predicts faces according to age changes of existing montage prediction programs as well as similar faces through CCTV. The purpose of this study is to provide a CCTV-based missing person search method using AI and face prediction according to age change so that it can be used for practical search for missing persons by searching.

본 발명은 상기한 목적을 달성하기 위한 수단으로, The present invention is a means for achieving the above object,

본 발명은 CCTV(Closed Circuit Television)를 통해 촬영된 영상신호를 기록하는 VMS(Video Management System)의 3rd-party로 세월의 흐름에 따라 변화한 실종자의 얼굴을 예측하고, DB데이터와 비교 후 인지해 내는 얼굴 예측 및 얼굴인식하여 DB와의 매칭시켜 실종자를 찾을 수 있도록 한 것을 특징으로 하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법을 제공한다.The present invention predicts the face of a missing person that has changed over time as a 3rd -party of VMS (Video Management System) that records video signals captured through CCTV (Closed Circuit Television), compares with DB data, and recognizes It provides a CCTV-based missing person search method using AI and face prediction according to age change, characterized in that face prediction and face recognition are matched with the DB to find the missing person.

본 발명은 상기한 목적을 달성하기 위한 수단으로, The present invention is a means for achieving the above object,

실종자의 사진을 촬영하고 촬영한 이미지를 입력하는 사진 입력과정과; 실종자의 사진을 촬영한 사진의 이미지에서 실종자의 안면을 검출하는 안면 검출과정과; 실종자의 얼굴을 에측하기 위해 1세 이후 80세의 다수 얼굴에서 획득한 이미지 평균값을 대입하여 나이에 따른 노화된 얼굴 이미지를 예측하는 얼굴 예측과정과; CCTV카메라를 통해 촬영된 영상을 녹화하는 녹화 영상 입력과정과; CCTV카메라를 통해 녹화된 영상에서 얼굴을 인식하는 안면 인식과정과; 얼굴 예측과정에서 예측된 얼굴과 CCTV카메라에서 촬용된 영상의 얼굴을 매칭시켜 얼굴 유사도를 판단하는 얼굴 매칭과정;을 포함하는 것을 특징으로 하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법을 제공한다.a photograph input process of taking a picture of the missing person and inputting the photographed image; a face detection process of detecting a missing person's face from a photo image of the missing person; A face prediction process of predicting an aged face image according to age by substituting an average value of images obtained from a plurality of faces aged 1 to 80 years to predict a face of a missing person; a recording image input process of recording an image captured through a CCTV camera; A face recognition process for recognizing a face in an image recorded through a CCTV camera; A face matching process for determining face similarity by matching the face predicted in the face prediction process with the face in the image taken by the CCTV camera; face prediction according to age change and CCTV-based missing person using AI Provides a search method.

본 발명의 얼굴 예측과정은, 인터넷에 존재하는 1세에서 80세 사이의 수천장의 얼굴 이미지를 활용하여 나이에 따른 이미지의 평균값을 산출하고, 산출된 평균값을 실종자 이미지에 적용하여 나이에 따른 노화된 이미지를 추출하는 것을 특징으로 한다.The face prediction process of the present invention utilizes thousands of face images between the ages of 1 and 80 that exist on the Internet to calculate the average value of the images according to age, and applies the calculated average value to the image of the missing person to determine the aged according to age. Characterized in that the image is extracted.

본 발명의 얼굴예측은, 2세 이후의 여러장의 사진을 나이 순서로 평균이미지를 생성 및 얼굴의 특징점을 기준점으로 기준으로 정렬하고 평균화하는 노후화 기반 구축과정과; 입력된 영상에서 얼굴 정보만을 추출되고, 대규모 데이터 세트에 의해 구해진 낮은 순위 성인(low-rank adult) 이미지와 낮은 순위 아이(low-rank child)이미지와의 조직 차이 정보를 합성 후 성인 비율로 수정하는 나이 변환과정;을 포함하는 것을 특징으로 한다.The face prediction of the present invention includes an aging basis construction process of generating an average image of several photos after the age of 2 in order of age, arranging and averaging facial feature points based on reference points; Only face information is extracted from the input image, and tissue difference information between a low-rank adult image and a low-rank child image obtained from a large-scale data set is synthesized and corrected to an adult ratio. It is characterized in that it includes; age conversion process.

본 발명의 노후화 기반 구축과정은, 온라인 포털 사이트에서 이미지 검색 쿼리를 사용하여 이미지를 획득하여 세트화하는 데이터 세트과정과; 이마면 기울기, 머리의 팽창 및 얼굴의 뻗음에 따른 코의 성장, 눈의 협착, 주름 및 다른 조직 변화에 대해 208개의 특징점을 추출하는 특징점검출과정과; 0세, 1세, 2-3세, 4-6세, 7-9세, 10-12세, 13-15세, 16-24세, 25-34세, 35-44세, 45-56세, 57-67세, 68-80세 및 81-100세의 데이터 세트로 구분하는 클러스터 생성과정;을 포함하는 것을 특징으로 한다.The aging foundation construction process of the present invention includes a data set process of acquiring and setting images using an image search query from an online portal site; A feature point detection process of extracting 208 feature points for the growth of the nose, narrowing of the eyes, wrinkles and other tissue changes according to the forehead tilt, expansion of the head and extension of the face; 0, 1, 2-3, 4-6, 7-9, 10-12, 13-15, 16-24, 25-34, 35-44, 45-56 , cluster generation process of dividing into data sets of 57-67 years old, 68-80 years old, and 81-100 years old.

본 발명의 특징점검출과정은, 얼굴의 특징점 208개의 기준점을 정렬하고, 특징점이 정렬된 이미지에서 서브스페이스 가변 및 조명 보정하는 것을 특징으로 한다.The feature point detection process of the present invention is characterized in that reference points of 208 facial feature points are aligned, and subspace variation and lighting correction are performed in the image in which the feature points are aligned.

본 발명의 나이 변화과정은, 실종자 이미지에서 데이터의 특정한 조건에 따라 일정한 순서대로 이미지를 정렬하는 정렬된 포즈과정과; 얼굴정보에서 추출된 대규모 데이터 세트에 의해 구해진 낮은 순위 성인(low-rank adult) 이미지와 낮은 순위 아이(low-rank child) 이미지에 따른 조직(texture)의 차이를 보정하는 조직차이 적용과정과; 이미지의 모든 픽셀에 대해 둘러싸고 있는 이웃 픽셀이 얼마나 어두운지를 계산한 후 어두워지는 방향으로 벡터(또는 화살표)를 표시하는 흐름차이 적용과정과; 흐름차이가 적용된 실종자 이미지를 몽타주를 형성하는 시점에 맞게 성인 이미지의 비율에 맞게 가로, 세로의 비율을 조정하는 비율 조정과정과; 비율 조정이 완료된 실종자의 이미지와 실종 당시의 이미지가 겹쳐지도록 하는 섞기과정;을 포함하는 것을 특징으로 한다.The age change process of the present invention includes an arranged pose process of arranging images in a certain order according to specific conditions of data in the missing person image; a texture difference application process of correcting a difference in texture according to a low-rank adult image and a low-rank child image obtained from a large-scale data set extracted from face information; a flow difference application process of displaying a vector (or arrow) in a darkening direction after calculating how dark neighboring pixels are for all pixels in the image; A ratio adjustment process of adjusting the horizontal and vertical ratios of the missing person image to which the difference in flow is applied to match the ratio of the adult image at the time of forming the montage; It is characterized by including; a blending process of overlapping the image of the missing person whose proportions have been adjusted and the image at the time of disappearance.

본 발명의 매칭과정은, 실종 당시의 이미지에 노화가 적용된 상태의 이미지에서 특이점을 추출하고,이를 반복적으로 학습하는 특이점 추출 및 학습과정과; 노화가 적용된 실종자 이미지에 CCTV카메라를 통해 획득하여 저장된 낮은 순위 성인(low-rank adult) 이미지에 매칭시켜 실종자를 판별하는 실종자 판별과정;을 포함하는 것을 특징으로 한다.The matching process of the present invention includes a singularity extraction and learning process of extracting a singularity from an image in which aging is applied to an image at the time of disappearance and repeatedly learning the singularity; It is characterized in that it includes; a missing person identification process in which a missing person image to which aging is applied is matched with a low-rank adult image obtained through a CCTV camera and stored.

본 발명의 특이점 추출 및 학습과정은, 실종자의 다수 이미지가 겹쳐지도록 적재하는 대상얼굴 적재과정과; 실종자의 다수 이미지가 적재된 대상에 실종자의 이미지와 다른 이미지를 중첩하는 이미지 중첩과정과; 실종자의 다수 이미지가 적재된 대상에 실종자의 이미지에 이미지 중첩과정에서 적재한 이미지가 아닌 다른 이미지를 중첩하는 다른 이미지 중첩과정;을 포함하는 것을 특징으로 한다.The singularity extraction and learning process of the present invention includes a target face loading process of loading multiple images of a missing person so as to overlap; an image superposition process of superimposing an image of a missing person and another image on an object loaded with multiple images of a missing person; and another image superposition process of superimposing an image other than the image loaded in the image superimposition process on the image of the missing person on the object loaded with multiple images of the missing person.

본 발명의 적재된 이미지는, 각각 현재 생성하고 있는 특징점 측정값을 확인한 후 Step1 이미지(첫번재 이미지)와 Step2 이미지(두번재 이미지)를 가깝게 배치한 상태에서 Step3 이미지(세번재 이미지)는 멀리 떨어지게 배치하여 조정하는 것을 특징으로 한다.In the loaded image of the present invention, after checking the measured value of the feature point currently being generated, Step1 image (first image) and Step2 image (second image) are placed close together, and Step3 image (third image) is farther away. It is characterized by placement and adjustment.

본 발명의 이미지 중첩과정은, 수천명의 실종자 이미지 정보를 다른 사람들의 수백만개의 이미지 정보에 대해 단계를 반복하여 각 사람에 대한 128개의 측정값을 신뢰성 있게 생성하는 것을 특징으로 한다.The image superimposition process of the present invention is characterized by reliably generating 128 measured values for each person by repeating the steps for image information of thousands of missing persons and millions of image information of other people.

본 발명의 특이점 추출 및 학습과정은, 이미지에서 128개의 특징점을 코드화 할 수 있으며, 이러한 코드의 비교를 통해 실종자의 검색이 빠르게 이루어지는 것을 특징으로 한다.The singular point extraction and learning process of the present invention can code 128 feature points in an image, and a missing person can be quickly searched through comparison of these codes.

본 발명은 실종자 몽타주 예상을 할 경우 1분 안에 이뤄지며 이는 몽타주 예측시간을 획기적으로 줄이면서 기존의 몽타주 예측 프로그램의 나이 변화에 따른 얼굴예측 뿐만 아니라 CCTV를 통해 유사 얼굴에 대해 검색함으로써 실종자에 대한 실질적인 수색에 활용 가능한 효과가 있다. In the present invention, when predicting a missing person montage, it is performed within 1 minute, which drastically reduces the montage prediction time, and not only predicts faces according to age changes of existing montage prediction programs, but also searches for similar faces through CCTV, thereby realizing a practical search for missing persons. There is an effect that can be used for

또한, 본 발명은 세월에 따른 변화가 발생한 몽타주의 예측 시 노화도에 따른 평균값이 적용된 몽타주를 이용하여 CCTV를 통해 촬영된 영상에서 얼굴을 검색하기 때문에 실종자와 유사한 사람을 찾기가 용이한 효과가 있다.In addition, the present invention has an effect of easily finding a person similar to a missing person because a face is searched in an image captured through CCTV using a montage to which an average value according to an aging degree is applied when predicting a montage in which changes over time have occurred.

또한, 본 발명은 매년 마다 정상아동, 지적 장애아동 등의 얼굴을 세월의 흐름에 따라 변화한 예측하고, 예측한 얼굴을 DB데이터와 비교 후 인지해 내기 때문에 실종아동을 찾기가 용이한 효과가 있다. In addition, the present invention predicts the faces of normal children, children with intellectual disabilities, etc. over time every year, and recognizes the predicted faces after comparing them with DB data, so it is easy to find missing children. .

또한, 본 발명은 실종자의 경우 얼굴 형태 변화에 따라서 현재 나이의 얼굴을 알 수 있으므로 실종자를 찾기가 용이한 효과가 있다. In addition, the present invention has an effect of facilitating finding a missing person because a face of a current age can be known according to a change in face shape in the case of a missing person.

도 1은 본 발명에 따른 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법을 단계적으로 나타낸 순서도.
도 2는 도 1의 얼굴 예측과정을 나타낸 순서도.
도 3은 도 2의 노후화기반 구축 과정을 나타낸 순서도.
도 4는 도 2의 나이변화에 대하여 이미지에 적용되는 과정을 나타낸 순서도.
도 5은 도 4의 흐름차이 적용과정에 의해 이미지의 흑백영상 전환 및 이미지 정보의 그레이디먼트가 이루어진 상태를 도시한 도면.
도 6은 도 1의 얼굴매칭 과정을 도시한 순서도.
도 7은 도 6에 도시된 특이점 추출 및 학습과정을 도시한 순서도.
도 8은 도 6의 특이점 추출 및 학습 과정을 통해 특징점 128개가 코드화된 상태를 도시한 도면.1 is a flow chart showing a CCTV-based missing person search method using AI and face prediction according to age change according to the present invention step by step.
Figure 2 is a flow chart showing the face prediction process of Figure 1;
3 is a flowchart illustrating a process of building an aging infrastructure of FIG. 2;
4 is a flowchart illustrating a process applied to an image with respect to age change in FIG. 2;
FIG. 5 is a diagram showing a state in which black and white conversion of images and gradation of image information are performed by the flow difference application process of FIG. 4;
6 is a flowchart illustrating the face matching process of FIG. 1;
FIG. 7 is a flowchart illustrating the singularity extraction and learning process shown in FIG. 6;
8 is a diagram showing a state in which 128 feature points are coded through the singularity extraction and learning process of FIG. 6;

이하, 본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 하고, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. Hereinafter, it should be noted that the technical terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention, and the technical terms used in the present invention have a particularly different meaning in the present invention. Unless defined, it should be interpreted in a meaning commonly understood by those of ordinary skill in the art to which the present invention belongs, and should not be interpreted in an excessively comprehensive meaning or an excessively reduced meaning.

또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.In addition, when the technical terms used in the present invention are incorrect technical terms that do not accurately express the spirit of the present invention, they should be replaced with technical terms that those skilled in the art can correctly understand. In addition, general terms used in the present invention should be interpreted as defined in advance or according to context, and should not be interpreted in an excessively reduced sense.

아울러, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는데, 예를 들어 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.In addition, the singular expression used in the present invention includes a plurality of expressions unless the context clearly indicates otherwise, for example, the term "consisting of" or "comprising" refers to various elements described in the invention, or It should not be construed as necessarily including all of the various steps, and it should be construed that some components or some steps may not be included, or additional components or steps may be further included.

본 발명에 따른 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법은 CCTV(Closed Circuit Television)를 통해 촬영된 영상신호를 기록하는 VMS(Video Management System)의 3rd-party로 세월의 흐름에 따라 변화한 실종자의 얼굴을 예측하고, DB데이터와 비교 후 인지해 내는 얼굴 예측 및 얼굴인식하여 DB와의 매칭시켜 실종자를 찾을 수 있도록 한 것을 특징으로 한다.CCTV-based missing person search method using face prediction and AI according to age change according to the present invention is a 3rd -party of VMS (Video Management System) that records video signals captured through CCTV (Closed Circuit Television). It predicts the face of the missing person who has changed according to the flow of , compares it with DB data, and then recognizes and predicts the face to be recognized, and matches it with the DB to find the missing person.

상기와 같은 특징으로 이루어지는 본 발명에 따른 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법을 첨부된 도면을 통해 상세하게 설명한다.The CCTV-based missing person search method using AI and face prediction according to age change according to the present invention consisting of the above features will be described in detail through the accompanying drawings.

도 1은 본 발명에 따른 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법을 단계적으로 나타낸 순서도이고, 도 2는 도 1의 얼굴 예측과정을 나타낸 순서도이며, 도 3은 도 2의 노후화기반 구축 과정을 나타낸 순서도이고, 도 4는 도 2의 나이변화에 대하여 이미지에 적용되는 과정을 나타낸 순서도이며, 도 5은 도 4의 흐름차이 적용과정에 의해 이미지의 흑백영상 전환 및 이미지 정보의 그레이디먼트가 이루어진 상태를 도시한 도면이고, 도 6은 도 1의 얼굴매칭 과정을 도시한 순서도이며, 도 7은 도 6에 도시된 특이점 추출 및 학습과정을 도시한 순서도이고, 도 8은 도 6의 특이점 추출 및 학습 과정을 통해 특징점 128개가 코드화된 상태를 도시한 도면이다.1 is a flow chart showing a CCTV-based missing person search method using AI and face prediction according to age change according to the present invention step by step, FIG. 2 is a flow chart showing the face prediction process of FIG. 1, FIG. 3 is FIG. 2 4 is a flowchart showing the process of applying the age change to the image in FIG. 2, and FIG. 5 is a black and white image conversion and image information of the image by the flow difference application process of FIG. 6 is a flow chart showing the face matching process of FIG. 1, FIG. 7 is a flow chart showing the singularity extraction and learning process shown in FIG. 6, and FIG. It is a diagram showing a state in which 128 feature points are coded through the singularity extraction and learning process of FIG. 6 .

도 1을 참조하여 상세하세 설명하면, 본 발명의 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법은 실종자의 사진을 촬영하고 촬영한 이미지를 입력하는 사진 입력과정(S100)과, 실종자의 사진을 촬영한 사진의 이미지에서 실종자의 안면을 검출하는 안면 검출과정(S200)과, 실종자의 얼굴을 에측하기 위해 1세 이후 80세의 다수 얼굴에서 획득한 이미지 평균값을 대입하여 나이에 따른 노화된 얼굴 이미지를 예측하는 얼굴 예측과정(S300)과, CCTV카메라를 통해 촬영된 영상을 녹화하는 녹화 영상 입력과정(S400)과, CCTV카메라를 통해 녹화된 영상에서 얼굴을 인식하는 안면 인식과정(S500) 및 얼굴 예측과정에서 예측된 얼굴과 CCTV카메라에서 촬용된 영상의 얼굴을 매칭시켜 얼굴 유사도를 판단하는 얼굴 매칭과정(S600);을 포함한다. Referring to FIG. 1 in detail, the CCTV-based missing person search method using face prediction and AI according to age change of the present invention includes a photo input process (S100) of taking a picture of a missing person and inputting the captured image, and , The face detection process (S200) of detecting the missing person's face from the photographic image of the missing person, and the average value of images acquired from multiple faces from 1 year old to 80 years old to predict the missing person's face, A face prediction process (S300) for predicting an aged face image according to the image, a recorded video input process (S400) for recording an image taken through a CCTV camera, and a face recognition process for recognizing a face in an image recorded through a CCTV camera. (S500) and a face matching process (S600) of matching the face predicted in the face prediction process with the face of the image captured by the CCTV camera to determine the face similarity.

도 2 내지 5에 도시된 바와 같이, 상기 얼굴 예측과정은 인터넷에 존재하는 수천장의 1세에서 80세 사이의 얼굴 이미지를 활용하여 나이에 따른 이미지의 평균값을 산출하고, 산출된 평균값을 실종자 이미지에 적용하여 나이에 따른 노화된 이미지를 추출할 수 있도록 한다.As shown in FIGS. 2 to 5, the face prediction process utilizes thousands of face images between the ages of 1 and 80 that exist on the Internet to calculate the average value of images according to age, and the calculated average value to the missing person image. It is applied so that aged images according to age can be extracted.

상기 얼굴 예측과정(S300)은 인터넷에 존재하는 1세에서 80세 사이의 수천장의 얼굴 이미지를 활용하여 나이에 따른 이미지의 평균값을 산출하고, 산출된 평균값을 실종자 이미지에 적용하여 나이에 따른 노화된 이미지를 추출하는 것을 특징으로 한다.The face prediction process (S300) calculates the average value of images according to age by using thousands of face images between the ages of 1 and 80 that exist on the Internet, and applies the calculated average value to the image of the missing person to determine the aged according to age. Characterized in that the image is extracted.

상기 얼굴 예측과정(S300)은 노후화 기반 구축과정(S310), 나이 변환과정(S320)으로 이루어진다.The face prediction process (S300) consists of an aging base construction process (S310) and an age conversion process (S320).

상기 노후화 기반 구축과정(S310)은 1세 이후 80세까지의 사진을 나이 순서로 평균이미지를 생성 및 얼굴의 특징점을 기준점으로 기준으로 정렬하고 평균화한다. In the aging base construction process (S310), average images are created in order of age from photos from 1 year old to 80 years old, and averaged after arranging them based on facial feature points as reference points.

이때 사진의 정렬시 픽셀 정렬 및 모델 이미지의 서브 스페이스 가변 조명등의 이미지 평균을 계산이 이루어진다.At this time, when arranging the photos, pixel alignment and image averaging of subspace variable lighting of the model image are calculated.

상기 픽셀정렬은 1세에서 80세 사이의 사진을 나이 순서로 하여 평균이이미지를 생성하고, 생성된 이미지에서 픽셀을 추출한다. 즉, 픽셀추출은 노화 효과 분석을 위해 포털사이트의 검색쿼리를 사용하여 0에서 100세까지의 이미지를 회득하고, 획득한 데이터 중에서 가장 많이 데이터를 차지하는 연령대를 요소를 몇 개 모은 단위체(또는 클러스터)의 기준데이터를 설정하기 위함이다.In the pixel sorting, an image is created by averaging photos between the ages of 1 and 80 in order of age, and pixels are extracted from the generated image. In other words, pixel extraction obtains images from 0 to 100 years of age by using a search query on a portal site to analyze the aging effect, and forms a unit (or cluster) in which several elements of the age group occupy the most data among the acquired data. This is to set the reference data of

상기 나이 변환과정(S320)은 노후화 기반 구축과정(S310)을 통해 기준점으로 기준으로 정렬하고 평균화 한 이미지가 입력된 영상에서 얼굴 정보만을 추출되고, 대규모 데이터 세트에 의해 구해진 낮은 순위 성인(low-rank adult) 이미지와 낮은 순위 아이(low-rank child)이미지와의 조직 차이 정보를 합성 후 성인 비율로 수정한다.In the age conversion process (S320), only face information is extracted from the image inputted with images aligned and averaged as reference points through the aging base construction process (S310), and a low-rank adult (low-rank adult) obtained by a large-scale data set The tissue difference information between the adult image and the low-rank child image is synthesized and corrected to the adult ratio.

상기 노후화 기반 구축과정(S310)은 온라인 포털 사이트에서 이미지 검색 쿼리를 사용하여 이미지를 획득하여 세트화하는 데이터 세트과정(S311)과, 이마면 기울기, 머리의 팽창 및 얼굴의 뻗음에 따른 코의 성장, 눈의 협착, 주름 및 다른 조직 변화에 대해 208개의 특징점을 추출하는 특징점검출과정(S312)과, 0세, 1세, 2-3세, 4-6세, 7-9세, 10-12세, 13-15세, 16-24세, 25-34세, 35-44세, 45-56세, 57-67세, 68-80세 및 81-100세의 데이터 세트로 구분하는 클러스터 생성과정(S313)을 포함한다.The aging foundation construction process (S310) includes a data set process (S311) of acquiring and setting images using an image search query from an online portal site, and nose growth according to forehead slope, head expansion, and face extension , feature point detection process (S312) of extracting 208 feature points for eye narrowing, wrinkles and other tissue changes, and 0 years old, 1 year old, 2-3 years old, 4-6 years old, 7-9 years old, 10-12 years old The process of creating a cluster to classify into data sets of 13-15 years old, 16-24 years old, 25-34 years old, 35-44 years old, 45-56 years old, 57-67 years old, 68-80 years old, and 81-100 years old. (S313) is included.

상기 특징점검출과정(S312)은 얼굴의 특징점 208개의 기준점을 정렬하고, 특징점이 정렬된 이미지에서 서브스페이스 가변 및 조명 보한다.In the feature point detection process (S312), the reference points of the 208 facial feature points are aligned, and the subspace is varied and illuminated in the image in which the feature points are aligned.

또한, 상기 특징점검출과정(S312)은 얼굴의 각 부위 기반 특징점 검출을 위해 추출된 얼굴 영역에서 눈, 눈썹, 코, 입, 턱선 등의 탐색 과정을 수행하여 얼굴을 구성하는 각 부위의 구조적인 정보를 이용하고 대상의 이미지와 학습용 얼굴 이미지의 패턴을 비교한다.In addition, in the feature point detection process (S312), structural information of each part constituting the face is performed by performing a search process for eyes, eyebrows, nose, mouth, jawline, etc. in the extracted facial area for feature point detection based on each part of the face. and compare the pattern of the target image and the face image for learning.

상기 얼굴 특징점 검출은 눈, 눈썹, 코, 입, 턱선 등으로 구분할 수 있지만 노화에 따라 얼굴의 가로 세로 비율, 눈사이의 거리, 눈 중심점과 얼굴 기준점과의 거리가 조정되어 해당 부분들을 추가하여 노화의 진행 여부를 측정하기 때문에 일반적인 얼굴 특징점보다 많은 208개의 기준점을 갖는다.The facial feature point detection can be divided into eyes, eyebrows, nose, mouth, jaw line, etc., but according to aging, the aspect ratio of the face, the distance between the eyes, and the distance between the center of the eyes and the face reference point are adjusted, and the corresponding parts are added. Since it measures whether or not the progress is made, it has 208 reference points, more than general facial feature points.

상기 특징점검출과정(S312)에서 획득한 이미지에서 얼굴의 특징점 208개를 기준점으로 픽셀을 정렬한다. 그리고 얼굴의 특징점 208개의 기준점을 정렬하고, 특징점이 정렬된 이미지에서 서브스페이스 가변 및 조명 보정한다. In the image acquired in the feature point detection process (S312), pixels are aligned with 208 facial feature points as reference points. Then, the reference points of 208 facial feature points are aligned, and the subspace is varied and lighting is corrected in the image in which the feature points are aligned.

상기 클러스터 생성과정(S313)은 1세, 2-3세, 4-6세, 7-9세, 10-12세, 13-15세, 16-24세, 25-34세, 35-44세, 45-56세, 57-67세, 68-80세 및 81-100세의 데이터 세트로 구분한다. The cluster generation process (S313) is 1 year old, 2-3 years old, 4-6 years old, 7-9 years old, 10-12 years old, 13-15 years old, 16-24 years old, 25-34 years old, 35-44 years old , 45-56 years old, 57-67 years old, 68-80 years old, and 81-100 years old data sets.

이러한 보정은 단위체(또는 클러스터)로 구분된 데이터 세트에 적용되어 실종자의 얼굴 이미지와 매칭시켜 유사도를 검출할 수 있도록 한다.This correction is applied to the data set divided into units (or clusters) so that the similarity can be detected by matching with the missing person's face image.

또한, 이미지의 보정에 따라 단위체(또는 클러스터)로 구분된 데이터를 통해 나이별 노화에 따른 평균 이미지에서 값을 추출하고, 이미지에서 추출된 값을 실종자 얼굴에 대응하여 실종자의 얼굴 이미지를 나이대별로 노화가 적용된 이미지를 추출할 수 있도록 한다.In addition, a value is extracted from the average image according to aging by age through data classified into units (or clusters) according to image correction, and the face image of the missing person is aged by age by matching the value extracted from the image to the face of the missing person. Allows extraction of applied images.

그리고 상기 나이 변화과정(S320)은 포즈과정(S321), 조직차이 적용과정(S322), 흐름차이 적용과정(S323), 비율 조정과정(S324) 및 섞기과정(S325)으로 이루어진다. The age change process (S320) consists of a pose process (S321), a tissue difference application process (S322), a flow difference application process (S323), a ratio adjustment process (S324), and a blending process (S325).

상기 포즈과정(S321)은 실종자 이미지에서 데이터의 특정한 조건에 따라 일정한 순서대로 이미지를 정렬한다. In the pause process (S321), images are arranged in a certain order according to specific conditions of data in the missing person image.

상기 조직차이 적용과정(S322)은 포즈과정(S321)을 통해 이미지가 정렬된 상태에서 얼굴정보에서 추출된 대규모 데이터 세트에 의해 구해진 낮은 순위 성인(low-rank adult) 이미지와 낮은 순위 아이(low-rank child) 이미지에 따른 조직(texture)의 차이를 보정한다.The tissue difference application process (S322) is a low-rank adult image and a low-rank child (low-rank adult) obtained by a large-scale data set extracted from face information in a state where the images are aligned through the pose process (S321). The difference in texture according to the rank child image is corrected.

상기 흐름차이 적용과정(S323)은 이미지의 모든 픽셀에 대해 둘러싸고 있는 이웃 픽셀이 얼마나 어두운지를 계산한 후 어두워지는 방향으로 벡터(또는 화살표)를 표시하고, 이미지의 모든 픽셀에 대해 이 프로세스를 반복하면 모든 픽셀이 벡터로 바뀌게 되도록 그레이디먼트(gradients)과정을 수행한다. 이러한 과정을 통해 전체 이미지의 밝기 흐름을 알 수 있다. In the flow difference application process (S323), after calculating how dark neighboring pixels are for all pixels in the image, a vector (or arrow) is displayed in the darkening direction, and this process is repeated for all pixels in the image. A process of gradients is performed so that all pixels are converted into vectors. Through this process, the brightness flow of the entire image can be known.

그리고 상기와 같은 과정을 통해 얻어진 벡터 정보를 이용하여 이미지를 16x16 픽셀의 작은 정사각형으로 분해 함. 16x16 픽셀 박스안에서 흐름이 가장 강한 화살표를 선택하고 이를 표시하면 다음과 같은 영상의 특징이 추출되도록 한다.And, using the vector information obtained through the above process, the image is decomposed into small squares of 16x16 pixels. By selecting the arrow with the strongest flow in the 16x16 pixel box and displaying it, the following image features are extracted.

상기에서 추출된 영상은 러닝된 얼굴의 호그(hog) 패턴과 비교하여 유사부분을 찾는다. The image extracted above is compared with the hog pattern of the running face to find similar parts.

상기 비율 조정과정(S324)은 흐름차이가 적용된 실종자 이미지를 몽타주를 형성하는 시점에 맞게 성인 이미지의 비율에 맞게 가로, 세로의 비율을 조정한다.In the ratio adjustment process (S324), the horizontal and vertical ratios of the missing person image to which the flow difference is applied are adjusted according to the ratio of the adult image at the time of forming the montage.

즉, 성인의 이미지로 변환한 상태에서 낮은 순위 아이(low-rank child) 이미지와 특징점에 맞게 노화에 따라 얼굴의 가로 세로 비율, 눈사이의 거리, 눈 중심점과 얼굴 기준점과의 거리를 조절한다. 즉 최종적으로 성인의 이미지화가 되도록 특징점에 따른 계산값에 맞게 조절하여 실종자의 얼굴 이미지에 나이대에 따른 노화가 진행되도록 한다.That is, in the state of being converted into an adult image, the aspect ratio of the face, the distance between the eyes, and the distance between the center of the eye and the reference point of the face are adjusted according to aging according to the low-rank child image and feature points. That is, by adjusting the calculated value according to the feature point so that it is finally imaged as an adult, the aging of the face image of the missing person is progressed according to the age group.

상기 섞기과정(S325)은 비율 조정이 완료된 실종자의 이미지와 실종 당시의 이미지가 충첩되도록 한다.In the blending process (S325), the image of the missing person whose ratio has been adjusted overlaps with the image at the time of disappearance.

상기 섞기과정(S325)은 얼굴정보에서 추출된 대규모 데이터 세트에 의해 구해진 낮은 순위 성인(low-rank adult) 이미지와 낮은 순위 아이(low-rank child) 이미지에 따른 조직(texture)의 차이를 보정하기 위하여 합성한다.The blending process (S325) corrects the difference in texture according to the low-rank adult image and the low-rank child image obtained by the large-scale data set extracted from face information. synthesized for

즉, 낮은 순위 아이의 이미지와 낮은 수위 성인의 이미지가 서로 겹치도록 합성하여 얼굴 형태, 눈, 코 입 등이 성인의 비율로 수정이 이루어지도록 한다.That is, the image of a low-ranking child and the image of a low-ranking adult are synthesized so that they overlap each other so that the face shape, eyes, nose and mouth are corrected at the adult's rate.

도 6 내지 8에 도시된 바와 같이, 상기 매칭과정(S600)은 실종 당시의 이미지에 노화가 적용된 상태의 이미지에서 특이점을 추출하고,이를 반복적으로 학습하는 특이점 추출 및 학습과정(S610)과, 노화가 적용된 실종자 이미지에 CCTV카메라를 통해 획득하여 저장된 낮은 순위 성인(low-rank adult) 이미지에 매칭시켜 실종자를 판별하는 실종자 판별과정(S620)으로 이루어진다.As shown in FIGS. 6 to 8, the matching process (S600) includes a singular point extraction and learning process (S610) of extracting a singular point from an image in which aging is applied to an image at the time of disappearance and repeatedly learning the singular point, and aging It consists of a missing person identification process (S620) of determining a missing person by matching the missing person image to which is applied with a low-rank adult image obtained through a CCTV camera and stored.

상기 특이점 추출 및 학습과정(S610)은 대상얼굴 적재과정(S611), 이미지 중첩과정(S612) 및 다른 이미지 중첩과정(S613)으로 이루어진다. The singularity extraction and learning process (S610) consists of a target face loading process (S611), an image overlapping process (S612), and another image overlapping process (S613).

상기 대상얼굴 적재과정(S611)은 낮은 순위 성인(low-rank adult) 이미지와 비교할 수 있도록 노후화가 적용된 실종자 이미지를 불러온다.In the target face loading process (S611), the missing person image to which aging is applied is loaded so that it can be compared with a low-rank adult image.

상기 이미지 중첩과정(S612)은 노후화가 적용된 실종자의 이미지를 적재한 상태에서 CCTV카메라를 통해 획득하여 저장된 낮은 순위 성인(low-rank adult) 이미지와 비교할 수 있도록 이미지를 서로 중첩시킨다.In the image overlapping process (S612), the images of the missing person to which aging is applied are overlapped so that they can be compared with a low-rank adult image acquired through a CCTV camera and stored in a loaded state.

상기 이미지 중첩과정(S612)은 실종자의 다수 이미지가 적재된 대상에 실종자의 이미지와 다른 이미지를 중첩한다.In the image overlapping process (S612), the image of the missing person and other images are superimposed on the object loaded with multiple images of the missing person.

상기 다른 이미지 중첩과정(S613)은 실종자의 다수 이미지가 적재된 대상에 실종자의 이미지에 이미지 중첩과정에서 적재한 이미지가 아닌 다른 이미지를 중첩한다.In the other image overlapping process (S613), an image other than the image loaded in the image superimposing process is superimposed on the image of the missing person on the object loaded with multiple images of the missing person.

상기 얼굴의 특이점 데이터 베이스를 만들기 위해 얼굴에서 어떤 특징 값을 수집을 할지는 고려하지 않는다. 그 이유는 수집할 측정값을 스스로 파악 하도록 하는 것이 가장 정확한 접근방법이기 때문이다.It does not consider which feature values are to be collected from the face to create the face singularity database. The reason is that the most accurate approach is to have them figure out the measurement values to be collected by themselves.

상기 적재된 이미지는 각각 현재 생성하고 있는 특징점 측정값을 확인한 후 Step1 이미지(첫번재 이미지)와 Step2 이미지(두번재 이미지)를 가깝게 배치한 상태에서 Step3 이미지(세번재 이미지)는 멀리 떨어지게 배치하여 조정한다.Each of the loaded images is adjusted by checking the measured value of the feature points currently being created, placing the Step1 image (the first image) and the Step2 image (the second image) close together, and placing the Step3 image (the third image) far apart. do.

그리고 수천명의 실종자 이미지 정보를 다른 사람들의 수백만개의 이미지 정보에 대해 단계를 반복하면, 각 사람에 대한 128개의 측정값을 신뢰성 있게 생성한다.And repeating the steps for thousands of missing person image information and millions of other people's image information reliably produces 128 measurements for each person.

그리고 동일한 사람의 10개의 다른 사람에 대해서 대략적으로 동일한 측정값을 제공해야 러닝이 이루어진다.And running requires giving approximately the same measurements for 10 different people of the same person.

상기와 같이 학습이 이루어진 상태에서 실시간으로 입력되는 얼굴 이미지에서 128개의 측정값을 획득하고, SVM 분류기를 통해 실종자와 같은 사람인지 판별할 수 있다. 즉, SVM 분류기에 의한 판별방법은 실시간으로 입력되는 이미지로부터 특징점 측정값을 가져와 실종자 DB에서 가장 매칭이 되는 사람이 누구인지 판별한다.In the state in which learning has been completed as described above, 128 measurement values are obtained from the face image input in real time, and it is possible to determine whether the person is the same as the missing person through the SVM classifier. That is, the discrimination method by the SVM classifier takes the feature point measurement value from the image input in real time and determines who is the most matched person in the missing person DB.

상기와 같이 이미지에서 128개의 특징점을 코드화 할 수 있으며, 이러한 코드의 비교를 통해 실종자의 검색이 빠르게 이루어지는 특징이 있다. As described above, 128 feature points can be coded in an image, and a missing person can be quickly searched through comparison of these codes.

상기에서 설명한 바와 같이 실종자의 얼굴 미지를 획득한 상태에서 포털사이트의 검색커리를 사용하여 0~100세까지의 이미지를 획득하여 얻은 데이터를 얼굴예측과정을 통해 노화가 적용된 이미지를 생성한다.As described above, in the state in which the face of the missing person is acquired, images from 0 to 100 years old are acquired using the search query of the portal site, and an image with aging is generated through the face prediction process.

다시 설명하면, 입력된 영상에서 실종자의 얼굴 정보에서 낮은 순위 아이(low-rank child) 이미지를 추출하고, 얼굴정보에서 추출된 대규모 데이터 세트에 의해 구해진 낮은 순위 성인(low-rank adult) 이미지와 낮은 순위 아이(low-rank child) 이미지에 따른 조직(texture)의 차이를 보정한 상태에서 낮은 순위 아이(low-rank child) 이미지를 성인의 비율로 수정하고, 낮은 순위 아이(low-rank child) 이미지와 특징점에 맞게 노화에 따라 얼굴의 가로 세로 비율, 눈사이의 거리, 눈 중심점과 얼굴 기준점과의 거리를 조절하는 조절하여 노화가 적용된 실종자의 성인이미지를 생성한다.In other words, a low-rank child image is extracted from the face information of the missing person in the input image, and a low-rank adult image and a low-rank adult image obtained by a large-scale data set extracted from the face information are extracted. In the state in which the difference in texture according to the low-rank child image is corrected, the low-rank child image is corrected in the proportion of the adult, and the low-rank child image An adult image of the missing person with aging is created by adjusting the aspect ratio of the face, the distance between the eyes, and the distance between the center of the eye and the reference point of the face according to aging according to the feature point and the face.

상기와 같이 노화도가 적용된 실종자 이미지를 다수의 CCTV 카메라로 부터 촬영되어 인가되는 데이터를 유, 무선방식을 통해 영상 또는 이미지가 VMS 서버로 인가되고, VMS 서버는 촬영된 불특정 다수의 사람의 얼굴에서 안면인식을 이미지를 추출하며, 추출된 이미지를 저장한 상태에서 노화가 적용된 실종자 이미지와 매칭시켜 실종자와 유사도를 체크하여 실종자 인지를 판단한다. As described above, the image of the missing person to which the aging degree is applied is photographed from a plurality of CCTV cameras, and the video or image is applied to the VMS server through a wired or wireless method, and the VMS server captures the face of a number of unspecified people photographed. Recognition extracts an image, and in a state where the extracted image is stored, it is matched with the aged missing person image to check the similarity with the missing person to determine whether it is a missing person.

이상에서 설명한 바와 같이 세월에 따른 변화가 발생한 몽타주의 예측 시 노화도에 따른 평균값이 적용된 몽타주를 이용하여 CCTV를 통해 촬영된 영상에서 얼굴을 검색하기 때문에 실종자와 유사한 사람을 찾기가 용이한 것은 물론 매년 마다 정상아동, 지적 장애아동 등의 얼굴을 세월의 흐름에 따라 변화한 예측하고, 예측한 얼굴을 DB데이터와 비교 후 인지해 내기 때문에 실종아동을 찾기가 용이하다. As described above, when predicting the montage that has changed over time, the face is searched in the video recorded through CCTV using the montage to which the average value according to the degree of aging is applied, so it is easy to find a person similar to the missing person and every year It is easy to find a missing child because it predicts the face of a normal child or a child with intellectual disabilities over time and recognizes it after comparing the predicted face with DB data.

또한, 실종자의 경우 얼굴 형태 변화에 따라서 현재 나이의 얼굴을 알 수 있으므로 실종자를 찾기가 용이하다. In addition, in the case of a missing person, it is easy to find a missing person because the face of the current age can be known according to the change in the face shape.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 고안이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 고안의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. While this specification contains many specific implementation details, they should not be construed as limiting on the scope of any invention or claimable, but rather as a description of features that may be unique to a particular embodiment of a particular invention. It should be understood.

한편, 본 명세서와 도면에 개시된 본 고안의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 고안의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 고안의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 고안이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the present specification and drawings are only presented as specific examples to aid understanding, and are not intended to limit the scope of the present invention. In addition to the embodiments disclosed herein, it is obvious to those skilled in the art that other modified examples based on the technical idea of the present invention can be implemented.

Claims (15)

삭제delete 실종자의 사진을 촬영하고 촬영한 이미지를 입력하는 사진 입력과정(S100);
실종자의 사진을 촬영한 사진의 이미지에서 실종자의 안면을 검출하는 안면 검출과정(S200);
실종자의 얼굴을 에측하기 위해 1세 이후 80세의 다수 얼굴에서 획득한 이미지 평균값을 대입하여 나이에 따른 노화된 얼굴 이미지를 예측하는 얼굴 예측과정(S300);
CCTV카메라를 통해 촬영된 영상을 녹화하는 녹화 영상 입력과정(S400);
CCTV카메라를 통해 녹화된 영상에서 얼굴을 인식하는 안면 인식과정(S500);
얼굴 예측과정에서 예측된 얼굴과 CCTV카메라에서 촬용된 영상의 얼굴을 매칭시켜 얼굴 유사도를 판단하는 얼굴 매칭과정(S600);을 포함하며,
상기 얼굴예측과정(S300)은,
2세 이후의 여러장의 사진을 나이 순서로 평균이미지를 생성 및 얼굴의 특징점을 기준점으로 기준으로 정렬하고 평균화하는 노후화 기반 구축과정(S310)과;
입력된 영상에서 얼굴 정보만을 추출되고, 대규모 데이터 세트에 의해 구해진 낮은 순위 성인(low-rank adult) 이미지와 낮은 순위 아이(low-rank child)이미지와의 조직 차이 정보를 합성 후 성인 비율로 수정하기 위하여 실종자 이미지에서 데이터의 특정한 조건에 따라 일정한 순서대로 이미지를 정렬하는 정렬된 포즈과정(S321)과; 얼굴정보에서 추출된 대규모 데이터 세트에 의해 구해진 낮은 순위 성인(low-rank adult) 이미지와 낮은 순위 아이(low-rank child) 이미지에 따른 조직(texture)의 차이를 보정하는 조직차이 적용과정(S322)과; 이미지의 모든 픽셀에 대해 둘러싸고 있는 이웃 픽셀이 얼마나 어두운지를 계산한 후 어두워지는 방향으로 벡터(또는 화살표)를 표시하고, 모든 픽셀이 벡터로 바뀌게 되도록 그레이디먼트(gradients)과정을 수행하며, 추출된 영상은 러닝된 얼굴의 호그(hog)패턴과 비교하여 유사부분을 찾는 흐름차이 적용과정과(S323)과; 흐름차이가 적용된 실종자 이미지를 몽타주를 형성하는 시점에 맞게 성인 이미지의 비율에 맞게 가로, 세로의 비율을 조정하는 비율 조정과정(S324)과; 비율 조정이 완료된 실종자의 이미지와 실종 당시의 이미지가 겹쳐지도록 하는 섞기과정(S325);으로 이루어지는 나이 변환과정(S320);
을 포함하는 것을 특징으로 하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법.
A photo input process of taking a picture of the missing person and inputting the captured image (S100);
A face detection process (S200) of detecting the face of the missing person in the image of the photograph of the missing person;
A face prediction process (S300) of predicting an aged face image according to age by substituting an average value of images obtained from a plurality of faces aged 1 to 80 to predict the face of a missing person;
Recording image input process (S400) of recording the image taken through the CCTV camera;
A face recognition process (S500) of recognizing a face in an image recorded through a CCTV camera;
A face matching process (S600) of matching the face predicted in the face prediction process with the face of the image captured by the CCTV camera to determine the face similarity;
The face prediction process (S300),
An aging foundation construction process (S310) of generating an average image of several photos after the age of 2 years old in order of age, arranging and averaging based on facial feature points as reference points;
Only face information is extracted from the input image, and tissue difference information between a low-rank adult image and a low-rank child image obtained from a large-scale data set is synthesized and corrected to an adult ratio. an arranged pose process (S321) of arranging images in a certain order according to specific conditions of data in the missing person image; Tissue difference application process for correcting the difference in texture according to the low-rank adult image and the low-rank child image obtained from the large-scale data set extracted from face information (S322) class; After calculating how dark the surrounding pixels are for every pixel in the image, a vector (or arrow) is displayed in the darkening direction, a gradient process is performed so that all pixels are converted into vectors, and the extracted The image is compared with the hog pattern of the running face and a flow difference application process (S323) to find a similar part; a ratio adjustment process (S324) of adjusting the horizontal and vertical ratios of the missing person image to which the flow difference is applied to match the ratio of the adult image at the time of forming the montage; A blending process (S325) of overlapping the image of the missing person whose ratio has been adjusted with the image at the time of disappearance (S325); an age conversion process (S320) comprising;
CCTV-based missing person search method using face prediction and AI according to age change, characterized in that it comprises a.
 제2항에 있어서,
상기 얼굴 예측과정(S300)은,
인터넷에 존재하는 1세에서 80세 사이의 수천장의 얼굴 이미지를 활용하여 나이에 따른 이미지의 평균값을 산출하고, 산출된 평균값을 실종자 이미지에 적용하여 나이에 따른 노화된 이미지를 추출하는 것을 특징으로 하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법.
According to claim 2,
The face prediction process (S300),
Using thousands of face images between the ages of 1 and 80 that exist on the Internet, the average value of the images according to age is calculated, and the average value is applied to the image of the missing person to extract the aged image according to age. A CCTV-based missing person search method using face prediction and AI according to age change.
 삭제delete 제2항에 있어서,
상기 노후화 기반 구축과정(S310)은,
온라인 포털 사이트에서 이미지 검색 쿼리를 사용하여 이미지를 획득하여 세트화하는 데이터 세트과정(S311)과;
이마면 기울기, 머리의 팽창 및 얼굴의 뻗음에 따른 코의 성장, 눈의 협착, 주름 및 다른 조직 변화에 대해 208개의 특징점을 추출하는 특징점검출과정(S312)과;
0세, 1세, 2-3세, 4-6세, 7-9세, 10-12세, 13-15세, 16-24세, 25-34세, 35-44세, 45-56세, 57-67세, 68-80세 및 81-100세의 데이터 세트로 구분하는 클러스터 생성과정(S313);
을 포함하는 것을 특징으로 하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법.
According to claim 2,
In the aging foundation construction process (S310),
a data set process (S311) of obtaining and setting images using an image search query from an online portal site;
A feature point detection process (S312) of extracting 208 feature points for the growth of the nose, narrowing of the eyes, wrinkles and other tissue changes according to the forehead tilt, expansion of the head and extension of the face;
0, 1, 2-3, 4-6, 7-9, 10-12, 13-15, 16-24, 25-34, 35-44, 45-56 , a cluster creation process (S313) of classifying data sets of 57-67 years old, 68-80 years old, and 81-100 years old;
CCTV-based missing person search method using face prediction and AI according to age change, characterized in that it comprises a.
 제5항에 있어서,
상기 특징점검출과정(S312)은,
얼굴의 특징점 208개의 기준점을 정렬하고, 특징점이 정렬된 이미지에서 서브스페이스 가변 및 조명 보정하는 것을 특징으로 하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법.
According to claim 5,
In the feature point detection process (S312),
A CCTV-based missing person search method using AI and face prediction according to age change, characterized by aligning 208 reference points of facial feature points, and subspace variable and lighting correction in the image in which feature points are aligned.
 삭제delete 제2항에 있어서,
상기 흐름차이 적용과정(S323)은,
이미지의 모든 픽셀에 대해 둘러싸고 있는 이웃 픽셀이 얼마나 어두운지를 계산한 후 어두워지는 방향으로 벡터(또는 화살표)를 표시하는 것을 특징을 하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법.
According to claim 2,
In the flow difference application process (S323),
A CCTV-based missing person search method using AI and face prediction according to age change, which is characterized by calculating how dark neighboring pixels are for every pixel of the image and then displaying a vector (or arrow) in the darkening direction. .
 제2항 또는 제8항에 있어서,
흐름차이 적용과정(S323)은,
이미지의 모든 픽셀에 대해 이 프로세스를 반복하면 모든 픽셀이 벡터로 바뀌게 되도록 그레이디먼트(gradients)를 수행하여 전체 이미지의 밝기 흐름을 알 수 있도록 한 것을 특징으로 하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법.
According to claim 2 or 8,
In the flow difference application process (S323),
If this process is repeated for all pixels of the image, gradients are performed so that all pixels are converted into vectors, so that the flow of brightness of the entire image can be known. Face prediction and AI according to age change CCTV-based missing persons search method.
 제8항에 있어서,
상기 벡터는,
이미지를 16x16 픽셀의 작은 정사각형으로 분해 함. 16x16 픽셀 박스안에서 흐름이 가장 강한 화살표를 선택하고 이를 표시하면 다음과 같은 영상의 특징이 추출하는 것을 특징으로 하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법.
According to claim 8,
The vector is
Breaking up the image into small squares of 16x16 pixels. CCTV-based missing person search method using face prediction and AI according to age change, characterized in that the following image features are extracted by selecting the arrow with the strongest flow in the 16x16 pixel box and displaying it.
 제2항에 있어서,
상기 매칭과정(S600)은,
실종 당시의 이미지에 노화가 적용된 상태의 이미지에서 특이점을 추출하고,이를 반복적으로 학습하는 특이점 추출 및 학습과정(S610)과;
노화가 적용된 실종자 이미지에 CCTV카메라를 통해 획득하여 저장된 낮은 순위 성인(low-rank adult) 이미지에 매칭시켜 실종자를 판별하는 실종자 판별과정(S620);
을 포함하는 것을 특징으로 하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법.
According to claim 2,
In the matching process (S600),
A singular point extraction and learning process (S610) of extracting singular points from an image in which aging is applied to the image at the time of disappearance and repeatedly learning the singular points;
Missing person identification process (S620) of determining a missing person by matching the aged missing person image with a low-rank adult image obtained and stored through a CCTV camera;
CCTV-based missing person search method using face prediction and AI according to age change, characterized in that it comprises a.
 제11항에 있어서,
상기 특이점 추출 및 학습과정(S610)은,
실종자의 다수 이미지가 겹쳐지도록 적재하는 대상얼굴 적재과정(S611)과;
실종자의 다수 이미지가 적재된 대상에 실종자의 이미지와 다른 이미지를 중첩하는 이미지 중첩과정(S612)과;
실종자의 다수 이미지가 적재된 대상에 실종자의 이미지에 이미지 중첩과정에서 적재한 이미지가 아닌 다른 이미지를 중첩하는 다른 이미지 중첩과정(S613);
을 포함하는 것을 특징으로 하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법.
According to claim 11,
The singularity extraction and learning process (S610),
a target face loading process (S611) of loading multiple images of the missing person so as to overlap;
an image superposition process (S612) of superimposing an image of a missing person and other images on an object loaded with multiple images of a missing person;
Another image superimposition process (S613) of superimposing an image other than the image loaded in the image superimposition process on the image of the missing person on the target in which multiple images of the missing person are loaded;
CCTV-based missing person search method using face prediction and AI according to age change, characterized in that it comprises a.
 제12항에 있어서,
상기 적재된 이미지는,
각각 현재 생성하고 있는 특징점 측정값을 확인한 후 Step1 이미지(첫번재 이미지)와 Step2 이미지(두번재 이미지)를 가깝게 배치한 상태에서 Step3 이미지(세번재 이미지)는 멀리 떨어지게 배치하여 조정하는 것을 특징으로 하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법.
According to claim 12,
The loaded image is
Characterized in that, after checking the measured value of the feature point currently being created, the Step1 image (first image) and Step2 image (second image) are placed close together, and the Step3 image (third image) is placed farther apart and adjusted. A CCTV-based missing person search method using face prediction and AI according to age change.
 제12항에 있어서,
상기 이미지 중첩과정(S612)은
수천명의 실종자 이미지 정보를 다른 사람들의 수백만개의 이미지 정보에 대해 단계를 반복하여 각 사람에 대한 128개의 측정값을 신뢰성 있게 생성하는 것을 특징으로 하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법.
According to claim 12,
The image overlapping process (S612)
Thousands of missing person image information repeats the steps for millions of image information of other people to reliably generate 128 measurement values for each person. How to search for missing persons.
 제11항에 있어서,
상기 특이점 추출 및 학습과정(S610)은,
이미지에서 128개의 특징점을 코드화 할 수 있으며, 이러한 코드의 비교를 통해 실종자의 검색이 빠르게 이루어지는 것을 특징하는 나이변화에 따른 얼굴예측 및 AI를 활용한 CCTV 기반의 실종자 검색방법.According to claim 11,
The singularity extraction and learning process (S610),
It is possible to code 128 feature points in an image, and a CCTV-based missing person search method using AI and face prediction according to age change, characterized in that the missing person is quickly searched through comparison of these codes.
KR1020200130618A 2020-10-08 2020-10-08 CCTV-based missing person search method using face prediction according to age change and AI KR102498384B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200130618A KR102498384B1 (en) 2020-10-08 2020-10-08 CCTV-based missing person search method using face prediction according to age change and AI

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200130618A KR102498384B1 (en) 2020-10-08 2020-10-08 CCTV-based missing person search method using face prediction according to age change and AI

Publications (2)

Publication Number Publication Date
KR20220047103A KR20220047103A (en) 2022-04-15
KR102498384B1 true KR102498384B1 (en) 2023-02-10

Family

ID=81211814

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200130618A KR102498384B1 (en) 2020-10-08 2020-10-08 CCTV-based missing person search method using face prediction according to age change and AI

Country Status (1)

Country Link
KR (1) KR102498384B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014170488A (en) * 2013-03-05 2014-09-18 Glory Ltd Estimated face generation device, face collation device, estimated face generation method, and estimated face generation program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101758825B1 (en) 2015-09-22 2017-07-18 한국과학기술연구원 Method for facial age simulation based on age of each part and environmental factors, recording medium and device for performing the method
KR101918119B1 (en) * 2017-03-10 2019-02-08 주식회사 모르페우스 Method, system and non-transitory computer-readable recording medium for estimating anatomical layer of face
EP3503023B1 (en) * 2017-12-22 2022-11-23 Chanel Parfums Beauté Improved age modelling method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014170488A (en) * 2013-03-05 2014-09-18 Glory Ltd Estimated face generation device, face collation device, estimated face generation method, and estimated face generation program

Also Published As

Publication number Publication date
KR20220047103A (en) 2022-04-15

Similar Documents

Publication Publication Date Title
CN106503615B (en) Indoor human body detecting and tracking and identification system based on multisensor
CN109190508B (en) Multi-camera data fusion method based on space coordinate system
CN105426827B (en) Living body verification method, device and system
CN106780906B (en) A kind of testimony of a witness unification recognition methods and system based on depth convolutional neural networks
US20140064571A1 (en) Method for Using Information in Human Shadows and Their Dynamics
CN102609724B (en) Method for prompting ambient environment information by using two cameras
KR20150021526A (en) Self learning face recognition using depth based tracking for database generation and update
CN109583373B (en) Pedestrian re-identification implementation method
CN109298785A (en) A kind of man-machine joint control system and method for monitoring device
CN107977656A (en) A kind of pedestrian recognition methods and system again
CN110263768A (en) A kind of face identification method based on depth residual error network
JP5940862B2 (en) Image processing device
CN112989889B (en) Gait recognition method based on gesture guidance
CN108960047A (en) Face De-weight method in video monitoring based on the secondary tree of depth
CN112926522B (en) Behavior recognition method based on skeleton gesture and space-time diagram convolution network
US20220366570A1 (en) Object tracking device and object tracking method
CN111160275A (en) Pedestrian re-recognition model training method and device, computer equipment and storage medium
CN115223246A (en) Personnel violation identification method, device, equipment and storage medium
CN113052869A (en) Track tracking method and system based on intelligent AI temperature measurement and storage medium
CN115223204A (en) Method, device, equipment and storage medium for detecting illegal wearing of personnel
JP2007164641A (en) Personal object determination device and personal object determination program
KR102498384B1 (en) CCTV-based missing person search method using face prediction according to age change and AI
CN113673308A (en) Object identification method, device and electronic system
CN107832667A (en) A kind of face identification method based on deep learning
CN112488165A (en) Infrared pedestrian identification method and system based on deep learning model

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant