KR20220144209A - 크롤링 및 딥러닝 기반의 얼굴인식장치 및 방법 - Google Patents
크롤링 및 딥러닝 기반의 얼굴인식장치 및 방법 Download PDFInfo
- Publication number
- KR20220144209A KR20220144209A KR1020210050594A KR20210050594A KR20220144209A KR 20220144209 A KR20220144209 A KR 20220144209A KR 1020210050594 A KR1020210050594 A KR 1020210050594A KR 20210050594 A KR20210050594 A KR 20210050594A KR 20220144209 A KR20220144209 A KR 20220144209A
- Authority
- KR
- South Korea
- Prior art keywords
- server
- data
- deep learning
- learning
- image
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000009193 crawling Effects 0.000 title claims abstract description 46
- 230000001815 facial effect Effects 0.000 claims abstract description 91
- 230000008569 process Effects 0.000 claims abstract description 49
- 239000000284 extract Substances 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 8
- 210000004709 eyebrow Anatomy 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 210000003800 pharynx Anatomy 0.000 claims description 2
- 238000007689 inspection Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 229910052711 selenium Inorganic materials 0.000 description 1
- 239000011669 selenium Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
본 발명은 크롤링 및 딥러닝 기반의 얼굴인식장치 및 방법에 관한 것으로, SNS, 웹사이트를 크롤링한 데이터를 저장하고, 얼굴사진의 딥러닝 학습과정을 통해 얼굴 특징점을 인식하고, 크롤링한 영상 키프레임에서 얼굴검출 이미지를 분리 분석하여 얼굴 특징점(Facial landmark)과 매칭 및 비교를 통해 사용자 얼굴 이미지를 추출하여 사용자에게 제공하는데 그 목적이 있다.
Description
본 발명은 크롤링 및 딥러닝 기반의 얼굴인식방법에 관한 것으로, 보다 상세하게는 SNS, 웹사이트를 크롤링한 데이터를 저장하고, 얼굴사진의 딥러닝 학습과정을 통해 얼굴 특징점을 인식하고, 크롤링한 영상 키프레임에서 얼굴검출 이미지를 분리 분석하여 얼굴 특징점(Facial landmark)과 매칭 및 비교를 통해 사용자 얼굴 이미지를 추출하는 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식방법에 관한 것이다.
최근 이미지 처리 기술의 발달로 쿼리 이미지(query image)로부터 추출된 특징점을 데이터베이스에 저장된 이미지들의 특징점과 비교하여 유사 이미지를 검색하는데 많이 사용되고 있다.
종래에는 웹(Web) 상에서 이미지들을 크롤링하고, 각 이미지들의 특징점을 데이터베이스화 한다. 웹 기반 이미지 검색의 경우, 서버에 미리 저장된 데이터에 기반하여 쿼리 이미지와 유사한 이미지들에 제공될 수 있다.
예를 들어, 유사 이미지는 쿼리 이미지와 의미론적 태그(semantic tag)가 동일한 이미지일 수 있다. 예를 들어, 쿼리 이미지로서 셀피(selfie) 이미지가 이용되는 경우, 유사한 구도의 셀피 이미지가 유사 이미지로 제공될 수 있다. 그러나, 웹 기반 이미지 검색에 이용되는 데이터베이스는 쿼리 이미지 내의 인물과 동일한 인물을 포함하는 이미지에 대한 정보를 포함하지 않을 수 있다. 따라서, 검색 결과는 쿼리 이미지 내의 인물과 동일한 인물의 이미지를 사용자에게 제공하지 못할 수도 있다.
이와 같이 쿼리 이미지의 태그에 기반하여 유사 이미지 검색이 수행될 수 있다. 이 경우, 쿼리 이미지의 태그와 동일한 태그를 갖는 데이터 베이스 내의 이미지들이 유사 이미지로서 사용자에게 제공될 수 있다.
웹기반 이미지 검색의 경우, 데이터 베이스 내에 많은 수의 이미지들이 저장된다. 따라서, 각각의 태그에 대응하는 이미지들의 수가 상대적으로 크다. 반면, 사용자 장치에 저장될 수 있는 이미지의 수는 웹 서버에 비하여 상대적으로 작다.
따라서, 태그에 기반하여 사용자 장치의 이미지들에 대한 유사 이미지 검색이 수행되는 경우, 쿼리 이미지의 태그에 대응할 수 있는 유사 이미지의 수가 상대적으로 제한적이다.
또한, 쿼리 이미지로부터 식별된 태그가 실제 쿼리 이미지의 문맥(context)에 대응하지 않는 경우, 실제 쿼리 이미지와 유사하지 않은 이미 지들이 태그 기반 이미지 검색 결과로서 제공될 수 있다.
그러나, 사용자의 얼굴인식을 위해 보다 정확하고, 구체적인 다양한 얼굴 특징점(Face landmark)에 의한 얼굴인식 기술이 요구되고 있으며, 지속적으로 얼굴인식 학습을 수행하고, 사용자 얼굴을 매칭 성능 향상을 위한 딥러닝 기술이 요구되고 있다.
따라서, 본 발명은 SNS, 웹사이트를 크롤링한 데이터를 저장하고, 얼굴사진의 딥러닝 학습과정을 통해 얼굴 특징점을 인식하고, 크롤링한 영상 키프레임에서 얼굴검출 이미지를 분리 분석하여 얼굴 특징점(Facial landmark)과 매칭 및 비교를 통해 사용자 얼굴 이미지를 추출하여 사용자에게 제공하도록 하는 크롤링 및 딥러닝 기반의 얼굴인식방법을 제공하는데 그 목적이 있다.
본 발명의 목적을 달성하기 위한 크롤링 및 딥러닝 기반의 얼굴인식장치는 크롤러를 이용하여 SNS(Social Network Service) 또는 웹사이트에서 데이터를 크롤링하고, 크롤링한 크롤링 데이터에서 사용자의 얼굴 이미지와 매칭되는 이미지를 추출하는 크롤링 및 딥러닝 기반의 얼굴인식장치에 있어서, 상기 크롤러의 크롤링 데이터를 임시저장DB에 저장하고, 딥러닝과정을 통해 분석된 영상정보 및 키프레임별 얼굴 특징점 데이터를 메인서버DB 에 저장하는 메인서버; 상기 임시저장DB에 저장된 크롤링 데이터의 영상 또는 이미지 데이터를 다운로드하여 상기 저장서버DB에 저장하는 미디어 다운로더; 상기 메인서버로부터 얼굴 이미지가 포함된 키프레임 이미지 데이터를 입력받아 학습 및 재학습을 통한 추론모델에 의해 얼굴 데이터에서 키프레임별 얼굴 특징점을 추출하여 상기 메인서버로 제공하는 딥러닝서버; 및 상기 메인서버로부터 상기 특징점DB에 저장된 크롤링에 의한 얼굴 특징점 데이터와 특정 얼굴 특징점 데이터를 비교하여 설정된 일치도 이상의 데이터를 추출하여 결과를 보여주는 웹서버;를 포함하여 이루어진 것을 특징으로 한다.
여기서, 상기 딥러닝서버는 상기 메인서버로부터 입력된 얼굴데이터를 추론모듈 및 특징점모듈을 이용하여 얼굴의 특징점을 추출하여 상기 메인서버로 출력하되, 상기 메인서버를 통해 상기 특징점DB로부터의 특징점 데이터를 요청하는 재학습서버; 상기 메인서버로부터 수집된 얼굴데이터와 특징점 데이터를 학습을 수행하여 추론모델을 추출하는 학습서버;를 포함하며, 상기 학습서버를 통해 추출된 새로운 추론모델을 기존의 추론모델과 교체하여 상기 추론서버로 제공하는 것을 특징으로 한다.
상기 딥러닝서버는 얼굴의 특징점을 추출을 통해 생성된 R,G,B이미지를 입력받는 입력레이어; 준비된 학습자료를 바탕으로 레이어 파일에 기술된 내용으로 학습을 진행하여 얼굴 특징점 포인트의 위치를 찾는 학습레이어; 및 상기 학습레이어에서의 얼굴 특징점 포인트의 좌표값을 출력하는 출력레이어;를 포함하여 이루어진 것을 특징으로 한다.
본 발명의 목적을 달성하기 위한 크롤링 및 딥러닝 기반의 얼굴인식과정은 크롤러를 이용하여 SNS(Social Network Service) 또는 웹사이트에서 데이터를 크롤링하여 메인서버를 통해 저장하고, 상기 크롤링 데이터에서 사용자의 특정 얼굴 이미지와 매칭되는 이미지를 추출하는 크롤링 및 딥러닝 기반의 얼굴인식방법에 있어서, 상기 크롤러가 지정된 웹사이트 또는 SNS에서 데이터를 크롤링하여 크롤링 데이터를 저장하고, 저장된 크롤링 데이터에서 얼굴 이미지가 포함된 키프레임(Keyframe) 데이터를 추출하는 제1과정; 상기 제1과정에서 추출된 얼굴 이미지 키프레임 데이터를 딥러닝서버로 전송하여 얼굴 특징점을 요청하는 제2과정; 상기 얼굴 이미지 키프레임 데이터를 입력받은 딥러닝서버는 학습 및 재학습과정을 통해 추론모델에 대한 키프레임 별 얼굴 특징점을 추출하는 제3과정; 및 상기 제3과정에서 추출된 얼굴 특징점 데이터를 저장하고, 상기 특정 얼굴 특징점과 비교 분석하여 매칭되는 얼굴 이미지를 추출하는 제4과정;을 포함하여 이루어진 것을 특징으로 한다.
상기 제1과정은 메인서버에 의해 상기 크롤러에 의해 등록된 SNS 또는 웹사이트의 큐에 따라 이미지 또는 동영상을 크롤링하여 임시저장DB에 저장하는 11단계; 및 상기 임시저장DB에 저장된 상기 이미지 또는 동영상 정보를 미디어 다운로더에서 프레임 분석 큐에 등록하고, 상기 프레임 분석프로그램에 의해 큐를 처리하는 12단계; 상기 프레임 분석프로그램에 의해 원본 이미지가 포함된 키프레임을 분석하여, 키프레임 속 얼굴정보를 확인하고, 키프레임 및 얼굴 이미지를 추출하여 저장서버DB에 저장하는 13단계;를 포함하는 것을 특징으로 한다.
또한, 상기 제2과정에서 딥러닝 학습은 크롤링된 이미지에서 얼굴 이미지만 추출 및 잘라내기(crop)하는 21단계; 상기 추출 및 잘라낸 얼굴 이미지에서 얼굴 특징점을 추출하는 22단계; 얼굴 이미지의 위치 교정 및 투영하는 23단계; 교정된 얼굴 이미지에서 기본 측정값을 추출하고 인코딩하는 24단계; 및 얼굴 이미지의 특징 분류 및 신경망 훈련을 통해 얼굴 특징 분류기 학습과 특징점을 생성하도록 트레이닝하는 25단계;를 포함하는 것을 특징으로 한다.
또한, 상기 제3과정에 부가하여, 상기 딥러닝서버는 재학습서버에서 학습에 필요한 얼굴 이미지 데이터와 특징점 데이터를 요청하는 31단계; 상기 메인서버는 상기 재학습서버에서 특징점 데이터를 상기 특징점DB로 요청하는 32단계; 상기 메인서버는 상기 특징점DB에서 얼굴 특징점들을 랜덤하게 추출하여 상기 딥러닝서버의 학습서버로 전달하는 33단계; 상기 학습서버로부터 추출된 얼굴 특징점들을 이용한 새롭게 학습된 추론모델을 기존 추론모델로 교체하는 34단계; 및 상기 추론서버는 상기 34단계에서 새롭게 교체된 추론모델을 사용하여 상기 얼굴 특징점 데이터를 추출한 후 상기 메인서버로 제공하는 35단계;를 포함하는 것을 특징으로 한다.
본 발명에 따른 크롤링 및 딥러닝 기반의 얼굴인식장치 및 방법은 SNS, 웹사이트를 크롤링한 데이터를 저장하고, 얼굴사진의 딥러닝 학습과정을 통해 얼굴 특징점을 인식하고, 크롤링한 영상 키프레임에서 얼굴 이미지를 분리 분석하여 얼굴 특징점과 매칭 및 비교를 통해 사용자의 동일 얼굴 이미지만을 추출할 수 있으며, 특히, 자신의 얼굴이 노출되기 원치 않는 사용자의 얼굴 이미지를 데이터 학습하고, 이와 매칭되는 얼굴 이미지를 인터넷상에서 크롤링하여 추출할 수 있는 효과가 있다.
또한, 크롤링한 영상이 10~100MB 사이의 큰 데이터일 경우 이를 처리하는데 어려움이 있으나, 이를 해결하기 위해 'Horizontal Scalability' 및 'High Availability'의 특징을 활용 NoSQL 데이터 베이스를 적용하고, 여러 데이터베이스에 분산 저장하여 빠른 접근 및 대용량 데이터 감당할 수 있으며, 대용량을 감당하기 위한 환경으로 클라우드 서버와 리얼 서버를 동시 사용하는 환경으로 고용량의 데이터를 처리할 수 있는 효과가 있으며, 플랫폼 환경을 구현하기 위해 임시저장DB, 저장서버DB 및 메인서버DB로 분할처리를 통해 효과적으로 처리할 수 있다.
도 1은 본 발명의 실시예에 따른 크롤링 및 딥러닝 기반의 얼굴인식장치의 구성도이고,
도 2는 본 발명의 실시예에 따른 크롤링 및 딥러닝 기반의 얼굴인식과정의 전체 흐름도이다.
도 2는 본 발명의 실시예에 따른 크롤링 및 딥러닝 기반의 얼굴인식과정의 전체 흐름도이다.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 예시하고 본문에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.
본 발명의 바람직한 실시예에 따른 크롤링 및 딥러닝 기반의 얼굴인식장치 및 방법에 대하여 첨부된 도면을 참고하여 상세히 설명하면 다음과 같다.
도 1은 본 발명의 실시예에 따른 크롤링 및 딥러닝 기반의 얼굴인식장치의 구성도로서, SNS(Social Network Service) 또는 웹사이트에서 데이터를 크롤링하여(①) 데이터를 수집하는(②) 크롤러(100)와, 상기 크롤러(100)의 크롤링 데이터(③)를 임시저장DB(120)에 저장하고(④), 딥러닝과정을 통해 분석된 영상정보 및 키프레임별 얼굴 특징점 데이터를 메인서버DB(151)에 저장하는 메인서버(150)와, 상기 임시저장DB(120)에 저장된 크롤링 데이터의 이미지/영상 데이터를 미디어 다운로더(121)을 통해 다운로드하고(⑤), 이미지/영상 데이터의 키프레임에서 얼굴 이미지만 분리하여 저장하는(⑥) 저장서버DB(122)와, 상기 저장서버DB(122)에 저장된 얼굴 이미지 데이터를 상기 메인서버(150)를 통해 입력받아(⑦) 학습 및 재학습을 통한 추론모델에 의해 얼굴 데이터에서 키프레임별 얼굴 특징점을 추출하여 상기 메인서버로 제공하는(⑧) 딥러닝서버(130)와, 상기 메인서버(150)에 입력된 상기 딥러닝서버(130)에서의 추론 결과 특징점 데이터를 저장하는(⑨) 메인서버DB(151)와, 상기 메인서버DB(151)에 저장된 크롤링된 얼굴 특징점과 사용자의 특정 얼굴 특징점 데이터를 비교하여 설정된 일치도 이상의 데이터를 추출하는 웹서버(160); 상기 웹서버(160)로부터 상기 추출된 얼굴데이터 표시해주는 웹클라이언트(170)로 구성된다.
여기서, 상기 딥러닝서버(130)는 상기 메인서버(150)로부터 입력된 얼굴 데이터를 추론모듈 및 특징점 모듈을 이용하여 얼굴의 특징점을 추출하여 상기 메인서버(150)로 출력하되, 상기 메인서버(150)를 통해 상기 특징점DB(152)로부터의 특징점 데이터를 요청하는(⑪,⑫,⑬) 재학습서버(131)와, 상기 메인서버(150)를 통해 수집된 상기 특징점DB(152)로부터의 특징점 데이터(⑭⑮)를 학습을 수행하여 추론모델을 추출하는 학습서버(132)로 구성된다.
이와 같이 구성된 본 발명의 구체적인 작용에 대하여 첨부된 도 1 및 도 2를 참조하여 상세히 설명하면 다음과 같다.
먼저, 본 발명은 사용자가 자신의 얼굴 이미지와 동일한 얼굴 이미지가 포함된 다수의 웹사이트 또는 SNS에서 추출하고자 할 경우, 크롤러를 이용하여 다수의 웹사이트 또는 SNS에서 이미지/영상을 수집하고, 딥러닝과정을 통해 학습되어 산출된 얼굴 특징점과 사용자의 얼굴 이미지를 딥러닝과정을 통해 추출된 특정 얼굴 특징점을 비교 분석하여 매칭도가 기준값 이상의 얼굴이미지를 추출하게 된다.
도 2를 참조하면, 크롤러는 크롬 브라우저 환경에서 셀레늄(selenium)을 설치하여 이용하며, 선택자(Selector : Xpath/css selector 등 제목, 이미지 위치, 영상위치 등을 프로그램이 일 수 있도록 정의 가능한 선택자) 템플릿을 미리 정의해 준 후, 복제하여 사용한다. 또한, 크롤러는 사이트 접속, 크롤링 할 목록확인 미 크롤러 큐에 등록하고, 크롤러 큐에 등록된 내용을 바탕으로 크롤링을 진행한 후 저장소 업로드, 임시저장DB(120)에 동영상 또는 이미지의 자료를 등록한다.
크롤링을 위해 웹사이트 또는 SNS를 지정한다. 크롤러(100)는 지정된 웹사이트로부터 동영상 또는 이미지를 크롤링(①)하며, 영상 하나에 10~100MB의 대용량 데이터를 수집(②)하게 되고, 상기 메인서버(150)로 크롤링 결과 데이터를 전송(③)하게 된다.
이와 같이 대용량의 데이터 처리는 수평확장(Horizontal Scalability)과 고가용성(High Availability)의 특징을 활용한 NoSQL(Not Only SQL) 데이터베이스와 같은 분산 환경에서 데이터를 보다 빠르게 처리하도록 한다.
즉, 상기 대용량 데이터 처리를 위해 임시저장DB(120), 저장서버DB(122) 및 메인서버DB(151)로 분할처리 하도록 플랫폼 환경을 구현하고, 클라우드 서버(Clod server)와 리얼서버(Real server)를 동시 사용하도록 설계한다.
예를 들어, 상기 임시저장DB(120)는 상기 메인서버(150)에 의해 상기 크롤러(100)에서 생성된 크롤링 데이터를 임시로 저장하며(④), 상기 저장서버DB(122)에 업로드 하기 전에 검수 및 동기화 과정으로 사용하며, 미디어 다운로더(121)를 이용하여 이미지/영상을 다운로드(⑤)하여 상기 저장서버DB(122)에 저장한다(⑥).
상기 크롤러(100)에서 분석한 영상을 저장하는 저장소와 영상의 위치정보를 저장하게 된다.
상기 크롤러(100)의 동작 과정에 대하여 보다 상세히 설명하면, 크롤러(100)는 먼저 등록된 지장 웹사이트 또는 SNS의 큐에 따라 동영상 또는 이미지를 상기 임시저장DB(120)에 저장하고, 상기 임시저장DB(120)에 저장된 동영상/이미지 정보를 입력하고 프레임 분석 프로그램의 프레임 분석 큐에 등록한다.
상기 프레임 분석 프로그램은 각 키프레임 사이의 프레임들의 기본이 되는 프레임으로 원본 이미지를 포함하고 있으며, 키프레임들은 압축된 영상속에 여러 장이 들어 있으며, 프레임 숫자보다 적다. 상기 키프레임을 추출하여 프레임 분석 프로그램의 큐에 등록한다.
또한, 상기 프레임 분석 프로그램은 큐를 처리하며 키프레임 속 얼굴정보를 확인하며, 이때 PCA(Principal Component Analysis) 또는 LDA(Linear Discriminant Analysis)와 같은 머신러닝 알고리즘을 사용하여 얼굴정보를 확인한다.
상기 프레임 분석 프로그램에 의해 얼굴정보가 있을 경우 키프레임과 영상정보를 상기 임시저장DB(120)에 업로드 하며, 상기 업로드된 영상정보를 처리하는 알고리즘을 이용하여 검증된 얼굴 특징점 정보가 확인되면 이를 메인서버DB(151)에 등록한다.
또한, 크롤러 업데이트의 경우, 도커(Docker) 이미지를 이용하여 가용성을 확보하고, 크롤러의 확장성을 요구함으로, 도커를 이용한 크롤러 실시간 증/감이 가능하도록 한다. 클라우드 서버에서는 리얼서버와 가장 근접한 도커를 하고, 상기 도커의 활용으로 크롤러들을 모두 동일한 환경위에서 실행, 이미지 변경 시 모든 크롤러 시스템에서 동일 이미지 사용으로 업데이트 한다.
이와 같은 과정으로 크롤링된 데이터는 상기 임시저장DB(120)에 저장되는데, 상기 임시저장DB(120)는 영상들의 용량이 크기 때문에 별도의 저장소 클러스터를 만들어 저장하며 이 저장된 정보를 관리하게 된다. 관리하는 영상정보는 이름, 원본 URL, 저장된 영상의 해시(Hash)값, 키프레임 위치, 키프레임 정보, 얼굴 검출정보, 분석대상 사이트 큐정보, 이미지/영상 데이터, 시간정보 등을 포함하며, 영상이 저장된 위치정보가 등록된다.
상기 임시저장DB(100), 저장서버DB(120) 및 메인서버DB(150)는 서로 밀접하게 연결되도록 하며, 연동된 저장소의 절대경로를 추적이 가능하도록 하면서, 데이터 분산저장 및 해시데이터 저장하는 기능을 갖게 된다.
상기 과정을 통해 크롤링된 영상데이터는 상기 메인서버(150)의 요청에 따라 얼굴이 포함된 키프레임 이미지를 딥러닝서버(130)로 보내어 얼굴 특징점을 요청하게 되고(⑦), 상기 딥러닝서버(130)는 딥러닝 학습을 수행하게 되는데, 상기 딥러닝서버(130)의 레이어 구성은 다음과 같다.
먼저, 얼굴 검출과정은 얼굴검출(face detection) 모델인 "Tinyfaces" 모델을 활용하여 얼굴위치를 검출하며, 이때 눈, 코, 입을 최대한 가운데로 올 수 있도록 회전(rotation), 크기변화(scaling) 및 전단(Shear)을 포함한 3D warps를 실행하며, 이 과정을 수행 시에는 눈과 입을 이미지상 대략적으로 동일한 위치에 맞추도록 한다.
이와 같이 검출된 얼굴 이미지는 입력레이어에서 상기 얼굴 특징점 추출을 통해 생성된 3채널 이미지(R,G,B)를 입력 받는 레이어이며, 회색조(Grayscale Image) 이미지로 변경 가능하다.
학습 레이어에서는 지도 학습의 과정으로 미리 준비된 학습 자료를 바탕으로 학습을 진행하며, 학습은 SGD(Stochastic Gradient Descent) 알고리즘을 바탕으로 진행되며, 레이어 파일에 기술된 내용으로 실제 학습을 진행 68개의 얼굴 특징점 포인트의 위치를 찾아주는 68개의 출력을 가진 레이어이다.
출력 레이어는 상기 학습레이어에서의 얼굴 특징점 포인트 68개 위치의 얼굴특징점 x,y좌표를 출력하는 레이어로, 모든 얼굴 이미지는 같은 사이즈로 조절 된다.
한편, 딥러닝서버(130)는 "Tensorflow" 혹은 "Pytorch" 로 개발된 모델을 서빙해주는 서버로, 필요 퍼포먼스에 따라 분산하여 여러 서버에서 처리하도록 하며, 상기 학습서버(120)에서 68개의 얼굴 특징점을 추출해내는 모델을 다음 순서에 따라 설계한다.
(1) 얼굴 특징점 68개 위치를 라벨링한 학습용 데이터와 검증용 데이터를 8:2 비율로 준비 (각 데이터들은 최대한 연관 관계가 없는 데이터를 선별하여 과적합 예방)
(2) 설계된 모델을 이용하여 학습을 진행검증 데이터로 (검증 진행 -> 모델 수정) 과정을 반복하며 모델의 과적합 예방 및 성능, 인식률 향상 작업을 지속적으로 진행 개발된 모델을 서빙 가능한 형태로 내보냄
(3) 딥러닝서버로 배포 서빙을 위한 모델 준비
(4) 딥러닝서버를 위한 새로운 모델이 적용된 도커(Docker) 파일 생성
(5) 딥러닝서버 목록에서 해당 서버 제거 이후 준비된 딥러닝서버들을 순차적으로 종료하며 새로운 Docker 파일을 업로드 및 재시작
(6) 새로운 버전의 모델로 적용되었는지 확인
(7)딥러닝서버 목록에 등록 및 동작
(8) 딥러닝서버를 통해 들어온 데이터들의 검수 및 재학습 과정
(9) 딥러닝서버를 통해 적합율이 높은 데이터를 별도의 폴더 혹은 서버에 저장 검수를 통해 데이터를 재학습에 사용 가능한지 확인
(10) 학습서버의 훈련 데이터 혹은 검증 데이터에 비율에 맞게 추가 및 재학습을 통한 검출율 향상
이와 같이 설계된 딥러닝서버(130)의 동작에 대하여 상세히 설명하면 다음과 같다.
상기 딥러닝서버(130)는 이미지에서 얼굴만 분리한다. 이를 위해 "Tinyfaces" 모델로 얼굴위치 추출 및 잘라내기(crop)를 수행하며, 이는 작은 얼굴까지 검출하는데 탁월하다.
다음은 얼굴의 특징점(Facial Landmark) 추출한다. 얼굴의 특징점은 모든 얼굴에 존재하는 턱의 상단, 눈 바깥의 가장자리, 눈썹 안쪽의 가장자리 등 68개의 특징점을 추출한다. 구체적으로는 눈 Gradient(점)의 가로, 세로, 곡률을 산출하고, 좌측 눈의 오른쪽 끝점, 우측 눈의 왼쪽 끝점의 간격을 산출하고, 눈썹 양쪽 하단 끝점의 위치 계산 및 눈썹 양쪽 상단 끝점의 위치를 산출하고, 눈썹의 곡률을 산출하고, 입술 양쪽 하단 끝의 위치 및 인중과 하단 크기를 산출하고, 그 밖의 얼굴 형태에 대한 17개의 특징점을 산출한다.
또한, 얼굴 이미지의 위치 교정 및 투영을 통해 눈과 입이 가운데로 올 수 있도록 회전(Rotate), 크기조절(Scale) -> 전단(Shear) 단계를 수행한다.
다음은 교정된 얼굴을 인코딩한다. 즉 각각의 사진에서 기본 측정값 추출하고, 귀의 크기 눈 사이의 간격 코의 길이 입술의 길이 등을 인코딩한다.
다음은 얼굴특징을 분류 및 신경망 훈련을 수행한다. 즉, 얼굴특징 분류기(SVM: Support-vector machine)를 이용하여 분류하고, 각각의 사진에서 객체를 인식하도록 신경망을 훈련시키는 대신 각 얼굴에 대해 68 개의 측정값을 추론하도록 트레이닝(임베딩) 한다.
상기 학습서버(140)는 이와 같이 딥러닝서버(130)에서 설계된 모델에 대한 지속적으로 학습을 진행하게 되며, 크롤링 및 분석 프로세서에 의해 추론된 얼굴 데이터들의 지속적 학습을 수행하므로, 학습을 하면 할수록 검출성능이 향상된다.
상기 딥러닝서버(130)에서 추출된 얼굴 특징점 데이터는 상기 메인서버(150)로 전송하고(⑧), 상기 메인서버(150)는 입력된 얼굴 특징점 데이터를 메인서버DB(151)에 저장하고, 상기 메인서버DB(151)에 저장된 얼굴 특징점 데이터는 개인정보 암호화를 위해 암호화하여 특징점DB(152)에 저장하며, 상기 특징점DB(152)의 고유값과 저장서버DB(122)의 고유값을 함께 저장한다.(⑨)
상기 메인서버(150)는 상기 딥러닝서버(130)과 함께 검출율을 매칭하며, 상기 메인서버DB(151)는 영상의 임시저장DB(120) 정보와, 동영상 일시, 동영상 내 키프레임 위치 정보, 영상에서 검출된 얼굴 특징점 정보를 저장하여 얼굴 비교에 활용된다.
또한, 메인서버(150)는 빠른 접근성 및 장애 보수를 위한 프로세스가 필수적으로 필요하며, NoSQL 서버의 자동 복구 프로세스 또는 백업 복구를 활용한다.
또한, 대용량 데이터를 처리함으로써 DB의 높은 퍼포먼스가 필수적임 이를 위해서는 데이터 저장 및 읽기 최적화 문제가 발생을 방지하기 위하여, 메모리 상에 저장 또는 분산 데이터베이스로 저장하게 된다.
또한, 얼굴 데이터의 비교 과정은 많은 데이터 연산이 요구되는데, 실시간 처리를 위해서는 SQL 명령어 상에서의 처리가 필요하며, 데이터베이스 상에 컨트롤러 추가 또는 KNN(K-Nearest Neighbor) 알고리즘을 SQL 명령어로 구현한다.
상기 웹서버(160)로부터 요청된 사용자 얼굴 데이터와 비교 분석을 통해 매칭되는 정도에 따른 일치도를 산출하고, 일정 일치도 이상의 얼굴 이미지를 추출한다.
즉, 상기 웹서버(160)는 사용자의 얼굴사진 등을 학습하는 학습서버(132)를 통해 사용자의 얼굴사진 등의 학습을 위해 웹 클라이언트(170)와 상호 연동되는 서버로서, 학습 완료된 딥러닝 서빙모델을 추론서버로 전송하는 서빙 모델 공급기(deployed served model provider) 로 전송한다.
상기 서빙 모델 공급기(Served model provider)에서 68개의 사용자 얼굴 특징점 정보를 획득하고, 사용자 얼굴 특징점을 이용하여 상기 메인서버DB(151)에 저장된 얼굴 특징점들과 비교 분석하여 매칭 정도를 산출하고, 그 결과 일정 일치도 이상의 얼굴 이미지를 추출하여 웹서버(160) 전송한다.
상기 학습서버(132) 및 재학습서버(131)에서 지속적인 배포를 통해 서빙모델 공급기(Deployed Served Model)을 대체하며, 대체된 모델을 통해 모델을 업데이트한다.
상기 재학습서버(131)는 학습에 필요한 얼굴 데이터와 특정점 데이터를 수집을 요청하고(⑪,⑫), 상기 메인서버(150)는 특징점DB(152)에 학습을 위해 얼굴 특징점들을 랜덤하게 추출해 오도록 요청한다.(⑬)
상기 특정점DB(152)와 메인서버(151)는 랜덤하게 추출된 얼굴 특이점들을 상기 메인서버(150)를 통해 딥러닝서버(130)로 전달하고(⑭,⑮), 상기 학습서버(132)는 상기 수집된 얼굴 특이점들을 전달받아(
), 이를 이용하여 새로운 추론모델을 추출한다.(
)
상기 학습서버로부터 새로운 추론모델을 기존 추론모델로 교체하고,(
) 상기 추론서버는 상기 새롭게 교체된 추론모델을 사용하여 상기 얼굴 특징점 데이터를 추출한 후 상기 메인서버(150)로 제공하게 된다.(⑧)
검수 및 재배포 과정은 과적합의 문제를 해결하기 위하여 최대한 연관관계가 없도록 데이터의 사전처리 및 모델을 최적화하며, 딥러닝의 특성상 학습 데이터 양에 따른 모델의 성능문제는 딥러닝 서버의 학습평가 과정의 산출물을 재학습 해주는 과정을 통해 해결하고, 단일 서버의 성능문제는 도커(Docker)를 이용한 로드 밸런싱으로 순간 처리량이 많을 경우 새로운 서버를 등록하여 균형 잡히고 빠른 처리량을 보증하도록 한다.
상기 웹서버(150) 및 웹클라이언트(170)는 이미지 업로드시 상기 딥러닝서버(130)의 배포된 모델을 이용하여 얼굴 특징점 정보를 가져오며, 얼굴 특징점 정보를 KNN 알고리즘을 이용하여 상기 메인DB서버(150)의 얼굴 특징점 데이터와 비교하여, 일정 일치도 이상의 얼굴 데이터를 획득하여 상기 웹클라이언트(170)의 화면을 통해 사용자에게 제공한다.
이상과 같이, 본 발명의 실시예에 따른 크롤링 및 딥러닝 기반의 얼굴인식장치 및 방법은 비록 한정된 실시예와 도면에 의해 설명되었으나 이 실시예에 의해 한정되지 않으며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형 가능함은 물론이다.
100 : 크롤러
110 : 웹사이트, SNS
120 : 임시저장DB 121 : 미디어 다운로더
122: 저장서버DB 130 : 딥러닝서버
131 : 재학습서버 132 : 학습서버
150 : 메인서버 151 : 메인서버DB
152 : 특징점DB 160 : WEB서버
170 : 웹클라이언트
120 : 임시저장DB 121 : 미디어 다운로더
122: 저장서버DB 130 : 딥러닝서버
131 : 재학습서버 132 : 학습서버
150 : 메인서버 151 : 메인서버DB
152 : 특징점DB 160 : WEB서버
170 : 웹클라이언트
Claims (17)
- 크롤러를 이용하여 SNS(Social Network Service) 또는 웹사이트에서 데이터를 크롤링하고, 크롤링한 크롤링 데이터에서 사용자의 얼굴 이미지와 매칭되는 이미지를 추출하는 크롤링 및 딥러닝 기반의 얼굴인식장치에 있어서,
상기 크롤러의 크롤링 데이터를 임시저장DB에 저장하고, 딥러닝과정을 통해 분석된 영상정보 및 키프레임별 얼굴 특징점 데이터를 메인서버DB 에 저장하는 메인서버;
상기 임시저장DB에 저장된 크롤링 데이터의 영상 또는 이미지 데이터를 다운로드하여 상기 저장서버DB에 저장하는 미디어 다운로더;
상기 메인서버로부터 얼굴 이미지가 포함된 키프레임 이미지 데이터를 입력받아 학습 및 재학습을 통한 추론모델에 의해 얼굴 데이터에서 키프레임별 얼굴 특징점을 추출하여 상기 메인서버로 제공하는 딥러닝서버; 및
상기 메인서버로부터 상기 특징점DB에 저장된 크롤링에 의한 얼굴 특징점 데이터와 특정 얼굴 특징점 데이터를 비교하여 설정된 일치도 이상의 데이터를 추출하여 결과를 보여주는 웹서버;를 포함하여 이루어진 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식장치. - 제1항에 있어서,
상기 메인서버는 상기 얼굴데이터를 상기 딥러닝서버에 전송하고, 상기 딥러닝서버에서 추출된 얼굴의 특징점 데이터와 상기 저장서버DB의 고유값을 상기 메인서버DB에 저장하는 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식장치. - 제1항에 있어서,
상기 임시저장DB에 저장된 크롤링 데이터는 영상의 해시(Hash) 값, 키프레임 위치, 키프레임 정보, 얼굴 검출정보, 분석 대상 사이트 큐(Queue) 정보, URL, 이미지 및 동영상 데이터를 포함하는 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식장치. - 제1항에 있어서,
상기 크롤링된 데이터는 임시저장DB, 저장서버DB, 메인서버DB에 분산저장 하되,
상기 각 임시저장DB, 메인서버DB 및 저장서버DB는 상호 밀접하게 연결되며, 연동된 각 DB의 절대경로 추적이 가능하도록 해시(Hash) 데이터를 포함하여 저장된 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식장치. - 제1항에 있어서,
상기 메인서버는 상기 딥러닝서버로부터의 특징점 데이터 요청에 따라 특징점DB로부터 랜덤하게 추출된 특징점 데이터를 상기 딥러닝서버로 전달하고, 상기 딥러닝서버는 상기 메인서버에서 전달받은 특징점 데이터를 학습서버를 통해 추론모델을 추출하여 기존의 추론모델을 새로운 추론모델로 교체하는 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식장치. - 제5항에 있어서,
상기 특징점DB는 상기 딥러닝서버에서 추출된 얼굴특징점 데이터를 암호화하여 저장하는 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식장치. - 제1항에 있어서,
상기 딥러닝서버는 상기 메인서버로부터 입력된 얼굴데이터를 추론모듈 및 특징점 모듈을 이용하여 얼굴의 특징점을 추출하여 상기 메인서버로 출력하되,
상기 메인서버를 통해 상기 특징점DB로부터의 특징점 데이터를 요청하는 재학습서버;
상기 메인서버로부터 수집된 얼굴데이터와 특징점 데이터를 학습을 수행하여 추론모델을 추출하는 학습서버;를 포함하며,
상기 학습서버를 통해 추출된 새로운 추론모델을 기존의 추론모델과 교체하여 상기 추론서버로 제공하는 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식장치. - 제1항에 있어서,
상기 딥러닝서버는 얼굴의 특징점을 추출을 통해 생성된 R,G,B이미지를 입력받는 입력레이어;
준비된 학습자료를 바탕으로 레이어 파일에 기술된 내용으로 학습을 진행하여 얼굴 특징점 포인트의 위치를 찾는 학습레이어; 및
상기 학습레이어에서의 얼굴 특징점 포인트의 좌표값을 출력하는 출력레이어;를 포함하여 이루어진 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식장치. - 제1항에 있어서,
상기 학습서버는 상기 딥러닝서버에서 생성된 모델에 대한 학습을 수행하고, 상기 크롤링 및 분석 프로세서에 의해 생성된 데이터들을 지속적으로 재학습을 수행하여 검출율을 높이는 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식장치. - 제1항에 있어서,
상기 특정 얼굴 특징점 데이터는 상기 웹서버에서 상기 메인서버로 사용자 사진 업로드시 상기 딥러닝서버로 전달하여 학습과정을 통해 상기 사용자의 특정 얼굴 특징점을 추출하는 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식장치. - 크롤러를 이용하여 SNS(Social Network Service) 또는 웹사이트에서 데이터를 크롤링하여 메인서버를 통해 저장하고, 상기 크롤링 데이터에서 사용자의 특정 얼굴 이미지와 매칭되는 이미지를 추출하는 크롤링 및 딥러닝 기반의 얼굴인식방법에 있어서,
상기 크롤러가 지정된 웹사이트 또는 SNS에서 데이터를 크롤링하여 크롤링 데이터를 저장하고, 저장된 크롤링 데이터에서 얼굴 이미지가 포함된 키프레임(Keyframe) 데이터를 추출하는 제1과정;
상기 제1과정에서 추출된 얼굴 이미지 키프레임 데이터를 딥러닝서버로 전송하여 얼굴 특징점을 요청하는 제2과정;
상기 얼굴 이미지 키프레임 데이터를 입력받은 딥러닝서버는 학습 및 재학습과정을 통해 추론모델에 대한 키프레임 별 얼굴 특징점을 추출하는 제3과정; 및
상기 제3과정에서 추출된 얼굴 특징점 데이터를 저장하고, 상기 특정 얼굴 특징점과 비교 분석하여 매칭되는 얼굴 이미지를 추출하는 제4과정;을 포함하여 이루어진 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식방법. - 제11항에 있어서,
상기 제1과정은 메인서버에 의해 상기 크롤러에 의해 등록된 SNS 또는 웹사이트의 큐에 따라 이미지 또는 동영상을 크롤링하여 임시저장DB에 저장하는 11단계; 및
상기 임시저장DB에 저장된 상기 이미지 또는 동영상 정보를 미디어 다운로더에서 프레임 분석 큐에 등록하고, 상기 프레임 분석프로그램에 의해 큐를 처리하는 12단계;
상기 프레임 분석프로그램에 의해 원본 이미지가 포함된 키프레임을 분석하여, 키프레임 속 얼굴정보를 확인하고, 키프레임 및 얼굴 이미지를 추출하여 저장서버DB에 저장하는 13단계;를 포함하는 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식방법. - 제11항에 있어서,
상기 제2과정에서 딥러닝 학습은 크롤링된 이미지에서 얼굴 이미지만 추출 및 잘라내기(crop)하는 21단계;
상기 추출 및 잘라낸 얼굴 이미지에서 얼굴 특징점을 추출하는 22단계;
얼굴 이미지의 위치 교정 및 투영하는 23단계;
교정된 얼굴 이미지에서 기본 측정값을 추출하고 인코딩하는 24단계; 및
얼굴 이미지의 특징 분류 및 신경망 훈련을 통해 얼굴 특징 분류기 학습과 특징점을 생성하도록 트레이닝하는 25단계;를 포함하는 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식방법. - 제13항에 있어서,
상기 22단계에서 얼굴 특징점 추출은 눈 기울기의 가로,세로,곡률값;
좌측 눈의 오른쪽 끝점, 우측눈의 왼쪽 끝점의 거리;
눈썹의 곡률값;
입술 양쪽 하단 끝의 위치 및 인중과 하단 크기값; 및
얼굴의 형태에 대한 17개의 포인트;를 포함하는 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식방법. - 제11항에 있어서,
상기 제3과정에 부가하여, 상기 딥러닝서버는 재학습서버에서 학습에 필요한 얼굴 이미지 데이터와 특징점 데이터를 요청하는 31단계;
상기 메인서버는 상기 재학습서버에서 특징점 데이터를 상기 특징점DB로 요청하는 32단계;
상기 메인서버는 상기 특징점DB에서 얼굴 특징점들을 랜덤하게 추출하여 상기 딥러닝서버의 학습서버로 전달하는 33단계;
상기 학습서버로부터 추출된 얼굴 특징점들을 이용한 새롭게 학습된 추론모델을 기존 추론모델로 교체하는 34단계; 및
상기 추론서버는 상기 34단계에서 새롭게 교체된 추론모델을 사용하여 상기 얼굴 특징점 데이터를 추출한 후 상기 메인서버로 제공하는 35단계;를 포함하여 이루어진 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식방법. - 제11항에 있어서,
상기 특정 얼굴 특징점은 상기 메인서버에서 사용자에 의해 웹서버를 통해 요청된 사용자의 얼굴 이미지를 상기 딥러닝서버로 전달하여 특정 얼굴 특징점 데이터를 산출하는 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식방법. - 제16항에 있어서,
상기 웹서버는 상기 딥러닝서버에서 추출된 특정 얼굴 특징점 데이터와 상기 제3과정에서 추출된 얼굴 특징점 데이터를 비교 분석하여 매칭 정도를 산출하는 것을 특징으로 하는 크롤링 및 딥러닝 기반의 얼굴인식방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210050594A KR102629764B1 (ko) | 2021-04-19 | 2021-04-19 | 크롤링 및 딥러닝 기반의 얼굴인식장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210050594A KR102629764B1 (ko) | 2021-04-19 | 2021-04-19 | 크롤링 및 딥러닝 기반의 얼굴인식장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220144209A true KR20220144209A (ko) | 2022-10-26 |
| KR102629764B1 KR102629764B1 (ko) | 2024-01-29 |
Family
ID=83784356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210050594A KR102629764B1 (ko) | 2021-04-19 | 2021-04-19 | 크롤링 및 딥러닝 기반의 얼굴인식장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102629764B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150317511A1 (en) * | 2013-11-07 | 2015-11-05 | Orbeus, Inc. | System, method and apparatus for performing facial recognition |
| JP2017143490A (ja) * | 2016-02-12 | 2017-08-17 | 株式会社東芝 | 情報処理装置、システム、プログラム及び方法 |
| KR20190021130A (ko) | 2017-08-22 | 2019-03-05 | 삼성전자주식회사 | 얼굴 이미지 기반의 유사 이미지 검출 방법 및 장치 |
| KR20190069920A (ko) | 2017-12-12 | 2019-06-20 | 한국전자통신연구원 | 동영상 콘텐츠 내의 인물을 인식하는 장치 및 방법 |
| US20190205620A1 (en) * | 2017-12-31 | 2019-07-04 | Altumview Systems Inc. | High-quality training data preparation for high-performance face recognition systems |
| US20210042527A1 (en) * | 2019-08-09 | 2021-02-11 | Clearview AI | Methods for Providing Information about a Person Based on Facial Recognition |
-
2021
- 2021-04-19 KR KR1020210050594A patent/KR102629764B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150317511A1 (en) * | 2013-11-07 | 2015-11-05 | Orbeus, Inc. | System, method and apparatus for performing facial recognition |
| JP2017143490A (ja) * | 2016-02-12 | 2017-08-17 | 株式会社東芝 | 情報処理装置、システム、プログラム及び方法 |
| KR20190021130A (ko) | 2017-08-22 | 2019-03-05 | 삼성전자주식회사 | 얼굴 이미지 기반의 유사 이미지 검출 방법 및 장치 |
| KR20190069920A (ko) | 2017-12-12 | 2019-06-20 | 한국전자통신연구원 | 동영상 콘텐츠 내의 인물을 인식하는 장치 및 방법 |
| US20190205620A1 (en) * | 2017-12-31 | 2019-07-04 | Altumview Systems Inc. | High-quality training data preparation for high-performance face recognition systems |
| US20210042527A1 (en) * | 2019-08-09 | 2021-02-11 | Clearview AI | Methods for Providing Information about a Person Based on Facial Recognition |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102629764B1 (ko) | 2024-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5509753B2 (ja) | 認識結果を生成するためのシステム及び方法 | |
| KR102596897B1 (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| CN109101602B (zh) | 图像检索模型训练方法、图像检索方法、设备及存储介质 | |
| TWI687879B (zh) | 伺服器、客戶端、用戶核身方法及系統 | |
| CN106203242B (zh) | 一种相似图像识别方法及设备 | |
| Bae et al. | High-precision vision-based mobile augmented reality system for context-aware architectural, engineering, construction and facility management (AEC/FM) applications | |
| CN105426870B (zh) | 一种人脸关键点定位方法及装置 | |
| AU2013213886B2 (en) | Notification and privacy management of online photos and videos | |
| JP5621897B2 (ja) | 処理方法、コンピュータプログラム及び処理装置 | |
| CN110853033A (zh) | 基于帧间相似度的视频检测方法和装置 | |
| CN104054091A (zh) | 用于图像识别的面部印记生成 | |
| CN111160307A (zh) | 一种人脸识别方法及人脸识别打卡系统 | |
| JP6737371B1 (ja) | 情報処理装置、設備判定方法、コンピュータプログラム及び学習済モデルの生成方法 | |
| CN106874877A (zh) | 一种结合局部和全局特征的无约束人脸验证方法 | |
| KR20220076398A (ko) | Ar장치를 위한 객체 인식 처리 장치 및 방법 | |
| CN111695502A (zh) | 用于人脸识别的特征更新方法、装置和计算机设备 | |
| CN113313170A (zh) | 基于人工智能的全时全域训练大数据平台 | |
| CN113298158A (zh) | 数据检测方法、装置、设备及存储介质 | |
| CN112070071A (zh) | 视频中的对象标注方法、装置、计算机设备及存储介质 | |
| CN113762049B (zh) | 内容识别方法、装置、存储介质和终端设备 | |
| Saraswat et al. | Anti-spoofing-enabled contactless attendance monitoring system in the COVID-19 pandemic | |
| KR102629764B1 (ko) | 크롤링 및 딥러닝 기반의 얼굴인식장치 및 방법 | |
| CN113989914B (zh) | 一种基于人脸识别的安防监控方法及系统 | |
| WO2023173546A1 (zh) | 文本识别模型的训练方法、装置、计算机设备及存储介质 | |
| CN115222064A (zh) | 数据处理方法、装置、设备以及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |