KR102593835B1

KR102593835B1 - 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술

Info

Publication number: KR102593835B1
Application number: KR1020217009596A
Authority: KR
Inventors: 젱우 유안; 쑤펭 차; 린 리; 싱 리앙
Original assignee: 충칭 유니버시티 오브 포스츠 앤드 텔레커뮤니케이션스
Priority date: 2019-11-06
Filing date: 2020-10-20
Publication date: 2023-10-25
Also published as: CN111104852A; CN111104852B; WO2021088640A1; KR20210100592A

Abstract

특히 휴리스틱 클라우드 변환에 기반하는 얼굴인식 방법에 관한 것이다. 이 방법은 카메라로 목표인의 얼굴영상을 채취하고, 목표인의 얼굴영상을 MTCNN 신경망 네트웍 모델중에 입력하여, 맞추어 커팅한 정방형의 얼굴 윤곽 영상을 출력하며, random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 정의하고, 사전 처리를 거친 얼굴영상 데이터 집합 CASIA-WebFace에 의해 구성된 신경망 모델에 대한 사전 훈련을 진행하고, 훈련을 거친 모델과 파라미터를 보존하하며, 목표인의 얼굴영상과 데이터베이스중의 얼굴영상을 싱경망 모델중에 입력한 후, 휴리스틱 가우스 클라우드 변환 알리고즘으로 애매도를 산출하여 얼굴 인식 결과를 판단하는 내용을 포함한다. 이 방법은 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 방법을 제공하고, 새로운 얼굴인식 손실함수를 정의하여, softmax 분류법을 대체함으로써, 인식대상의 샘플수가 적고, 분류종류가 많은 등 문제를 고려할 필요가 없기 때문에, 정확도를 높일 수 있다.

Description

휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술

본 발명은 영상인식 기술에 관한 것으로서, 특히 휴리스틱 클라우드 변환에 기반하는 얼굴인식 기술에 관한 것이다.

현대 사회에 있어서, 아이디 인증은 날이 갈수록 널리 사용되고 있으며, 그중 지문, 홍채 및 얼굴 등 생체정보 인증기술을 운용하는 분야는 날이 갈 수록 늘어나고 있다. 예를 들어, 핸드폰 지문 인식, 통금 홍채 인증 및 역전 얼굴 인식 통로 등이 포함되는데, 이들은 모두 매우 높은 정확성과 믿음성을 가지지만, 얼굴 인식은 가장 자연적이고 편리하며, 유저가 일부러 특수한 동작이나 자세를 취할 필요가 없어, 인파 통과량이 큰 곳에서의 아이디 인증에 아주 적합하다. 얼굴 인식은 미래의 생활중 더욱 넓은 분야에서 사용될 것으로 전망된다.

얼굴 인식은 디지털 영상처리, 컴퓨터 시각 및 기계 학습 등 기술에 기반하고 컴퓨터 처리 기술을 이용하여 데이터베이스중의 얼굴영상과 비교 분석하는 과정을 말한다. 현재 얼굴 인식 기술은 주로 딥 합성곱 신경망을 이용한 합상곱 훈련 조작을 이용하여 얼굴 특징을 추출하여, 한 사람의 두 얼굴영상에 있어서, 대응하는 특징을 같은 종류로 보고, 이와 달리, 각기 다른 사람의 두 얼굴영상에 있어서, 대응하는 특징을 각기 다른 종류로 보기 때문에, 얼굴 인식 모델중 사람 마다 각기 하나의 부류에 대응된다. 초기의 신경망 모델은 직접 Softmax 분류법을 이용하여 각 종류의 확율을 얻고, 그중 확율이 가장 큰거나 확율이 상위에 속하는 몇개를 인식 결과로 선정하였는데, 이러한 기술은 훈련 집합수가 적고, 종류가 많은 등 원인으로 인하여 인식 정밀도가 떨어진다.

본 발명은 상기 문제를 해결하기 위하여, 새로운 얼굴 인식 손실함수를 정의하여 softmax 분류법을 대체 함으로써, 인식 대상의 샘플수가 적고, 분류 종류가 많은 등 문제를 고려할 필요가 없이, 정밀도를 높일 수 있는 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴 인식 기술을 제공하는 것을 과제로 삼는다.

1) 카메라를 이용하여 목표인의 얼굴영상을 채취하는 단계,

2) 목표인의 얼굴영상을 MTCNN 신경망 모델중에 입력하여, 오관만을 얼굴에 맞추어 커팅한 정방형의 얼굴 윤곽 영상을 출력하는 단계,

3) random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 정의하는 단계,

4) 사전 처리를 거친 얼굴영상 데이터 집합 CASIA-WebFace에 의해 구성된 신경망 모델에 대한 사전 훈련을 진행하고, 훈련을 거친 모델과 파라미터를 보존하는 단계, 및

5) 목표인의 얼굴영상과 데이터베이스중의 얼굴영상을 싱경망 모델중에 입력한 후, 휴리스틱 가우스 클라우드 변환 알리고즘으로 애매도를 산출하여 얼굴 인식 결과를 판단하는 단계,

를 포함하는 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술.

바람직하게, 상기 단계3)중, random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 정의하는 과정은

3-1. 신경망 모델을 구축하고, 각층의 액티브 함수를 모두 random_nomal 로 설정하는 단계, 및

3-2. 신경망 모델의 손실함수 loss를 정의하는 단계를 포함한다.

바람직하게, 신경망 모델의 손실함수 loss 정의 과정은 아래와 같다.

얼굴영상을 신경망 모델중에 입력하여, 각 얼굴영상의 특징 벡터를 추출함과 동시에, 각 얼굴영상의 차원수를 같게 하고, 매번 훈련은 모두 훈련집합으로 부터 무작위로 3개의 얼굴영상, 즉 얼굴 샘플특징 anchor, anchor의 포지티브 샘플(동일한 사람) positive, anchor의 네가티브 샘플(다른 사람) negative을 선택하여, 이들을 신경망 모델중에 입력하여, 대응하는 특징 벡터를 얻는다.

휴리스틱 가우스 클라우드 변환 알리고즘의 개념수를 2로 하고, anchor 샘플의 특징 벡터와 positive 샘플의 특징 벡터를 합병하여, 알리고즘의 데이터 샘플집합으로 하며, 휴리스틱 가우스 클라우드 변환을 거쳐 2개의 가우스 분포 G(μk ,σk)|k＝1 ,2를 얻는다. 제k개의 가우스 분포에 있어서, 그 표준차의 척도인자 αk를 산출하고, 가우스 클라우드의 애매도 CDk＝(1-αk)/(1+σk)를 산출하여, 각기 CD1, CD2를 얻는다. 마찬가지로, anchor 샘플의 특징 벡터와 negative 샘플의 특징 벡터를 합병하여, 알리고즘의 데이터 샘플집합으로 입력하여, 2개의 애매도 CD3, CD4를 얻는다.

같은 사람일 경우, 그 특징 벡터가 같은 종류, 즉 동일 개념일 것을 원하며, 이때 대응하는 애매도가 크게 되며, 반대로 동일 개념이 아닐 때, 대응하는 애매도가 작게 된다. 이고, 가 크면 클 수록 좋고, 가 작으면 작을 수록 좋다는 것을 원하기 때문에, 모델 훈련시, 의 결과를 끊임없이 최적화하여, 0에 접근하게 하면 된다. 때문에, 얼굴인식 손실함수 loss를

로 정의한다.

바람직하게, 단계5)중, 데이터베이스의 얼굴영상을 훈련을 거친 신경망 모델중에 입력하고, 얻어진 얼굴 특징 벡터를 데이터베이스중의 대응하는 얼굴영상에 커버하여, 최종적으로 얼굴 특징 벡터로 구성되는 얼굴 데이터베이스를 얻는다.

바람직하게, 상기 단계5)중, 목표인의 얼굴 특징 벡터를 얼굴 데이터베이스중의 얼굴영상 특징 백터와 합병하여, 휴리스틱 가우스 클라우드 변환 알리고즘을 통해, 최종적으로 목표영상과 얼굴 데이너베이스중 영상과의 상사도를 얻는다.

본 발명에 게시된 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술은 아래 유익한 효과를 가진다.

1) 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴영상 손실정의를 제출하여, 얼굴인식 기술에 새로운 기술을 제공하고, softmax 분류법에 의한 얼굴인식이 필요 없기 때문에, 훈련 집합수가 적고, 분류종류가 많으며, 정확도가 낮은 문제를 해결할 수 있다.

2) 얼굴 데이터베이스는 얼굴영상을 이용하여 개인의 얼굴정보를 저장하는 것이 아니라, 얼굴영상에 대응하는 특징 벡터로 자장하기 때문에, 유저의 프라이버시권을 보호할 뿐만 아니라, 저장공간을 줄여 줌과 동시에, 인식할 때, 두조의 얼굴영상 특징 벡터의 애매도를 판단하는 것만으로, 그들의 상사도를 얻을 수 있기 때문에, 이러한 인식방식은 얼굴의 인식시간을 단축할 수 있다.

3) 데이터베이스를 업데이터 할 때, 다시 모델을 훈련시킬 필요가 없이, 새로운 얼굴 영상을 훈련된 신경망 모델중에 입력하고, 얻어진 얼굴 특징 벡터를 데이터베이스중에 첨가하면 된다.

도면1은 본 발명의 손실함수 loss를 산출하는 흐름도이다.

아래에는 본 발명에 의해 제공되는 도면에 결합하여 본 발명에 대해 더욱 상세하게 설명하기로 한다.

본 발명에 게시된 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술은 상세하게 아래 단계로 구성된다.

1) 카메라를 이용하여 목표인의 얼굴영상을 채취하는 단계,

3) random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 첨가하는 단계,

5) 목표인의 얼굴영상과 데이터베이스중의 얼굴영상을 싱경망 모델중에 입력한 후, 휴리스틱 가우스 클라우드 변환 알리고즘으로 애매도를 산출하여 얼굴 인식 결과를 판단하는 단계를 포함한다.

아래에는 상기 단계에 대해 더욱 상세하게 설명하기로 하는데, 그중 단계1)의 목표인의 얼굴영상은 스마트폰 또는 기타 스마트설비로 부터 채취할 수 있으며, 효과가 좋은 얼굴영상의 채취방식은 카메라를 통해 목표인물에 대한 정면, 수평, 근거리의 영상을 채취한다.

상기 단계2)중 목표인의 얼굴영상을 MTCNN 신경망 모델중에 입력하여, 오관만을 얼굴에 맞추어 커팅한 정방형의 얼굴 윤곽 영상을 출력하는 과정은

2-1. P-Net 네트웍을 이용하여 후보 윈도와 한계 회귀량을 얻음과 동시에, 후보 윈도를 한계틀에 근거하여 교정하고, 다시 NMS 법을 이용하여 중첩 윈도를 제거하는 단계,

2-2. P-Net 네트웍에 의해 확정된 후보윈도를 포함하는 패턴을 R-Net 네트웍중에서 훈련시키고, 한계틀 벡터를 이용하여 후보윈도에 대한 미세조정을 진행하며, 다시 NMS법을 이용하여, 중첩 윈도를 제거하는 단계, 및

2-3. O-Net 네트웍을 이용하여 후보윈도를 제거함과 동시에, 5개의 얼굴의 포인트 위치를 나타내고, 상기 단계를 통해 목표인의 얼굴영상을 처리한 후, 오관을 얼굴에 맞추어 커팅한 정방형 얼굴 윤곽 영상을 얻는 단계를 포함환다.

상기 단계3)중, random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 정의하는 과정은

3-1. 신경망 모델을 구축하고, 각층의 액티브 함수를 모두 random_nomal 로 설정하고, 각층으로 부터 출력되는 특징이 모두 정상분포 상태를 나타내게 하는 단계, 및

3-2. 신경망 모델의 손실함수 loss를 정의하여, 신경망 모델의 구축을 완성하는 단계를 포함한다.

도면1에 표시된 바와 같이, 신경망 모델의 손실함수 loss 정의 과정은 아래와 같다.

로 정의한다.

단계4)중, 사전처리를 거친 얼굴영상 데이터 집합 CASIA-WebFace 로 이미 구축된 신경망 모델에 대한 사전 훈련을 진행하고, 모델이 다시 받아 들이지 않을 때, 네트웍 모델 구조와 파라미터를 보존한다.

상기 단계5)중, 목표인의 얼굴 특징 벡터를 얼굴 데이터베이스중의 얼굴영상 특징 백터와 합병하여, 휴리스틱 가우스 클라우드 변환 알리고즘의 개념수를 2로 설정함과 동시에, 합병된 벡터를 알리고즘의 데이터 샘플 집합으로 입력하여, 2개의 애매도 CD1, CD2를 얻고, 의 값을 목표인의 얼굴영상과 얼굴 데이터베이스중 얼굴영상과의 상사도를 얻는다. 실제 사용중(타임카드 시스템, 유저인증 시스템)에 있어서, 역치를 설정하고, 상사도가 역치를 초과했을 경우에는 상사한 영상으로 판단하여, 인증에 통과했다고 인정하고, 역치보다 낮을 경우에는 다른 영상으로 판단하여, 인증에 실패했다고 표시된다. 여기에서 말하는 역치는 인위적으로 설정 할 수 있고, 훈련 결과에 근거하여 설정할 수도 있다.

본 발명의 기술적 내용 및 기술적 특징은 상술한 바와 같으나, 본 분야의 기술자라면 본 발명에 게시된 내용에 근거하여, 본 발명의 취지를 벗어나지 않는 여러가지의 치환 및 보정을 할 수 있기 때문에, 본 발명의 보호범위는 실시형태에 게시된 내용에 한정되는 것이 아니라, 본 발명의 취지를 벗어나지 않는 치환 및 보정도 포함되고, 본 특허출원의 특허청구의 범위에 커버된다.

Claims

1) 카메라를 이용하여 목표인의 얼굴영상을 채취하는 단계,
2) 목표인의 얼굴영상을 MTCNN 신경망 모델중에 입력하여, 오관만을 얼굴에 맞추어 커팅한 정방형의 얼굴 윤곽 영상을 출력하는 단계,
3) random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 정의하는 단계,
4) 사전 처리를 거친 얼굴영상 데이터 집합 CASIA-WebFace에 의해 구성된 신경망 모델에 대한 사전 훈련을 진행하고, 훈련을 거친 모델과 파라미터를 보존하는 단계, 및
5) 목표인의 얼굴영상과 데이터베이스중의 얼굴영상을 신경망 모델중에 입력한 후, 휴리스틱 가우스 클라우드 변환 알리고즘으로 애매도를 산출하여 얼굴 인식 결과를 판단하는 단계,
를 포함하며,
상기 단계3)중, random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 정의하는 과정은
3-1. 신경망 모델을 구축하고, 각층의 액티브 함수를 모두 random_nomal 로 설정하는 단계, 및
3-2. 신경망 모델의 손실함수 loss를 정의하는 단계를
포함하는 것을 특징으로 하는 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 방법.

삭제

상기 신경망 모델의 손실함수 loss 정의 과정은
얼굴영상을 신경망 모델중에 입력하여, 각 얼굴영상의 특징 벡터를 추출함과 동시에, 각 얼굴영상의 차원수를 같게 하고, 매번 훈련은 모두 훈련집합으로 부터 무작위로 3개의 얼굴영상, 즉 얼굴 샘플특징 anchor, anchor의 포지티브 샘플(동일한 사람) positive, anchor의 네가티브 샘플(다른 사람) negative을 선택하여, 이들을 신경망 모델중에 입력하여, 대응하는 특징 벡터를 얻고,
휴리스틱 가우스 클라우드 변환 알리고즘의 개념수를 2로 하고, anchor 샘플의 특징 벡터와 positive 샘플의 특징 벡터를 합병하여, 알리고즘의 데이터 샘플집합으로 하며, 휴리스틱 가우스 클라우드 변환을 거쳐 2개의 가우스 분포 G(μk ,σk)|k＝1 ,2를 얻는다. 제k개의 가우스 분포에 있어서, 그 표준차의 척도인자 αk를 산출하고, 가우스 클라우드의 애매도 CDk＝(1-αk)/(1+σk)를 산출하여, 각기 CD1, CD2를 얻는다. 마찬가지로, anchor 샘플의 특징 벡터와 negative 샘플의 특징 벡터를 합병하여, 알리고즘의 데이터 샘플집합으로 입력하여, 2개의 애매도 CD3, CD4를 얻으며,
같은 사람일 경우, 그 특징 벡터가 같은 종류, 즉 동일 개념일 것을 원하며, 이때 대응하는 애매도가 크게 되며, 반대로 동일 개념이 아닐 때, 대응하는 애매도가 작게 된다. 이고, 가 크면 클 수록 좋고, 가 작으면 작을 수록 좋다는 것을 원하기 때문에, 모델 훈련시, 의 결과를 끊임없이 최적화하여, 0에 접근하게 하면 되기 때문에, 얼굴인식 손실함수 loss를
로 정의하는
것을 특징으로 하는 청구항1에 기재된 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 방법.

상기 단계5)중, 데이터베이스의 얼굴영상을 훈련을 거친 신경망 모델중에 입력하고, 얻어진 얼굴 특징 벡터를 데이터베이스중의 대응하는 얼굴영상에 커버하여, 최종적으로 얼굴 특징 벡터로 구성되는 얼굴 데이터베이스를 얻는 것을 특징으로 하는 청구항1에 기재된 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 방법.

상기 단계5)중, 목표인의 얼굴 특징 벡터를 얼굴 데이터베이스중의 얼굴영상 특징 백터와 합병하여, 휴리스틱 가우스 클라우드 변환 알리고즘을 통해, 최종적으로 목표영상과 얼굴 데이너베이스중 영상과의 상사도를 얻는 것을 특징으로 하는 청구항1에 기재된 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 방법.