KR102643277B1 - 얼굴인식을 이용한 비밀번호 입력 방법 및 시스템 - Google Patents

얼굴인식을 이용한 비밀번호 입력 방법 및 시스템 Download PDF

Info

Publication number
KR102643277B1
KR102643277B1 KR1020220029938A KR20220029938A KR102643277B1 KR 102643277 B1 KR102643277 B1 KR 102643277B1 KR 1020220029938 A KR1020220029938 A KR 1020220029938A KR 20220029938 A KR20220029938 A KR 20220029938A KR 102643277 B1 KR102643277 B1 KR 102643277B1
Authority
KR
South Korea
Prior art keywords
face
landmark
module
facial
image
Prior art date
Application number
KR1020220029938A
Other languages
English (en)
Other versions
KR20230132982A (ko
Inventor
송인목
박진규
Original Assignee
주식회사 메사쿠어컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메사쿠어컴퍼니 filed Critical 주식회사 메사쿠어컴퍼니
Priority to KR1020220029938A priority Critical patent/KR102643277B1/ko
Publication of KR20230132982A publication Critical patent/KR20230132982A/ko
Application granted granted Critical
Publication of KR102643277B1 publication Critical patent/KR102643277B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06F21/46—Structures or tools for the administration of authentication by designing passwords or checking the strength of passwords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 얼굴인식을 이용한 비밀번호 입력 방법 및 시스템에 관한 것으로, 더욱 상세하게는 얼굴을 구성하는 눈/코/입의 움직임이나 형상 등을 분석하여 비밀번호를 입력하는 방법 및 이를 지원하는 시스템에 관한 것이다.
이를 위해 본 발명의 얼굴인식을 이용한 비밀번호 입력 시스템은 내장된 카메라 또는 외부의 시스템으로부터 영상을 입력받는 영상 입력모듈; 상기 영상 입력모듈로부터 입력받은 영상을 분석하는 영상 분석모듈; 상기 영상 입력모듈에서 분석한 영상으로부터 얼굴을 검출하는 얼굴 검출모듈; 검출한 얼굴로부터 눈, 코, 입 중 적어도 하나인 얼굴 랜드마크를 검출하는 얼굴 랜드마크 검출모듈; 검출한 얼굴 랜드마크의 형상을 분석하는 얼굴 랜드마크 분석모듈; 분석한 얼굴 랜드마크의 형상을 디지털 정보로 변환하는 디지털 모듈; 및 설정된 비밀번호에 대응되는 디지털 정보와 상기 디지털 모듈에서 변환한 디지털 정보를 비교하는 비교모듈을 포함한다.

Description

얼굴인식을 이용한 비밀번호 입력 방법 및 시스템{Password input method and system using face recognition}
본 발명은 얼굴인식을 이용한 비밀번호 입력 방법 및 시스템에 관한 것으로, 더욱 상세하게는 얼굴을 구성하는 눈, 코, 입의 움직임이나 형상 등을 분석하여 비밀번호를 입력하는 방법 및 이를 지원하는 시스템에 관한 것이다.
최근 비인가자의 시스템 접근을 방지하는 방안으로 허가된 사용자의 신체적 특징을 이용하는 방법들이 사용되고 있다. 이러한 보안체계 구축에 사용되는 신체의 특성은 다음의 조건을 만족하여야 한다.
첫째로 개인마다 분명하게 구별되는 특징이어야 하고, 둘째로 쉽게 변하지 않는 영구불변의 특징이어야 하며, 셋째로 명백히 정의되는 특징이어야 하고, 넷째로 사용의 편리성이 있어야 한다는 것으로 여러 가지 방식들이 제시되어 왔다.
이러한 신체 특징을 활용한 보안체계 중 잘 알려진 음성 인증은 신체의 접촉이 필요 없다는 편리성에서는 장점이 본인 거부율이 5~10%, 타인 수락율이 0.2~0.4%로 높은 편으로 고급 통제가 요구되는 시스템에서는 사용되지 못하고 있다.
또한, 망막인증 방식의 경우 본인 거부율 및 타인 수락율이 매우 낮아 최고의 보안성을 자랑하지만, 망막의 특징 추출을 위한 장치의 부피가 크고, 고가이며 사용 시 눈을 근접시키는 행동에 대한 심리적 거부감이 있다는 점이 단점으로 지적되고 있다.
이에 반해 얼굴의 특징을 추출하여 본인 여부를 판별하는 방식의 경우, 본인 거부율이 0.05%, 타인 수락율이 0.0002% 수준의 양호한 보안성과 사용상의 편리 및 경제성도 매우 좋아 고급 통제시스템으로부터 일반 상용 시스템에까지 그 응용 분야가 매우 넓은 것으로 알려져 있다.
특히, 딥러닝 기술의 발달로 얼굴인식 기술은 사람의 인지 능력을 능가하는 상황에 이르렀으나, 얼굴인식의 편리성으로 인해 쉽게 도용되거나, 탈취될 수 있는 위험에 항상 노출되어 있는 것이 사실이다. 따라서, 얼굴인식 기술을 이용하여 본인을 인증함과 동시에 보안성을 더욱 높일 방안이 요구된다.
한국등록특허 제10-1837153호(발명의 명칭; 가변 키패드와 얼굴인식을 이용한 본인 인증 방법 및 시스템) 한국등록특허 제10-1668958호(발명의 명칭: 휴대용 스마트 단말기 및 안면인식을 이용한 보완시스템)
본 발명이 해결하고자 하는 과제는 얼굴인식을 이용한 비밀번호를 입력하는 방안을 제안함에 있다.
본 발명이 해결하고자 하는 다른 과제는 얼굴을 구성하는 랜드마크의 형상이나 움직임을 이용하여 비밀번호를 입력하는 방안을 제안함에 있다.
본 발명이 해결하고자 하는 또 다른 과제는 얼굴인식의 인식률을 높이는 동시에 보안성을 높일 방안을 제안함에 있다.
이를 위해 본 발명의 얼굴인식을 이용한 비밀번호 입력 시스템은 내장된 카메라 또는 외부의 시스템으로부터 영상을 입력받는 영상 입력모듈; 상기 영상 입력모듈로부터 입력받은 영상을 분석하는 영상 분석모듈; 상기 영상 입력모듈에서 분석한 영상으로부터 얼굴을 검출하는 얼굴 검출모듈; 검출한 얼굴로부터 눈, 코, 입 중 적어도 하나인 얼굴 랜드마크를 검출하는 얼굴 랜드마크 검출모듈; 검출한 얼굴 랜드마크의 형상을 분석하는 얼굴 랜드마크 분석모듈; 분석한 얼굴 랜드마크의 형상을 디지털 정보로 변환하는 디지털 모듈; 및 설정된 비밀번호에 대응되는 디지털 정보와 상기 디지털 모듈에서 변환한 디지털 정보를 비교하는 비교모듈을 포함한다.
비접촉으로 신원 증명 가능한 얼굴 인식 기술은 코로나19 유행으로 급부상하고 있으며, 은행, 공항 등 신원인증이 필요한 전 영역에 적용되었거나 적용되고 있다. 얼굴인식 기술은 딥러닝으로 빠르고 정교해졌으나 또한 Spoof, Fake 공격에 쉽게 노출되어 있다.
이에 본 발명에 따른 얼굴인식을 이용한 비밀번호 입력 방법 및 시스템은 Spoof, Fake 등으로부터 공격하는 것을 효율적으로 막을 방안을 제안한다. 즉, 본 발명은 단순히 얼굴로부터 특징점을 추출하고 비교하는 것만으로는 보안에 완전하지 못한 한계를 극복하고, 얼굴의 눈, 코, 입 등의 랜드마크의 움직임(형상)을 이용하여 사용자를 인증함으로써 기존 대비하여 보안성을 높일 수 있는 효과가 있다.
도 1은 본 발명의 일실시 예에 따른 얼굴인식 및 얼굴을 구성하는 랜드마크를 이용하여 비밀번호를 설정/입력하는 절차를 도시한 흐름도이다.
도 2는 본 발명의 일실시 예에 따른 얼굴인식을 이용한 비밀번호 입력 시스템을 도시하고 있다.
도 3은 본 발명의 일실시 예에 따른 얼굴인식 단말기 또는 시스템을 이용하여 영상을 입력받는 예를 도시하고 있다.
도 4는 본 발명의 일실시 예에 따른 검출된 얼굴에 랜드마크를 표시하는 예를 도시하고 있다.
도 5는 본 발명의 일실시 예에 따른 눈의 깜빡임을 나타내고 있다.
도 6은 얼굴에 가상의 키패드를 배치하고, 코끝으로 특정 숫자를 가리키도록 하여 비밀번호를 설정하거나, 지정하는 예를 도시하고 있다.
도 7은 본 발명의 일실시 예에 따른 얼굴인식의 제1 단계를 도시하고 있다.
도 8은 본 발명이 일실시 예에 따른 얼굴인식의 제2 단계를 도시하고 있다.
도 9는 본 발명의 일실시 예에 따른 얼굴인식의 제3 단계를 도시하고 있다.
도 10은 본 발명의 일실시 예에 따른 얼굴인식 절차를 도시하고 있다.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
본 발명은 기존 얼굴인식 기술을 이용한 인증 방법에서 스푸프(Spoof), Fake 공격을 방지하기 위해 얼굴의 눈, 코, 입 등 얼굴을 구성하는 랜드마크 상태값을 이용해 비밀번호를 생성, 저장 및 인증하는 방안을 제안한다.
본 발명은 얼굴인식(얼굴인증)을 하면서 양쪽 눈의 깜빡임 순서, 코의 위치 변경, 입을 벌리고 닫는 행위 등을 하나의 기호로 정하고, 이 순서를 비밀번호로 사용하는 방안을 제안한다. 특히 얼굴인식은 딥러닝 기반 얼굴검출기술, 얼굴인식 기술, 눈/코/입 등 주요 랜드마크 추출기술, 눈 깜빡임을 감지하는 학습모델 및 연속 영상에서의 움직임을 감지는 영상 내 옵티컬 플로우 기술은 적용된다.
얼굴인식 기술은 상술한 바와 같이 딥러닝 기반의 얼굴인식 기술로 얼굴학습 모델을 통한 얼굴검출, 얼굴 템플릿 추출, 템플릿 비교 기술로 이루어지며, 최대 512개의 디멘션(dimension)을 가지는 벡터값의 유사도를 비교하여 일정 임계점을 넘는 유사도를 가지는 얼굴 템플릿을 동일인으로 판단한다.
움직임을 감지하여 비밀번호를 입력하는 기술은 카메라에서 받아들이는 얼굴영상에서 눈/코/입 등의 위치를 이용한 랜드마크 추출, 눈 깜빡임을 감지하는 eye blink 학습모델, 사용자 화면의 코 위치에 가상의 숫자판을 두어 코의 위치를 움직여서 일정시간 동안 머물러 있는 경우 해당 숫자를 입력한 것으로 판단하는 기술을 포함한다. 이하에서는 얼굴인식 및 얼굴을 구성하는 랜드마크를 이용하여 비밀번호를 설정/입력하는 방법에 대해 살펴보기로 한다.
도 1은 본 발명의 일실시 예에 따른 얼굴인식 및 얼굴을 구성하는 랜드마크를 이용하여 비밀번호를 설정/입력하는 절차를 도시한 흐름도이다. 이하 도 1을 이용하여 얼굴인식 및 얼굴을 구성하는 랜드마크를 이용하여 비밀번호를 설정/입력하는 절차에 대해 살펴보기로 한다.
S100에서 분석모듈은 단말 또는 시스템을 구성하는 카메라 또는 기타 네트워크로부터 영상정보를 입력받는다.
S110단계에서 분석모듈은 입력받은 영상이 아날로그 영상이면, 디지털 영상으로 변환하고, 변환된 디지털 영상을 분석한다.
S120단계에서 분석모듈은 분석한 결과에서 사람 얼굴(안면)이 있다면 사람 얼굴을 검출하며, 검출한 사람 얼굴에서 눈/코/입 등 사람을 특정할 수 있는 랜드마크를 검출한다.
얼굴 검출은 고성능 신경망 추론 컴퓨팅 프레임워크를 이용하여 얼굴을 검출한다. 일 예로 얼굴을 검출하는 Face detection과 눈, 코, 입의 좌표를 추출하는 Face Alignment의 두 가지의 테스크는 서로 긴밀하게 연결되어 있으므로 얼굴 위치를 나타내는 박스의 위치를 세밀하게 조절해 주는 얼굴영역 조정 테스크를 추가한 새로운 테스크를 학습한 P-net, R-net 및 O-net이라는 세 CNN을 차례로 통과하는 Cascade 모델을 통해 정교한 얼굴정보를 검출한다.
랜드마크 검출을 위해 컴팩트하고, 정확하고 효율적이며, 실제 사용이 가능한 랜드마크 감지모델을 활용한다. 랜드마크 감지모델은 다양한 포즈, 표정, 조명, 이미지 품질에 관계없이 미리 정의된 랜드마크(예, 눈꼬리, 입꼬리 등) 그룹을 검출하는데 효율적이다. 이에 대해서는 후술하기로 한다.
S130단계에서 분석모듈은 검출된 랜드마크의 상태값을 분석하며, 랜드마크의 상태값은 눈의 크기, 눈을 떴는지 감았는지 여부, 코의 좌표, 입의 크기, 입을 닫았는지 벌렸는지 여부 등에 대해 특정한 값을 지정하고, 디지털화한다.
S140단계에서 분석모듈은 디지털화된 디지털 정보를 등록하고, 인증시 등록된 디지털 정보와 비교하여 인증여부를 판단한다.
도 2는 본 발명의 일실시 예에 따른 얼굴인식을 이용한 비밀번호 입력 시스템을 도시하고 있다. 이하 도 2를 이용하여 본 발명의 일실시 예에 따른 얼굴인식을 이용한 비밀번호 입력 시스템에 대해 상세하게 알아보기로 한다.
도 2에 의하면, 얼굴인식을 이용한 비밀번호 입력 시스템(200)은 영상 입력모듈, 영상 분석모듈, 얼굴 검출모듈, 얼굴 랜드마크 검출모듈, 얼굴 랜드마크 분석모듈, 디지털 모듈, 등록모듈 및 비교모듈을 포함한다. 물론 상술한 구성 이외에 다른 구성이 본 발명에서 제안하는 얼굴인식을 이용한 비밀번호 입력 시스템에 포함될 수 있다.
영상 입력모듈(205)은 외부 장치나 네트워크로부터 영상을 입력받는다. 본 발명에서 제안하는 영상은 얼굴 영상이 포함된다.
영상 분석모듈(210)은 영상 입력모듈(205)로 입력된 영상을 분석한다.
얼굴 검출모듈(215)은 영상 분석모듈(210)에서 분석한 영상에서 얼굴을 검출한다.
얼굴 랜드마크 검출모듈(220)은 검출한 얼굴에서 얼굴 랜드마크를 검출한다.
얼굴 랜드마크 분석모듈(225)은 검출된 얼굴 랜드마크에서 랜드마크를 분석한다.
디지털 모듈(230)은 분석한 랜드마크의 상태를 디지털 정보로 변환한다.
등록모듈(235)은 디지털화 정보로 변환된 랜드마크의 상태를 등록한다.
비교모듈(240)은 등록된 디지털 정보와 입력된 영상을 분석 및 변환한 디지털 정보를 비교하여, 사용자 인증 여부를 결정한다.
이와 같이 본 발명은 입력받은 영상으로부터 얼굴을 추출하며, 추출한 얼굴로부터 얼굴 랜드마크를 추출하며, 추출한 랜드마크의 상태를 디지털 정보로 변환한다. 디지털 정보로 변환한 랜드마크의 상태를 저장된 디지털 정보와 비교 분석하여 사용자 인증 및 비밀번호 입력절차를 진행한다.
상술한 바와 같이 본 발명은 단순히 얼굴인식을 통해 등록된 얼굴 템플릿과 입력된 인증 얼굴 템플릿의 유사도가 임계치 이상일 경우, 인증 절차를 완료하는 1차적인 방식에서 탈피하여, 양쪽 눈의 깜빡임 등 랜드마크의 상태를 순차적으로 검출하면 복수 자리를 갖는 비밀번호를 대신할 수 있다. 일 예로 왼쪽 눈의 깜빡임→ 오른쪽 눈의 깜빡임→ 왼쪽 눈의 깜빡임→ 왼쪽 눈의 깜빡임 순으로 비밀번호를 사용하고자 등록하면, 사용자는 시간의 흐름에 따라 위 순서대로 눈의 깜빡임을 진행하여 인증 절차를 진행한다.
이하에서는 얼굴 인식에 의해 본인임이 인증된 이후 얼굴을 구성하는 랜드마크의 형상(또는 움직임)을 검출하여 비밀번호를 입력하는 절차에 대해 알아보기로 한다.
도 3은 본 발명의 일실시 예에 따른 얼굴인식 단말 또는 시스템을 이용하여 영상을 입력받는 예를 도시하고 있다. 도 3에 의하면, 얼굴인식 단말 또는 시스템은 입력된 영상에서 얼굴 영역과 눈 영역에 박스를 배치한다. 얼굴 영역에 배치된 박스는 청색으로 표현되어 있으며, 눈 영역에 배치된 박스는 적색으로 배치한다.
도 4는 본 발명의 일실시 예에 따른 검출된 얼굴에 랜드마크를 표시하는 예를 도시하고 있다. 얼굴인식을 위한 단말 또는 시스템은 입력된 영상을 분석하고, 도 3과 같이 얼굴을 검출한다. 이후 얼굴인식 엔진을 이용하여 도 4와 같이 68개의 랜드마크를 추출하고, 이를 기반으로, 도 3과 같이 눈 주변과 같은 관심영역을 추출하고, 사각형의 박스를 배치한다. 도 4에 의하면, 왼쪽눈과 오른쪽은 각각 6개의 랜드마크를 표시되며, 코는 9개의 랜드마크가 표시되며, 입은 20개의 랜드마크를 표시한다. 물론 얼굴 랜드마크를 표시하는 랜드마크의 개수를 달라질 수 있다.
눈 깜빡임을 여부를 검출하기 위해서는 검출된 눈의 종횡비(Aspect Ratio)를 구하고, 이를 이용하여 눈의 모양을 인식한다.
도 5는 본 발명의 일실시 예에 따른 눈의 깜빡임을 나타내고 있다. 얼굴인식 엔진을 이용하여 얼굴을 인식한 후 얼굴 랜드마크를 통해 눈, 코, 입 등 얼굴의 윤곽을 68개의 점으로 나타낸다.
얼굴인식 엔진을 이용하여 도 5와 같이 눈 영역만을 추출하며, p1 내지 p6부터 ERA을 계산한다. 하기 수학식 1은 ERA를 계산하는 수식이다.
[수학식 1]
Figure 112022025879920-pat00001
p1: 눈의 좌측 랜드마크의 좌표
p2: 눈의 상단 제1 랜드마크의 좌표
p3: 눈의 상단 제2 랜드마크의 좌표
p4: 눈의 우측 랜드마크의 좌표
p5: 눈의 하단 제2 랜드마크의 좌표
p6: 눈의 하단 제1 랜드마크의 좌표
도 5의 하단의 그래프에 의하면, x축에서 별표(*)로 표시된 부분은 눈의 깜빡임이 인식된 부분이다. 여기서 눈의 찡그림을 인식하기 위해서는 눈의 깜빡임보다 큰 인식값인 0.2를 기준으로 레이어의 확대 및 축소를 인식하도록 한다.
이외에도 오른쪽 눈의 깜빡임이 있는지, 눈을 감았는지 떴는지, 입을 벌렸는지 닫았는지 등에 대한 다양한 랜드마크의 상태값을 미리 정의된 상태 표시 테이블을 이용하여 파악한다. 즉, 얼굴을 구성하는 적어도 2개의 랜드마크의 상태값의 조합을 이용하여 비밀번호를 입력할 수 있다. 일 예로, 왼쪽 눈을 감은 상태에서 입을 벌렸을 경우는 왼쪽 눈을 감은 상태는 1, 입을 벌린 상태는 32가 조합되어 얼굴인식에 의한 입력된 비밀번호는 33이 될 수 있다. 디지털 정보화된 얼굴인식 비밀번호를 저장하고 인증시에도 같은 방법으로 추출하여 등록된 비밀번호와 비교하여 비밀번호에 의한 본인 인증여부를 판단한다.
하기 표 1은 랜드마크의 상태에 따른 디지털 정보화된 상태값의 일 예를 나타내고 있다.
랜드마크 상태 상태값
왼쪽눈 감은 상태 1
왼쪽눈 뜬 상태 2
오른쪽눈 감은 상태 4
오른쪽눈 뜬 상태 8
입 닫은 상태 16
입 벌린 상태 32
얼굴 좌측으로 돌린 상태 64
얼굴 우측으로 돌린 상태 128
물론 표 1에 표시된 랜드마크의 상태와 상태값 이외에 다른 다양한 상태 및 상태값을 설정 및 등록할 수 있으며, 다양한 랜드마크 상태와 상태값을 설정함으로써 보완 성능을 더욱 향상시킬 수 있다.
상술한 바와 같이 눈 깜빡임 검출과 동일한 방법으로 얼굴을 구성하는 랜드마크의 상태를 검출할 수 있다. 일 예로 얼굴인식 엔진은 입을 다물고 있는 상태인지, 입을 다물고 있는 상태인지 벌리고 있는 상태인지를 검출할 수 있다.
또한, 얼굴 이미지 위에 가상의 키패드를 위치하여 지정된 비밀번호 이외의 다수의 임의의 숫자를 배치한 상태에서 코끝으로 특정 숫자를 가리키도록 하여 해당 번호를 비밀번호로 설정하거나 비밀번호를 지정할 수 있다. 부연하여 설명하면, 보안성을 강화하기 위해 설정된 비밀번호를 구성하는 숫자를 포함하는 복수의 숫자를 배치한 상태에서 비밀번호를 설정 또는 입력하도록 한다. 도 6에 도시되어 있는 바와 같이 얼굴에 가상의 키패드를 배치하고, 코끝으로 특정 숫자를 가리키도록 하여 비밀번호를 설정하거나, 지정할 수 있다. 부연하여 설명하면, 얼굴을 구성하는 랜드마크의 상태값과 가리킨 특정 숫자의 조합을 이용하여 비밀번호를 설정할 수 있다.
이하에서는 본 발명에서 제안하는 얼굴인식 엔진을 이용하여 얼굴검출 및 랜드마크를 검출하는 방안에 대해 살펴보기로 한다.
본 발명과 관련하여 얼굴검출은 1단계 내지 3단계로 이루어진다. 이하에서는 얼굴을 검출하는 단계에 대해 순차적으로 살펴보기로 한다.
1단계는 상대적으로 사이즈가 작은 얼굴도 검출하기 위해 입력된 이미지를 단계별로 리사이즈(resize)하여 이미지 피라미드를 생성한다. 예를 들어 300x200 크기를 갖는 이미지가 입력되면 이를 200x166, 100x66, 30x20등의 크기로 리사이즈한 이미지의 리스트를 생성한다.
도 7은 본 발명의 일실시 예에 따른 얼굴검출의 1단계를 도시하고 있다. 도 7에 도시된 바와 같이 12x12x3 크기의 작은 이미지를 입력받는다. 그리고 컨벌루션을 수행하여 해당 영역이 얼굴 영역에 해당하는지 각각 나타내는 얼굴 분류(face classification), 얼굴 영역을 나타내는 좌측 상단 꼭지점의 x, y 좌표와 박스의 너비, 크기를 나타내는 4개의 경계 상자 회귀분석(bounding box regression) 값, 그리고 양쪽 눈, 코, 양쪽 입고리의 x, y 좌표를 나타내는 10개의 랜드마크 로컬리케이션(landmark localization) 값을 결과를 도출한다.
부연하여 설명하면 얼굴검출의 1단계는 입력된 이미지를 신경망을 통과시켜 얼굴로 추정되는 모든 영역을 검출한다.
도 8은 얼굴검출의 2단계를 도시하고 있다. 1단계를 통해 얼굴로 추정되는 박스들의 리스트를 얻었으면, 2단계의 역할은 이 박스들 중에서도 진짜 얼굴에 해당하는 영역들을 도출하고, bounding box regression을 더욱 정교하게 수행하는 것이다. 먼저 앞서 구한 박스들을 모두 24x24 크기로 resize 하며, 이후 1단계와 유사한 프로세스를 수행한다. 2단계에서는 더욱 정교한 값을 추출하는 역할을 수행한다.
부연하여 설명하면 얼굴검출의 2단계는 1단계에서 검출된 영역의 이미지를 신경망을 통과시켜 정교해진 영역을 검출한다.
도 9는 얼굴검출의 3단계를 도시하고 있다. 3단계는 점점 필터의 크기를 키우면서 얼굴에 해당하는 더 추상적인 정보를 찾아내기 위한 의도로 2단계를 통해 찾아낸 박스들을 모두 48x48 크기로 resize한 것을 입력으로 받는다. 이후 여러 레이어를 거친 뒤 출력을 내게 되며, 이것이 최종 얼굴검출 결과이다.
부연하여 설명하면, 얼굴검출이 3단계는 2단계에서 검출된 영역의 이미지를 신경망을 통과시켜 정확한 얼굴과 얼굴 랜드마크를 검출한다.
이하에서는 얼굴 랜드마크 검출 방법에 대해 간략하게 알아보기로 한다. 백본 네트워크와 보조 네트워크로 구성된 일반적인 CNN 기반 모델과 유사한 얼굴검출 엔진에서 입력된 이미지로부터 convolution layer를 통해 얼굴과 얼굴 랜드마크를 추출한다.
본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
200: 얼굴인식을 이용한 비밀번호 입력 시스템
205: 영상 입력모듈 210: 영상 분석모듈
215: 얼굴 검출모듈 220: 얼굴 랜드마크 검출모듈
225: 얼굴 랜드마크 분석모듈 230: 디지털 모듈
235: 등록모듈 240: 비교모듈

Claims (7)

  1. 내장된 카메라 또는 외부의 시스템으로부터 영상을 입력받는 영상 입력모듈;
    상기 영상 입력모듈로부터 입력받은 영상을 분석하는 영상 분석모듈;
    상기 영상 입력모듈에서 분석한 영상으로부터 얼굴을 검출하는 얼굴 검출모듈;
    검출한 얼굴로부터 눈, 코, 입 중 적어도 하나인 얼굴 랜드마크를 검출하는 얼굴 랜드마크 검출모듈;
    검출한 얼굴 랜드마크의 형상을 분석하는 얼굴 랜드마크 분석모듈;
    분석한 얼굴 랜드마크의 형상을 디지털 정보로 변환하는 디지털 모듈; 및
    설정된 비밀번호에 대응되는 디지털 정보와 상기 디지털 모듈에서 변환한 디지털 정보를 비교하는 비교모듈;을 포함하며,
    상기 얼굴 검출모듈 및 얼굴 랜드마크 검출모듈은 제1 단계 내지 제3 단계에 의해 얼굴 및 얼굴 랜드마크를 검출하며,
    상기 제1 단계는 영상 분석모듈로부터 입력받은 영상인 12x12x3의 크기를 갖는 입력 이미지에 대해 컨벌루션을 수행하여 해당 영역이 얼굴 영역에 해당하는지 나타내는 얼굴 분류, 얼굴 영역을 나타내는 좌측 상단 꼭지점의 x, y 좌표와 박스의 너비, 크기를 나타내는 4개의 경계 상자 회귀분석(bounding box regression)값, 양쪽 눈, 코, 양쪽 입고리의 x, y 좌표를 나타내는 10개의 랜드마크 로컬리케이션(landmark localization) 값을 도출하여 얼굴로 추정되는 모든 영역을 검출하며,
    제2 단계는 제1 단계에서 얼굴로 추정되는 모든 영역에 대한 이미지를 리사이즈한 24x24x3의 크기를 갖는 입력 이미지에 대해 컨벌루션을 수행하여 해당 영역이 얼굴 영역에 해당하는지 나타내는 얼굴 분류, 얼굴 영역을 나타내는 좌측 상단 꼭지점의 x, y 좌표와 박스의 너비, 크기를 나타내는 4개의 경계 상자 회귀분석(bounding box regression)값, 양쪽 눈, 코, 양쪽 입고리의 x, y 좌표를 나타내는 10개의 랜드마크 로컬리케이션(landmark localization) 값을 도출하여 얼굴로 추정되는 영역을 검출하며,
    상기 제3 단계는 제2 단계를 수행한 얼굴로 검출된 영역에 대한 이미지를 리사이즈한 48x48x3의 크기를 갖는 입력 이미지에 대해 컨벌루션을 수행하여 얼굴의 랜드마크를 검출함을 특징으로 하는 안면인식을 이용한 비밀번호 입력 시스템.
  2. 제 1항에 있어서, 상기 랜드마크 분석모듈은,
    분석한 얼굴 랜드마크가 눈인 경우에는 눈의 종횡비를 이용하여 눈의 상태를 분석함을 특징으로 하는 얼굴인식을 이용한 비밀번호 입력 시스템.
  3. 제 2항에 있어서, 상기 랜드마크 분석모듈은,
    눈의 상단에 2개의 랜드마크, 눈의 하단에 2개의 랜드마크, 눈의 좌측 및 우측에 하나의 랜드마크를 추출하고, 추출된 랜드마크로부터 하기 수학식에 의해 종횡비(EAR)를 산출함을 특징으로 하는 얼굴인식을 이용한 비밀번호 입력 시스템.
    [수학식]
    Figure 112022025879920-pat00002

    p1: 눈의 좌측 랜드마크의 좌표
    p2: 눈의 상단 제1 랜드마크의 좌표
    p3: 눈의 상단 제2 랜드마크의 좌표
    p4: 눈의 우측 랜드마크의 좌표
    p5: 눈의 하단 제2 랜드마크의 좌표
    p6: 눈의 하단 제1 랜드마크의 좌표
  4. 제 3항에 있어서, 상기 비교모듈은,
    상기 디지털 모듈에서 순차적으로 변환되어 입력되는 적어도 2개의 랜드마크 상태에 대응되는 디지털 정보를 저장된 디지털 정보와 순차적으로 비교함을 특징으로 하는 얼굴인식을 이용한 비밀번호 입력 시스템.
  5. 제 3항에 있어서, 상기 디지털 모듈은,
    하나의 시점에 적어도 두 개의 랜드마크 상태에 대응되는 디지털 정보를 입력받아 하나의 디지털 정보로 조합함을 특징으로 하는 특징으로 하는 얼굴인식을 이용한 비밀번호 입력 시스템.
  6. 제 3항에 있어서, 상기 얼굴 랜드마크 분석모듈은,
    얼굴을 찌푸렸을 때의 EAR값을 기준으로 눈의 깜빡임 여부를 분석함을 특징으로 하는 얼굴인식을 이용한 비밀번호 입력 시스템.
  7. 제 1항에 있어서, 상기 얼굴 검출모듈은 검출한 얼굴에 제1 박스를 배치하며,
    상기 얼굴 랜드마크 검출모듈은 검출한 얼굴 랜드마크에 제2 박스를 배치함을 특징으로 하는 특징으로 하는 얼굴인식을 이용한 비밀번호 입력 시스템.
KR1020220029938A 2022-03-10 2022-03-10 얼굴인식을 이용한 비밀번호 입력 방법 및 시스템 KR102643277B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220029938A KR102643277B1 (ko) 2022-03-10 2022-03-10 얼굴인식을 이용한 비밀번호 입력 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220029938A KR102643277B1 (ko) 2022-03-10 2022-03-10 얼굴인식을 이용한 비밀번호 입력 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20230132982A KR20230132982A (ko) 2023-09-19
KR102643277B1 true KR102643277B1 (ko) 2024-03-05

Family

ID=88196971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220029938A KR102643277B1 (ko) 2022-03-10 2022-03-10 얼굴인식을 이용한 비밀번호 입력 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102643277B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101494874B1 (ko) * 2014-05-12 2015-02-23 김호 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
JP6276846B2 (ja) 2014-05-01 2018-02-07 日本電信電話株式会社 周期性統合包絡系列生成装置、周期性統合包絡系列生成方法、周期性統合包絡系列生成プログラム、記録媒体
KR101668958B1 (ko) 2015-07-27 2016-10-24 건양대학교산학협력단 휴대용 스마트 단말기 및 안면인식을 이용한 보안시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101494874B1 (ko) * 2014-05-12 2015-02-23 김호 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Tereza Soukupova and Jan Cech, "Real-Time Eye Blink Detection using Facial Landmarks"(2016.02.)*

Also Published As

Publication number Publication date
KR20230132982A (ko) 2023-09-19

Similar Documents

Publication Publication Date Title
CN105205480B (zh) 一种复杂场景中人眼定位方法及系统
CN107358152B (zh) 一种活体识别方法和系统
CN109858439A (zh) 一种基于人脸的活体检测方法及装置
KR102005150B1 (ko) 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법
US10922399B2 (en) Authentication verification using soft biometric traits
CN106339676A (zh) 一种人脸认证及人脸识别方法
WO2008072622A1 (ja) 顔認証装置
CN109800643A (zh) 一种活体人脸多角度的身份识别方法
KR100473600B1 (ko) 얼굴 인식 시스템에서의 사진 판별 장치 및 방법
Singh et al. Face detection and eyes extraction using sobel edge detection and morphological operations
JP2006107288A (ja) 個人認証方法、装置及びプログラム
CN111259757B (zh) 一种基于图像的活体识别方法、装置及设备
JP2009237669A (ja) 顔認識装置
CN109086589A (zh) 一种结合手势识别的智能终端人脸解锁方法
Suhr et al. Recognizability assessment of facial images for automated teller machine applications
CN106156739A (zh) 一种基于脸部轮廓分析的证件照耳朵检测与提取方法
KR102643277B1 (ko) 얼굴인식을 이용한 비밀번호 입력 방법 및 시스템
US11507646B1 (en) User authentication using video analysis
Schneider et al. Feature based face localization and recognition on mobile devices
Xiao et al. Facial recognition in uncontrolled conditions for information security
JP2005084979A (ja) 顔認証システムおよび方法並びにプログラム
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법
Shukla et al. Comparison of Face Recognition algorithms & its subsequent impact on side face
Beigzadeh et al. Detection of face and facial features in digital images and video frames
Muratuly et al. Biometric authentication of students to control the learning process in online education

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant