KR20100010480A - 사용자 인증 시스템 및 방법 - Google Patents
사용자 인증 시스템 및 방법 Download PDFInfo
- Publication number
- KR20100010480A KR20100010480A KR1020090061085A KR20090061085A KR20100010480A KR 20100010480 A KR20100010480 A KR 20100010480A KR 1020090061085 A KR1020090061085 A KR 1020090061085A KR 20090061085 A KR20090061085 A KR 20090061085A KR 20100010480 A KR20100010480 A KR 20100010480A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- user
- face
- authentication
- similarity
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
- H04L9/3231—Biological data, e.g. fingerprint, voice or retina
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/71—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information
- G06F21/74—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information operating in dual or compartmented mode, i.e. at least one secure mode
Abstract
본 발명은, 사용자가 입력한 비밀번호에 의한 번호 인증 및 사용자를 촬영한 사용자 영상에 의한 얼굴 인식을 동시에 이용하는 사용자 인증 방법으로서: 상기 사용자로부터 사용자 인증 요청을 접수하는 단계, 상기 사용자를 촬영하여 제1 영상을 획득하는 단계, 상기 사용자로부터 비밀번호를 입력받는 단계, 상기 사용자를 재촬영하여 제2 영상을 획득하는 단계, 입력받은 상기 비밀번호를 이용하여 번호 인증을 행하는 단계, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 얼굴 인식에 적용 가능한 적합 영상인지 판정하는 단계, 적합 영상으로 판정된 경우, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 이용하여 얼굴 인식을 행하는 단계, 상기 번호 인증의 결과 및 상기 얼굴 인식의 결과가 모두 통과된 경우, 사용자 인증 성공으로 판정하는 단계를 포함한다.
사용자 인증, 얼굴 인식, 비밀 번호, 템플릿
Description
본 발명은 사용자 인증 시스템 및 방법에 관한 것으로서, 더욱 상세하게는, 사용자가 보안 관리가 필요한 보안 적용 장치에 접근하고자 경우 비밀번호에 의한 인증 및 사용자 얼굴에 의한 인증을 동시에 통과하는 경우에만 사용자 인증의 성공으로 판정하여 상기 보안 적용 장치에 접근할 수 있도록 허용하는 사용자 인증 시스템 및 방법에 관한 것이다.
일반적인 홈 오토메이션 시스템 등과 같은 보안 관리가 필요한 장치에 있어서, 외부로부터 정당한 사용자만으로부터의 접근을 허용하기 위한 사용자 인증 방법으로, 비밀번호에 의한 사용자 인증 방법이 널리 사용되고 있다.
하지만, 이러한 사용자 인증 방법은 부당한 사용자에 의한 번호 도용이 가능하여 보안성이 떨어진다는 문제점이 발생하고 있다.
따라서, 부당한 사용자에 의해 비밀번호가 도용된 경우, 부당한 사용자의 영상을 촬영하여 둠으로써 추후 부당한 사용자를 색출해낼 수 있도록 하는 시스템이 제안되고 있다. 하지만 이러한 경우, 부당한 사용자가 안면 마스크, 안대, 안경, 모자 등을 착용한 상태로 접근하였다면, 얼굴을 명확히 알아볼 수 없어서 부당한 사용자를 정확하게 색출하는 데 곤란하다는 문제점이 있다.
따라서, 사용자가 얼굴을 필요 이상으로 가리고 있는 경우, 이를 감지하여 사용자에게 얼굴을 노출시킬 것을 요구하는 것이 바람직하다.
한편, 더욱 개선된 사용자 인증 방법으로서, 최근에는 사용자의 얼굴을 촬영한 영상을 이용하여 얼굴 인식을 통해 사용자 인증을 행하는 시스템이 보급되고 있다.
하지만, 종래의 시스템에서는 얼굴 부위 중 적어도 한 군데라도 인식할 수 없는 부분이 있으면 보안 시스템에서 얼굴 인식을 거부하도록 하고 있는데, 사용자가 불가피하게 얼굴의 일부를 마스크, 안대, 안경, 모자 등으로 가릴 수밖에 없거나 촬영시의 얼굴 각도, 주변 조명 상황 등에 의해 영상이 명확하지 못한 경우가 발생할 수 있어 이러한 경우를 정확하게 판단하여 사용자 인증이 실패하게 되는 불편함을 제거해야만 하는 과제도 발생하였다.
본 발명은, 본 발명은, 얼굴 인식에 더불어 비밀번호에 의한 인증이 모두 성공한 경우에만 사용자 인증의 성공으로 판정함으로써 더욱 철저한 보안을 행할 수 있는 사용자 인증 시스템 및 방법을 제공하고자 한다.
또한, 얼굴 인식을 위하여 촬영된 사용자 얼굴의 일부가 가려지거나 주변 조건에 의해 명확하지 않다고 할지라도, 얼굴 인식에 필요한 최소의 조건에 부합한다면 사용자에게 재촬영을 요구하지 않고 얼굴 인식을 실행할 수 있는 사용자 인증 시스템 및 방법을 제공하고자 한다.
또한, 본 발명은, 사용자를 촬영한 영상이 부당한 사용자에 의해 도용되어 사용자 인증이 시도되고 있는지의 여부를 판단함으로써 더욱 철저한 보안을 행할 수 있는 사용자 인증 시스템 및 방법을 제공하고자 한다.
상술한 과제를 해결하기 위한 본 발명은, 사용자가 입력한 비밀번호에 의한 번호 인증 및 사용자를 촬영한 사용자 영상에 의한 얼굴 인식을 동시에 이용하는 사용자 인증 방법으로서: 상기 사용자로부터 사용자 인증 요청을 접수하는 단계, 상기 사용자를 촬영하여 제1 영상을 획득하는 단계, 상기 사용자로부터 비밀번호를 입력받는 단계, 상기 사용자를 재촬영하여 제2 영상을 획득하는 단계, 입력받은 상기 비밀번호를 이용하여 번호 인증을 행하는 단계, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 얼굴 인식에 적용 가능한 적합 영상인지 판정하는 단계, 적합 영상으로 판정된 경우, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 이용하여 얼굴 인식을 행하는 단계, 상기 번호 인증의 결과 및 상기 얼굴 인식의 결과가 모두 통과된 경우, 사용자 인증 성공으로 판정하는 단계를 포함하는 사용자 인증 방법을 제공한다.
또한, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상은 사용자가 인식하지 못하는 순간에 촬영됨으로써 획득되는 것을 특징으로 한다.
또한, 상기 적합 영상인지 판정하는 단계는: 촬영된 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상으로부터 특정의 얼굴 부위에 대한 얼굴 부위 영상을 추출하는 단계, 상기 추출된 얼굴 부위 영상으로부터 해당 얼굴 부위의 형태 정보를 수치화하여 산출하는 단계, 상기 산출된 형태 정보와 해당 얼굴 부위에 대하여 미리 저장되어 있는 템플릿 데이터를 비교하여 유사도를 산출하는 단계, 상기 산출된 유사도가 소정의 기준 유사도 이상인 경우에 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 적합 영상으로 판정하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 적합 영상인지 판정하는 단계는: 촬영된 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상으로부터 복수의 얼굴 부위에 대한 각각의 얼굴 부위 영상을 추출하는 단계, 상기 추출된 각각의 얼굴 부위 영상으로부터 해당 얼굴 부위의 형태 정보를 수치화하여 산출하는 단계, 상기 산출된 각각의 형태 정보와 해당 얼굴 부위에 대하여 미리 저장되어 있는 템플릿 데이터를 비교하여 각 각의 부위별 유사도를 산출하는 단계, 상기 산출된 각각의 부위별 유사도를 소정의 산술식에 의해 조합하여 조합 유사도를 산출하는 단계, 상기 산출된 조합 유사도가 소정의 기준 조합 유사도 이상인 경우에 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 적합 영상으로 판정하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 적합 영상인지 판정하는 단계는: 촬영된 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상으로부터 모든 얼굴 부위에 대한 각각의 얼굴 부위 영상을 추출하는 단계, 상기 추출된 각각의 얼굴 부위 영상으로부터 해당 얼굴 부위의 형태 정보를 수치화하여 산출하는 단계, 상기 산출된 각각의 형태 정보와 해당 얼굴 부위에 대하여 미리 저장되어 있는 템플릿 데이터를 비교하여 부위별 유사도를 산출하는 단계, 상기 산출된 각각의 부위별 유사도를 소정의 산술식에 의해 모두 조합하여 총 유사도를 산출하는 단계, 상기 산출된 총 유사도가 소정의 기준 총 유사도 이상인 경우에 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 적합 영상으로 판정하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 번호 인증의 단계 내지 상기 얼굴 인식의 단계는: 상기 사용자로부터 입력받은 상기 비밀번호를 미리 설정된 인증용 비밀번호와 비교하여 번호 인증을 행하는 단계, 번호 인증이 성공한 경우, 상기 인증용 비밀번호에 대응하여 저장된 인증용 얼굴 영상을 독출하는 단계, 상기 독출된 인증용 얼굴 영상과 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 비교하여 얼굴 인식을 행하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 부당한 사용자에 의해 도용된 영상으로부터 촬영되어 생성된 것인지를 판정하는 영상 도용 여부 판정 단계, 및 상기 영상이 도용된 영상으로부터 생성된 것으로 판정된 경우, 사용자 인증 실패로 판정하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 영상 도용 여부 판정 단계는: 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상으로부터 배경 영상을 추출하는 단계, 상기 추출된 배경 영상으로부터 적어도 하나의 선형태를 추출하는 단계, 상기 추출된 선형태가 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상 내에서 사용자 얼굴 부분을 둘러싸는 폐도형을 이루는 경우, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 도용된 영상으로부터 생성된 것으로 판정하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 영상 도용 여부 판정 단계는: 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상으로부터 사용자 신체 외곽선을 추출하는 단계, 상기 추출된 사용자 신체 외곽선 중 가장 아래쪽의 선형태가 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상의 가장 아래쪽 테두리선과 일치하지 않는 경우, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 도용된 영상으로부터 생성된 것으로 판정하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 영상 도용 여부 판정 단계는: 상기 제1 영상 및 상기 제2 영상으로부터 각각의 배경 영상을 추출하는 단계, 상기 추출된 각각의 배경 영상으로부터 적어도 하나의 선형태를 추출하는 단계, 상기 제1 영상의 배경 영상으로부터 추출 된 선형태와 상기 제2 영상의 배경 영상으로부터 추출된 선형태가 서로 일치하지 않는 경우, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 도용된 영상으로부터 생성된 것으로 판정하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 영상 도용 여부 판정 단계는: 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상으로부터 사용자 신체 형태를 제거한 배경 영상을 추출하는 단계, 상기 추출된 배경 영상으로부터 적어도 하나의 선형태를 추출하는 단계, 상기 추출된 선형태가 현재 위치에서 사용자가 없이 촬영된 주변 영상으로부터 추출된 기준 선형태에 일치하지 않는 경우, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 도용된 영상으로부터 생성된 것으로 판정하는 단계를 포함하는 것을 특징으로 한다.
또한, 상술한 목적을 달성하기 위한 본 발명은, 소정의 보안 적용 장치에 접근하고자 하는 사용자가 입력한 비밀번호에 의한 번호 인증 및 상기 사용자를 촬영한 사용자 영상에 의한 얼굴 인식을 동시에 통과한 경우 사용자 인증의 성공으로 간주하는 사용자 인증 시스템으로서: 상기 사용자를 촬영한 제1 영상, 상기 제1 영상을 촬영한 시점으로부터 소정의 시간 간격을 두고 사용자를 재촬영한 제2 영상, 사용자로부터 입력받은 비밀번호를 전송하는 사용자 단말기; 상기 제1 영상 및 상기 제2 영상을 수신하면, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 얼굴 인식에 적용 가능한 적합 영상인지 판정하고, 상기 입력받은 비밀번호에 대한 번호 인증을 행하고, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 이용하여 얼굴 인식을 행하고, 상기 적합 영상 판정 결과와 상 기 번호 인증 결과와 상기 얼굴 인식 결과가 모두 통과한 경우에 사용자 인증 성공으로 판정하여 상기 사용자가 상기 보안 적용 장치에 접근할 수 있도록 하는 인증 처리 장치를 포함하는 것을 특징으로 하는 사용자 인증 시스템을 제공한다.
또한, 상기 인증 처리 장치는, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상에서 특정의 얼굴 부위에 대한 형태 정보를 수치화하여 산출하고, 상기 산출된 형태 정보와 해당 얼굴 부위에 대하여 미리 저장되어 있는 템플릿 데이터를 비교하여 유사도를 산출하고, 상기 산출된 유사도가 소정의 기준 유사도 이상인 경우에 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 적합 영상으로 판정하는 것을 특징으로 한다.
또한, 상기 인증 처리 장치는, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상에서 복수의 얼굴 부위에 대한 각각의 형태 정보를 수치화하여 산출하고, 상기 산출된 각각의 형태 정보와 해당 얼굴 부위에 대하여 미리 저장되어 있는 템플릿 데이터를 비교하여 각각의 부위별 유사도를 산출하고, 상기 산출된 각각의 부위별 유사도를 소정의 산술식에 의해 조합하여 조합 유사도를 산출하고, 상기 산출된 조합 유사도가 소정의 기준 조합 유사도 이상인 경우에 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 적합 영상으로 판정하는 것을 특징으로 한다.
또한, 상기 인증 처리 장치는, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상에서 모든 얼굴 부위에 대한 각각의 형태 정보를 수치화하여 산출하고, 상기 산출된 각각의 형태 정보와 해당 얼굴 부위 마다에 대하여 미리 저장 되어 있는 템플릿 데이터를 비교하여 각각의 부위별 유사도를 산출하고, 상기 산출된 각각의 부위별 유사도를 소정의 산술식에 의해 모두 조합하여 총 유사도를 산출하고, 상기 산출된 총 유사도가 소정의 기준 총 유사도 이상인 경우에 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 적합 영상으로 판정하는 것을 특징으로 한다.
또한, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 적합 영상으로 판정된 경우에만, 번호 인증 및 얼굴 인식을 행하는 것을 특징으로 한다.
또한, 상기 인증 처리 장치는, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 부당한 사용자에 의해 도용된 영상으로부터 촬영되어 생성된 것인지를 판정하고, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 도용된 영상으로부터 생성된 것으로 판정된 경우, 사용자 인증 실패로 판정하는 것을 특징으로 한다.
상술한 바와 같이 구성되는 본 발명의 사용자 인증 방법 및 이러한 방법을 실행하는 사용자 인증 시스템에 의하면, 사용자 인증을 위하여 2회에 걸쳐 사용자를 촬영하여 사용자 영상을 생성하고, 각 사용자 영상이 얼굴 인식에 가능한 정도로 촬영되었는지를 먼저 확인하게 된다. 이에 의해, 부적합 영상에 의한 얼굴 인식 실패를 미리 판정할 수 있게 된다.
또한, 얼굴 인식을 위하여 촬영된 사용자 얼굴의 일부가 가려지거나 주변 조 건에 의해 명확하지 않다고 할지라도, 얼굴 인식에 필요한 최소의 조건에 부합한다면 사용자에게 재촬영을 요구하지 않고 얼굴 인식을 실행할 수 있도록 하여, 사용자 편의성을 향상시켰다.
또한, 비밀번호에 의한 번호 인증과 얼굴 인식을 동시에 적용하여 사용자 인증을 행하게 되므로 더욱 향상된 보안성을 제공할 수 있게 된다.
또한, 사용자의 영상이 부당한 사용자에 의해 도용되고 있는 경우를 판정할 수 있기 때문에, 부당한 접근을 미연에 방지할 수 있다.
이하, 첨부한 도면을 참조하여 본 발명의 일 실시예에 따른 사용자 인증 시스템 및 방법에 대하여 상세히 설명한다.
도 1은, 본 발명의 일 실시예에 따른 사용자 인증 시스템의 구성을 간략하게 도시한 블록도이다. 도 1을 참조하면, 사용자 인증 시스템은, 사용자 단말기(100), 인증 처리 장치(200), 및 보안 적용 장치(300)를 포함하여 이루어진다.
보안 적용 장치(300)는, 홈 오토메이션 시스템, 오피스 오토메이션 시스템, 개인용 컴퓨터 시스템, 서버 시스템 등과 같은, 보안 관리가 필요한 시스템에 대한 사용자의 접근을 허용 및 차단하기 위하여 다양한 방식의 사용자 인증을 처리하는 시스템 자체 또는 그의 일부분일 수 있다.
사용자 단말기(100)는, 보안 적용 장치(300)에 접근하여 각종 명령을 제공하 는 휴대폰, 가정용 비디오폰, 리모콘, 개인용 컴퓨터 등일 수 있다.
한편, 이러한 사용자 단말기(100)는 적어도, 사용자의 얼굴 및 얼굴 주변의 배경을 촬영하여 이후 얼굴 인식에 이용될 수 있는 카메라, 숫자 또는 문자를 입력하여 이후 비밀번호를 통한 번호 인증에 이용될 수 있는 키패드, 각종 정보를 시각적 또는 청각적으로 표시할 수 있는 표시 수단을 구비하는 것이 바람직하다. 또한, 사용자 단말기(100)는, 유선 또는 무선 통신망을 통해 보안 적용 장치(300)에 원격으로 접근할 수 있도록 유무선 통신 수단을 더 구비하는 것이 바람직하다.
인증 처리 장치(200)는, 보안 적용 장치(300)와 긴밀하게 결합되어 동작하며, 유무선 통신망을 통해 접근하는 사용자 단말기(100)에 대한 기기 인증 및 사용자 단말기(100)를 조작하는 사용자에 대한 사용자 인증을 행하고, 사용자 인증이 성공한 사용자가 기기 인증된 사용자 단말기(100)를 통해서만 보안 적용 장치(300)에 접근할 수 있도록 허용한다. 이를 위하여, 인증 처리 장치(200)는 비밀번호에 의한 번호 인증과 사용자 얼굴 영상에 의한 얼굴 인식을 처리할 수 있도록 구성된다.
이와 같이 구성되는, 본 발명에 따른 사용자 인증 시스템에 있어서 보안 적용 장치(300)가 홈 오토메이션 시스템이고 사용자 단말기(100)가 휴대폰인 경우에는, 보안 적용 장치(300)와 인증 처리 장치(200)는 주택 내에 근접 설치되어 유선으로 통신하고, 사용자 단말기(100)와 인증 처리 장치(200)는 휴대폰의 이동 통신 망 또는 유무선 인터넷망을 통해 통신을 이루도록 구성될 수 있다.
본 발명에 따른 사용자 인증 시스템의 동작은 도 2를 참조하여 설명한다. 도 2는 본 발명의 일 실시예에 따른 사용자 인증 시스템에 의한 사용자 인증 방법을 개략적으로 설명한 흐름도이다.
먼저, 사용자가 사용자 단말기(100)를 통해 보안 적용 장치(300)로의 접근을 시도하고자 사용자 인증의 처리를 요청하게 되면(S10), 인증 처리 장치(200)에서 사용자 단말기(100)를 조작하는 사용자에 대한 사용자 인증 처리를 개시하게 된다.
즉, 인증 처리 장치(200)는 사용자 단말기(100)에서 사용자를 2회 촬영하여 제1 영상 및 제2 영상으로서 전송하도록 하고 동시에 비밀번호를 입력받아 전송하도록 한다. 이에 사용자 단말기(100)는 즉시 제1 영상을 촬영하여 전송하고, 사용자에게 비밀번호의 입력을 안내한 후 사용자로부터 입력받은 비밀번호를 전송하고, 또한, 제1 영상을 촬영한 시점으로부터 소정의 시간 간격을 두고 다시 사용자를 촬영하여 제2 영상을 생성하여 인증 처리 장치(200) 측으로 전송한다.
인증 처리 장치(200)는, 전송되는 제1 영상, 제2 영상 및 비밀번호를 획득한 후(S20, S30, S40), 제1 영상 및/또는 제2 영상의 얼굴 인식에 대한 적합 영상 여부 판정, 비밀번호에 대한 번호 인증을 행한다(S50). 그리고 제1 영상 및/또는 제2 영상이 적합 영상으로 판정되고 비밀번호의 번호 인증이 통과되면, 제1 영상 및/또는 제2 영상을 이용하여 얼굴 인식을 실시한다(S60).
얼굴 인식이 성공하면, 정당한 사용자에 의한 접근으로 간주하여 사용자 인 증 처리를 성공으로 판정하고, 사용자에 의해 요청되는 보안 적용 장치(300)로의 접근을 허용하게 된다(S70).
이때, 상술한 단계에 있어서, 제1 영상을 촬영하는 시점, 비밀번호를 입력받는 시점, 제2 영상을 촬영하는 시점은 서로 임의의 순서로 변경되어 행해질 수 있다.
또한, 제1 영상 및 제2 영상 중 어느 하나의 영상에 대하여만 적합 영상 판정을 행하는 것도 가능하다.
또한, 상술한 단계에 있어서, 적합 영상을 판정하는 시점, 번호 인증을 실행하는 시점, 얼굴 인식을 실시하는 시점은 서로 임의의 순서로 변경되어 행해져도 무방하다.
또한, 얼굴 인식에 있어서, 제1 영상에 의해서 또는 제2 영상에 의해서 얼굴 인식을 실시하도록 할 수 있으며, 두 영상의 평균 영상을 생성하여 얼굴 인식을 실행하는 것도 가능하다.
더욱, 제1 영상 및/또는 제2 영상은 사용자가 인식하지 못하는 시점에서 사용자가 촬영 순간을 인식하지 못하도록 하여 촬영함으로써 생성되는 것이 바람직하다.
도 3은, 상술한 바와 같은 사용자 인증 방법을 더욱 상세히 설명하기 위한 도면이다.
먼저, 사용자 단말기(100) 측에서 보안 적용 장치(300)로의 접근을 행하고자 하는 사용자 인증 요청을 인증 처리 장치(200) 측으로 전송한다(S112). 인증 처리 장치(200)에서는 접근 허용에 앞서 사용자 인증 처리를 행하기 위하여, 사용자 단말기(100)에게 사용자 인증에 필요한 다수의 인증용 정보를 제공할 것을 요청한다(S114).
이러한 요청에 의해, 사용자 단말기(100)는, 즉시 사용자의 얼굴을 주로 촬영한 제1 영상을 전송한다(S122). 또한, 사용자에게 비밀번호의 입력을 안내하고, 사용자에 의해 입력된 비밀번호를 전송한다(S132). 또한, 제1 영상을 촬영한 시점과는 소정의 시간 간격을 두고 사용자를 재촬영하여 제2 영상을 생성하고, 생성된 제2 영상을 전송한다(S142).
이때, 제2 영상은 사용자가 비밀번호를 입력하는 도중에 촬영될 수도 있고, 제1 영상이 촬영된 후 사용자가 비밀번호를 입력하기 전에 촬영될 수도 있다. 이와 같이 제2 영상을 생성하기 위한 시간 간격은 임의로 설정될 수 있다.
다음, 사용자 단말기(100)에서 제1 영상, 제2 영상 및 비밀번호를 전송하면, 인증 처리 장치(200)에서는 이러한 정보를 기초로 하여 사용자 인증을 위한 처리를 행한다.
먼저, 인증 처리 장치(200)는 제1 영상 및 제2 영상 중 어느 하나 또는 양자를 이용하여 적합 영상 판정 처리를 행한다(S152).
적합 영상 판정 처리는, 사용자를 촬영하여 생성된 영상인 제1 영상 및 제2 영상이, 사용자를 육안으로 식별 가능하게 촬영되었는지 또는 얼굴 인식에 사용될 수 있게 명확한 얼굴 형태를 나타내도록 촬영되었는지를 판정하는 것이다.
여기에서 얼굴 인식에 사용될 수 있도록 촬영된 영상은 적합 영상이 되고, 얼굴 인식에 사용될 수 없게 촬영된 영상은 부적합 영상이 된다.
적합 영상 판정의 상세한 방법은 도 4 내지 7을 참조하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 사용자 인증 시스템에 의한 적합 영상 판정 방법의 절차를 나타낸 흐름도이다. 인증 처리 장치(200)에서는 먼저, 사용자를 촬영한 제1 영상 또는 제2 영상 중 어느 하나를 사용자 영상으로서 제공받는다(S210). 그리고 제공된 사용자 영상으로부터 사용자의 얼굴 부위만을 포함하는 사용자 얼굴 영상을 획득한다(S220). 사용자 얼굴 영상이 획득되면, 사용자 얼굴 영상으로부터 얼굴 형태를 이루는 각각의 부위별(눈, 코, 입, 눈썹 등)로 부위별 영상을 추출한다(S230).
이어서, 각각의 부위에 대하여 추출된 각각의 부위별 영상으로부터, 부위별 영상에 포함된 얼굴 부위의 특징점을 지정하여 수치화하거나 얼굴 부위의 형태를 나타내는 벡터를 생성하여 수치화함으로써, 부위별 형태 정보를 산출한다(S240). 부위별 형태 정보가 산출되면, 이 정보를 기준이 되는 부위별 형태 정보(얼굴 부위별로 미리 저장되어 있는 템플릿 데이터)와 비교하여 각각의 부위별로 서로 일치하는 정도를 나타내는 유사도를 산출하고, 이 유사도를 기초하여 부위별 식별 가능 적합률을 산출한다(S250).
이 부위별 식별 가능 적합률은, 얼굴의 각각의 부위가 카메라에 대하여 적절 한 각도로, 적절한 조명 하에서, 적절한 해상도로 촬영되어 생성된 사용자 영상에 포함된 얼굴 영상이 사용자 식별을 위한 얼굴 인식에 사용하기에 적합한지의 여부를 나타내는 척도 또는 추출된 사용자 얼굴 영상에 의해 해당 사용자를 식별할 수 있는지의 여부를 나타내는 척도가 된다.
한편, 이와 같이, 각각의 부위별로 부위별 식별 가능 적합률이 산출되면, 산출된 부위별 식별 가능 적합률과 해당 부위 마다에 대하여 미리 설정된 기준 적합률인 부위별 기준 적합률을 크기 비교하게 된다(S260). 이때, 산출된 모든 부위별 식별 가능 적합률이 대응하는 부위별 기준 적합률보다 큰 것으로 판정되면, 사용자 영상을 얼굴 인식에 이용할 수 있는 적합 영상으로 판정하여 이어지는 사용자 인증을 계속하고(S270), 얼굴 부위마다에 대하여 산출된 부위별 식별 가능 적합률 중 적어도 어느 하나라도 대응하는 부위별 기준 적합률보다 작은 것이 존재하면, 사용자 영상이 얼굴 인식에 이용될 수 없을만큼 불명확하게 촬영된 부적합 영상인 것으로 판정한다(S280). 부적합 영상으로 판정되면, 도 C 단계로 진행한다.
이때, 부적합 영상의 판정은 사용자의 얼굴이 주변 환경의 영향에 의해 일시적으로 적절하게 촬영하지 못하여 발생할 수도 있으므로, 소정의 안내를 사용자에게 표시하여 재촬영을 유도하거나, 해당 부위에 대한 부위별 기준 적합률의 값을 감소시켜 다시 비교하거나, 이어지는 완화된 적합 영상 판정 단계(C)로 진행할 수도 있다. C 단계는 도 6에 해당한다.
이러한 상황에 대한 일례를 들면, 먼저, 부위별 기준 적합률을 70%라고 설정한 상태에서, 사용자가 마스크 등으로 코와 입을 가린 채로 촬영 수단에 의해 촬영 되었을 때, 눈썹, 눈, 귀 등의 얼굴 부위는 얼굴 인식에 사용될 수 있겠지만, 코와 입은 촬영될 수 없기 때문에 각각의 식별 가능 적합률은 0%가 되고, 따라서, 사용자 영상은 부적합 영상으로 판정된다.
한편, 사용자를 촬영한 주변의 환경이 어둡거나 조명에 의한 반사광이 발생했거나, 사용자가 모자 등을 착용하여 사용자의 특정 얼굴 부위가 정확히 촬영되지 않아 특정 부위에 대하여 식별 가능 적합률이 낮게 산출되는 경우가 있을 수 있는데(예를 들면, 왼쪽 눈썹에 대한 부위별 식별 가능 적합률이 70%로 산출될 수 있다), 이러한 경우에는 눈썹 부분에 대한 부위별 기준 적합률을 60% 정도로 완화하여 재비교함으로써 이러한 상황에 유연하게 대처할 수 있도록 한다.
여기에서 부위별 기준 적합률은 적어도 육안에 의해 각각의 얼굴 부위를 확인하여 사용자를 식별할 수 있는 정도의 수치를 하한으로 하여 설정되는 것이 바람직하다.
도 5는, 도 4에 있어서의 부위별 식별 가능 적합률을 산출하는 절차를 설명하기 위한 흐름도이다. 먼저, 사용자 얼굴 영상으로부터 적어도 하나의 얼굴 부위에 대한 부위별 형태 정보가 산출되면(S214; S240과 대응), 해당 부위에 대응하여 미리 설정되어 유지하고 있는 부위별 템플릿 데이터를 소정의 템플릿 저장 수단(도시하지 않음)으로부터 획득하고(S215), 획득한 부위별 템플릿 데이터와 산출된 부위별 형태 정보를 비교하여(S216) 유사도를 산출하고, 이 유사도에 기초하여 해당 부위에 대한 부위별 식별 가능 적합률을 산출하게 된다(S217).
도 6은, 복수의 부위에 대한 식별 가능 적합률을 조합하여 적합 영상을 판정하는 절차를 설명하기 위한 흐름도이다. 도 6의 절차는 도 4의 C 단계로서 적용되며, 부적합 영상으로 판정된 경우에 완화된 기준을 적용하는 방법으로 이용될 수 있다.
먼저, 사용자의 얼굴을 구성하는 각각의 부위에 대하여 산출한 부위별 식별 가능 적합률을 산출하고(S225), 두 개 이상의 부위에 대해 산출된 각각의 부위별 식별 가능 적합률을 특정의 산술식에 의해 조합하여 조합 적합률을 산출한다(S226).
여기에서, 조합 적합률을 산출하기 위한 산술식은 임의로 설정될 수 있다. 즉, 복수의 부위별 식별 가능 적합률을 단순한 합계에 의해 또는 각 적합률에 가중치를 부여한 후 합계하여 조합 적합률을 산출할 수도 있고, 다양한 사칙 연산을 결합하여 또는 더욱 복잡한 산술식을 통해 조합 적합률을 산출할 수도 있다. 산출된 조합 적합률은 어떤 얼굴 부위에 대한 부위별 식별 가능 적합률을 조합하였는지를 나타내는 정보를 더 포함할 수 있다.
이렇게 산출된 조합 적합률은 조합에 사용된 각각의 부위에 대해 설정된 기준 조합 적합률과 비교되고(S227), 산출된 조합 적합률이 기준 조합 적합률보다 큰 것으로 판단되면 사용자 영상의 사용자 얼굴 영상이 사용자 식별 가능한 적합 영상인 것으로 판정하고(S228), 작은 것으로 판단되면 사용자 식별이 불가능한 부적합 영상으로 판정하게 된다(S229).
더욱, 부적합 영상으로 판정되면 사용자에게 재촬영 또는 사용자 인증 불가의 안내를 제공하거나, 이어지는 더욱 완화된 적합 영상 판정 단계(B)로 진행할 수 있다. 완화된 D 단계는 도 7에 해당한다.
이러한 경우의 일례를 들면, 사용자 얼굴 영상 중에서 왼쪽 눈썹과 오른쪽 눈썹, 왼쪽 눈과 오른쪽 눈의 각각의 부위별 식별 가능 적합률을 합계 및 평균하여 조합 적합률을 산출하고, 이 산출된 조합 적합률이 양쪽 눈썹 및 양쪽 눈에 대하여 미리 설정된 기준 조합 적합률보다 큰 경우에는 육안에 의해 사용자의 신원을 식별할 수 있는 것으로 판정하거나 사용자 얼굴 영상을 얼굴 인식에 사용할 수 있는 것으로 판정하게 된다.
즉, 사용자가 선글라스 등을 착용하여 양쪽 눈이 거의 가려진 상태에서는, 왼쪽 눈썹의 적합률이 80%, 오른쪽 눈썹의 적합률이 90%, 왼쪽 눈 및 오른쪽 눈의 적합률이 10%로 판정될 수 있다. 이때, 단순 합계 및 평균에 의해 산출되는 조합 적합률은 47.5%가 된다. 한편, 양 눈썹 및 눈에 대한 기준 조합 적합률이 60% 라고 설정되었다면, 사용자를 촬영하여 생성한 사용자 얼굴 영상이 부적합 영상인 것으로 판정되게 되는 것이다.
한편, 사용자가 눈병 등에 의하여 한 쪽 눈에 안대를 한 경우에는, 왼쪽 눈썹의 적합률이 80%, 오른쪽 눈썹의 적합률이 90%, 왼쪽 눈의 적합률이 80%, 오른쪽 눈의 적합률이 0%로 판정될 수 있으며, 조합 적합률은 62.5%가 되어, 적합 영상으로 판정될 수 있다.
이와 같이 조합 적합률을 적용하게 되면, 사용자의 얼굴 부위의 일부가 질병 이나 장식품, 주변 환경에 의해 부득이하게 가려진 경우에도 사용자 식별을 행할 수 있게 된다.
도 7은, 모든 얼굴 부위에 대한 식별 가능 적합률을 모두 조합한 후 적합 영상 여부를 판정하는 절차를 설명하기 위한 흐름도이다. 도 7의 절차는 도 6의 절차에서 부적합 영상으로 판정된 경우에 완화된 기준을 적용하는 방법으로 이용될 수도 있다. 또한 도 4의 C 단계로서 적용될 수도 있다.
먼저, 얼굴을 구성하는 모든 부위(얼굴 인식에 사용되는 부위)에 대하여 각각의 부위별 식별 가능 적합률을 산출하고(S235), 각각의 모든 부위별 식별 가능 적합률을 소정의 산술식에 의해 모두 조합하여 총 적합률을 산출한다(S236). 그리고 산출된 총 적합률과 기준 총 적합률을 비교하고(S237), 총 적합률이 기준 총 적합률보다 큰 경우에는 사용자 얼굴 영상을 적합 영상으로 판정하게 되고(S238), 작은 경우에는 부적합 영상으로 판정한다(S239). 이렇게 부적합 영상 판정되면 소정의 안내를 출력하여, 사용자를 촬영하여 생성한 사용자 얼굴 영상이 사용자 식별을 위한 얼굴 인식에 사용될 수 없음을 통보한다.
이와 같이 얼굴의 전체 부위에 대한 총 적합률을 이용하면, 상술한 조합 적합률을 사용하는 것과 유사하게, 사용자 얼굴의 가려짐에 대한 유연한 대응이 가능하게 된다.
상술한 바와 같이 적합 영상인지의 여부를 판정하게 됨으로써, 촬영된 사용자의 얼굴의 일부 또는 전체가 얼굴 인식 가능한 정도로 정확한 각도에서 또한 선 명하게 촬영되었는지를 판단할 수 있게 된다. 또한, 사용자의 얼굴의 일부 또는 전체가 부정한 목적에 의해 가려져 있는지의 여부도 판단할 수 있게 된다.
따라서, 보안 적용 장치(300)에 대해 접근을 행하고자 하는 사용자가 얼굴을 부정하게 가리고 있는 경우에 대해서, 장치의 이용을 원활히 수행할 수 없도록 제한하거나 보안 센터 등에 신고하여 부당 사용 여부를 관리자에 의해 확인하도록 통보하는 등의 처리가 가능하게 된다.
또한, 반대로, 얼굴의 일부가 가려져 있는 경우라도, 나머지 정상적으로 촬영된 부분을 이용하여 원활한 사용자 식별이 가능하게 할 수도 있어, 부득이하게 얼굴이 완전하게 보여지지 않은 경우라도 얼굴 인식에 의한 사용자 인증을 계속할 수 있도록 할 수 있다.
한편, 도 3의 흐름에 있어서, 제1 영상 및/또는 제2 영상에 대한 적합 영상 여부 판정시, 부적합 영상으로 판정된 경우에는, A 절차로 진행하게 되며, 이는 도 8을 참조한다.
즉, 촬영된 영상 중 어느 하나 또는 모든 영상이 부적합 영상으로 판정되면(S303), 사용자 단말기(100)를 통해 사용자에게 소정의 경고 또는 안내 메시지를 표시하도록 할 수 있다(S304). 이러한 경고 메시지는 부적합 영상으로 판정된 얼굴 부위에 대한 표시를 보여줄 수 있으며, 그 부위를 가리고 있는 소품을 제거하도록 또는 더욱 밝은 조명하에서 사용자 단말기(100)를 조작하도록, 또는 얼굴 표정 등을 정확하게 유지하도록, 또는 도용된 영상을 제거하고 재촬영 시도하도록 안내할 수 있다.
이때, 사용자가 재촬영에 응답하는 경우(S305)에는 사용자를 재촬영하여 제1 영상 및/또는 제2 영상을 재촬영하고(S306) 적합 영상 여부 판정을 반복하고(S307), 사용자가 재촬영을 거부하면 사용자 인증의 실패로 간주하고 사용자 인증 절차를 종료한다(S308).
한편, 비밀번호에 의한 번호 인증 및 사용자 영상에 의한 얼굴 인식 중 적어도 하나의 절차에서 실패로 판정된 경우에는, B 절차를 진행하게 되고, 이는 도 9를 참조한다.
즉, 사용자 인증 절차에서 인증 실패로 판정되면(S313), 사용자에게 사용자 인증 절차의 재시도 여부를 문의하고(S314), 재인증을 시도하고자 하면 단계(S114)로 복귀하여 사용자 단말기(100)측에 사용자 인증을 위한 정보를 재요청하고(S315), 재인증을 거부한 경우에는 사용자 인증의 실패로 확정하여 종료한다.
이와 같은, 본 발명의 일 실시예에 따른 사용자 인증 방법에 있어서는, 사용자가 정당한 사용자를 미리 촬영한 얼굴 영상을 도용하고 있는지의 여부를 판정하는 과정을 더욱 포함할 수 있다. 즉, 사용자를 촬영하여 생성한 제1 영상 및/또는 제2 영상을 이용하여 부당한 방법으로 얼굴 인식을 시도하는 것을 판정한다.
도 10은, 사용자 영상의 도용 여부를 판정하는 방법을 설명하기 위한 흐름도 이다. 여기에서는, 사용자 얼굴이 촬영된 사진을 이용하여 사용자 식별을 시도하는 경우를 판정할 수 있는 방법을 개시한다.
먼저, 도 10을 참조하면, 인증 처리 장치(200)에서는, 촬영되어 제공된 제1 영상 또는 제2 영상 중 어느 하나(사용자 영상이라 함)로부터 사용자의 얼굴 및 신체 부위를 제외한 배경에 대한 배경 영상을 추출하고(S351), 추출된 배경 영상으로부터 직선 및/또는 인위적으로 형성된 곡선을 포함하는 선형태를 추출한다(S352). 바람직하게는 직선 형태를 추출한다. 그리고 추출된 선형태를 분석하여 사용자 영상이 도용된 영상인지 또는 정상적으로 실제 사용자를 직접 촬영하여 생성한 정상 영상를 판정한다(S353).
도 11 및 도 12는, 도 10에서의 영상 도용 여부를 판정하기 위한 방법을 상세하게 설명하는 흐름도이다.
먼저, 도 11은 사용자를 촬영한 사진과 같은 도용된 영상의 모든 테두리가 사용자 영상에서 보여지고 있는 상태를 검출한다.
먼저, 인증 처리 장치(200)는, 배경 영상으로부터 추출된 선형태가 사용자 얼굴 부분을 둘러싸는 폐도형을 이루는지를 판정한다(S363, S364). 이때, 사용자의 얼굴 부분을 둘러싸는 폐도형이 존재하는 경우는 사용자의 얼굴 및 사용자의 신체 일부를 포함하는 증명 사진과 같은 출력물의 외부 테두리 또는 사용자 얼굴이 표시되고 있는 디스플레이 수단의 테두리가 촬영 수단의 촬영 영역 내에 모두 보여지게 촬영된 상태를 의미하므로(도 14 참조), 부당한 사용자에 의해 사용자의 영상이 도 용되고 있는 것으로 판정한다(S365). 그렇지 않은 경우는 정상 영상으로 판정한다(S366).
다음, 도 12는 도용된 영상의 적어도 아래쪽 테두리가 사용자 영상에서 보여지고 있는 상태를 검출한다.
먼저, 인증 처리 장치(200)는, 사용자 신체의 윤곽을 나타내는 신체 외곽선을 추출하고(S372), 추출된 신체 외곽선의 가장 아래쪽 선형태가 사용자 영상의 테두리선 중 가장 아래쪽 테두리선과 중첩하는지의 여부를 검토한다(S373, S374). 그리고 검토의 결과, 추출된 신체 외곽선의 가장 아래쪽 선형태가 촬영된 사용자 영상의 가장 아래쪽 테두리선과 중첩하고 있지 않은 것으로 확인된 경우에는 도용된 영상이 촬영된 것으로 판정하게 된다(S375). 한편, 추출된 신체 외곽선의 가장 아래쪽 선형태가 촬영된 사용자 영상의 가장 아래쪽 테두리선과 중첩한 경우에는 정상적으로 사용자가 촬영되고 있는 것으로 판정하게 된다(S376).
이러한 경우는, 도 15에 도시된 바와 같은 경우로서, 부당한 사용자가 정당한 사용자의 얼굴 및/또는 신체 일부가 촬영된 사진 등을 도용하여 촬영 수단에 접근시킨 경우에 있어서, 도용된 영상의 아래쪽의 테두리가 촬영 수단의 촬영 영역 내에 보여지게 되는 경우가 된다. 예를 들어 증명 사진 등은 사용자의 적어도 가슴 아래의 부분은 보여지지 않기 때문에 이 부분은 신체 외곽선 중의 직선 형태로 나타나게 되고, 이 직선 형태가 사용자 영상의 아래쪽 테두리와 일치하지 않고 있는 경우는 명백하게 영상이 도용되고 있는 경우가 된다.
상술한 바와 같은 영상 도용을 판정하는 절차를 실제 사진을 이용하여 설명하면 도 13 내지 도 115과 같다.
먼저, 도 13은 정당한 사용자가 모든 얼굴이 노출된 상태에서 정상적으로 카메라에 의해 촬영된 정상 영상을 나타낸다. 사용자의 얼굴 부분을 둘러싸는 폐도형이 존재하지 않으며, 신체 외곽선의 가장 아래쪽 선형태는 사용자 영상의 가장 아래쪽 테두리와 일치한다.
도 14는 부당한 사용자가 정당한 사용자가 촬영된 사진을 이용하여 사용자 식별을 시도하는 상태를 나타낸다. 이때는, 사용자 영상의 얼굴 부분(녹색 동그라미로 표시된 부분)을 둘러싸는 형태로 사각형의 선형태(적색 사각형으로 표시된 부분)가 추출되었으며, 이러한 상태는 도 11의 절차에 의해 도용된 영상으로 판정된다.
다음, 도 15는 부당한 사용자가 정당한 사용자를 촬영한 사진으로 부당한 접근을 시도하는 상태로서, 여기에서는, 사용자의 신체 외곽선 중 가슴 아래쪽 부분의 신체 외곽선이 사용자 영상의 아래쪽 테두리와 중첩하지 않고 있는 상태를 나타내고 있다. 이러한 상태는 도 12의 절차에 의해 도용된 영상인 것으로 판정되게 된다.
한편, 도용된 영상이 이용되고 있는 경우를 판정하는 또다른 방법을 도 16(a) 및 도 16(b)를 참조하여 설명한다.
먼저, 인증 처리 장치(200)에는 사용자 단말기(100)의 현재 위치에서 사용자가 없는 상태에서 전방을 촬영하여 주변 영상으로부터 복수의 선 형태를 추출하여 유지한다. 그리고, 이후 사용자가 사용자 인증을 위하여 접근했을 때, 사용자 영상으로부터 추출한 배경 영상의 선형태가 미리 유지하고 있던 주변 영상으로부터의 선형태와 일치하지 않는 경우에는 도용된 영상이 적용된 것으로 판정할 수 있다.
도 16(a)는 주변 영상 및 추출된 선형태의 일례이며, 도 16(b)는 사용자 영상 및 추출된 선형태의 일례이다.
이러한 과정을 포함하는 사용자 인증 방법 및 이러한 방법을 실행하는 사용자 인증 시스템에 의하면, 사용자 인증을 위하여 2회에 걸쳐 사용자를 촬영하여 영상을 생성하고, 각 영상이 얼굴 인식에 가능한 정도로 촬영되었는지를 먼저 확인하게 된다. 따라서, 부적합 영상에 의한 얼굴 인식 실패를 미리 판정할 수 있기 때문에, 얼굴을 임의로 가리고 있는 경우나 부득이 가려진 경우를 판정할 수 있으며, 이렇게 가려짐에 따라 얼굴 인식이 부득이 실패하게 되는 경우를 최소화할 수 있게 된다.
또한, 비밀번호와 얼굴 인식을 연동하여 사용자 인증을 행하게 되기 때문에 더욱 높은 보안성을 제공할 수 있게 된다.
또한, 영상이 도용되고 있는 경우를 판정할 수 있기 때문에, 부당한 사용자에 의한 접근을 확실하게 방지할 수 있다.
상술한 바와 같은 본 발명에 따른 사용자 인증 시스템 및 방법이 홈 오토메이션 시스템에 적용된다면, 다음과 같은 설정이 가능하다.
먼저, 사용자가 자신의 사용자 단말기(100), 예를 들면 휴대폰을 이용하여 특정의 접속 코드를 이용하여 홈 오토메이션 시스템에 접근하고자 하는 요청을 통신망을 통해 전송한다. 이렇게 전송된 접근 요청은 해당 홈 오토메이션의 정보를 중계하는 게이트웨이로서의 인증 처리 장치(200)에 도달하고, 인증 처리 장치(200)는 접근 요청한 사용자에 대한 사용자 인증 처리를 행한다. 그리고 이러한 처리에 의해 사용자 인증이 성공한 경우, 사용자가 홈 오토메이션 시스템에 접근하여 원하는 홈 제어를 행할 수 있게 된다.
도 1은, 본 발명의 일 실시예에 따른 사용자 인증 시스템의 구성을 간략하게 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 인증 시스템에 의한 사용자 인증 방법을 개략적으로 설명한 흐름도이다.
도 3은, 상술한 바와 같은 사용자 인증 방법을 더욱 상세히 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 사용자 인증 시스템에 의한 적합 영상 판정 방법의 절차를 나타낸 흐름도이다.
도 5는, 도 4에 있어서의 부위별 식별 가능 적합률을 산출하는 절차를 설명하기 위한 흐름도이다.
도 6은, 복수의 부위에 대한 식별 가능 적합률을 조합하여 적합 영상을 판정하는 절차를 설명하기 위한 흐름도이다.
도 7은, 모든 얼굴 부위에 대한 식별 가능 적합률을 모두 조합한 후 적합 영상 여부를 판정하는 절차를 설명하기 위한 흐름도이다.
도 8은, 도 3의 흐름도에 있어서 A 절차 이후를 설명하는 흐름도이다.
도 9는, 도 3의 흐름도에 있어서 B 절차 이후를 설명하는 흐름도이다.
도 10은, 사용자 영상의 도용 여부를 판정하는 방법을 설명하기 위한 흐름도이다.
도 11 및 도 12는, 도 10에서의 영상 도용 여부를 판정하기 위한 방법을 설 명하는 흐름도이다.
도 13은 정당한 사용자가 모든 얼굴이 노출된 상태로 촬영된 정상 영상을 나타낸 도면이다.
도 14는 부당한 사용자가 정당한 사용자가 촬영된 사진을 이용하여 사용자 식별을 시도하는 상태를 나타낸 도면이다.
도 15는 부당한 사용자가 정당한 사용자를 촬영한 사진으로 부당한 접근을 시도하는 상태를 나타낸 도면이다.
도 16(a) 및 도 16(b)는 도용된 영상이 이용되고 있는 경우를 판정하는 또다른 방법을 설명하기 위한 도면이다.
Claims (17)
- 사용자가 입력한 비밀번호에 의한 번호 인증 및 사용자를 촬영한 사용자 영상에 의한 얼굴 인식을 동시에 이용하는 사용자 인증 방법으로서:상기 사용자로부터 사용자 인증 요청을 접수하는 단계,상기 사용자를 촬영하여 제1 영상을 획득하는 단계,상기 사용자로부터 비밀번호를 입력받는 단계,상기 사용자를 재촬영하여 제2 영상을 획득하는 단계,입력받은 상기 비밀번호를 이용하여 번호 인증을 행하는 단계,상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 얼굴 인식에 적용 가능한 적합 영상인지 판정하는 단계,적합 영상으로 판정된 경우, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 이용하여 얼굴 인식을 행하는 단계,상기 번호 인증의 결과 및 상기 얼굴 인식의 결과가 모두 통과된 경우, 사용자 인증 성공으로 판정하는 단계를 포함하는 사용자 인증 방법.
- 제1항에 있어서,상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상은 사용자가 인식하지 못하는 순간에 촬영됨으로써 획득되는 것을 특징으로 하는 사용자 인증 방법.
- 제1항에 있어서,상기 적합 영상인지 판정하는 단계는:촬영된 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상으로부터 특정의 얼굴 부위에 대한 얼굴 부위 영상을 추출하는 단계,상기 추출된 얼굴 부위 영상으로부터 해당 얼굴 부위의 형태 정보를 수치화하여 산출하는 단계,상기 산출된 형태 정보와 해당 얼굴 부위에 대하여 미리 저장되어 있는 템플릿 데이터를 비교하여 유사도를 산출하는 단계,상기 산출된 유사도가 소정의 기준 유사도 이상인 경우에 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 적합 영상으로 판정하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
- 제1항에 있어서,상기 적합 영상인지 판정하는 단계는:촬영된 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상으로부터 복수의 얼굴 부위에 대한 각각의 얼굴 부위 영상을 추출하는 단계,상기 추출된 각각의 얼굴 부위 영상으로부터 해당 얼굴 부위의 형태 정보를 수치화하여 산출하는 단계,상기 산출된 각각의 형태 정보와 해당 얼굴 부위에 대하여 미리 저장되어 있 는 템플릿 데이터를 비교하여 각각의 부위별 유사도를 산출하는 단계,상기 산출된 각각의 부위별 유사도를 소정의 산술식에 의해 조합하여 조합 유사도를 산출하는 단계,상기 산출된 조합 유사도가 소정의 기준 조합 유사도 이상인 경우에 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 적합 영상으로 판정하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
- 제1항에 있어서,상기 적합 영상인지 판정하는 단계는:촬영된 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상으로부터 모든 얼굴 부위에 대한 각각의 얼굴 부위 영상을 추출하는 단계,상기 추출된 각각의 얼굴 부위 영상으로부터 해당 얼굴 부위의 형태 정보를 수치화하여 산출하는 단계,상기 산출된 각각의 형태 정보와 해당 얼굴 부위에 대하여 미리 저장되어 있는 템플릿 데이터를 비교하여 부위별 유사도를 산출하는 단계,상기 산출된 각각의 부위별 유사도를 소정의 산술식에 의해 모두 조합하여 총 유사도를 산출하는 단계,상기 산출된 총 유사도가 소정의 기준 총 유사도 이상인 경우에 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 적합 영상으로 판정하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
- 제1항에 있어서,상기 번호 인증의 단계 내지 상기 얼굴 인식의 단계는:상기 사용자로부터 입력받은 상기 비밀번호를 미리 설정된 인증용 비밀번호와 비교하여 번호 인증을 행하는 단계,번호 인증이 성공한 경우, 상기 인증용 비밀번호에 대응하여 저장된 인증용 얼굴 영상을 독출하는 단계,상기 독출된 인증용 얼굴 영상과 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 비교하여 얼굴 인식을 행하는 단계를 포함하는 사용자 인증 방법.
- 제1항에 있어서,상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 부당한 사용자에 의해 도용된 영상으로부터 촬영되어 생성된 것인지를 판정하는 영상 도용 여부 판정 단계, 및상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 도용된 영상으로부터 생성된 것으로 판정된 경우, 사용자 인증 실패로 판정하는 단계를 더 포함하는 사용자 인증 방법.
- 제7항에 있어서,상기 영상 도용 여부 판정 단계는:상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상으로부터 배경 영상을 추출하는 단계,상기 추출된 배경 영상으로부터 적어도 하나의 선형태를 추출하는 단계,상기 추출된 선형태가 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상 내에서 사용자 얼굴 부분을 둘러싸는 폐도형을 이루는 경우, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 도용된 영상으로부터 생성된 것으로 판정하는 단계를 포함하는 사용자 인증 방법.
- 제7항에 있어서,상기 영상 도용 여부 판정 단계는:상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상으로부터 사용자 신체 외곽선을 추출하는 단계,상기 추출된 사용자 신체 외곽선 중 가장 아래쪽의 선형태가 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상의 가장 아래쪽 테두리선과 일치하지 않는 경우, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 도용된 영상으로부터 생성된 것으로 판정하는 단계를 포함하는 사용자 인증 방법.
- 제7항에 있어서,상기 영상 도용 여부 판정 단계는:상기 제1 영상 및 상기 제2 영상으로부터 각각의 배경 영상을 추출하는 단계,상기 추출된 각각의 배경 영상으로부터 적어도 하나의 선형태를 추출하는 단계,상기 제1 영상의 배경 영상으로부터 추출된 선형태와 상기 제2 영상의 배경 영상으로부터 추출된 선형태가 서로 일치하지 않는 경우, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 도용된 영상으로부터 생성된 것으로 판정하는 단계를 포함하는 사용자 인증 방법.
- 제7항에 있어서,상기 영상 도용 여부 판정 단계는:상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상으로부터 사용자 신체 형태를 제거한 배경 영상을 추출하는 단계,상기 추출된 배경 영상으로부터 적어도 하나의 선형태를 추출하는 단계,상기 추출된 선형태가 현재 위치에서 사용자가 없이 촬영된 주변 영상으로부터 추출된 기준 선형태에 일치하지 않는 경우, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 도용된 영상으로부터 생성된 것으로 판정하는 단계를 포함하는 사용자 인증 방법.
- 소정의 보안 적용 장치에 접근하고자 하는 사용자가 입력한 비밀번호에 의한 번호 인증 및 상기 사용자를 촬영한 사용자 영상에 의한 얼굴 인식을 동시에 통과한 경우 사용자 인증의 성공으로 간주하는 사용자 인증 시스템으로서:상기 사용자를 촬영한 제1 영상, 상기 제1 영상을 촬영한 시점으로부터 소정의 시간 간격을 두고 사용자를 재촬영한 제2 영상, 사용자로부터 입력받은 비밀번호를 전송하는 사용자 단말기;상기 제1 영상 및 상기 제2 영상을 수신하면, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 얼굴 인식에 적용 가능한 적합 영상인지 판정하고, 상기 입력받은 비밀번호에 대한 번호 인증을 행하고, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 이용하여 얼굴 인식을 행하고, 상기 적합 영상 판정 결과와 상기 번호 인증 결과와 상기 얼굴 인식 결과가 모두 통과한 경우에 사용자 인증 성공으로 판정하여 상기 사용자가 상기 보안 적용 장치에 접근할 수 있도록 하는 인증 처리 장치를 포함하는 것을 특징으로 하는 사용자 인증 시스템.
- 제12항에 있어서,상기 인증 처리 장치는,상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상에서 특정의 얼굴 부위에 대한 형태 정보를 수치화하여 산출하고, 상기 산출된 형태 정보와 해 당 얼굴 부위에 대하여 미리 저장되어 있는 템플릿 데이터를 비교하여 유사도를 산출하고, 상기 산출된 유사도가 소정의 기준 유사도 이상인 경우에 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 적합 영상으로 판정하는 것을 특징으로 하는 사용자 인증 시스템.
- 제12항에 있어서,상기 인증 처리 장치는,상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상에서 복수의 얼굴 부위에 대한 각각의 형태 정보를 수치화하여 산출하고, 상기 산출된 각각의 형태 정보와 해당 얼굴 부위에 대하여 미리 저장되어 있는 템플릿 데이터를 비교하여 각각의 부위별 유사도를 산출하고, 상기 산출된 각각의 부위별 유사도를 소정의 산술식에 의해 조합하여 조합 유사도를 산출하고, 상기 산출된 조합 유사도가 소정의 기준 조합 유사도 이상인 경우에 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 적합 영상으로 판정하는 것을 특징으로 하는 사용자 인증 시스템.
- 제12항에 있어서,상기 인증 처리 장치는,상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상에서 모든 얼굴 부위에 대한 각각의 형태 정보를 수치화하여 산출하고, 상기 산출된 각각의 형태 정보와 해당 얼굴 부위 마다에 대하여 미리 저장되어 있는 템플릿 데이터를 비교하여 각각의 부위별 유사도를 산출하고, 상기 산출된 각각의 부위별 유사도를 소정의 산술식에 의해 모두 조합하여 총 유사도를 산출하고, 상기 산출된 총 유사도가 소정의 기준 총 유사도 이상인 경우에 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상을 적합 영상으로 판정하는 것을 특징으로 하는 사용자 인증 시스템.
- 제12항 내지 제15항 중 어느 한 항에 있어서,상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 적합 영상으로 판정된 경우에만, 번호 인증 및 얼굴 인식을 행하는 것을 특징으로 하는 사용자 인증 시스템.
- 제12항 내지 제15항 중 어느 한 항에 있어서,상기 인증 처리 장치는,상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 부당한 사용자에 의해 도용된 영상으로부터 촬영되어 생성된 것인지를 판정하고, 상기 제1 영상, 상기 제2 영상, 또는 상기 제1 영상 및 제2 영상이 도용된 영상으로부터 생성된 것으로 판정된 경우, 사용자 인증 실패로 판정하는 것을 특징으로 하는 사용자 인증 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080071083 | 2008-07-22 | ||
| KR20080071083 | 2008-07-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100010480A true KR20100010480A (ko) | 2010-02-01 |
| KR101057720B1 KR101057720B1 (ko) | 2011-08-18 |
Family
ID=42085124
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090022303A KR20100010465A (ko) | 2008-07-22 | 2009-03-16 | 개인 식별 문자 및 생체 인식 정보 비교를 통한 출입 관리 장치 및 방법 |
| KR1020090061085A KR101057720B1 (ko) | 2008-07-22 | 2009-07-06 | 사용자 인증 시스템 및 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090022303A KR20100010465A (ko) | 2008-07-22 | 2009-03-16 | 개인 식별 문자 및 생체 인식 정보 비교를 통한 출입 관리 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20100010465A (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101680598B1 (ko) * | 2015-06-12 | 2016-12-12 | 주식회사 네오시큐 | 얼굴유도용 최적 가이드를 제공하는 얼굴인증 처리 장치 및 얼굴인증 처리 방법 |
| KR20210025277A (ko) * | 2019-08-27 | 2021-03-09 | 주식회사 한글과컴퓨터 | 얼굴 이미지 매칭률 기반의 사용자 인증을 통해 보안 문서에 대한 권한을 제공하는 전자 단말 장치 및 그 동작 방법 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016006831A1 (ko) * | 2014-07-09 | 2016-01-14 | 주식회사 케이티앤씨 | 홍채 인식을 이용한 도어록과 그 시스템 및 그에 사용되는 이동통신단말기와 네트워크 게이트웨이 및 사용자 인증 방법 |
| WO2019035511A1 (ko) * | 2017-08-17 | 2019-02-21 | 주식회사 두올테크 | 건설현장 자원통제관리시스템용 단말기 및 그 단말기 케이스 구조 |
| KR102089030B1 (ko) * | 2018-05-28 | 2020-03-13 | (주)그린아이티코리아 | 조합 인증 기반 출입 통제 시스템 및 방법 |
| KR102308522B1 (ko) * | 2020-02-06 | 2021-10-01 | 동의대학교 산학협력단 | 스마트 도어락 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003108984A (ja) * | 2001-07-27 | 2003-04-11 | Toshiba Corp | 顔画像認識装置、通行制御装置、顔画像認識方法、及び通行制御方法 |
| CN1797420A (zh) * | 2004-12-30 | 2006-07-05 | 中国科学院自动化研究所 | 一种基于统计纹理分析的人脸识别方法 |
-
2009
- 2009-03-16 KR KR1020090022303A patent/KR20100010465A/ko not_active Application Discontinuation
- 2009-07-06 KR KR1020090061085A patent/KR101057720B1/ko not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101680598B1 (ko) * | 2015-06-12 | 2016-12-12 | 주식회사 네오시큐 | 얼굴유도용 최적 가이드를 제공하는 얼굴인증 처리 장치 및 얼굴인증 처리 방법 |
| KR20210025277A (ko) * | 2019-08-27 | 2021-03-09 | 주식회사 한글과컴퓨터 | 얼굴 이미지 매칭률 기반의 사용자 인증을 통해 보안 문서에 대한 권한을 제공하는 전자 단말 장치 및 그 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20100010465A (ko) | 2010-02-01 |
| KR101057720B1 (ko) | 2011-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6938697B2 (ja) | 認証システムにおいてユーザを登録および認証するための方法、顔認証システム、ならびに認証システムにおいてユーザを認証するための方法 | |
| US20230031087A1 (en) | Method and system to autonomously authenticate and validate users using a node server and database | |
| CN108804884B (zh) | 身份认证的方法、装置及计算机存储介质 | |
| JP6820062B2 (ja) | アイデンティティ認証方法ならびに装置、端末及びサーバ | |
| JP4699139B2 (ja) | セキュリティシステム | |
| KR101057720B1 (ko) | 사용자 인증 시스템 및 방법 | |
| EP3061023B1 (en) | A method and a system for performing 3d-based identity verification of individuals with mobile devices | |
| US20150040212A1 (en) | Locking apparatus with enhanced security using iris image | |
| US20100134250A1 (en) | Forged face detecting method and apparatus thereof | |
| JP2007135149A (ja) | 移動携帯端末 | |
| US11682236B2 (en) | Iris authentication device, iris authentication method and recording medium | |
| JP7318833B2 (ja) | 画像処理デバイス、画像処理方法、およびプログラム | |
| CN109034029A (zh) | 检测活体的人脸识别方法、可读存储介质和电子设备 | |
| CA3149808C (en) | Method and apparatus for creation and use of digital identification | |
| CN116453196B (zh) | 一种人脸识别方法及系统 | |
| EP3913575A1 (en) | Authentication system, authentication device, and authentication method | |
| KR101057718B1 (ko) | 획득 영상의 사용자 식별 가능 여부 판정 방법 | |
| JP5975828B2 (ja) | 顔特徴抽出装置および顔認証システム | |
| KR100608307B1 (ko) | 얼굴 인식 방법 및 시스템 | |
| TWI729679B (zh) | 認證系統、認證裝置、及認證方法 | |
| CN109299945B (zh) | 一种基于生物识别算法的身份验证的方法及装置 | |
| WO2023144929A1 (ja) | 認証システム、認証装置、認証方法、およびプログラム | |
| CN113344586A (zh) | 一种面向移动终端的人脸识别支付系统 | |
| TW202107386A (zh) | 提供身分驗證功能的金融服務裝置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |