KR102089752B1 - 무아레 방식을 이용한 3d 얼굴 인식 기반 사용자 인증 방법 - Google Patents

무아레 방식을 이용한 3d 얼굴 인식 기반 사용자 인증 방법 Download PDF

Info

Publication number
KR102089752B1
KR102089752B1 KR1020180137643A KR20180137643A KR102089752B1 KR 102089752 B1 KR102089752 B1 KR 102089752B1 KR 1020180137643 A KR1020180137643 A KR 1020180137643A KR 20180137643 A KR20180137643 A KR 20180137643A KR 102089752 B1 KR102089752 B1 KR 102089752B1
Authority
KR
South Korea
Prior art keywords
authentication
user
moire
authentication information
information
Prior art date
Application number
KR1020180137643A
Other languages
English (en)
Inventor
강혁
이근호
Original Assignee
백석대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 백석대학교산학협력단 filed Critical 백석대학교산학협력단
Priority to KR1020180137643A priority Critical patent/KR102089752B1/ko
Application granted granted Critical
Publication of KR102089752B1 publication Critical patent/KR102089752B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)

Abstract

인증 기관의 서버에 데이터를 저장하지 않고, 다중 요소 인증 기술을 사용하여, 무아레 기법을 통해 추출된 데이터와 사용자 개인 정보를 조합하는 것을 통해 사용자를 인증할 수 있는 인증 프로토콜을 제공하는, 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법에 관한 것으로서, (A) 상기 3D 얼굴 스캐너 장치는 사용자의 얼굴을 스캔하여 사용자의 제1 인증정보를 추출하여 인증정보의 등록을 위하여 상기 인증서버로 전송하는 단계; (B) 상기 인증서버는 제2 인증정보를 생성하여 등록하는 단계; (C) 상기 인증서버는 상기 제1 인증정보 및 제2 인증정보를 결합하여 제3 인증정보를 생성하여 등록하고, 상기 제1 인증정보를 파기하는 단계; (D) 상기 3D 얼굴 스캐너 장치는 사용자 얼굴을 생성하여 제1 인증정보를 추출하여 사용자 인증을 위하여 상기 인증서버로 전송하는 단계; 및, (E) 상기 인증서버는 수신한 제1 인증정보와 등록된 제2 인증정보로 제3 인증정보를 생성하고, 생성된 제3 인증정보와 등록된 제3 인증정보를 대비하여 사용자 인증을 수행하는 단계를 포함하는 구성을 마련한다.
상기와 같은 방법에 의하여, 인증을 위해 추출된 생체정보를 서버에 저장하지 않고 다른 개인정보와 융합시켜 사용자를 인증함으로써, 생체 정보의 유출 위험을 줄일 수 있고, 인증 강도를 높이고 보안을 더 강화시킬 수 있다.

Description

무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법 { A user authentication method based on face recognition, using Moire fringes }
본 발명은 사용자 생체 정보를 추출하는데 무아레 기법을 사용하고, 추출된 데이터를 패스워드용으로 사용하여 보다 안전하고 편리하게 인증하는, 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법에 관한 것이다.
또한, 본 발명은 인증 기관의 서버에 데이터를 저장하지 않고, 다중 요소 인증 기술을 사용하여, 무아레 기법을 통해 추출된 데이터와 사용자 개인 정보를 조합하는 것을 통해 사용자를 인증할 수 있는 인증 프로토콜을 제공하는, 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법에 관한 것이다.
IoT 기술의 발전은 사용자에게 많은 편의를 제공하고 있다. 또한, 네트워크 및 장치의 발전으로 사용자는 전 세계의 정보를 조회하고 다른 사람들과 자유롭게 통신할 수 있게 되었다. 즉, IT의 발전으로 사용자는 이제 막대한 양의 정보를 공유하고 사용할 수 있지만, 동시에 개인 정보가 널리 사용되어 공개되고 있다.
그러나 정보에 액세스하는 것은 더 쉬워졌지만 IoT의 발전은 개인 정보의 보안 문제를 야기시키고 있다. 사용된 개인 정보는 안전한 방식으로 보호되어야 하고, 사용자도 또한 올바른 인증 과정을 거쳐야 한다. 그런데 현재 사용되고 있는 정보의 대부분은 인터넷이나 웹의 다양한 서버에 분산되어 저장된다. 그리하여 민감한 개인 정보가 유출될 가능성이 높아지고 있다. 대부분의 웹 서비스는 패스워드를 사용하여 사용자를 인증하고 개인 정보에 액세스할 수 있다.
그러나 패스워드 방식에는 두 가지 치명적인 보안 취약점이 있다. 첫 번째는 사용자가 패스워드를 쉽게 기억할 수 있기 위해 간단한 문자열을 사용한다는 것이고, 두 번째는 사용자가 등록하는 다수의 사이트에 동일한 패스워드를 사용한다는 것이다. 취약한 웹 사이트에서 사용자의 패스워드가 유출되면 다른 사이트도 침입을 받아 개인 정보 유출이 발생할 수 있다.
이러한 문제를 해결하고자, ID 및 패스워드를 사용하는 대신에, 사용자의 생체 정보를 사용한 인식 방법이 개발되고 있다. 즉, 사용자의 생체 정보가 인증 방법으로 사용되고 있다. 현재, 사용자의 생체 정보를 사용하여 인증하는 방법에는 여러 가지가 있다. 생체 정보에 기반한 인식 방법은 지문 인식, 음성 인식, 얼굴 인식, 손가락 정맥 인식, 홍채 인식, 및 보행 인식을 포함한다. 현재, 이러한 사용자 신체 정보를 사용하는 보다 안전한 인증 시스템이 널리 사용된다.
그러나 안전한 인증 시스템을 구축하려면, 사용하기 쉽고 예측 불가능성의 척도인 엔트로피가 높은 방법을 사용하는 것이 필요하다. 현재, 많은 시스템에서 사용되고 있는 생체 인증 프로토콜에서, 인증에 필요한 생체 정보를 인증 기관이나 웹 서버에 저장해서 사용하고 있다. 이로 인해 정보 유출이 발생할 수 있다. 즉, 현재 사용되는 인증 시스템에서는 사용자의 신체 정보 또는 그 일부가 수정되어 인증 기관 또는 웹 사이트의 서버에 저장된다. 그리하여 해커가 사용자의 생체 정보를 포함하는 서버를 공격하여 데이터를 얻는 경우, 인증을 위해 한번 추출된 생체 정보는 다시 변경될 수 없기 때문에 이것은 큰 어려움을 초래할 수 있다.
Harding, K.G., Boehnlein, A.: Absolute measurement using field shifting moire. SPIE 1614, 259-264 (1992) Machani, S., Philpott, R., Srinivas, S., Kemp, J., Hodges, J.: FIDO UAF Architectural Overview, FIDO Alliance (2014) Srinivas, S., Balfanz, D., Tiffany, E.: Universal 2nd Factor(U2F) Overview, Version 1.0-rd-20140209, FIDO Alliance (2014) Sciammarella, C.A.: The moire method-a review. Exp. Mech. 22(11), 418-433 (1982) Amidror, I.: The Theory of the Moire Phenomenon. Springer, New York (2000) Kang, J.S.: Characterization of Fresnel images of an elongated circular grating. Optik 113(7), 285-292 (2002) Jang, S., Cho, J.H., et al.: Optics, Daewoong Avilaq, A.J., Rezaie, A.H.: 3D race reconstruction using modified shadow Moire. In: IEEE (2013) OSK Daegu-Gyeongbuk branch: Introduction to Optics (2003) Alamri, A.: Nature-inspired multimedia service composition in a media cloud-based healthcare environment. Clust. Comput. 19(4), 2251-2260 (2016) Hernㅱndez, G., Leㆃn, R., Urtubia, A.: Detection of abnormal processes of wine fermentation by support vector machines. Clust. Comput. 19(3), 1219-1225 (2016) Han, K.H., Bae, W.S.: Proposing and verifying a security-enhanced protocol for IoT-based communication for medical devices. Clust. Comput. 19(4), 2335-2341 (2016) Oh, S.Y., Chung, K.: Vocabulary optimization process using similar phoneme recognition and feature extraction. Clust. Comput. 19(3), 1683-1690 (2016) http://www.nature.com/nphys/journal/v4/n5/fig_tab/ nphys952_F1.html https://fidoalliance.org/about/overview/ http://apachebooster.com/kb/what-is-biometrics-and-what -are-its-latest-and-future-inventions/
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 무아레 기법을 사용한 생체 정보를 추출하고, 이 추출된 정보를 서버에 저장하지 않고 이 추출된 정보를 사용자의 다른 개인 정보와 융합시켜 사용자를 인증하는, 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법을 제공하는 것이다.
즉, 본 발명의 목적은 추출된 데이터 및 다른 형태의 사용자 정보를 사용하여 서버에 저장하지 않고 보다 안전하고 편리한 생체 정보 추출 방법 및 인증 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 프로젝터와 카메라를 통해 사용자 얼굴에 대한 생체 인증정보를 추출하는 생체 인증정보 추출장치, 및, 인증정보를 저장하여 사용자 인증을 수행하는 인증서버에 의해 수행되는, 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법에 관한 것으로서, (A) 상기 3D 얼굴 스캐너 장치는 사용자의 얼굴을 스캔하여 사용자의 제1 인증정보를 추출하여 인증정보의 등록을 위하여 상기 인증서버로 전송하는 단계; (B) 상기 인증서버는 제2 인증정보를 생성하여 등록하는 단계; (C) 상기 인증서버는 상기 제1 인증정보 및 제2 인증정보를 결합하여 제3 인증정보를 생성하여 등록하고, 상기 제1 인증정보를 파기하는 단계; (D) 상기 3D 얼굴 스캐너 장치는 사용자 얼굴을 생성하여 제1 인증정보를 추출하여 사용자 인증을 위하여 상기 인증서버로 전송하는 단계; 및, (E) 상기 인증서버는 수신한 제1 인증정보와 등록된 제2 인증정보로 제3 인증정보를 생성하고, 생성된 제3 인증정보와 등록된 제3 인증정보를 대비하여 사용자 인증을 수행하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법에 있어서, 상기 인증서버는 일방향 함수를 이용하여 상기 제1 및 제2 인증정보로부터 상기 제3 인증정보를 생성하는 것을 특징으로 한다.
또, 본 발명은 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법에 있어서, (a) 제1 피치를 가지는 제1 기준격자를 기준평면 위에 영사시켜 제1 기준격자 위상맵을 획득하고, 제2 피치를 가지는 제2 기준격자를 기준평면 위에 영사시켜 제2 기준격자 위상맵을 획득하는 단계; (b) 상기 제1 피치를 가지는 제1 기준격자를 사용자의 얼굴에 영사시켜 제1 변환격자 위상맵을 획득하고, 상기 제2 피치를 가지는 제2 기준격자를 사용자의 얼굴에 영사시켜 제2 변환격자 위상맵을 획득하는 단계; (c) 상기 제1 또는 제2 기준격자 위상맵과 상기 제1 또는 제2 변환격자 위상맵으로부터 제1 또는 제2 무아레 위상도를 획득하는 단계; (d) 상기 제1 또는 제2 무아레 위상도로부터 제1 또는 제2 무아레 무늬의 위상을 획득하는 단계; (e) 상기 제1 또는 제2 무아레 무늬의 위상을 이용하여 맥놀이 무아레 위상도를 획득하는 단계; 및, (f) 무아레 무늬의 차수와 3차원 높이를 검출하고, 상기 무아레 무늬 차수와 3차원 높이를 3차원 얼굴의 생체 인증정보로 설정하는 단계를 포함하는 방법을 수행하여 생체 인증정보를 추출하는 것을 특징으로 한다.
또, 본 발명은 본 발명은 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법에 있어서, 상기 (a)단계 또는 (b)단계에서, 상기 제1 또는 제2 피치의 1/4씩 이동된 가상 기준격자를 만들어 영사시켜 기준격자의 위상맵 또는 변환격자 위상맵을 형성하는 것을 특징으로 한다.
또, 본 발명은 본 발명은 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법에 있어서, 상기 (d)단계에서, 상기 제1 또는 제2 무아레 무늬의 위상을 다음 [수식 1]에 의해 산출되는 것을 특징으로 한다.
[수식 1]
Figure 112018111630274-pat00001
단, φ(x, y)는 제1 또는 제2 무아레 무늬의 위상이고, I1, I2, I3, I4는 위상 이동량(Δ)을 0, π/2, π, 3π/2가 되도록 이동시킬 때의 무아레 무늬 광 강도임.
또, 본 발명은 본 발명은 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법에 있어서, 상기 (f)단계에서, 상기 제1 또는 제2 무아레 무늬의 위상을 다음 [수식 2]에 의해 산출되는 것을 특징으로 한다.
[수식 2]
Figure 112018111630274-pat00002
단, φ(x, y)는 제1 또는 제2 무아레 무늬의 위상이고, I1, I2, I3, I4는 위상 이동량(Δ)을 0, π/2, π, 3π/2가 되도록 이동시킬 때의 무아레 무늬 광 강도임.
또, 본 발명은 본 발명은 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법에 있어서, 상기 무아레 무늬의 차수는 다음 [수식 3]에 의해 계산되는 것을 특징으로 한다.
[수식 3]
Figure 112018111630274-pat00003
단, λ12 = λ1λ2 /(λ2-λ1)이고, λ1, λ2 는 각각 제1 및 제2 무아레 무늬의 파장이고, φ12는 맥놀이 무아레 위상도의 위상이고, φ1p는 위상펼침과정을 거치지 않은 위상이동법에 의해 구한 위상 값임.
또, 본 발명은 본 발명은 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법에 있어서, 상기 무아레 무늬의 차수는 다음 [수식 4]에 의해 계산되는 것을 특징으로 한다.
[수식 4]
Figure 112018111630274-pat00004
단, h(x,y)는 사용자 얼굴의 높이이고, λ는 제1 무아레 무늬의 파장이고, φ1p는 위상펼침과정을 거치지 않은 위상이동법에 의해 구한 위상 값임.
또한, 본 발명은 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
상술한 바와 같이, 본 발명에 따른 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법에 의하면, 인증을 위해 추출된 생체정보를 서버에 저장하지 않고 다른 개인정보와 융합시켜 사용자를 인증함으로써, 생체 정보의 유출 위험을 줄일 수 있고, 인증 강도를 높이고 보안을 더 강화시킬 수 있는 효과가 얻어진다.
도 1은 간섭 패턴에 대한 예시도.
도 2는 브라운호퍼 회절과 프레넬 회절[비특허문헌 14]을 예시한 도면.
도 3은 본 발명에서 사용되는 무아레 패턴의 예시도로서, (a) 패턴 1, (b) 패턴 2, (c) 2개의 그리드의 패턴이 결합될 때 생성된 무아레 패턴의 예시도.
도 4는 패스워드 기반의 인증 방식을 예시한 도면.
도 5는 하드웨어 OTP의 인증 방식을 예시한 도면.
도 6은 본 발명에서 사용되는 생체 측정 데이터[비특허문헌 16]에 의한 인증 방식을 예시한 도면.
도 7은 본 발명에서 사용되는 FIDO UFA/U2F 프로토콜[비특허문헌 15]에 의한 인증 방식을 나타낸 도면.
도 8은 본 발명을 실시하기 위한 전체 시스템에 대한 구성도.
도 9는 본 발명의 일실시예에 따른 영사 무아레의 광학 기하 형상을 추출하는 방법을 나타내는 도면.
도 10은 본 발명의 일실시예에 따른 생체 인증정보 추출장치(10)에 의해 수행되는 디지털 영사 무아레 기반 3D 얼굴 인식을 통한 생체 데이터 추출 방법을 설명하는 흐름도.
도 11은 본 발명의 일실시예에 따른 3D 얼굴 인식을 통한 생체 데이터 추출 방법의 흐름을 나타낸 도면.
도 12는 본 발명의 제2 실시예에 따른 생체 인증 기반의 모아레 3D 인증을 사용하는 개인 인증 방법을 설명하는 흐름도.
도 13은 본 발명의 제2 실시예에 따른 생체 인증 기반의 모아레 3D 인증을 사용하는 개인 인증 방법의 흐름을 나타낸 도면.
도 14는 본 발명의 일실시예에 따른 사용자에 의해 FIDO에서 생체 정보를 사용하여 프로토콜을 등록하는 과정을 설명하는 흐름도.
도 15는 본 발명의 일실시예에 따른 무아레 패턴의 실험 과정을 나타낸 도면.
도 16은 본 발명의 실험에 따른 무아레 패턴 실험의 분석 데이터 그래프.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명에 따른 방법을 설명하기에 앞서, 본 발명에서 사용되는 무아레 무늬 등에 대하여 구체적으로 설명한다.
간섭에 대하여 설명한다.
두 개 이상의 파(wave)가 오버랩(overlap)되면 전체적으로 또는 부분적으로 파가 다른 성분보다 더 크게 증가하거나 오프셋된다. 오버랩된 후 개별 파는 오버랩되기 전의 파에 영향을 받지 않고 독립적으로 중첩의 원리를 따른다. 간략하게 말하면, 광 간섭 이론은 전자기파의 선형 중첩 이론을 기반으로 한다. 가장 단순한 경우, 동일한 위상과 주파수를 공유하는 두 개의 파가 오버랩될 때 오버랩된 파의 총 진폭은 진폭의 합인 E = E1 + E2이고, 파의 세기는 I ∝ (E1 + E2)2와 같이 진폭의 합의 제곱에 비례한다.
동일한 주파수 및 다른 위상을 가진 두 파가 오버랩되면, 다음과 같이 된다:
[수학식 1]
Figure 112018111630274-pat00005
[수학식 2]
Figure 112018111630274-pat00006
여기서 φ1과 φ2은 두 파의 초기 위상을 나타낸다.
두 파가 오버랩될 때, 오버랩된 파의 세기는 다음과 같다.
[수학식 3]
Figure 112018111630274-pat00007
이 식에서, θ는 다음과 같다.
Figure 112018111630274-pat00008
상기와 같이 이것은 배경 세기인 각 파의 세기의 단순한 합이며, 실제 간섭 항은 세 번째 항이고, 이 항은 배경 세기를 중간 값으로 설정하고 더 밝은 부분과 더 어두운 부분을 연속적으로 생성한다. 이것은 간섭 패턴(또는 무늬)이라고 한다(도 1).
간섭 패턴을 관찰하기 위해서는 눈, 카메라 또는 망원경과 같은 검출기에 초점을 맞추는 것이 매우 중요하다. 패턴의 유형은 실제 줄무늬(real fringe) 및 가상 줄무늬(virtual fringe) 또는 비-국부화된 줄무늬 및 국부화된 줄무늬로 분류된다.
다음으로, 회절에 대하여 설명한다.
점광원과 스크린 사이에 불투명한 물체가 있는 경우, 스크린 상에서 기하학적 그림자와 달리, 그림자의 가장자리에는 어두운 선과 밝은 선이 교차한다. 물체의 가장자리로부터 벗어나는 광은 회절이라고 한다. 회절은 부분 파가 차단되거나 간섭될 때 발생하는 파동 현상의 일반적인 특징이다[비특허문헌 9]. 회절은 브라운호퍼 회절 및 프레넬 회절로 분류된다. 불투명한 판 위에 작은 구멍을 뚫고, 광원으로부터 평행한 광선이 입사하고, 관찰 면이 판에 충분히 가까우면, 관찰 면에 구멍의 이미지는 선명히 존재하고, 이미지의 가장자리에는 희미한 회절 패턴이 존재한다. 관찰 면이 판으로부터 더 멀리 이동하면, 구멍의 이미지는 여전히 선명하지만, 회절 패턴도 또한 더 선명해져서 구멍의 동심원이 선명해진다. 이것은 프레넬 회절 또는 근거리 회절이라고 한다. 또한, 관찰 면이 더 멀리 천천히 이동하면, 패턴은 일관되게 변해서 구멍의 크기보다 더 넓게 확산된다. 패턴의 형상은 크기가 변하는 동안 유지되고 이는 브라운호퍼 회절 또는 원거리 회절이라고 한다[비특허문헌 9](도 2).
다음으로, 무아레 줄무늬[비특허문헌 1]에 대하여 설명한다.
무아레 줄무늬에 관한 연구는, 로드 레일리(Lord Rayleigh)가, 두 개의 동일한 회절 격자를 평행하게 오버랩시킴으로써 평행한 막대 형상의 패턴을 발견하고 이것을 1874년에 회절 격자를 조사하는데 사용할 것을 제안했을 때 시작되었다. 그 이후로 다양한 분야에 줄무늬를 적용하는 방법에 대한 연구가 계속되어 왔다. 무아레 현상은 물체의 3차원 형상을 검사하거나 또는 지문을 분석하는 데 적용될 수 있으며, 이에 관한 수많은 연구가 있는 것이 확인되었다[비특허문헌 4,5].
공간적 주기성을 갖는 반사기 또는 투과 판이 백색광 하에 있을 때 발생하는 물질 형태의 간섭 줄무늬는 무아레 간섭 무늬라고 한다. 이 방법에 의해 광학적 간섭 및 회절 격자를 사용하여 변환에 관한 정보를 얻을 수 있다. 그물과 같은 두 개의 모기장이 오버랩되면 이 모기장은 조밀한 패브릭 격자보다 크고 다양한 패턴을 생성하며, TV에서 줄무늬 셔츠(striped shirt)를 볼 때 패턴을 볼 수 있다. 이 주기적인 패턴은 무아레 줄무늬라고 한다. 무아레는 불어로 "물결 무늬"이다[비특허문헌 6](도 3).
무아레 회절 무늬가 형성되는 것은 이론적으로 공간의 기복 현상에 의해 설명된다. 유사한 공간 주기를 갖는 두 개의 격자가 공간 주파수 영역에서 오버랩되는 조건을 검사할 때 이것은 각 격자가 소유한 원래의 주파수와, 격자 주기의 합과 차로 분리된다. 이 점에서, 격자 주파수의 차인 저주파수 성분은 무아레 회절 무늬라고 한다[비특허문헌 6].
다음으로, 본 발명에서 사용되는 사용자 인증방법 등에 대하여 설명한다.
먼저, 지식 기반에 의한 사용자 인증 방법을 설명한다.
지식 기반 사용자 인증 방법은 사용자와 서버 간에 미리 설정되어 공유되는 비밀 정보에 기초하여 사용자를 인증하기 때문에 비용이 적게 들고 사용자 편의성이 높다는 장점이 있다. 그러나 인증 강도가 낮아서 많은 보안 취약점이 있다. 지식 기반 인증의 하나의 유형은 패스워드 인증이며, 현재 시스템에서 가장 널리 사용되고 있지만, 사용자가 다른 사용자에게 노출되거나 또는 사용자가 패스워드를 기억하지 못할 때 문제가 발생한다(폴백(fall-back))(도 4).
다음으로, 소유물 기반에 의한 사용자 인증 방법을 설명한다.
소유물 기반 사용자 인증은 사용자가 소유한 인증 토큰에 기초하여 사용자를 인증하는 방법이다. 이 방법은 사용자가 토큰을 소유해야 하기 때문에 지식 기반 인증 방법보다 더 안전하다. 그러나, 인증 시스템을 구축하는 것이 어렵고, 사용자는 서비스를 신청하기 위해 인증 기관(CA) 또는 등록 기관(RA)에 점검해야 하며, 또 사용자는 항상 토큰을 소유해야 하기 때문에, 편리성이 낮다는 단점이 있다. 토큰의 예로는 하드웨어 방법인 OTP(One Time Password) 및 소프트웨어 방법인 인증서(Certificate of Authentication)(X.509)가 있다. 하드웨어 방법에서는 OTP를 항상 소지해야 한다는 단점이 있으며, 소프트웨어 방법에서는 인증서를 저장 매체에 저장해야 해서, 유출 가능성이 높다는 단점이 있다(도 5).
다음으로, 바이오 기반에 의한 사용자 인증 방법을 설명한다.
생체 기반 인증 방법은 사용자의 고유한 신체 구조를 기반으로 하거나 또는 사용자의 행동 결과를 기반으로 사용자를 인증하는 방법이다. 사용자가 특별히 별도의 인증 토큰을 소유할 필요가 없으며 인증을 위해 정보를 알 필요가 없기 때문에 매우 편리하다. 또한, 사용자 자신의 신체 정보를 사용하는 것으로 인해 매우 안전하다. 그러나 몇 가지 단점이 있다. 첫째, 시스템을 구축하고 관리하기가 어렵다. 둘째, 사용하기 위해 생체 정보를 패턴화하는 시스템을 만드는데 많은 비용이 든다. 마지막으로, 사용자의 신체 정보는 변할 수 없기 때문에 정보의 기밀성과 무결성을 유지할 수 없는 경우 큰 문제가 발생할 수 있다. 생체 정보에는 얼굴 인식, 홍채 인식, 지문 인식, 정맥 인식 및 시그너처 패턴 인식이 포함된다(도 6).
다음으로, 다중 요소에 의한 사용자 인증 방법을 설명한다.
다중 요소 인증은 둘 이상의 인증 요소를 사용하는 인증을 나타낸다. 즉, 패스워드 및 생체 정보와 같은 2개 이상의 유형의 인증 요소를 이용하여 사용자를 인증하는 인증 방법이다. 다중 요소 인증의 장점은 사용자로 위장된 공격자의 위협을 줄이고 보안 강도를 높이는 것을 포함한다. 단점은 중간자 공격(man-in-the-middle (MITM))이나 브라우저 공격(man-in-the-browser: MITB)에 취약하다는 것과, 다중 인증 메커니즘을 사용하는 것으로 인해 각각의 보안을 고려해야 한다는 것이다. 대표적인 다중 요소 인증 기술은 FIDO(Fast Identity Online)이다[비특허문헌 2.3](도 7).
다음으로, 본 발명을 실시하기 위한 전체 시스템의 구성의 예를 도 8을 참조하여 보다 구체적으로 설명한다.
도 8에서 보는 바와 같이, 본 발명을 실시하기 위한 전체 시스템은 사용자의 얼굴(F)을 스캔하여 3D 얼굴인식의 생체 데이터를 추출하는 3D 얼굴 스캐너 장치(10), 및, 생체 데이터를 이용하여 사용자를 인증하는 인증서버(30)로 구성된다.
먼저, 3D 얼굴 스캐너 장치(10)는 기준격자 영상을 기준 평면 또는 사람의 얼굴(F)에 영사하는 프로젝터(11), 기준격자가 영사된 사람의 얼굴(F) 등을 촬영하는 카메라(12), 및, 3D 얼굴인식의 생체 데이터를 추출하는 제어부(13)로 구성된다.
프로젝터(11)는 빔 프로젝터 등 영상을 영사하는 장치로서, 격자 영상(또는 이미지)을 사람의 얼굴(F)에 영사한다.
다음으로, 카메라(12)는 CCD(Charge Coupled Device) 카메라 등 영상을 촬영하는 장치로서, 격자 영상이 영사된 사람의 얼굴(F)을 촬영한다.
다음으로, 제어부(13)는 프로젝터(11)와 카메라(12)를 제어하고, 카메라(12)로부터 획득된 이미지를 이용하여 생체인증 데이터를 검출한다. 즉, 제어부(13)는 가상의 기준격자를 생성하여 프로젝터(11)를 통해 사용자의 얼굴에 영사하고, 카메라(12)를 통해 격자가 영사된 사용자의 얼굴을 촬영하여 변환격자 이미지를 획득한다. 그리고 이들 격자 이미지를 이용하여 무아레 무늬를 획득하고 맥놀이 무아레 위상도를 구하고, 이를 통해, 무아레 무늬의 차수와 3차원 높이를 3D 얼굴의 생체 데이터로서 검출한다.
제어부(13)는 컴퓨터 단말에 설치되는 프로그램 시스템으로 실시되거나, ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다.
또한, 3D 얼굴 스캐너 장치(10)는 3D 얼굴 인식을 통한 생체 데이터 추출만을 전용으로 처리하는 전용 단말로 개발될 수 있다. 즉, 프로젝터(11), 카메라(12), 및, 제어부(13)는 일체로 구성된 단말 장치로서 실시될 수 있다.
다음으로, 인증서버(30)는 통상의 인증 서버로서, 3D 얼굴 인식을 기반으로 추출한 생체 데이터를 이용하여, 사용자를 인증한다. 인증서버(30)는 3D 얼굴 스캐너 장치(10)와 네트워크(미도시)로 연결되어, 3D 얼굴 스캐너 장치(10)로부터 사용자의 생체 데이터(또는 생체 인증 정보)를 수신하여 사용자 인증(또는 개인 인증)을 수행한다.
또한, 인증서버(30)는 3D 얼굴 스캐너 장치(10)로부터 생체 인증정보(또는 생체인증 데이터)를 수신하고, 수신된 생체 인증정보와, 사용자의 생체외 인증정보(사용자를 인증하기 위한 인증정보로서, 생체 인증정보가 아닌 인증정보)를 결합하여 제3 인증정보를 생성한다. 그리고 인증서버(30)는 제3 인증정보를 사용자의 인증정보로서 등록한다. 즉, 데이터베이스(미도시)에 등록하여 저장한다. 이때, 인증서버(30)는 생체외 인증정보를 사전에 등록하여 저장해둔다. 그리고 수신한 생체 인증정보를 폐기한다. 따라서 생체외 인증정보와 제3 인증정보만 등록되어 저장된다.
또한, 인증서버(30)는 3D 얼굴 스캐너 장치(10)로부터 생체 인증정보를 수신하여, 저장된 인증정보를 통해 사용자 인증(또는 개인인증)을 수행한다. 즉, 인증서버(30)는 수신한 생체 인증정보를 저장된 생체외 인증정보와 결합하여 제3 인증정보를 생성한다. 그리고 생성된 제3 인증정보와, 등록된 제3 인증정보를 비교하여 사용자 인증을 수행한다.
즉, 인증서버(30)는 생체 인증정보와 생체외 인증정보 등 다중 요소를 이용하여 사용자 인증을 수행한다.
다음으로, 본 발명의 일실시예에 따른 디지털 영사식 무아레를 이용하여 3차원 얼굴 측정하거나 생체 데이터를 추출하는 기본적인 방법을 설명한다.
일반적으로, 가공물의 치수 검사 및 형상측정, 산업제품의 역 복원 등의 공학분야에서 사용되고 있는 3차원 자유 곡면 형상측정기술(profile measurement method)이 많이 사용되어지고 있다. 이 기술을 만족시키는 광학(optical physics)을 바탕으로 한 영사식 무아레 방법이 활발히 연구되고 있고 위상이동법(Phase shift method)을 사용함으로써 측정분해능(measurement resolution)이 향상되었다. 그러나 위상이동법은 2π 모호성(2 π-ambiguity)의 문제 즉 측정된 대상물 화상(image)의 연속한 두 픽셀의 값이 어느 이상의 높이차를 가지면 정확한 측정을 할 수 없다는 문제를 가진다.
이러한 문제를 해결하기 위하여, 도 9에서 보는 바와 같이, 본 발명에 따른 생체 인증정보 추출 장치는 컴퓨터를 이용한 격자의 피치 조절이 가능한 가상의 기준 격자를 만들고, 이것을 빔프로젝터를 이용하여 영사하는 방법을 사용한다. 즉 높이차를 가지는 얼굴을 측정하기 위한 영사식 무아레 측정법을 사용한다.
컴퓨터 모니터 상의 픽셀단위의 피치를 가지는 가상의 기준 격자(grating)를 기준 평면 위에 영사시켜 기준 격자 이미지를 획득하고, 4-프레임 위상이동법을 사용하기 위하여 피치의 1/4씩 이동된 가상의 기준 격자를 만들어 영사시킴으로써 기준 격자의 위상맵을 형성한다.
다음으로, 가상의 기준 격자를 측정 물체 위에 영사하고 기준격자 위상맵을 형성하기 위한 방식과 동일하게 측정 물체의 변환격자 위상맵을 얻는다.
또한, 다음으로, 얻어진 기준격자 위상맵과 변환격자 위상맵으로부터 무아레 위상도(또는 무아레 위상 다이어그램)를 얻는다. 이때, 간단한 화상 처리 알고리즘으로 기준격자 위상맵과 변환격자 위상맵으로부터 무아레 위상도를 얻는다. 즉, 2개의 위상맵을 연산처리하여 무아레 위상도를 얻는다. 무아레 위상도에는 무아레 무늬가 나타난다.
이때, 무아레 무늬의 광강도는 다음과 같다[비특허문헌 1,8].
[수학식 4]
Figure 112018111630274-pat00009
여기서, Ip(x, y)는 측정점의 광강도이고, I0(x, y)는 평균 광강도이고, γ(x, y)는 간섭무늬 가시도(visibility)이고, Δ는 위상 이동량이고, 그리고 φ(x, y)는 측정하고자 하는 위상이다.
위상 이동량(Δ)을 0, π/2, π, 3π/2가 되도록 이동시키고, 각 위상 이동마다 무아레 무늬 광 강도를 I1, I2, I3, I4라 하면, 무아레 위상(또는 무아레 초기 위상)은 다음과 같다.
[수학식 5]
Figure 112018111630274-pat00010
여기서, 수학식 5에 의해 얻어진 초기 위상 값은 -π 내지 +π 사이의 위상 값만을 갖는다. 그러나, 위상이동법에서 2π 모호성의 문제가 발생되는데, 스페클 간섭법(speckle interferometry)에 사용되는 2중 파장(2-wavelength)의 원리는 무아레 무늬의 차수 추출이 가능해지기 때문에 측정 물체의 높이 차에 무관하게 3차원 형상을 측정할 수 있다[비특허문헌 2].
무아레 무늬(간섭 패턴)에 대한 파장을 구하는 식은 다음과 같다[비특허문헌 5].
[수학식 6]
Figure 112018111630274-pat00011
여기서, λ는 파장이고, g는 가상 기준 격자의 피치이고, L은 카메라로부터 기준 평면까지의 거리이고, d는 카메라 광축과 프로젝터 광축 간의 거리이다.
또한, 측정 물체의 높이 h(x, y)는 다음과 같이 표현된다[비특허문헌 4].
[수학식 7]
Figure 112018111630274-pat00012
여기서, φ1p는 위상펼침과정을 거치지 않은 위상이동법에 의해 구한 위상 값이고, m은 무아레 무늬의 차수이고, h(x, y)는 측정 물체의 높이이다.
즉, φ1p는 위상을 정렬하지 않은 위상천이법(위상이동법)에 의해서 구한 위상값이다. 기준면에 패턴광이 영사되고 있는 영상에서 획득한 기준 위상(reference phase)에 의해서 생기는 값이다.
한편, 2중 파장 간섭의 원리를 사용하려면 두 개의 파장이 필요하므로, 피치(g1 및 g2)를 각각 갖는 가상 기준 격자들이 만들어, 각각에 대해 위상을 측정하면 영사식 무아레 방법에 사용할 수 있게 된다.
피치 g1 및 g2를 갖는 가상 격자를 사용해서 얻어진 위상도(위상 다이어그램)를 사용하여 맥놀이 효과(beats effect)를 얻는 방법은 다음과 같다.
[수학식 8]
Figure 112018111630274-pat00013
여기서, λ12 = λ1λ2 /(λ2-λ1)는 맥놀이(beats) 현상에 의해 형성된 파장이고, φ12는 맥놀이 현상으로 형성된 파장을 기준으로 표현된 위상이다.
수학식 8에서 g1과 g2의 피치 비를 적절하게 조절함으로써, 매우 큰 등가 파장을 사용하여 측정한 것과 같은 효과를 얻을 수 있다.
측정 물체의 높이를 두 개의 파장(λ1과 λ12)으로 나타내면 단파장(짧은 파장)을 기준으로 하는 무아레 무늬 위상 차수(m)를 추측할 수 있다.
[수학식 9]
Figure 112018111630274-pat00014
[수학식 10]
Figure 112018111630274-pat00015
무아레 차수(m)는 수학식 7에 적용하여 측정 물체의 높이를 구하게 된다.
다음으로, 본 발명의 3D 얼굴 스캐너 장치(10)에 의해 수행되는 3D 얼굴 인식을 통한 생체 인증정보 추출 방법을 도 10 및 도 11을 참조하여 보다 구체적으로 설명한다.
도 10 또는 도 11에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 3D 얼굴 인식을 통한 생체 인증정보 추출 방법은 (a) 제1 또는 제2 기준격자 위상맵을 형성하는 단계(S11, S12), (b) 제1 또는 제2 변환격자 위상맵을 획득하는 단계(S21, S22), (c) 제1 또는 제2 무아레 위상도를 획득하는 단계(S31, S32), (d) 제1 또는 제2 무아레 무늬의 위상을 획득하는 단계(S41, S42), (e) 맥놀이 무아레 위상도를 구하는 단계(S50), 및, 무아레 무늬의 차수(m)와 3차원 높이(h)를 검출하는 단계(S60)로 구성된다.
먼저, 제1 또는 제2 기준격자 위상맵을 형성한다(S11, S21).
즉, 제1 피치 g1을 가지는 가상의 기준격자를 기준평면 위에서 영사시켜 기준격자 이미지를 획득하고, 해당 피치 g1의 1/4씩 이동된 가상 기준격자를 만들어 영사시킴으로써 기준격자의 위상맵을 형성한다.
또한, 제2 피치 g2를 가지는 가상의 기준격자를 이용하여 기준격자 이미지를 획득하고, 제2 기준격자의 위상맵을 형성한다.
이때, 제1 피치 g1 및 제2 피치 g2 는 서로 다른 크기를 갖는다.
다음으로, 제1 또는 제2 변환격자 위상맵을 획득한다(S21, S22).
즉, 가상의 기준 격자를 얼굴(측정물체) 위에 영사하고, 기준격자 위상맵을 형성하기 위한 단계(S11, S21)와 동일하게 얼굴의 변환격자 위상맵을 얻는다.
다음으로, 제1 또는 제2 기준격자 위상맵과 제1 또는 제2 변환격자 위상맵으로부터 제1 또는 제2 무아레 위상도(또는 무아레 위상 다이어그램)를 획득한다(S31, S32).
즉, 제1 기준격자 위상맵과 제1 변환격자 위상맵으로부터 제1 무아레 위상도를 획득하고, 제2 기준격자 위상맵과 제2 변환격자 위상맵으로부터 제2 무아레 위상도를 획득한다.
다음으로, 제1 또는 제2 무아레 위상도에 해당하는 제1 또는 제2 무아레 무늬의 위상을 획득한다(S41, S42).
즉, 각 위상 이동마다 무아레 무늬 광강도 I1, I2, I3, I4을 구하고, 앞서 수학식 5를 이용하여 무아레 무늬의 위상을 산출한다.
다음으로, 제1 및 제2 무아레 무늬의 위상으로부터 맥놀이 무아레 위상도를 구한다(S50).
즉, 앞서 구한 제1 및 제2 무아레 위상도 또는 무늬 위상을 이용하여, 맥놀이 위상도를 구한다. 이때, 앞서 수학식 8을 적용한다. 즉, 수학식 8을 이용하여 맥놀이 현상의 위상 φ12 를 구한다.
다음으로, 무아레 무늬의 차수(m)를 검출하고(S61), 3차원 높이(h)를 검출한다(S62). 무아레 무늬의 차수(m)와 3차원 높이(h)를 얼굴인식 기반 생체 인증정보로 활용된다.
먼저, 맥놀이 무아레 위상도로부터 구해지는 파장 λ12과 위상 φ12을 이용하여, 무아레 무늬의 차수(m)를 검출한다. 이때, 앞서 수학식 9를 적용하여 무아레 무늬의 차수(m)를 산출한다.
다음으로, 무아레 차수(m)을 수학식 7에 적용하여 얼굴의 높이(h)를 구한다.
무아레 차수 m 과 높이값 h를 사용자 개인의 생체 데이터로 적용하여 생체 인증 과정에 사용한다.
다음으로, 본 발명의 일실시예에 따른 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법을 도 12 내지 도 13를 참조하여 설명한다.
2중 파장 영사식 무아레 방식에 의해 추출된 무아레 차수 m 과 높이값 h를 사용자 개인의 생체 데이터로 적용하여 생체 인증 과정에 사용한다. 특히, 본 발명은 생체인증 방식으로는 생체 기반으로 하는 다중 요소 인증 기술을 제안한다.
도 12에서 보는 바와 같이, 먼저, 사용자 A가 처음 회사에 입사할 때 등록센터에서 무아레 현상을 이용한 3D 얼굴 스캐너 장치(10)를 통하여 자신의 얼굴의 생체 정보인 고유한 제1 인증정보(DATA 1)를 추출하고 그 값을 인증서버(또는 회사 서버)(30)로 전송한다(S110).
제1 인증정보(DATA 1)는 무아레 현상을 이용한 생체인증 데이터로서, 앞서 설명한 무아레 무늬 차수(m)과 3D 높이값(h) 등으로 구성된다.
다음으로, 인증서버(또는 회사 서버)(30)는 사원 A(또는 사용자 A)에 고유한 제2 인증정보(DATA 2, 사원 번호 또는 사원을 인증하는 데이터 등, 여기서는 기존의 얼굴 인식으로 인해 생성된 간단한 키 값)를 만들어 발급한 후, 인증서버(30)의 데이터베이스(DB)에 사전에 저장한다(S120).
즉, 상기 제2 인증정보는 사원 번호 또는 사원 인증 데이터와 같은 지식 기반의 인증정보를 포함한다. 바람직하게는, 제2 인증정보는 얼굴 인식 값에 의해 생성되는 키 값일 수 있다. 일례로서, 눈과 눈 사이의 거리, 눈과 코 끝과의 삼각형을 이루는 거리, 또는 이들 거리의 비율 등을 제2 인증정보로 사용될 수 있다.
다음으로, 인증서버(30)는 제1 인증정보(DATA 1)과 제2 인증정보(DATA 2)를 혼합하여 제3 인증정보(DATA 3)을 생성한다(S130). 일례로서, 해시 함수, 일방향 알고리즘과 같은 것을 사용하여 생성한다. 그리고 생성된 제3 인증정보(DATA 3)를 인증서버(30)에 저장하고, 사용자 A의 얼굴을 사용하여 생성된 제1 인증정보(DATA 1)를 파기한다.
따라서, 제2 인증정보(DATA 2) 및 제3 인증정보(DATA 3)만이 인증서버(30)의 DB에 저장된다.
다음으로, 사용자 A가 사용자 인증을 위해, (인증 센터의) 3D 얼굴 스캐너 장치(10)는 카메라(11)를 통해 기존 얼굴 인식으로 제2 인증정보(DATA 2')를 생성하는 동시에, 매번 무아레를 사용하여 3D 얼굴 기반의 제1 인증정보(DATA 1')를 생성하여, 인증서버(30)로 전송한다(S140).
예를 들어, 사용자 A가 매일 아침 출근하면, 출입문 인식 카메라 또는 3D 얼굴 스캐너 장치(10)에서 먼저 기존 방식의 얼굴 인식으로 제2 인증정보(DATA 2')를 생성함과 동시에, 매번 자신의 얼굴을 무아레를 이용한 얼굴 인식 방법을 사용하여 고유한 제1 인증정보(DATA 1')을 생성한다.
다음으로, 인증서버(30)는 수신한 제1 인증정보(DATA 1')와 제2 인증정보(DATA 2')를 결합하여 제3 인증정보(DATA 3')를 생성한다. 그리고 생성된 제3 인증정보(DATA 3')와, 저장된 제3 인증정보(DATA 3)를 비교하여 사용자 인증을 수행한다(S150).
즉, 생성된 첫 DATA 2'를 통해 회사 서버의 DB에 있는 A의 정보 위치에 있는 DATA 3 값이 검색된다. DATA 2'와 새로 생성된 DATA 1'을 사용하여 DATA 3'을 생성하고, 회사 서버 DB로부터 검색한 DATA 3과 비교한 후, 결과가 동일하면 사용자 A를 인증하고, 결과가 상이하면 다른 사람으로 인식하여 인증하지 않는다.
다음으로, 본 발명의 일실시예에 따른 생체 인식을 사용한 프로토콜 인증 과정을 설명한다.
본 발명에 따른 과정에서 보안 사용자 인증을 위해 생체 인증이 수행되고, FIDO의 UAF를 사용하여 생체 인증이 수행된다.
먼저, 등록 프로토콜에 대하여 설명한다.
(1) 사용자는 회사의 사용자 생체 정보 인식 장치를 갖는 회사(BCDS)에서 생체 인식 장치를 통해 사용자 인증을 위해 생체 정보(Data 1 및 Data 2)를 준비하도록 CA에 인증 초기화 메시지를 전송한다.
(2) BCDS는 사용자에게 문제(challenge)를 포함하는 FIDO 인증 요청 메시지(인증_요청)를 보낸다.
(3) 사용자는 BCDS 요청에 따라 사용자의 생체 인식(안면 인식)을 통해 생체 인증을 수행한다.
(4) 사용자는 생체 인증 후 무아레 패턴(PriKey_Mor_U)을 사용하여 3D 얼굴 인식 데이터에 의해 생성된 사용자의 비밀 키(private key)를 사용하여 응답을 생성하고, 이 응답을 포함하는 메시지(인증_응답)를 BCDS에 보낸다.
(5) BCDS는 사용자의 공개 키(PubKey_Fa_U: 2D 얼굴 인식 데이터)를 사용하여 사용자의 응답을 검증하고, 이상이 없으면 인증 결과 메시지(인증_결과)를 보낸다.
(6) 사용자는 이 인증_결과를 확인하고, CA와 사용자 간에 대칭 키(비밀 키: PriKey_Mor_U)를 통해 인증 정보(인증_정보)를 암호화하고, 이를 BCDS로 보낸다.
(7) CA는 메시지를 BCD로 보내어 전송될 인증 정보(인증_정보)의 진본 여부를 확인한다.
(8) BCDS는 전달될 인증_정보를 점검하고, 이상이 없는 경우 사용자는 인증_결과에 유효한 결과를 포함하는 것에 의해 적절한 결과를 CA에 보낸다.
다음으로, 무아레 줄무늬 실험에 대하여 설명한다.
이 실험은 무아레 패턴을 사용한 얼굴 인식을 위한 초기 실험이며, 이것은 두 개의 그리드를 사용하여 무아레 패턴을 만든 다음 데이터를 추출하는 실험 단계이다. 도 15은 무아레 줄무늬를 생성하는 실험 장비이다.
무아레 줄무늬의 생성 과정을 살펴보자. 일반적인 무아레 줄무늬가 비간섭성 광, 즉 태양 광, 형광등 또는 백열등에 의해 생성된다. 그러나 훨씬 정확한 줄무늬를 만들기 위해 실험은 레이저를 사용하였다. 레이저의 광은 빔 익스팬더(beam expander)의 작은 구멍을 통해 확장된다. 속력이 빠른 광은 두 개의 상이한 격자를 통과하여 간섭을 일으켜 줄무늬를 생성한다. 생성된 줄무늬는 CCD 카메라로 촬영하고, 컴퓨터는 이미지를 분석한다. 무아레 줄무늬를 나타내는 데이터는 컴퓨터 스캐닝의 무아레 해석 모듈에 의해 얻어진다.
실험에서, 기둥 형상 격자가 사용되었고 기둥 격자를 통과하는 물체는 직사각형 좌표계(x, y, z) 또는 원통형 좌표계(ρ, φ, z)로 표시된다. 회절된 광의 길이의 정수비 z' = 2P0 2/λ는 자체 이미지를 생성할 수 있으며, 만약 물체가 A(x, y)로부터 거리(z)에 있는 것으로 측정되면, 회절 측이 결정된다.
[수학식 11]
Figure 112018111630274-pat00016
이 식에서, C는 다음과 같다.
[수학식 11-2]
Figure 112018111630274-pat00017
이 식이 원통형 좌표계로 변환되면 다음과 같이 된다:
[수학식 12]
Figure 112018111630274-pat00018
이 식에서 C는 다음과 같다.
[수학식 12-2]
Figure 112018111630274-pat00019
이 식에 의해 생성된 값(ρ', Φ', z')들은 무아레 줄무늬의 방사방향 위치, 각도 위치 및 광 세기를 측정할 수 있게 하는 (도 16)에서와 같은 3차원 축 값이다. 이들 값은 광의 간섭 및 회절 특성을 사용하여 생성된 격자의 위치 및 각도 변화에 의해 변할 수 있다.
실험 조건이 최소로 변하는 경우에도 절대적으로 동일한 결과는 없으며 완벽하게 대응하는 실험 조건만이 동일한 값을 제공한다.
3차원 축으로 측정된 데이터 값은 매우 작은 숫자로 구성되어서 결과의 뚜렷한 부분은 자연 난수(natural random number)로 사용되도록 선택된다. 생성된 난수는 암호화 시스템에 필요한 키 값으로 재-생성된다. 예를 들어, 결과로부터 난수는 XOR 또는 블록 암호화 알고리즘 기반의 난수 생성 알고리즘을 사용하여 실제 암호화 시스템의 키 값으로 생성된다. 이 실험을 통해 암호화에 사용될 데이터 값을 계산할 수 있음이 입증되었다(도 16).
현재의 얼굴 인식 기법은 2 차원 얼굴 이미지에 기초하여 데이터를 추출한다. 2D 이미지에서 인식률은 다양한 파라미터에 따라 크게 변한다. 인식 방법에 따라 많은 제약이 있다. 예를 들어 사용자가 다른 자세를 취하는 경우 등록된 얼굴 데이터베이스와 매칭하는 한계가 분명해진다. 그리하여, 대표적인 자세가 등록되고 적절한 대응점이 매칭된다. 이 경우, 인식률이 낮아진다.
이와 달리, 3D 얼굴 인식은 깊이 정보를 2D 이미지에 추가하여 사람 얼굴 이미지에 존재하는 방대한 양의 내부 값과 추가적인 변수로 2D 얼굴 인식의 많은 단점을 극복할 수 있고, 이로 보다 정확한 인식 결과를 얻을 수 있다.
본 발명에서는, 사용자의 얼굴을 3D로 인식하는데 무아레 기법을 사용하는 것을 설명하는데, 이것은, 2D와 달리, 얼굴의 깊이 및 곡선과 같은 정보를 측정하기 때문에 안전하고 정확한 사용자 인식이 가능하고, 무아레 기법을 사용하여 사용자 얼굴을 인식하는데 드는 설치 비용이 현재 존재하는 얼굴 인식에 사용되는 장치에 비해 훨씬 더 낮다는 장점이 있다.
본 발명에서는, 사용자 인증을 위해 무아레 기법을 사용하여 고유한 생체 정보를 추출하고, 이에 기초하여, 서버에 생체 정보를 저장함이 없이 다중 요소 인증 기술을 기반으로 사용자를 인증하는 과정을 설명하였다. 무아레 기법을 이용한 얼굴 인식은 보다 안전하고, 기존의 얼굴 인식보다 더 높은 엔트로피 값을 추출할 수 있으며, 이 값을 사용자 인증을 하는데 사용함으로써 더 나은 보안을 제공한다. 또한, 본 발명에 따른 인증 방법은 고유한 사용자 신체 정보가 서버에 저장되어 있는 기존의 생체 인증에서 발생하는 생체 정보 유출 문제를 보완하기 위해 인증 과정에서 인증에 사용된 신체 정보를 삭제하여 사용자 신체 정보의 무결성과 기밀성을 보장한다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 3D 얼굴 스캐너 장치 11 : 프로젝터
12 : 카메라 13 : 제어부
30 : 인증서버

Claims (8)

  1. 프로젝터와 카메라를 통해 사용자 얼굴을 스캔하여 생체 인증정보를 추출하는 3D 얼굴 스캐너 장치, 및, 사용자의 인증정보를 저장하여 사용자 인증을 수행하는 인증서버에 의해 수행되는, 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법에 있어서,
    (A) 상기 3D 얼굴 스캐너 장치는 사용자의 얼굴을 스캔하여 사용자의 제1 인증정보를 추출하여 인증정보의 등록을 위하여 상기 인증서버로 전송하는 단계;
    (B) 상기 인증서버는 제2 인증정보를 생성하여 등록하는 단계;
    (C) 상기 인증서버는 상기 제1 인증정보 및 제2 인증정보를 결합하여 제3 인증정보를 생성하여 등록하고, 상기 제1 인증정보를 파기하는 단계;
    (D) 상기 3D 얼굴 스캐너 장치는 사용자 얼굴을 생성하여 제1 인증정보를 추출하여 사용자 인증을 위하여 상기 인증서버로 전송하는 단계; 및,
    (E) 상기 인증서버는 수신한 제1 인증정보와 등록된 제2 인증정보로 제3 인증정보를 생성하고, 생성된 제3 인증정보와 등록된 제3 인증정보를 대비하여 사용자 인증을 수행하는 단계를 포함하는 것을 특징으로 하는 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법.
  2. 제1항에 있어서,
    상기 인증서버는 일방향 함수를 이용하여 상기 제1 및 제2 인증정보로부터 상기 제3 인증정보를 생성하는 것을 특징으로 하는 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법.
  3. 제1항에 있어서, 상기 3D 얼굴 스캐너 장치는,
    (a) 제1 피치를 가지는 제1 기준격자를 기준평면 위에 영사시켜 제1 기준격자 위상맵을 획득하고, 제2 피치를 가지는 제2 기준격자를 기준평면 위에 영사시켜 제2 기준격자 위상맵을 획득하는 단계;
    (b) 상기 제1 피치를 가지는 제1 기준격자를 사용자의 얼굴에 영사시켜 제1 변환격자 위상맵을 획득하고, 상기 제2 피치를 가지는 제2 기준격자를 사용자의 얼굴에 영사시켜 제2 변환격자 위상맵을 획득하는 단계;
    (c) 상기 제1 또는 제2 기준격자 위상맵과 상기 제1 또는 제2 변환격자 위상맵으로부터 제1 또는 제2 무아레 위상도를 획득하는 단계;
    (d) 상기 제1 또는 제2 무아레 위상도로부터 제1 또는 제2 무아레 무늬의 위상을 획득하는 단계; 및,
    (e) 상기 제1 또는 제2 무아레 무늬의 위상을 이용하여 맥놀이 무아레 위상도를 획득하는 단계; 및,
    (f) 무아레 무늬의 차수와 3차원 높이를 검출하고, 상기 무아레 무늬 차수와 3차원 높이를 3차원 얼굴의 생체 인증정보로 설정하는 단계를 포함하는 방법을 수행하는 것을 특징으로 하는 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법.
  4. 제3항에 있어서,
    상기 (a)단계 또는 (b)단계에서, 상기 제1 또는 제2 피치의 1/4씩 이동된 가상 기준격자를 만들어 영사시켜 기준격자의 위상맵 또는 변환격자 위상맵을 형성하는 것을 특징으로 하는 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법.
  5. 제3항에 있어서,
    상기 (d)단계에서, 상기 제1 또는 제2 무아레 무늬의 위상을 다음 [수식 1]에 의해 산출되는 것을 특징으로 하는 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법.
    [수식 1]
    Figure 112018111630274-pat00020

    단, φ(x, y)는 제1 또는 제2 무아레 무늬의 위상이고, I1, I2, I3, I4는 위상 이동량(Δ)을 0, π/2, π, 3π/2가 되도록 이동시킬 때의 무아레 무늬 광 강도임.
  6. 제3항에 있어서,
    상기 무아레 무늬의 차수는 다음 [수식 2]에 의해 계산되는 것을 특징으로 하는 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법.
    [수식 2]
    Figure 112018111630274-pat00021

    단, λ12 = λ1λ2 /(λ2-λ1)이고, λ1, λ2 는 각각 제1 및 제2 무아레 무늬의 파장이고, φ12는 맥놀이 무아레 위상도의 위상이고, φ1p는 위상펼침과정을 거치지 않은 위상이동법에 의해 구한 위상 값임.
  7. 제6항에 있어서,
    상기 무아레 무늬의 차수는 다음 [수식 3]에 의해 계산되는 것을 특징으로 하는 무아레 방식을 이용한 3D 얼굴 인식 기반 사용자 인증 방법.
    [수식 3]
    Figure 112018111630274-pat00022

    단, h(x,y)는 사용자 얼굴의 높이이고, λ는 제1 무아레 무늬의 파장이고, φ1p는 위상펼침과정을 거치지 않은 위상이동법에 의해 구한 위상 값임.
  8. 제1항 내지 제7항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020180137643A 2018-11-09 2018-11-09 무아레 방식을 이용한 3d 얼굴 인식 기반 사용자 인증 방법 KR102089752B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180137643A KR102089752B1 (ko) 2018-11-09 2018-11-09 무아레 방식을 이용한 3d 얼굴 인식 기반 사용자 인증 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180137643A KR102089752B1 (ko) 2018-11-09 2018-11-09 무아레 방식을 이용한 3d 얼굴 인식 기반 사용자 인증 방법

Publications (1)

Publication Number Publication Date
KR102089752B1 true KR102089752B1 (ko) 2020-03-17

Family

ID=70004116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180137643A KR102089752B1 (ko) 2018-11-09 2018-11-09 무아레 방식을 이용한 3d 얼굴 인식 기반 사용자 인증 방법

Country Status (1)

Country Link
KR (1) KR102089752B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102682571B1 (ko) 2024-02-15 2024-07-08 주식회사 키퍼스 얼굴 인식 기반 성인 여부 인증을 통한 무인 키오스크의 출입 제어 방법, 장치 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100034843A (ko) * 2008-09-25 2010-04-02 (주)엠엑스알커뮤니케이션즈 3차원 얼굴 인식 보안 장치 및 그 방법
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100034843A (ko) * 2008-09-25 2010-04-02 (주)엠엑스알커뮤니케이션즈 3차원 얼굴 인식 보안 장치 및 그 방법
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템

Non-Patent Citations (16)

* Cited by examiner, † Cited by third party
Title
Alamri, A.: Nature-inspired multimedia service composition in a media cloud-based healthcare environment. Clust. Comput. 19(4), 2251-2260 (2016)
Amidror, I.: The Theory of the Moire Phenomenon. Springer, New York (2000)
Avilaq, A.J., Rezaie, A.H.: 3D race reconstruction using modified shadow Moire. In: IEEE (2013)
Han, K.H., Bae, W.S.: Proposing and verifying a security-enhanced protocol for IoT-based communication for medical devices. Clust. Comput. 19(4), 2335-2341 (2016)
Harding, K.G., Boehnlein, A.: Absolute measurement using field shifting moire. SPIE 1614, 259-264 (1992)
Hernㅱndez, G., Leㆃn, R., Urtubia, A.: Detection of abnormal processes of wine fermentation by support vector machines. Clust. Comput. 19(3), 1219-1225 (2016)
http://apachebooster.com/kb/what-is-biometrics-and-what -are-its-latest-and-future-inventions/
http://www.nature.com/nphys/journal/v4/n5/fig_tab/ nphys952_F1.html
https://fidoalliance.org/about/overview/
Jang, S., Cho, J.H., et al.: Optics, Daewoong
Kang, J.S.: Characterization of Fresnel images of an elongated circular grating. Optik 113(7), 285-292 (2002)
Machani, S., Philpott, R., Srinivas, S., Kemp, J., Hodges, J.: FIDO UAF Architectural Overview, FIDO Alliance (2014)
Oh, S.Y., Chung, K.: Vocabulary optimization process using similar phoneme recognition and feature extraction. Clust. Comput. 19(3), 1683-1690 (2016)
OSK Daegu-Gyeongbuk branch: Introduction to Optics (2003)
Sciammarella, C.A.: The moire method-a review. Exp. Mech. 22(11), 418-433 (1982)
Srinivas, S., Balfanz, D., Tiffany, E.: Universal 2nd Factor(U2F) Overview, Version 1.0-rd-20140209, FIDO Alliance (2014)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102682571B1 (ko) 2024-02-15 2024-07-08 주식회사 키퍼스 얼굴 인식 기반 성인 여부 인증을 통한 무인 키오스크의 출입 제어 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
Hazer et al. A review of single and multiple optical image encryption techniques
Vilardy et al. Improved decryption quality and security of a joint transform correlator-based encryption system
Zafari et al. Optical encryption with selective computational ghost imaging
Singh Hybrid structured phase mask in frequency plane for optical double image encryption in gyrator transform domain
Wang et al. Single-intensity-recording optical encryption technique based on phase retrieval algorithm and QR code
KR102089752B1 (ko) 무아레 방식을 이용한 3d 얼굴 인식 기반 사용자 인증 방법
Muniraj et al. Interferometry based multispectral photon-limited 2D and 3D integral image encryption employing the Hartley transform
WO2019021206A3 (en) NON-CLONABLE OPTICAL PHYSICAL FUNCTION BASED ON A MULTIMODE OPTICAL WAVEGUIDE
Rajput et al. Optical multimodal biometric encryption that uses digital holography
KR102079201B1 (ko) 디지털 영사 무아레 기반 3d 얼굴 인식을 통한 생체 인증정보 추출 방법
Kumar et al. Optical voice information hiding using enhanced iterative algorithm and computational ghost imaging
CN102323742B (zh) 一种用于动态密码令牌时钟校准系统及方法
Guo et al. Optical double image encryption employing a pseudo image technique in the Fourier domain
Kang et al. Safe and convenient personal authentication method using Moiré 3D authentication based on biometric authentication
Omidi et al. Single-shot 4-step phase-shifting multispectral fringe projection profilometry
Monaghan et al. Role of phase key in the double random phase encoding technique: an error analysis
Wu et al. Optical secure image verification system based on ghost imaging
Verma et al. Securing information using optically generated biometric keys
Yang et al. Enhanced password processing scheme based on visual cryptography and OCR
Yuan et al. Optical authentication technique based on interference image hiding system and phase-only correlation
Verma et al. Digital holographic-based cancellable biometric for personal authentication
Bornman et al. Random number generation and distribution out of thin (or thick) air
Wang et al. Encoded-image-based authentication utilizing diffractive-imaging scheme and secret-key-assisted phase retrieval
Song et al. Three-dimensional image authentication using binarized images in double random phase integral imaging
Wang et al. Single-beam image encryption using spatially separated ciphertexts based on interference principle in the Fresnel domain

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181109

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200227

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200310

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200311

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230110

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240110

Start annual number: 5

End annual number: 5