KR102444907B1 - 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램 - Google Patents

얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102444907B1
KR102444907B1 KR1020210180070A KR20210180070A KR102444907B1 KR 102444907 B1 KR102444907 B1 KR 102444907B1 KR 1020210180070 A KR1020210180070 A KR 1020210180070A KR 20210180070 A KR20210180070 A KR 20210180070A KR 102444907 B1 KR102444907 B1 KR 102444907B1
Authority
KR
South Korea
Prior art keywords
data
image
facial feature
feature vector
state value
Prior art date
Application number
KR1020210180070A
Other languages
English (en)
Inventor
나동진
최진규
Original Assignee
주식회사 페이스테그
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 페이스테그 filed Critical 주식회사 페이스테그
Priority to KR1020210180070A priority Critical patent/KR102444907B1/ko
Application granted granted Critical
Publication of KR102444907B1 publication Critical patent/KR102444907B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Bioethics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램에 관한 것이다.
본 발명의 실시예에 따르면, 데이터 송신 측에서 접근 관리 대상인 데이터에 얼굴 특징 벡터 및 상태값을 결합하여 전송하고, 데이터 수신 측에서 얼굴 특징 벡터 및 상태값에 기초하여 데이터 접근 허여 여부를 결정하도록 구성되어, 네트워크를 통한 데이터 전송의 보안성을 향상시키도록 구성된 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램이 개시된다.

Description

얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램 {Data access management method using facial feature vectors, data access management apparatus, and computer program therefor}
본 발명은 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램에 관한 것으로서, 데이터 송신 측에서 접근 관리 대상인 데이터에 얼굴 특징 벡터 및 상태값을 결합하여 전송하고, 데이터 수신 측에서 얼굴 특징 벡터 및 상태값에 기초하여 데이터 접근 허여 여부를 결정하도록 구성되어, 네트워크를 통한 데이터 전송의 보안성을 향상시키도록 구성된 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램에 관한 것이다.
데이터 보안을 위해 얼굴 정보를 활용한 기술들이 제안된 바 있다.
일예로, 대한민국 공개특허 10-2007-0074894 (2007년07월18일)는, i) 원본 자료에 대한 암호화 명령을 받아들이면, 프로그램은 촬상수단으로부터 사용자의 얼굴화상 데이터를 획득하고, 상기 원본 자료와 얼굴화상 정보를 소정의 방식으로 부호화하여 암호화된 자료를 생성함으로써, 상기 암호화된 자료 형태로 원본 자료가 존재하도록 하며, ii) 암호화된 자료에 대한 복호화 명령을 받아들이면, 상기 프로그램은 촬상수단으로부터 복호화 명령을 인가한 이용자의 얼굴화상 데이터를 획득한 후, 상기 암호화된 자료를 복호화하고 복호화된 데이터에서 복원된 얼굴화상과 복호화 명령 인가 후 획득한 얼굴화상이 동일한지를 판단하여, 두 얼굴화상이 동일한 것으로 판단되는 경우 복호화된 데이터로부터 상기 원본 자료를 복원하는 구성을 제안하였다.
또다른 예로, 대한민국 등록특허 10-0564372 (2006년03월20일)는, 자동현금인출기(ATM 또는 CD) 전면에 부착된 카메라로부터 사용자의 얼굴 영상이 입력되면 입력된 영상이 정면얼굴 영상인지 판단하고 상기 판단결과에 의해 자동현금인출기의 사용을 제어하는 한편, 정면얼굴로 판단된 영상에 대해 암호화과정을 실시함으로써 사용자의 생체정보를 보호하는 구성을 제안하였다.
그런데, 상기 종래기술들은 얼굴 정보를 데이터 암호화/복호화를 위한 기초 정보로 활용하기는 하였지만, 얼굴 이미지의 상태(예, 얼굴의 보형물 착용 상태, 얼굴의 촬영 각도 상태, 얼굴의 이미지 품질 상태 등)를 감안한 데이터 접근 관리에 대해서는 착안하지는 않았다.
또한 상기 종래기술들은 원격지에 위치하는 사용자 상호 간에 데이터를 송신/수신하는 과정에서 얼굴 정보를 데이터 접근 관리에 활용하는 구성을 제안하지는 않았다.
대한민국 공개특허 10-2007-0074894 (2007년07월18일) 대한민국 등록특허 10-0564372 (2006년03월20일)
본 발명은 상기와 같은 문제점을 감안하여 안출한 것으로서, 데이터 송신 측에서 접근 관리 대상인 데이터에 얼굴 특징 벡터 및 상태값을 결합하여 전송하고, 데이터 수신 측에서 얼굴 특징 벡터 및 상태값에 기초하여 데이터 접근 허여 여부를 결정하도록 구성되어, 네트워크를 통한 데이터 전송의 보안성을 향상시키도록 구성된 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
상기 목적을 감안한 본 발명의 일 측면에 따르면, 데이터 송신 측의 데이터 접근 관리 장치에 의해 실행되는 데이터 접근 관리 방법으로서, 1) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제1 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는 단계; 2) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제1 이미지에 포함된 얼굴의 상태값을 추출하는 단계- 상기 상태값은 제1 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는데 영향을 미치는 시각적 요소에 관한 상태값임-; 및 3) 접근 관리 대상인 데이터에 상기 얼굴 특징 벡터 및 상태값을 결합한 제1 데이터를 생성하는 단계;를 포함하여 구성된 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법이 개시된다.
본 발명의 또다른 일 측면에 따르면, 데이터 수신 측의 데이터 접근 관리 장치에 의해 실행되는 데이터 접근 관리 방법으로서, 11) 제1 데이터로부터 얼굴 특징 벡터 및 상태값을 추출하는 단계- 상기 제1 데이터는 접근 관리 대상인 데이터에 제1 이미지로부터 추출한 얼굴 특징 벡터 및 상태값을 결합한 것임-; 12) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제2 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는 단계; 13) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제2 이미지에 포함된 얼굴의 상태값을 추출하는 단계- 상기 상태값은 제2 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는데 영향을 미치는 시각적 요소에 관한 상태값임-; 14) 제1 데이터로부터 추출한 상태값과 제2 이미지로부터 추출한 상태값을 상호 비교하는 단계; 15) 제1 데이터로부터 추출한 상태값과 제2 이미지로부터 추출한 상태값이 일치 조건을 충족하는 경우, 제1 데이터로부터 추출한 얼굴 특징 벡터와 제2 이미지로부터 추출한 얼굴 특징 벡터를 상호 비교하는 단계; 및 16) 제1 데이터로부터 추출한 얼굴 특징 벡터와 제2 이미지로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는 경우, 상기 제1 데이터에 포함된 접근 관리 대상 데이터에 접근을 허여하는 단계;를 포함하여 구성된 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법이 개시된다.
본 발명의 또다른 일 측면에 따르면, 하나 이상의 명령을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하고, 상기 프로세서는, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제1 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하고; 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제1 이미지에 포함된 얼굴의 상태값을 추출하며- 상기 상태값은 제1 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는데 영향을 미치는 시각적 요소에 관한 상태값임-; 접근 관리 대상인 데이터에 상기 얼굴 특징 벡터 및 상태값을 결합한 제1 데이터를 생성하는 것;을 특징으로 하는 데이터 접근 관리 장치가 개시된다.
본 발명의 또다른 일 측면에 따르면, 하나 이상의 명령을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하고, 상기 프로세서는, 제1 데이터로부터 얼굴 특징 벡터 및 상태값을 추출하고- 상기 제1 데이터는 접근 관리 대상인 데이터에 제1 이미지로부터 추출한 얼굴 특징 벡터 및 상태값을 결합한 것임-; 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제2 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하며; 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제2 이미지에 포함된 얼굴의 상태값을 추출하고- 상기 상태값은 제2 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는데 영향을 미치는 시각적 요소에 관한 상태값임-; 제1 데이터로부터 추출한 상태값과 제2 이미지로부터 추출한 상태값을 상호 비교하며; 제1 데이터로부터 추출한 상태값과 제2 이미지로부터 추출한 상태값이 일치 조건을 충족하는 경우, 제1 데이터로부터 추출한 얼굴 특징 벡터와 제2 이미지로부터 추출한 얼굴 특징 벡터를 상호 비교하고; 제1 데이터로부터 추출한 얼굴 특징 벡터와 제2 이미지로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는 경우, 상기 제1 데이터에 포함된 접근 관리 대상 데이터에 접근을 허여하는 것;을 특징으로 하는 데이터 접근 관리 장치가 개시된다.
본 발명의 또다른 일 측면에 따르면, 데이터 접근 관리 장치에서 상기 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법을 실행하도록 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램이 개시된다.
이와 같은 본 발명은, 데이터 송신 측에서 접근 관리 대상인 데이터에 얼굴 특징 벡터 및 상태값을 결합하여 전송하고, 데이터 수신 측에서 얼굴 특징 벡터 및 상태값에 기초하여 데이터 접근 허여 여부를 결정하도록 구성되어, 네트워크를 통한 데이터 전송의 보안성을 향상시키는 장점이 있다.
특히, 본 발명은, 얼굴 이미지의 상태(얼굴의 보형물 착용 상태, 얼굴의 촬영 각도 상태, 얼굴의 이미지 품질 상태)를 데이터 접근 관리에 활용함으로써, 정확한 데이터 접근 관리가 가능하다는 장점이 있다.
도 1은 본 발명의 실시예에 따른 데이터 접근 관리 장치의 전체 연결 구성도이다.
도 2는 본 발명의 실시예에 따른 데이터 접근 관리 장치의 구성도이다.
도 3은 본 발명의 실시예에 따른 데이터 접근 관리 장치의 하드웨어 관점의 구성도이다.
도 4는 본 발명의 실시예에 따른 데이터 구성의 일예를 나타낸 모식도이다.
도 5 내지 도 13은 본 발명의 실시예에 따른 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법을 설명하기 위한 모식도이다.
본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다. 따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안 된다.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다.
본 출원에서 사용한 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서에 기재된 구성요소 또는 이들의 조합이 존재하는 것을 표현하려는 것이지, 다른 구성요소 또는 특징이 존재 또는 부가될 가능성을 미리 배제하는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 데이터 접근 관리 장치의 전체 연결 구성도, 도 2는 본 발명의 실시예에 따른 데이터 접근 관리 장치의 구성도, 도 3은 본 발명의 실시예에 따른 데이터 접근 관리 장치의 하드웨어 관점의 구성도, 도 4는 본 발명의 실시예에 따른 데이터 구성의 일예를 나타낸 모식도이다.
본 실시예의 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법은, 데이터 송신 측에서 접근 관리 대상인 데이터에 얼굴 특징 벡터 및 상태값을 결합하여 전송하고, 데이터 수신 측에서 얼굴 특징 벡터 및 상태값에 기초하여 데이터 접근 허여 여부를 결정하도록 구성되어, 네트워크를 통한 데이터 전송의 보안성을 향상시키도록 구성된다.
접근 관리 대상인 데이터는 정보 보안의 목적에서 일반 사용자의 접근을 통제하고, 특정 사용자가 자신의 얼굴 이미지를 인증 수단으로 이용하여 접근이 허여되는 다양한 데이터(예, 이미지, 동영상, 텍스트, 음성 등)가 될 수 있다.
본 실시예의 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법은, 데이터 송신 측의 데이터 접근 관리 장치(100) 또는 데이터 수신 측의 데이터 접근 관리 장치(100')에서 실행한다.
데이터 송신 측의 데이터 접근 관리 장치(100)는 접근 관리 대상인 데이터에 얼굴 특징 벡터 및 상태값을 결합하여 전송하는 장치이다.
데이터 송신 측에서, 접근 관리 대상인 데이터에 결합되는 얼굴 특징 벡터 및 상태값은 제1 이미지(m1)로부터 추출하며, 제1 이미지(m1)는 수신 측에서 접근 허여 인증을 실행할 사용자의 얼굴이 포함된 이미지이다. 제1 이미지(m1)는 사용자 인터페이스 및/또는 통신 인터페이스를 통해 데이터 송신 측의 데이터 접근 관리 장치(100)에 입력되어 관리되는 것이다.
데이터 수신 측의 데이터 접근 관리 장치(100')는 얼굴 특징 벡터 및 상태값에 기초하여 접근 관리 대상인 데이터에 대해 접근 허여 여부를 결정하고, 사용자가 접근 관리 대상인 데이터에 접근하여 사용 가능하도록 하는 장치이다.
데이터 수신 측에서, 접근 허여 여부를 결정하기 위한 얼굴 특징 벡터 및 상태값은 제2 이미지(m2)로부터 추출하며, 제2 이미지(m2)는 수신 측에서 장치에 입력된 이미지로서 접근 허여 인증을 실행할 사용자의 얼굴이 포함된 이미지이다. 일예로, 제2 이미지(m2)는 데이터 수신 측의 데이터 접근 관리 장치(100')에 구비된 카메라(9)를 통해 촬영 입력될 수 있으며, 이는 수신 측에서 사용자의 얼굴을 실시간으로 촬영하여 인증하는 구성이므로 보안성 면에서 유리하다. 다른예로, 제2 이미지(m2)는 공지의 사용자 인터페이스를 통해 데이터 수신 측의 데이터 접근 관리 장치(100')에 입력될 수도 있다.
데이터 송신 측의 데이터 접근 관리 장치(100)와 데이터 수신 측의 데이터 접근 관리 장치(100')는 네트워크(1)를 통해 상호 연결된다. 네트워크(1)를 통한 상호 연결 과정에서 유선 또는 무선 통신 서비스를 제공하는 통상의 통신 서버(300)가 개재될 수 있다.
일예로, 데이터 송신 측의 데이터 접근 관리 장치(100) 또는 데이터 수신 측의 데이터 접근 관리 장치(100')는 각각의 장치에서 직접 이미지로부터 얼굴 특징 벡터와 상태값을 추출할 수 있다.
본 실시예의 데이터 접근 관리 장치(100 또는 100')는 기능적 관점에서, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여 제1 이미지(m1) 또는 제2 이미지(m2)에 포함된 얼굴의 얼굴 특징 벡터를 추출하는 얼굴 특징 벡터 추출 모듈(102), 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여 제1 이미지(m1) 또는 제2 이미지(m2)에 포함된 얼굴의 상태값을 추출하는 상태값 추출 모듈(104), 접근 관리 대상인 데이터(D3)에 상기 얼굴 특징 벡터(D1) 및 상태값(D2)을 결합한 제1 데이터(D)를 생성하는 기능 및/또는 제1 데이터(D)로부터 얼굴 특징 벡터(D1) 및 상태값(D2)을 추출하는 기능을 실행하는 전송 데이터 처리 모듈(106), 얼굴 특징 벡터 및 상태값을 비교하여 제1 데이터(D)에 포함된 접근 관리 대상 데이터(D3)에 대한 접근을 허여/불허하도록 관리하는 데이터 접근 관리 모듈(108)을 포함하며, 사용자 등록 및 관리 모드 등 장치의 전반적인 관리 기능을 제공하는 운영 모듈(도면 미도시)을 포함한다.
또한 본 실시예의 데이터 접근 관리 장치(100 또는 100')는, 제1 이미지(m1) 또는 제2 이미지(m2)에서 추출한 얼굴 특징 벡터를 저장 및 관리하는 얼굴 특징 벡터 저장소(112), 제1 이미지(m1) 또는 제2 이미지(m2)에서 추출한 상태값을 저장 및 관리하는 상태값 저장소(114), 접근 관리 대상 데이터 및/또는 제1 데이터를 저장 및 관리하는 접근 관리 대상 데이터 저장소(116)를 포함한다.
일예로, 본 실시예의 얼굴 특징 벡터 추출 모듈(102)은, CNN(Convolution Neural Network) 기반의 딥러닝 모델을 이용하여 구현할 수 있으며, 얼굴 특징 벡터로서 Float32 데이터 타입의 실수로서 32, 64, 128, 256, 512, 1024의 자리수의 특징점을 가질수 있다. 얼굴 특징 벡터 추출에 관한 상세 구성은 본 출원인이 선출원등록한 대한민국 등록특허 10-2078249 (2020년02월11일), 10-2103557 (2020년04월16일)을 포함하는 공지기술들이 참조될 수 있다.
일예로, 본 실시예의 상태값 추출 모듈(104)의 기능 중 얼굴에 착용된 보형물을 식별/구분하는 기능은 HOG(Histogram of Oriented Gradients) 알고리즘 및 머신 러닝의 일종인 Support Vector Machine(SVC)에 기반하여 구현할 수 있다.
HOG 알고리즘은 사람 또는 얼굴과 같은 이미지의 피쳐(feature) 벡터를 얻는데 사용하는 알고리즘으로서, 이미지의 Gradients를 구하고 이를 히스토그램으로 변환하며 이를 이용하여 이미지의 피쳐(feature) 벡터를 얻는다.
예를 들어, 보형물 미착용, 안경 착용, 선글라스 착용, 마스크 착용의 조건별로 다량의 샘플 이미지를 마련하고, 이들 샘플 이미지에 대해 HOG 알고리즘을 이용하여 각각의 조건별로 피쳐 벡터를 획득하고, Support Vector Machine(SVC)을 이용하여 보형물 미착용, 안경 착용, 선글라스 착용, 마스크 착용 조건별로 경계를 구분할 수 있는 경계값을 찾도록 함으로써, 상태값 추출 모듈(104) 중 얼굴에 착용된 보형물을 식별/구분하는 기능을 구현할 수 있다. 샘플 이미지에 대한 HOG 알고리즘 적용 시에는 적절한 전처리(예, 명암 균일화, 사이즈 균일화 등)를 할 수 있다.
일예로, 본 실시예의 상태값 추출 모듈(104) 중 얼굴의 촬영 각도를 판단하는 기능은 다음과 같이 구현할 수 있다.
도 11과 같은 얼굴의 Roll 상태는 이미지에 포함된 얼굴의 두 눈의 중심점에 대한 좌표값을 잡은 다음 arctan2 수학 알고리즘을 이용해 회전된 각도를 계산하는 방식으로 얼굴의 촬영 각도를 판단할 수 있다. 도 11과 같은 얼굴의 Roll 상태인 경우, 일예로, 얼굴 특징 벡터들 상호 간의 유사도값을 산출 시에 보정 룰에 따라 유사도값을 보정하여 유사도 판단을 하는 것도 가능하며, 다른예로, 회전된 각도를 역회전시켜 정상 각도로 변환한 얼굴 영상을 기준으로 유사도 판단을 하는 것도 가능하다.
도 12와 같은 얼굴의 Yaw 상태는 이미지에 포함된 얼굴의 두 눈의 중심점 좌표와 턱의 가운데 랜드마크의 각도를 계산하여 해당 얼굴의 촬영 각도를 판단할 수 있다. 도 12와 같은 얼굴의 Yaw 상태인 경우, 얼굴의 역회전 처리가 곤란하므로, 얼굴 특징 벡터들 상호 간의 유사도값을 산출 시에 보정 룰에 따라 유사도값을 보정하여 유사도 판단을 한다.
도 13과 같은 얼굴의 Pitch 상태는 이미지에 포함된 얼굴의 코 끝의 랜드마크를 기준으로 눈썹까지의 거리와 턱까지의 거리를 각각 계산하여 얼굴이 위를 향하는지 아래로 숙여 있는지에 대한 얼굴의 촬영 각도를 판단할 수 있다. 도 13과 같은 얼굴의 Pitch 상태인 경우, 얼굴의 역회전 처리가 곤란하므로, 얼굴 특징 벡터들 상호 간의 유사도값을 산출 시에 보정 룰에 따라 유사도값을 보정하여 유사도 판단을 한다.
예를 들어, 얼굴의 Yaw 상태의 경우, 정면 방향을 기준으로 좌측/우측으로 각각 45도 이상인 경우를 얼굴의 촬영 각도가 미리 설정된 각도를 벗어나는 것으로 체크한다. 얼굴의 Pitch 상태의 경우, 정면 방향을 기준으로 상측/하측으로 각각 30도 이상인 경우를 얼굴의 촬영 각도가 미리 설정된 각도를 벗어나는 것으로 체크한다. 이러한 각도 기준은 설정에 의해 변경될 수 있다.
일예로, 본 실시예의 상태값 추출 모듈(104) 중 얼굴의 이미지 품질(해상도)을 판단하는 기능은 IQA(image quality assessmen) 알고리즘 중 하나인 Python Brisque 모델을 이용하여 구현할 수 있다. 예를 들어, Python Brisque 모델을 이용하여 image quality > 임계값(예, 50) 이상을 저해상도 이미지로 체크할 수 있다. 임계값은 다양한 이미지 테스트 결과, 카메라 성능/환경을 고려하여 적합한 값이 선정될 수 있다.
도 3을 참조하면 하드웨어적 관점에서, 본 실시예의 데이터 접근 관리 장치(100 또는 100')는 하나 이상의 명령을 저장하는 메모리(2) 및 상기 메모리(2)에 저장된 상기 하나 이상의 명령을 실행하는 프로세서(4)를 포함하며, 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램이 실행되는 컴퓨팅 장치이다. 본 실시예의 데이터 접근 관리 장치(100 또는 100')는 데이터 입출력 인터페이스(6)와 통신 인터페이스(8), 데이터 표시 수단(3), 데이터 저장 수단(5)을 포함할 수 있다.
바람직하게, 데이터 수신 측의 데이터 접근 관리 장치(100')는 제2 이미지(m2)를 촬영하여 획득하기 위해 카메라(9)를 구비한다.
한편, 변형예로, 데이터 송신 측의 데이터 접근 관리 장치(100) 또는 데이터 수신 측의 데이터 접근 관리 장치(100')는, 네트워크(1)를 통해 연결된 얼굴 분석 서버(200)로 이미지를 전송하고 추출된 얼굴 특징 벡터와 상태값을 제공받을 수도 있다. 이러한 구성을 취하는 경우, 얼굴 분석 서버(200)는 얼굴 특징 벡터 추출 모듈, 상태값 추출 모듈 및 통신 모듈을 구비할 수 있다.
도 5 내지 도 10은 본 발명의 실시예에 따른 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법을 설명하기 위한 모식도이다.
먼저, 데이터 송신 측의 실행 과정에 대해 설명한다.
일예로, 송신 측의 데이터 접근 관리 장치(100)는 모바일 디바이스일 수 있으며, 본 실시예의 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법을 장치에서 직접 실행할 수 있다.
변형예로서, 본 실시예에서 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는 것과 이미지에 포함된 얼굴의 상태값을 추출하는 것은, 상기 데이터 접근 관리 장치(100)로부터 이미지를 전송받고, 전송받은 이미지의 분석 결과로 산출된 얼굴 특징 벡터 및 상태값을 상기 데이터 접근 관리 장치(100)로 전송하는 얼굴 분석 서버(200)를 통해 연동 실행될 수도 있다.
1)단계에서 데이터 접근 관리 장치(100)는, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제1 이미지(m1)에 포함된 얼굴의 얼굴 특징 벡터를 추출한다.
2)단계에서 데이터 접근 관리 장치(100)는, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제1 이미지(m1)에 포함된 얼굴의 상태값을 추출한다.
상기 상태값은 제1 이미지(m1)에 포함된 얼굴의 얼굴 특징 벡터를 추출하는데 영향을 미치는 시각적 요소에 관한 상태값이다.
일예로, 상기 상태값은, 얼굴에 보형물이 착용된 상태인지 여부(도 5의 s2, s3, s4), 얼굴의 촬영 각도가 미리 설정된 각도를 벗어나는지 여부(도 8, 도 9의 s5, s5'), 얼굴의 이미지 품질이 미리 설정된 기준을 벗어나는지 여부(도 10의 s6) 중의 적어도 어느 하나에 관한 상태값을 포함할 수 있다. 보형물은 예를 들어, 안경, 선글라스, 마스크 등이 될 수 있으며, 다른 보형물이 추가될 수도 있다.
상기 상태값은 예를 들어 하기 표 1과 같이 정의되는 체크값의 형태로 제1 데이터(D)에 결합될 수 있다.
상태값 체크값 형태 체크값 정의
s2 0,1 0: 안경 미착용, 1: 안경 착용
s3 0,1 0: 선글라스 미착용, 1: 선글라스 착용
s4 0,1 0: 마스크 미착용, 1: 마스크 착용
s5 0,1 0: 얼굴의 촬영 각도가 미리 설정된 각도를 벗어나지 않음,
1: 얼굴의 촬영 각도가 미리 설정된 각도를 벗어남
s6 0,1 0: 얼굴의 이미지 품질이 미리 설정된 기준을 벗어나지 않음,
1: 얼굴의 이미지 품질이 미리 설정된 기준을 벗어남
3)단계에서 데이터 접근 관리 장치(100)는, 접근 관리 대상인 데이터(D3)에 상기 얼굴 특징 벡터(D1) 및 상태값(D2)을 결합한 제1 데이터(D)를 생성한다.
일예로, 상기 제1 데이터(D)는 접근 관리 대상인 데이터(D3)의 헤더에 상기 얼굴 특징 벡터(D1) 및 상태값(D2)을 삽입한 구성을 가질 수 있다(도 4 참조).
이후, 송신 측의 데이터 접근 관리 장치(100)는 네트워크(1)를 통해 제1 데이터(D)를 수신 측의 데이터 접근 관리 장치(100')로 전송한다.
다음으로, 데이터 수신 측의 실행 과정에 대해 설명한다.
일예로, 수신 측의 데이터 접근 관리 장치(100')는 모바일 디바이스일 수 있으며, 본 실시예의 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법을 장치에서 직접 실행할 수 있다.
변형예로서, 본 실시예에서 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는 것과 이미지에 포함된 얼굴의 상태값을 추출하는 것은, 상기 데이터 접근 관리 장치(100')로부터 이미지를 전송받고, 전송받은 이미지의 분석 결과로 산출된 얼굴 특징 벡터 및 상태값을 상기 데이터 접근 관리 장치(100')로 전송하는 얼굴 분석 서버(200)를 통해 연동 실행될 수도 있다.
11)단계에서 데이터 접근 관리 장치(100')는, 제1 데이터(D)로부터 얼굴 특징 벡터(D1) 및 상태값(D2)을 추출한다.
일예로, 상기 제1 데이터(D)는 데이터 송신 측에서 생성되어 전송된 것으로서, 접근 관리 대상인 데이터(D3)에 제1 이미지(m1)로부터 추출한 얼굴 특징 벡터(D1) 및 상태값(D2)을 결합한 것이다.
일예로, 상기 상태값은, 얼굴에 보형물이 착용된 상태인지 여부(도 5의 s2, s3, s4), 얼굴의 촬영 각도가 미리 설정된 각도를 벗어나는지 여부(도 8, 도 9의 s5, s5'), 얼굴의 이미지 품질이 미리 설정된 기준을 벗어나는지 여부(도 10의 s6) 중의 적어도 어느 하나에 관한 상태값을 포함할 수 있다.
12)단계에서 데이터 접근 관리 장치(100')는, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제2 이미지(m2)에 포함된 얼굴의 얼굴 특징 벡터를 추출한다.
바람직하게, 상기 제2 이미지(m2)는 데이터 수신 측의 데이터 접근 관리 장치(100')에 구비된 카메라(9)를 통해 수신 측 사용자의 얼굴을 촬영하여 얻은 이미지이다.
13)단계에서 데이터 접근 관리 장치(100')는, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제2 이미지(m2)에 포함된 얼굴의 상태값을 추출한다.
상기 상태값은 제2 이미지(m2)에 포함된 얼굴의 얼굴 특징 벡터를 추출하는데 영향을 미치는 시각적 요소에 관한 상태값이며, 예를 들어 상기 표 1과 같이 정의되는 체크값의 형태로 생성된다.
14)단계에서 데이터 접근 관리 장치(100')는, 제1 데이터(D)로부터 추출한 상태값(D2)과 제2 이미지(m2)로부터 추출한 상태값을 상호 비교한다.
예를 들어, 제1 데이터(D)로부터 추출한 상태값(D2)은 표 1의 s2~s6의 각각의 상태값 항목에 대한 각각의 체크값(0 또는 1)이 되며, 제2 이미지(m2)로부터 추출한 상태값도 동일한 형태의 체크값이 된다.
15)단계에서 데이터 접근 관리 장치(100')는, 제1 데이터(D)로부터 추출한 상태값(D2)과 제2 이미지(m2)로부터 추출한 상태값이 일치 조건을 충족하는 경우, 제1 데이터(D)로부터 추출한 얼굴 특징 벡터(D1)와 제2 이미지(m2)로부터 추출한 얼굴 특징 벡터를 상호 비교한다.
예를 들어, 제1 데이터(D)로부터 추출한 s2~s6의 각각의 상태값 항목에 대한 각각의 체크값(0 또는 1)과 제2 이미지(m2)로부터 추출한 각각의 상태값 항목에 대한 각각의 체크값(0 또는 1)이 모두 동일한 경우, 양측 상태값이 일치 조건을 충족하는 경우로 볼 수 있다. 이 경우, 제1 데이터(D)와 제2 이미지(m2)가 얼굴 특징 벡터를 추출하는데 영향을 미치는 시각적 요소를 동일한 조건으로 갖춘 것으로 볼 수 있으므로, 그 상태 그대로 양측의 얼굴 특징 벡터를 상호 비교하면 된다.
16)단계에서 데이터 접근 관리 장치(100')는, 제1 데이터(D)로부터 추출한 얼굴 특징 벡터(D1)와 제2 이미지(m2)로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는 경우, 상기 제1 데이터(D)에 포함된 접근 관리 대상 데이터(D3)에 접근을 허여한다.
일예로, 제1 데이터(D)로부터 추출한 얼굴 특징 벡터(D1)와 제2 이미지(m2)로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는지 여부는, 얼굴 특징 벡터들 상호 간의 유사도값을 산출하고 산출된 유사도값이 미리 설정된 기준을 충족하는지 여부로 판단할 수 있다. 얼굴 특징 벡터들 상호 간의 유사도값의 산출은 예를 들어, 비교 대상이 되는 두 개의 얼굴 특징 벡터에 대해 벡터 공간 내에서의 벡터 상호간 거리를 연산하고, 상기 연산 결과값이 미리 설정한 임계치 이하인 경우에 비교 대상이 되는 두 개의 얼굴 특징 벡터의 유사도값이 미리 설정된 기준을 충족하는 것으로 판단할 수 있다. 얼굴 특징 벡터들 상호 간의 유사도 판단의 상세 구성은 본 출원인이 선출원등록한 대한민국 등록특허 10-2078249 (2020년02월11일), 10-2103557 (2020년04월16일)을 포함하는 공지기술들이 참조될 수 있다.
한편, 상태값의 종류/상태에 따라, 제1 데이터(D)로부터 추출한 얼굴 특징 벡터(D1)와 제2 이미지(m2)로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는지 여부를 판단하는 프로세스는 다음과 같이 더욱 상세하게 구성될 수 있다.
우선, 일치 조건을 충족하지 않는 상태값이, 얼굴의 촬영 각도가 미리 설정된 각도를 벗어나는지 여부(도 8, 도 9의 s5, s5'), 얼굴의 이미지 품질이 미리 설정된 기준을 벗어나는지 여부(도 10의 s6) 중의 어느 하나에 관한 상태값인 경우를 설명한다.
즉, 본 경우는, 제1 데이터(D)로부터 추출한 s5의 상태값 항목에 대한 체크값(0 또는 1)과 제2 이미지(m2)로부터 추출한 s5의 상태값 항목에 대한 체크값(0 또는 1)이 동일하지 않거나, 또는 제1 데이터(D)로부터 추출한 s6의 상태값 항목에 대한 체크값(0 또는 1)과 제2 이미지(m2)로부터 추출한 s6의 상태값 항목에 대한 체크값(0 또는 1)이 동일하지 않은 경우이다.
이 경우, 제1 데이터(D)로부터 추출한 얼굴 특징 벡터(D1)와 제2 이미지(m2)로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는지 여부는, 얼굴 특징 벡터들 상호 간의 유사도값을 산출하고, 산출된 유사도값을 미리 설정된 보정 룰에 따라 보정하며, 보정된 유사도값이 미리 설정된 기준을 충족하는지 여부로 판단한다.
일예로, 보정 룰은, 얼굴의 촬영 각도가 미리 설정된 각도를 벗어나는 경우, 유사도 산출식에 따라 산출된 유사도값에 미리 설정된 보정값만큼 증가분을 반영하여 유사도값이 더욱 큰 값을 갖도록 보정하도록 설정될 수 있다. 얼굴의 촬영 각도가 미리 설정된 각도를 벗어나는 경우에는 정면 상태의 얼굴을 비교한 경우에 비해 유사도 산출식에 따라 산출된 유사도값이 더 낮게 나올 수 밖에 없다는 점을 감안한 것이다.
다른예로, 보정 룰은, 얼굴의 이미지 품질이 미리 설정된 기준을 벗어나는 경우, 유사도 산출식에 따라 산출된 유사도값에 미리 설정된 보정값만큼 증가분을 반영하여 유사도값이 더욱 큰 값을 갖도록 보정하도록 설정될 수 있다. 얼굴의 이미지 품질(예, 해상도)이 미리 설정된 기준을 벗어나는 경우(저해상도)에는 고품질 상태의 얼굴을 비교한 경우에 비해 유사도 산출식에 따라 산출된 유사도값이 더 낮게 나올 수 밖에 없다는 점을 감안한 것이다.
예를 들어, 얼굴 특징 벡터 'X'와 얼굴 특징 벡터 'Y' 상호 간의 유사도(Similarity)는 하기 수학식1을 통해 얻어질 수 있다.
[수학식 1]
Similarity = numpy.arccos(numpy.clip(numpy.dot(X,Y), -1.0+Epsilon, 1.0+Epsilon)) - Alpha
상기 수학식1은 arccos 방식에 기초하여 유사도를 산출하기 위한 수학식으로서, 'numpy.arccos(numpy.clip(numpy.dot(X,Y), -1.0+Epsilon, 1.0+Epsilon))' 부분이 얼굴 특징 벡터 'X'와 얼굴 특징 벡터 'Y' 상호 간의 유사도 산출식에 해당하며, 'Alpha' 부분이 얼굴의 촬영 각도 또는 얼굴의 이미지 품질에 기초한 보정값에 해당한다. 'Alpha' 에 어떤 값을 부여하는지에 따라 보정값이 결정될 수 있다.
도 8은 얼굴이 횡방향을 따라 요잉(yawing)하는 상태를 나타내며, 도 9는 얼굴이 종방향을 따라 피칭(pitching)하는 상태를 각각 나타낸다. 도 8에서 얼굴의 촬영 각도가 미리 설정된 각도(a1~a2)를 벗어나는 상태(s5,s5'보다 더욱 외측으로 돌아간 상태)가 되거나, 도 9에서 얼굴의 촬영 각도가 미리 설정된 각도(b1~b2)를 벗어나는 상태(s5,s5'보다 더욱 외측으로 돌아간 상태)가 되면, 얼굴의 촬영 각도가 미리 설정된 각도를 벗어나는 상태로 판별하고, 이에 따른 상태값 항목을 부여한다.
도 10은 제2 이미지(m2)에 포함된 얼굴의 이미지 품질이 미리 설정된 기준을 벗어나는 경우를 예시한다. 도 10과 같이 이미지(m2)에 포함된 얼굴의 이미지 품질이 미리 설정된 기준을 벗어나는 것으로 판별하면 이에 따른 상태값 항목을 부여한다. 이미지 품질을 판별하는 기준의 예로는, 해상도, 휘도(luminance), 대비(contrast), 구조(structure) 등이 있으며, 이들 기준 중의 어느 하나 이상에 기초하여 이미지 품질이 미리 설정된 기준을 벗어나는지 판별할 수 있다. 예를 들어, 제2 이미지(m2)의 해상도가 미리 설정된 기준보다 낮은 해상도를 갖는 경우 이에 따른 상태값 항목을 부여한다.
다음으로, 일치 조건을 충족하지 않는 상태값이 얼굴에 보형물이 착용된 상태인지 여부에 관한 상태값인 경우를 설명한다.
즉, 본 경우는, 제1 데이터(D)로부터 추출한 s2의 상태값 항목에 대한 체크값(0 또는 1)과 제2 이미지(m2)로부터 추출한 s2의 상태값 항목에 대한 체크값(0 또는 1)이 동일하지 않거나, 또는 제1 데이터(D)로부터 추출한 s3의 상태값 항목에 대한 체크값(0 또는 1)과 제2 이미지(m2)로부터 추출한 s3의 상태값 항목에 대한 체크값(0 또는 1)이 동일하지 않거나, 또는 제1 데이터(D)로부터 추출한 s4의 상태값 항목에 대한 체크값(0 또는 1)과 제2 이미지(m2)로부터 추출한 s4의 상태값 항목에 대한 체크값(0 또는 1)이 동일하지 않은 경우이다.
먼저, 도 6을 참조하면, 제1 데이터(D)로부터 추출한 s2 내지 s4의 상태값 항목에 대한 체크값은 보형물(예, 안경, 선글라스 또는 마스크)을 착용한 상태의 체크값인데, 제2 이미지(m2)로부터 추출한 s2 내지 s4의 상태값 항목에 대한 체크값은 보형물을 착용하지 않은 상태의 체크값인 경우에는 다음과 같은 처리 과정을 가질 수 있다.
일예로, 150)단계에서 데이터 접근 관리 장치(100')는, 상기 14)단계의 비교 결과, 제1 데이터(D)로부터 추출한 상태값(D2)과 제2 이미지(m2)로부터 추출한 상태값이 일치 조건을 충족하지 않는 경우, 제1 데이터(D)로부터 추출한 상태값(D2)에 기초하여 제2 이미지(m2)에 이미지 변형 처리를 한 제2-1 이미지(m2-1)를 수득한다.
상기 이미지 변형 처리는, 예를 들어, 상기 제2 이미지(m2)에 대한 보형물 객체 삽입 처리일 수 있다.
예를 들어, s2의 상태값 항목이 일치 조건을 충족하지 않는 경우에는 상기 제2 이미지(m2)에 안경 객체를 삽입 처리하고, s3의 상태값 항목이 일치 조건을 충족하지 않는 경우에는 상기 제2 이미지(m2)에 선글라스 객체를 삽입 처리하고, s4의 상태값 항목이 일치 조건을 충족하지 않는 경우에는 상기 제2 이미지(m2)에 마스크 객체를 삽입 처리한다. 보형물 객체 삽입 처리의 상세 구성은 본 출원인이 선출원등록한 대한민국 등록특허 10-2078249 (2020년02월11일)를 포함하는 공지기술들이 참조될 수 있다.
160)단계에서 데이터 접근 관리 장치(100')는, 제1 데이터(D)로부터 추출한 얼굴 특징 벡터(D1)와 제2-1 이미지(m2-1)로부터 추출한 얼굴 특징 벡터를 상호 비교한다.
170)단계에서 데이터 접근 관리 장치(100')는, 제1 데이터(D)로부터 추출한 얼굴 특징 벡터(D1)와 제2-1 이미지(m2-1)로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는 경우, 상기 제1 데이터(D)에 포함된 접근 관리 대상 데이터(D3)에 접근을 허여한다.
얼굴 특징 벡터가 일치 조건을 충족하는지 여부는, 얼굴 특징 벡터들 상호 간의 유사도값을 산출하고 산출된 유사도값이 미리 설정된 기준을 충족하는지 여부로 판단할 수 있다.
다음으로, 도 7을 참조하면, 제1 데이터(D)로부터 추출한 s2 내지 s4의 상태값 항목에 대한 체크값은 보형물(예, 안경, 선글라스 또는 마스크)을 착용하지 않은 상태의 체크값인데, 제2 이미지(m2)로부터 추출한 s2 내지 s4의 상태값 항목에 대한 체크값은 보형물을 착용한 상태의 체크값인 경우에는 다음과 같은 처리 과정을 가질 수 있다.
이 경우, 1500)단계에서 데이터 접근 관리 장치(100')는, 상기 14)단계의 비교 결과, 제1 데이터(D)로부터 추출한 상태값(D2)과 제2 이미지(m2)로부터 추출한 상태값이 일치 조건을 충족하지 않는 경우, 제1 데이터(D)로부터 추출한 상태값(D2)에 기초하여 동일한 상태값이 얻어질 수 있는 촬영 조건으로 수신 측 사용자의 얼굴 재촬영을 요청한다.
예를 들어, s2의 상태값 항목이 일치 조건을 충족하지 않는 경우에는 안경을 착용하지 않은 상태로 사용자의 얼굴 재촬영을 요청하고, s3의 상태값 항목이 일치 조건을 충족하지 않는 경우에는 선글라스를 착용하지 않은 상태로 사용자의 얼굴 재촬영을 요청하고, s4의 상태값 항목이 일치 조건을 충족하지 않는 경우에는 선글라스를 착용하지 않은 상태로 사용자의 얼굴 재촬영을 요청한다.
1600)단계에서 데이터 접근 관리 장치(100')는, 재촬영을 통해 제2-2 이미지(m2-2)를 수득한다.
1700)단계에서 데이터 접근 관리 장치(100')는, 제1 데이터(D)로부터 추출한 얼굴 특징 벡터와 제2-2 이미지(m2-2)로부터 추출한 얼굴 특징 벡터를 상호 비교한다.
1800)단계에서 데이터 접근 관리 장치(100')는, 제1 데이터(D)로부터 추출한 얼굴 특징 벡터와 제2-2 이미지(m2-2)로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는 경우, 상기 제1 데이터(D)에 포함된 접근 관리 대상 데이터(D3)에 접근을 허여한다.
본 발명의 실시예들은 감시 영역 설정을 이용한 영상 관제 방법을 다양한 컴퓨터에서 실행하기 위한 프로그램과 이를 기록한 컴퓨터 판독 가능 기록 매체를 포함한다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD, USB 드라이브와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
100,100': 데이터 접근 관리 장치
200: 얼굴 분석 서버
300: 통신 서버

Claims (15)

  1. 데이터 수신 측의 데이터 접근 관리 장치에 의해 실행되는 데이터 접근 관리 방법으로서,
    11) 제1 데이터로부터 얼굴 특징 벡터 및 상태값을 추출하는 단계- 상기 제1 데이터는 데이터 송신 측의 데이터 접근 관리 장치에서 생성한 것으로서 접근 관리 대상인 데이터에 제1 이미지로부터 추출한 얼굴 특징 벡터 및 상태값을 결합한 것이며, 상기 제1 데이터의 상태값은 제1 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는데 영향을 미치는 시각적 요소에 관한 상태값임-;
    12) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제2 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는 단계;
    13) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제2 이미지에 포함된 얼굴의 상태값을 추출하는 단계- 상기 제2 이미지에서 추출한 상태값은 제2 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는데 영향을 미치는 시각적 요소에 관한 상태값임-;
    14) 제1 데이터로부터 추출한 상태값과 제2 이미지로부터 추출한 상태값을 상호 비교하는 단계;
    15) 제1 데이터로부터 추출한 상태값과 제2 이미지로부터 추출한 상태값이 일치 조건을 충족하는 경우, 제1 데이터로부터 추출한 얼굴 특징 벡터와 제2 이미지로부터 추출한 얼굴 특징 벡터를 상호 비교하는 단계; 및
    16) 제1 데이터로부터 추출한 얼굴 특징 벡터와 제2 이미지로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는 경우, 상기 제1 데이터에 포함된 접근 관리 대상 데이터에 접근을 허여하는 단계;를 포함하여 구성된 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법.
  2. 제1항에 있어서,
    상기 제1 데이터는,
    1) 데이터 송신 측의 데이터 접근 관리 장치가, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제1 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는 단계;
    2) 데이터 송신 측의 데이터 접근 관리 장치가, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제1 이미지에 포함된 얼굴의 상태값을 추출하는 단계- 상기 상태값은 제1 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는데 영향을 미치는 시각적 요소에 관한 상태값임-; 및
    3) 데이터 송신 측의 데이터 접근 관리 장치가, 접근 관리 대상인 데이터에 상기 얼굴 특징 벡터 및 상태값을 결합한 제1 데이터를 생성하는 단계;를 포함하는 과정을 실행하여 생성된 것을 특징으로 하는 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법.
  3. 제1항에 있어서,
    제1 데이터로부터 추출한 얼굴 특징 벡터와 제2 이미지로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는지 여부는, 얼굴 특징 벡터들 상호 간의 유사도값을 산출하고 산출된 유사도값이 미리 설정된 기준을 충족하는지 여부로 판단하는 것을 특징으로 하는 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법.
  4. 제3항에 있어서,
    일치 조건을 충족하지 않는 상태값이, 얼굴의 촬영 각도가 미리 설정된 각도를 벗어나는지 여부, 얼굴의 이미지 품질이 미리 설정된 기준을 벗어나는지 여부 중의 어느 하나에 관한 상태값인 경우,
    제1 데이터로부터 추출한 얼굴 특징 벡터와 제2 이미지로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는지 여부는, 얼굴 특징 벡터들 상호 간의 유사도값을 산출하고, 산출된 유사도값을 미리 설정된 보정 룰에 따라 보정하며, 보정된 유사도값이 미리 설정된 기준을 충족하는지 여부로 판단하는 것을 특징으로 하는 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법.
  5. 제1항에 있어서,
    150) 상기 14)단계의 비교 결과, 제1 데이터로부터 추출한 상태값과 제2 이미지로부터 추출한 상태값이 일치 조건을 충족하지 않는 경우, 제1 데이터로부터 추출한 상태값에 기초하여 제2 이미지에 이미지 변형 처리를 한 제2-1 이미지를 수득하는 단계;
    160) 제1 데이터로부터 추출한 얼굴 특징 벡터와 제2-1 이미지로부터 추출한 얼굴 특징 벡터를 상호 비교하는 단계; 및
    170) 제1 데이터로부터 추출한 얼굴 특징 벡터와 제2-1 이미지로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는 경우, 상기 제1 데이터에 포함된 접근 관리 대상 데이터에 접근을 허여하는 단계;를 포함하여 구성된 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법.
  6. 제5항에 있어서,
    일치 조건을 충족하지 않는 상태값이 얼굴에 보형물이 착용된 상태인지 여부에 관한 상태값인 경우,
    상기 이미지 변형 처리는, 상기 제2 이미지에 대한 보형물 객체 삽입인 것을 특징으로 하는 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법.
  7. 제1항에 있어서,
    상기 제2 이미지는 데이터 수신 측의 데이터 접근 관리 장치에 구비된 카메라를 통해 수신 측 사용자의 얼굴을 촬영하여 얻은 이미지인 것을 특징으로 하는 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법.
  8. 제7항에 있어서,
    1500) 상기 14)단계의 비교 결과, 제1 데이터로부터 추출한 상태값과 제2 이미지로부터 추출한 상태값이 일치 조건을 충족하지 않는 경우, 제1 데이터로부터 추출한 상태값에 기초하여 동일한 상태값이 얻어질 수 있는 촬영 조건으로 수신 측 사용자의 얼굴 재촬영을 요청하는 단계;
    1600) 재촬영을 통해 제2-2 이미지를 수득하는 단계;
    1700) 제1 데이터로부터 추출한 얼굴 특징 벡터와 제2-2 이미지로부터 추출한 얼굴 특징 벡터를 상호 비교하는 단계; 및
    1800) 제1 데이터로부터 추출한 얼굴 특징 벡터와 제2-2 이미지로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는 경우, 상기 제1 데이터에 포함된 접근 관리 대상 데이터에 접근을 허여하는 단계;를 포함하여 구성된 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법.
  9. 제1항 또는 제2항에 있어서,
    상기 상태값은,
    얼굴에 보형물이 착용된 상태인지 여부, 얼굴의 촬영 각도가 미리 설정된 각도를 벗어나는지 여부, 얼굴의 이미지 품질이 미리 설정된 기준을 벗어나는지 여부 중의 적어도 어느 하나에 관한 상태값을 포함하는 것을 특징으로 하는 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법.
  10. 제1항 또는 제2항에 있어서,
    상기 데이터 접근 관리 장치는 모바일 디바이스인 것을 특징으로 하는 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법.
  11. 제10항에 있어서,
    이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는 것과 이미지에 포함된 얼굴의 상태값을 추출하는 것은,
    상기 데이터 접근 관리 장치로부터 이미지를 전송받고, 전송받은 이미지의 분석 결과로 산출된 얼굴 특징 벡터 및 상태값을 상기 데이터 접근 관리 장치로 전송하는 얼굴 분석 서버를 통해 실행되는 것을 특징으로 하는 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법.
  12. 제1항 또는 제2항에 있어서,
    상기 제1 데이터는 접근 관리 대상인 데이터의 헤더에 상기 얼굴 특징 벡터 및 상태값을 삽입한 것임을 특징으로 하는 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법.
  13. 삭제
  14. 하나 이상의 명령을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    제1 데이터로부터 얼굴 특징 벡터 및 상태값을 추출하고- 상기 제1 데이터는 데이터 송신 측의 데이터 접근 관리 장치에서 생성한 것으로서 접근 관리 대상인 데이터에 제1 이미지로부터 추출한 얼굴 특징 벡터 및 상태값을 결합한 것이며, 상기 제1 데이터의 상태값은 제1 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는데 영향을 미치는 시각적 요소에 관한 상태값임-;
    훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제2 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하며;
    훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 제2 이미지에 포함된 얼굴의 상태값을 추출하고- 상기 제2 이미지에서 추출한 상태값은 제2 이미지에 포함된 얼굴의 얼굴 특징 벡터를 추출하는데 영향을 미치는 시각적 요소에 관한 상태값임-;
    제1 데이터로부터 추출한 상태값과 제2 이미지로부터 추출한 상태값을 상호 비교하며;
    제1 데이터로부터 추출한 상태값과 제2 이미지로부터 추출한 상태값이 일치 조건을 충족하는 경우, 제1 데이터로부터 추출한 얼굴 특징 벡터와 제2 이미지로부터 추출한 얼굴 특징 벡터를 상호 비교하고;
    제1 데이터로부터 추출한 얼굴 특징 벡터와 제2 이미지로부터 추출한 얼굴 특징 벡터가 일치 조건을 충족하는 경우, 상기 제1 데이터에 포함된 접근 관리 대상 데이터에 접근을 허여하는 것;을 특징으로 하는 데이터 접근 관리 장치.
  15. 데이터 접근 관리 장치에서 제1항 또는 제2항에 따른 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법을 실행하도록 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램.
KR1020210180070A 2021-12-15 2021-12-15 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램 KR102444907B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210180070A KR102444907B1 (ko) 2021-12-15 2021-12-15 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210180070A KR102444907B1 (ko) 2021-12-15 2021-12-15 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR102444907B1 true KR102444907B1 (ko) 2022-09-19

Family

ID=83461037

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210180070A KR102444907B1 (ko) 2021-12-15 2021-12-15 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102444907B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100564372B1 (ko) 2003-07-01 2006-03-29 정욱진 자동현금인출기를 위한 정면얼굴 자동촬영 카메라 시스템및 방법
KR20070074894A (ko) 2006-01-11 2007-07-18 주식회사 라트칸 데이터 기록매체에 저장된 자료의 보안 방법
KR20190016733A (ko) * 2017-08-09 2019-02-19 한국과학기술연구원 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20190098858A (ko) * 2018-02-01 2019-08-23 고려대학교 산학협력단 딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100564372B1 (ko) 2003-07-01 2006-03-29 정욱진 자동현금인출기를 위한 정면얼굴 자동촬영 카메라 시스템및 방법
KR20070074894A (ko) 2006-01-11 2007-07-18 주식회사 라트칸 데이터 기록매체에 저장된 자료의 보안 방법
KR20190016733A (ko) * 2017-08-09 2019-02-19 한국과학기술연구원 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20190098858A (ko) * 2018-02-01 2019-08-23 고려대학교 산학협력단 딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치

Similar Documents

Publication Publication Date Title
US10579865B2 (en) Facial verification method and apparatus
US7660444B2 (en) Method and apparatus for user recognition using CCD cameras
US9813909B2 (en) Cloud server for authenticating the identity of a handset user
US10430679B2 (en) Methods and systems for detecting head motion during an authentication transaction
US10084776B2 (en) Methods and systems for authenticating users
US7925060B2 (en) Authentication system and registration system related to facial feature information
CN105512632A (zh) 活体检测方法及装置
US20070050639A1 (en) Authentication apparatus and authentication method
US20230252120A1 (en) Method and apparatus with selective combined authentication
KR101954763B1 (ko) 얼굴 인식 출입 통제 장치 및 이의 동작 방법
US11711215B2 (en) Methods, systems, and media for secure authentication of users based on a biometric identifier and knowledge-based secondary information
US9292752B2 (en) Image processing device and image processing method
KR20010074059A (ko) 모바일 단말기용 얼굴 기반 개인 신원 검증 방법 및 장치
JP2023134780A (ja) デバイス、表示方法、およびプログラム
CN107368817B (zh) 人脸识别方法和装置
KR102444907B1 (ko) 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램
KR102215535B1 (ko) 신경망을 이용한 안면 부분 이미지 기반 신분 인증 방법 및 이를 수행하는 시스템
WO2022222735A1 (zh) 信息处理方法、装置、计算机设备和存储介质
CN110781473B (zh) 一种人脸图片识别预处理的方法
KR102045743B1 (ko) 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치 및 방법
JP2003178274A (ja) アクセスコントロールに用いる情報記憶媒体の発行装置および発行システム
JP6960058B2 (ja) 顔照合システム
WO2021060256A1 (ja) 顔認証装置、顔認証方法、及びコンピュータ読み取り可能な記録媒体
KR101845419B1 (ko) 이미지의 보정여부 분석방법 및 프로그램
WO2019244663A1 (ja) 顔認証システム、端末装置、顔認証方法、及びコンピュータ読み取り可能な記録媒体