KR102414759B1

KR102414759B1 - 얼굴 특징점 정보를 포함한 패턴 코드 인증을 수행하는 컴퓨팅 장치 및 그 방법

Info

Publication number: KR102414759B1
Application number: KR1020200108042A
Authority: KR
Inventors: 김성희; 김대훈; 전용찬; 조훈제
Original assignee: 주식회사 로보러스
Priority date: 2020-08-26
Filing date: 2020-08-26
Publication date: 2022-06-29
Also published as: KR20220026912A; WO2022045746A1

Abstract

얼굴 특징점 정보를 포함한 패턴 코드 인증을 수행하는 컴퓨팅 장치 및 그 방법을 포함한다. 이 컴퓨팅 장치는 통신 장치, 얼굴 특징점 정보를 포함한 패턴 코드 인증 프로그램을 저장 또는 로딩하는 메모리, 그리고 상기 패턴 코드 인증 프로그램을 실행하는 프로세서를 포함하고, 상기 패턴 코드 인증 프로그램은, AI(Artificial Intelligence) 얼굴 인식 모델을 이용하여 인증 요청자의 얼굴을 촬영한 이미지로부터 얼굴 특징을 나타내는 얼굴 벡터 데이터를 생성하고, 상기 인증 요청자가 제시한 패턴 코드의 스캔 데이터로부터 얼굴 벡터 데이터를 추출하며, 상기 생성한 얼굴 벡터 데이터와 상기 추출한 얼굴 벡터 데이터 간의 유사도가 기 설정된 임계값 이상이면, 상기 인증 요청자가 상기 패턴 코드에 얼굴 이미지를 등록한 사용자와 동일인인 것으로 결정하여 패턴 코드 인증을 성공으로 처리하도록 기술된 명령들(Instructions)을 포함한다.

Description

얼굴 특징점 정보를 포함한 패턴 코드 인증을 수행하는 컴퓨팅 장치 및 그 방법{COMPUTING APPARATUS AND METHOD FOR AUTHENTICATION OF PATTERN CODE INCLUDING FACIAL FEATURE INFORMATION}

본 발명은 얼굴 특징점 정보를 포함한 패턴 코드 인증을 수행하는 컴퓨팅 장치 및 그 방법에 관한 것이다.

QR(Quick Response) 코드는 텍스트(Text), URL(Uniform Resource Locator) 링크 등의 정보를 포함하여 생성되는 것이 일반적이다.

QR 코드가 본인 인증 수단으로 사용되고 있으나, QR 코드 자체가 사용자의 생체 정보를 포함하지는 않으므로, QR 코드 사용자가 본인인지 확인하기 어렵다. 따라서, 본인 이외의 다른 사용자가 QR 코드를 복사하여 사용하는 것을 막을 수 없다.

해결하고자 하는 과제는 패턴 코드를 생성자 이외에 다른 사용자에 의해 사용되는 것을 방지하기 위한 얼굴 특징점 정보를 포함한 패턴 코드 인증을 수행하는 컴퓨팅 장치 및 그 방법을 제공하는 것이다.

해결하고자 하는 과제는 패턴 코드에 얼굴 벡터 데이터를 포함시키고, 패턴 코드를 이용한 인증시 인증 요청자의 얼굴 이미지에서 획득한 얼굴 벡터 데이터를 패턴 코드에 등록된 얼굴 벡터 데이터와 비교하여 패턴 코드 생성자와 인증 요청자가 동일인인지 확인하는 얼굴 특징점 정보를 포함한 패턴 코드 인증을 수행하는 컴퓨팅 장치 및 그 방법을 제공하는 것이다.

본 발명의 한 특징에 따르면, 컴퓨팅 장치는 통신 장치, 얼굴 특징점 정보를 포함한 패턴 코드 인증 프로그램을 저장 또는 로딩하는 메모리, 그리고 상기 패턴 코드 인증 프로그램을 실행하는 프로세서를 포함하고, 상기 패턴 코드 인증 프로그램은, AI(Artificial Intelligence) 얼굴 인식 모델을 이용하여 인증 요청자의 얼굴을 촬영한 이미지로부터 얼굴 특징을 나타내는 얼굴 벡터 데이터를 생성하고, 상기 인증 요청자가 제시한 패턴 코드의 스캔 데이터로부터 얼굴 벡터 데이터를 추출하며, 상기 생성한 얼굴 벡터 데이터와 상기 추출한 얼굴 벡터 데이터 간의 유사도가 기 설정된 임계값 이상이면, 상기 인증 요청자가 상기 패턴 코드에 얼굴 이미지를 등록한 사용자와 동일인인 것으로 결정하여 패턴 코드 인증을 성공으로 처리하도록 기술된 명령들(Instructions)을 포함한다.

상기 얼굴 벡터 데이터는, 얼굴 특징 벡터, 그리고 성별, 마스크 착용 유무, 안경 착용 유무, 인종, 표정, 연령, 매력도 및 미소 수치 중 적어도 하나를 포함하는 얼굴 추가 정보를 포함하고, 상기 패턴 코드 인증 프로그램은, 상기 얼굴 특징 벡터 간 거리 유사도와 상기 얼굴 추가 정보의 일치 여부에 기초하여 상기 동일인 유무를 결정하도록 기술된 명령들을 더 포함할 수 있다.

상기 패턴 코드 인증 프로그램은, 상기 동일인으로 판정된 상기 생성한 얼굴 벡터 데이터와의 유사도를 반영하여 상기 임계값을 가변하도록 기술된 명령들을 더 포함할 수 있다.

상기 메모리는, 패턴 코드 발급 프로그램을 추가로 저장 또는 로딩하고,

상기 패턴 코드 발급 프로그램은, 상기 AI 얼굴 인식 모델을 이용하여, 등록자의 얼굴을 촬영한 등록자 이미지로부터 얼굴 특징을 나타내는 얼굴 벡터 데이터를 생성하고 생성한 얼굴 벡터 데이터를 포함하는 패턴 코드를 생성하도록 기술된 명령들을 포함할 수 있다.

상기 패턴 코드 발급 프로그램은, 등록자의 결제 수단 정보 및 상기 얼굴 벡터 데이터를 포함하는 결제를 위한 패턴 코드를 생성하고, 상기 결제를 위한 패턴 코드는, 상기 인증에 성공하면, 상기 결제 수단 정보를 이용한 결제 프로세스를 진행하는 결제 프로그램에 사용될 수 있다.

상기 패턴 코드 발급 프로그램은, 등록자의 전자 문진 데이터 및 상기 얼굴 벡터 데이터를 포함하는 전자 문진을 위한 패턴 코드를 생성하고, 상기 전자 문진을 위한 패턴 코드는, 상기 패턴 코드 인증에 성공하면, 상기 전자 문진 데이터를 처리하는 프로그램에 사용될 수 있다.

상기 패턴 코드는, 전자 출입 명부 서비스에 사용되어 출입 인증시 사용되거나 또는 주민등록증에 인쇄되어 본인 인증시 사용될 수 있다.

상기 메모리는, 전자 서명 서비스 프로그램을 추가로 저장 또는 로딩하고, 상기 전자 서명 서비스 프로그램은, 전자 서명이 필요한 전자 문서에 첨부된 신분증 이미지를 판독하여 신분증 정보를 추출하고, 본인 인증 기관 서버로 상기 추출한 신분증 정보의 유효성을 문의하여 유효하다고 판단되면, 전자 서명 요청자의 얼굴을 촬영하여 획득한 얼굴 이미지와 상기 본인 인증 기관 서버에 등록된 본인 이미지로부터 AI 얼굴 인식 모델을 이용하여 각각의 얼굴 벡터 데이터를 생성하고, 상기 각각의 얼굴 벡터 데이터를 비교하여 유사도가 임계치 이상이면 상기 얼굴 벡터 데이터를 포함하는 패턴 코드를 생성하고, 얼굴 전자 서명을 발급하며, 상기 패턴 코드와 상기 얼굴 전자 서명을 상기 전자 문서에 첨부하도록 기술된 명령들을 포함하며, 상기 전자 문서는, 전자 계약서를 포함할 수 있다.

본 발명의 다른 특징에 따르면, 적어도 하나의 프로세서에 의해 동작하는 디바이스의 동작 방법으로서, 패턴 코드를 인식하여 스캔 데이터를 획득하는 단계, 사용자의 얼굴을 촬영하여 얼굴 이미지를 획득하는 단계, 상기 스캔 데이터 및 상기 얼굴 이미지를 포함하는 패턴 코드 인증 요청을 서버 장치로 전송하고, 상기 서버 장치로부터 패턴 코드 인증 결과를 수신하는 단계, 그리고 상기 패턴 코드 인증 결과가 성공이면, 상기 패턴 코드에 저장된 서비스 데이터를 이용한 서비스 절차를 수행하는 단계를 포함하고, 상기 패턴 코드 인증은, AI(Artificial Intelligence) 얼굴 인식 모델을 이용하여 상기 얼굴 이미지로부터 생성된 얼굴 특징을 나타내는 얼굴 벡터 데이터와 상기 패턴 코드에 저장된 얼굴 벡터 데이터 간의 유사도가 기 설정된 임계값 이상인지를 판단하여 상기 사용자가 패턴 코드에 얼굴 이미지를 등록한 등록자와 동일인인지 결정한다.

상기 패턴 코드는, 상기 서버 장치와 접속된 등록자 디바이스의 요청에 의해 상기 서버 장치 또는 상기 등록자 디바이스에서 생성되고, 상기 서버 장치는, 상기 등록자 디바이스를 통해 촬영된 얼굴 이미지를 상기 등록자 디바이스로부터 수신하여 상기 촬영된 얼굴 이미지로부터 AI 얼굴 인식 모델을 이용하여 생성된 얼굴 벡터 데이터와 상기 등록자 디바이스를 통해 제공된 서비스 데이터를 포함하는 패턴 코드를 생성하여 상기 등록자 디바이스로 제공하고, 상기 등록자 디바이스는, 상기 촬영된 얼굴 이미지를 상기 서버 장치로 전송하여 상기 서버 장치로부터 상기 얼굴 벡터 데이터를 수신하고, 수신한 얼굴 벡터 데이터와 등록자가 입력한 서비스 데이터를 포함하는 패턴 코드를 생성할 수 있다.

상기 서비스 절차는, 본인 확인이 필요한 결제 서비스, 전자 문진 서비스, 주민등록증을 이용한 신분 확인 및 전자 서명 서비스 중 적어도 하나의 서비스를 포함할 수 있다.

실시예에 따르면, 패턴 코드 생성시 AI 얼굴 인식으로 생성된 벡터 데이터를 포함하여 패턴 코드를 생성하고 패턴 코드 인증시 얼굴 인증을 한번 더 수행하여 본인 여부를 판단함으로써, 패턴 코드의 도용을 방지하고 본인만 사용 할 수 있다.

도 1은 한 실시예에 따른 얼굴 특징점 정보를 포함한 패턴 코드 인증 시스템의 구성도이다.
도 2는 한 실시예에 따른 패턴 코드 생성 방법을 나타낸 흐름도이다.
도 3은 다른 실시예에 따른 QR 코드 생성 방법을 나타낸 흐름도이다.
도 4는 한 실시예에 따른 얼굴 특징점 정보를 포함한 패턴 코드 인증 방법을 나타낸 흐름도이다.
도 5는 한 실시예에 따른 얼굴 특징점 정보를 포함한 패턴 코드 인증 적용 실시예로서, 전자출입명부 서비스 흐름을 나타낸다.
도 6은 다른 실시예에 따른 얼굴 특징점 정보를 포함한 패턴 코드 인증 적용 실시예로서, 안면 인식 전자 서명 서비스 절차를 나타낸다.
도 7은 도 6의 안면 인식 전자 서명이 적용된 계약서의 예시를 나타낸다.
도 8은 또 다른 실시예에 따른 얼굴 특징점 정보를 포함한 패턴 코드 인증 적용 실시예로서, 결제 서비스 절차를 나타낸다.
도 9는 또 다른 실시예에 따른 얼굴 특징점 정보를 포함한 패턴 코드 인증 적용 실시예로서, 코로나 문진 절차를 나타낸다.
도 10은 다른 실시예에 따른 컴퓨팅 장치의 구조도이다.
도 11은 또 다른 실시예에 따른 컴퓨팅 장치의 구조도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

본 발명에서 설명하는 장치들은 적어도 하나의 프로세서, 메모리 장치, 통신 장치 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. 하드웨어는 본 발명의 방법을 실행할 수 있는 구성과 성능을 가진다. 프로그램은 도면들을 참고로 설명한 본 발명의 동작 방법을 구현한 명령어(instructions)를 포함하고, 프로세서와 메모리 장치 등의 하드웨어와 결합하여 본 발명을 실행한다.

본 명세서에서 "전송 또는 제공"은 직접적인 전송 또는 제공하는 것 뿐만 아니라 다른 장치를 통해 또는 우회 경로를 이용하여 간접적으로 전송 또는 제공도 포함할 수 있다.

본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.

본 명세서에서 도면에 관계없이 동일한 도면번호는 동일한 구성요소를 지칭하며, "및/또는" 은 언급된 구성 요소들의 각각 및 하나 이상의 모든 조합을 포함한다.

본 명세서에서, 제1, 제2 등과 같이 서수를 포함하는 용어들은 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 명세서에서 도면을 참고하여 설명한 실시예들에서, 임의의 실시예로 단독 구현될 수도 있고, 여러 실시예가 병합되거나 분할될 수도 있고, 각 실시예에서 특정 동작은 수행되지 않을 수 있다.

이제, 도면을 참고하여 본 발명의 실시예에 따른 얼굴 특징점 정보를 포함한 패턴 코드 인증을 수행하는 컴퓨팅 장치 및 그 방법에 대하여 설명한다.

도 1은 한 실시예에 따른 얼굴 특징점 정보를 포함한 패턴 코드 인증 시스템의 구성도이다.

이때, 인증 시스템의 구성은 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.

도 1을 참조하면, 얼굴 특징점 정보를 포함한 패턴 코드 인증 시스템은 서버 장치(100), 등록 디바이스(200) 및 인증자 디바이스(300)를 포함하고, 이들 구성(100, 200, 300)은 네트워크(400)를 통해 연결되어 데이터를 송수신한다.

이때, 디바이스(200, 300)의 수행 역할을 구분하기 위하여 등록 디바이스(200)와 인증자 디바이스(300)를 별도의 장치로 설명하나, 본 발명은 반드시 이에 한정되는 것은 아니며, 등록 디바이스(200)와 인증자 디바이스(300)는 하나의 물리적인 장치로 구현될 수 있다.

서버 장치(100)는 등록 디바이스(200)로부터 수신한 얼굴 이미지의 특징 정보인 얼굴 벡터 데이터를 포함하는 패턴 코드를 발급한다.

패턴 코드는 흑백 격자무늬 패턴으로 정보를 나타내며, 대표적인 예시로 큐알(QR) 코드가 있다.

이때, 패턴 코드에는 등록 디바이스(200)에서 선택적으로 수신된 인증키 또는 서비스 데이터가 포함될 수 있다. 서비스 데이터는 본인 인증이 필요한 서비스와 관련된 데이터로서, 예를들어, 코로나 문진에 대한 답변 데이터, 결제 수단 정보 등을 포함할 수 있다. 인증키는 인증시 얼굴 이미지 외에 추가로 사용되거나 얼굴 이미지를 대체하는 수단으로 사용될 수 있다.

패턴 코드는 서버 장치(100)에서 생성되어 등록 디바이스(200)로 전송될 수 있다. 또는 서버 장치(100)는 얼굴 벡터 데이터만 등록 디바이스(200)로 전송하고, 얼굴 벡터 데이터를 이용한 패턴 코드는 등록 디바이스(200)에서 생성될 수 있다.

패턴 코드에는 패턴 코드 스캔시, 얼굴 이미지를 촬영하도록 요청하거나 인증코드를 입력하도록 요구하는 명령이 포함되어 있을 수 있다. 또한, 패턴 코드에는 얼굴 벡터 데이터, 서비스 데이터, 및 일련번호가 포함될 수 있다. 서비스 데이터는 텍스트 데이터, URL 링크 등을 포함할 수 있다.

서버 장치(100)는 인증자 디바이스(300)의 요청에 따라 얼굴 특징점 정보를 포함한 패턴 코드 인증을 수행한다. 패턴 코드 인증은 패턴 코드에 얼굴 이미지를 등록한 등록자와 인증 요청자가 동일인인지 판단하는 절차이다. 이 절차에 따르면, 서버 장치(100)는 인증자 디바이스(300)에서 수신한 얼굴 이미지로부터 추출한 얼굴 벡터 데이터와 인증자 디바이스(300)에서 수신한 패턴 코드로부터 판독한 얼굴 벡터 데이터 간의 유사도가 사전 정의된 임계치를 만족하면, 패턴 코드 인증을 성공으로 처리하고 만족하지 않으면 패턴 코드 인증을 실패로 처리한다.

이러한 패턴 코드 인증은 코로나 문진, 패턴 코드를 이용한 결제, 주민등록증, 전자 서명 서비스 등에 적용될 수 있다. 그러나 이러한 서비스에 국한되는 것은 아니고, 안면 인식 또는 얼굴 인식이 적용될 수 있는 다양한 서비스에 적용될 수 있다.

서버 장치(100)는 AI(Artificial Intelligence) 얼굴 인식 모델을 이용하여 본인 인증 요청자의 얼굴을 촬영한 이미지로부터 얼굴 특징을 나타내는 얼굴 벡터 데이터를 생성한다. 이때, AI 얼굴 인식 모델은 공지된 상용 얼굴 인식 엔진이 사용될 수 있다. 서버 장치(100)는 AI 얼굴 인식 모델로서, 딥러닝 모델을 사용할 수 있다.

서버 장치(100)가 생성한 얼굴 벡터 데이터는 다음 표 1과 같을 수 있다.

{"vector": pwAAAAAAAAMAgAATEcXPVXKh71wl7s9VoYsPdxCBb6DQWG9S5m2vfEGdr3M7xW9Opvxur3QTD2Fu8u9oq8DvpZWLz6zI5W97Tq1O4FINj0NdRA99nJpOrG4hb24PcI9cjXRPaGMdbsHje872zNDvNX8Pr1eDIY9p/enveb727zFVCo6YhDHPHhqFz2gen89ClZovt4hQDzH6rc8NZ1hur69pD1oezS+tW8iPT9pFr2v1q+8wb/AvE7iXLz0lCY82igzPeJq6j0vhjs8JBgqvp9DAD4dgXU9b/GHPPuZY72k8ko9ZEGyvVLGnT3QnPg9lglUPBHdrD2CgUG9zyHRvFzcO73WT+87j9zcvV4m6L2rQwq+LZsZPku3173efHy7LnBuvaGBEL2Rau+6fofvvdYD9L2AT5A9gI19PEIfjz2tUxE98+KXvT2BND6KdHi+togNvqmxgD3PpSu+FLFCvBbxBr5eCue9WrGfvXyqRT37gy8+AYImPfLaxb1RsjK+PgxEveLG/r2hfzI8ueFyPTYTajw6rwo8HJmEPCPx1z3WlBS+rpwdvtCkBz2zkca9dgizvEUjzz0j/dC8HRRTvR/Or724yqC9Y45EvVh4Mr4g4WQ8Q4v/vC22oD02v6y9eWWVPbwzUj6qVH27IpRnvXjgOb2W+Zu9KaPFvRnunj2oW8i9z8nyPLpJ+j0=", "name": "Patricia Halford"}

서버 장치(100)는 얼굴 데이터 셋을 저장하는 얼굴 이미지 데이터베이스를 구비할 수 있다. 얼굴 이미지 데이터베이스는 영상 해상도(high, middle, low), ID, 액세서리(마스크, 안경), 조명 위치 및 세기(1000lux,400Lux…), 표정(웃음,찡그림,..) 포즈 방향(각도) 등을 고려하여 여러 방향에서 촬영한 이미지 데이터의 학습 데이터를 저장할 수 있다. 또한, 얼굴 이미지의 학습 데이터는 얼굴에 대해 128 개의 인덱스 정보, 예컨대, 코끝, 오른쪽 눈중심, 왼쪽 눈중심. 오른쪽 입꼬리,왼쪽 입꼬리, 오른쪽 귀 중심, 왼쪽 귀 중심 등등…을 기준으로 각 위치의 위치등을 고려하여 레이블링 되어 있다.

서버 장치(100)는 얼굴 이미지(단일 정적 이미지로서, 여러 오브젝트 즉 사물이 포함됨)에서 얼굴 추적 및 검출 알고리즘을 구동하여 우선적으로 머리의 위치를 감지하여 얼굴 영역을 검출할 수 있다. 이때, 얼굴 영역의 검출 후 대상 이미지에 대해 crop 를 호출하여 얼굴을 자동으로 가운데로 정렬한 이미지를 획득한다.

이처럼, 획득한 얼굴 이미지에는 얼굴 품질 점수가 포함되여 있으며 이미지의 크기, 이미지 생성 정보, 이미지의 방향(각도), 얼굴 특징점 추출하는 기능 등을 고려하여 점수화하며, 점수가 0.6 이상만 정상적인 얼굴로 인지할 수 있다.

서버 장치(100)는 얼굴 생체 인식 인터페이스를 이용하여, 획득한 얼굴 이미지가 생체 이미지인지 판별할 수 있으며, 이때, 얼굴 생체 인식 인터페이스는 공지된 API(Application Programming Interface)를 사용할 수 있다.

서버 장치(100)는 얼굴 이미지에서 얼굴 특징 벡터값 및 얼굴 속성 정보(예,성별, 나이, 표정, 인종 등을 포함하는 얼굴 벡터 데이터를 추출할 수 있다.

서버 장치(100)는 이미지로부터 얼굴 추적을 수행하여 이미지 내의 모든 얼굴 정보와 얼굴 수를 추출할 수 있는데, 반환된 얼굴 정보에는 얼굴 품질 점수가 포함되고 이는 얼굴 속성 및 얼굴 특징 추출 수행 기준으로 사용될 수 있다. 예를들어, 얼굴 품질 점수가 임계값(예, 0.6) 이상인 경우, 얼굴 속성 및 얼굴 특징 추출로 사용할 수 있다.

얼굴 특징 데이터를 추출하는 방식은 다양한 실시예가 있을 수 있다.

한 실시예에 따르면, 서버 장치(100)는 얼굴 전체 영역에 대한 특징 벡터를 사용하여 얼굴 인식(또는 안면 인식)을 할 수 있다.

서버 장치(100)는 이미지로부터 얼굴 영역을 분리하는데, 이미지 구조, 깊이 정보, 모양 및 색 등(etc), 그리고 이들의 조합을 이용할 수 있다. 통상, 얼굴이 가지는 타원 정보를 이용하거나 수평값, 수직값을 사용하여 템플릿 정합, 영역 보호 분할에 기반하여 얼굴 영역을 분리할 수 있다.

얼굴 전체 영역에 대한 특징 벡터는 PCA(Principle Component Analysis) 방법이 주로 사용된다. 이 방법에 따르면, 얼굴 전체 영역을 전체적으로 나누어 부호화된 그래프로 표현하여 얼굴 영역과 비슷한 위치에 고정하여 모델링하고, 이처럼 모델링된 얼굴 영역을 필터 변환식을 통하여 특징 벡터값을 가지는 파라미터, 즉, 특징 파라미터를 도출한다. 그리고 픽셀 들의 위치, 조명, 각도 등을 계산하여 특징 벡터값의 평균값과 분산값을 저장하고, 저장된 평균값/분산값을 비교 대상 이미지에서 도출된 평균값/분산값들과 대조하여 저장된 이미지와 비교 대상 이미지 간의 유사 여부를 판정한다.

다른 실시예에 따르면, 서버 장치(100)는 얼굴 부분 영역에 대한 특징 벡터를 사용하여 얼굴 인식(또는 안면 인식)을 할 수 있다. 얼굴 부분 영역에 대한 특징 벡터는 정보량이 많은 부분들을 특징으로 추출하는데, 이러한 정보량이 많은 부분들을 랜드마크(Landmark)라 한다. 얼굴 인식에 사용되는 랜드마크는 68개의 point가 사용되고 있다. 랜드마크를 사용하게 되면, 회전, 이동, 축척, 조명, 관점변화 등에도 기하학적으로 안정적이기 때문에 인식에 효과적이다.

서버 장치(100)는 MCT-Adaboost 알고리즘을 이용하여 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역으로부터 사전 정의된 복수개, 68개의 얼굴 랜드마크를 검출할 수 있다. 서버 장치(100)는 검출한 복수개의 얼굴 랜드마크를 정규화하고, CNN(Convolutional Neural Network)을 이용하여 정규화된 복수개의 얼굴 랜드마크에 대한 특징 정보인 얼굴 벡터 데이터를 생성할 수 있다. 서버 장치(100)는 랜드마크들을 얼굴 영역의 고유값으로 저장하고, 각 랜드마크에서 특징 벡터, 즉, 얼굴 벡터 데이터를 추출한다.

서버 장치(100)는 패턴 코드에 저장된 얼굴 벡터 데이터와 촬영 이미지(얼굴인식 대상 이미지)로부터 생성된 얼굴 벡터 데이터 간의 거리 유사도가 임계치를 넘지 않으면 얼굴 벡터 데이터가 동일하다고 인식한다. 그리고 이처럼 동일하다고 인식된 얼굴 벡터 데이터의 개수가 임계 개수를 충족하면, 두 이미지(패턴 코드에 등록된 얼굴 벡터 데이터와 촬영 이미지로부터 추출된 얼굴 벡터 데이터)가 동일하다고 판단하여 패턴 코드 인증을 성공으로 처리한다.

이때, 거리 유사도는 공지된 다양한 알고리즘이 사용될 수 있으므로, 특정 알고리즘으로 한정하여 기재하지 않는다.

또 다른 실시예에 따르면, 서버 장치(100)는 적외선 기술을 이용하여 얼굴 인식(또는 안면 인식)을 할 수 있다. 이 경우, 서버 장치(100)는 적외선 기술을 이용하여 도트 프로젝터로 얼굴에 몇 만개 이상의 점을 투사하고, 투사된 점 이미지 패턴으로부터 얼굴 벡터 데이터를 추출하여 이를 패턴 코드에 등록된 얼굴 벡터 데이터와 비교하여 일치 여부를 판단할 수 있다.

그 밖에도, 서버 장치(100)는 얼굴 이미지에서 픽셀 단위로 명암이 달라지는 지점을 찾아 이를 학습하여 생성한 AI 얼굴 인식 모델을 이용할 수도 있다. 이 경우, 픽셀 단위로 명암이 달라지는 지점을 찾아 학습을 통해 생성된 얼굴 벡터 데이터가 패턴 코드에 포함될 수 있다.

서버 장치(100)가 추출하는 얼굴 특징을 나타내는 얼굴 벡터 데이터는 얼굴 전체의 특징값 또는 복수개의 얼굴 랜드마크에 대한 특징값, 그리고 성별, 마스크 착용 유무, 안경 착용 유무, 인종, 표정, 연령, 매력도 및 미소 수치 중 적어도 하나를 포함하는 얼굴 추가 정보를 포함할 수 있다.

이때, 얼굴 추가 정보의 경우, 다음 표 2와 같이 정의할 수 있다.

항목(item)	값(value)
성별(gender)	0: 여성, 1: 남성
마스크 착용(mask)	0: 미착용, 1: 착용
안경 착용(glass)	0: 미착용, 1: 일반 안경, 2: 선글라스
인종(race)	0: 황인종, 1: 흑인종, 2: 백인종
표정(emotion)	0: 화남, 1: 평온, 2: 우울, 3: 행복, 4: 슬픔, 5: 두려움, 6: 놀람
연령(age)	예측 연령
매력도(attractive)	예측 매력도(0~100)
미소수치(smile)	예측 미소 정보(0~100)

서버 장치(100)는 얼굴 전체의 특징값 또는 얼굴 랜드마크에 대한 특징값의 유사도 비교를 통해 얼굴 인식을 하는데, 추가로 얼굴 추가 정보의 항목 간 비교를 할 수 있다. 얼굴 추가 정보의 항목간 비교의 경우, 값이 0, 1, 2와 같이 자연수로 명확한 경우에는 일치 여부를 비교하고, 매력도 또는 미소수치와 같이 설정 범위 내의 값인 경우에는 임계 범위 이내에서 유사한지 혹은 값 차이가 임계치 이하인지를 비교할 수 있다. 그리고 특징값 유사도와 추가 정보 일치/유사도의 두가지 조건을 모두 충족할 때 패턴 코드 인증을 성공으로 처리할 수 있다.

이때, 서버 장치(100)는 패턴 코드에 등록된 얼굴 벡터 데이터 중에서 얼굴 추가 정보에 한하여 사전에 패턴 코드에 등록된 지시에 따라 일부 정보는 인증자 디바이스(300)의 화면에 출력할 수 있다. 예를들어, 성별, 인종, 연령 등을 화면에 출력할 수도 있다.

또한, 서버 장치(100)는 얼굴 벡터 데이터의 유사도 평가시 사용되는 임계치를 가변할 수 있다. 사전에 AI 학습을 통해 설정된 임계치는 얼굴 특징점 정보를 포함한 패턴 코드 인증을 반복하면서, 갱신될 수 있다. 서버 장치(100)는 촬영된 이미지로부터 추출된 얼굴 벡터 데이터가 패턴 코드에 등록된 얼굴 벡터 데이터와 유사도 조건을 만족한 경우, 이들의 유사도 값을 반영하여 임계값을 가변할 수 있다.

한 실시예에 따르면, 임계값은 동일인의 얼굴 이미지를 다양한 조건에서 촬영한 이미지들, 그리고 다른 사람의 얼굴 이미지를 촬영한 이미지들로부터 각각의 얼굴 벡터 데이터를 추출하고, 이들간의 유사도 분포를 통해 설정될 수 있다. 이때, 패턴 코드 인증에서 성공한 경우의 유사도 값을 유사도 분포에 반영하여 임계값을 가변할 수 있다.

등록 디바이스(200) 및 인증자 디바이스(300)는 서버 장치(100)에 대응하는 클라이언트 프로그램을 실행하여 얼굴 특징점 정보를 포함한 패턴 코드 인증 동작을 수행할 수 있다.

이때, 클라이언트 프로그램은 스마트폰 어플리케이션일 수도 있고 디바이스 자체에 내장된 어플리케이션일 수도 있다. 클라이언트 프로그램은 서버 장치(100)와 연동하여 동작한다.

또한, 별도의 클라이언트 프로그램 없이 서버 장치(100)에 접속된 상태에서 등록 디바이스(200) 및 인증자 디바이스(300)에서 구동된 웹 브라우저 또는 모바일 브라우저가 서버 장치(100)의 제어 명령에 따라 얼굴 특징점 정보를 포함한 패턴 코드 인증 동작을 수행할 수 있다.

등록 디바이스(200)는 인증에 사용할 얼굴 이미지를 등록하는 디바이스로서, 등록 요청자가 구비하는 단말이다. 등록 디바이스(200)는 서버 장치(100)에 접속된 상태에서 얼굴 이미지를 전송하여 얼굴 이미지로부터 추출된 얼굴 벡터 데이터가 포함된 패턴 코드를 수신하거나 얼굴 벡터 데이터를 이용하여 패턴 코드를 생성할 수 있다. 등록 디바이스(200)는 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC, Personal Computer), 스마트폰(Smart Phone), 개인 정보 단말기(PDA, Personal Digital Assistant), 이동통신 단말기(Mobile Communication Terminal) 및 노트북(NoteBook) 등의 다양한 단말을 포함할 수 있다.

인증자 디바이스(300)는 얼굴 특징점 정보를 포함한 패턴 코드 인증을 요청하는 디바이스이다. 인증자 디바이스(300)는 서버 장치(100)에 접속된 상태에서 패턴 코드의 스캔 데이터와 인증 요청자의 얼굴 이미지를 전송하여 서버 장치(100)로부터 패턴 코드에 등록된 얼굴 이미지와 전송된 얼굴 이미지가 일치하는지 판단한 인증 결과를 수신한다.

인증자 디바이스(300)는 인증 요청자가 구비하는 사용자 단말일 수 있다. 인증자 디바이스(300)는 본인 인증이 필요한 서비스 또는 업무를 제공하는 제공자(이하, 서비스 제공자로 통칭함)의 단말일 수 있다. 이러한 인증자 디바이스(300)는 태블릿 PC, 랩톱, 개인용 컴퓨터, 스마트폰, 개인 정보 단말기, 이동통신 단말기, 노트북, 키오스크, POS(Point of Sale) 단말, 전자출입명부 관리 전용 단말 등을 포함할 수 있다.

네트워크(400)는 유선망, LTE(Long term evolution)망/5G망과 같은 이동통신망, Wi-Fi 망과 같은 다양한 종류의 무선망, 및 이들의 조합으로 구성될 수 있다.

도 2는 한 실시예에 따른 패턴 코드 생성 방법을 나타낸 흐름도로서, 패턴 코드가 서버 장치(100)에서 생성되는 실시예를 나타낸다.

도 2를 참조하면, 등록자 디바이스(200)에서 패턴 코드 생성을 요청하는 사용자 입력 신호가 발생(S101)하면, 카메라를 통하여 촬영한 얼굴 이미지(등록자의 얼굴이 포함된 이미지)를 생성한다(S103).

등록자 디바이스(200)는 인증키 등록 유무를 판단(S105)하여 인증키 등록으로 판단되면 사용자의 입력 또는 사용자의 요청에 따른 인증키를 생성한다(S107).

등록자 디바이스(200)는 추가 데이터 등록 유무를 판단(S109)하여 추가 데이터 등록으로 판단되면 사용자의 입력 또는 사용자의 요청에 따른 추가 데이터를 생성한다(S111).

등록자 디바이스(200)는 S103 단계에서 생성한 얼굴 이미지, 그리고 S107 단계에서 생성된 인증키 및/또는 S111 단계에서 생성한 추가 데이터를 포함하는 패턴코드 생성 요청을 서버 장치(100)로 전송한다(S113).

서버 장치(100)는 AI 얼굴 인식 모델을 이용하여 S113 단계에서 수신한 얼굴 이미지로부터 얼굴 특징 또는 얼굴 속성을 나타내는 얼굴 벡터 데이터를 생성한다(S115).

서버 장치(100)는 S115 단계에서 생성한 얼굴 벡터 데이터, 그리고 S113 단계에서 수신한 인증키 및/또는 추가 데이터를 포함하는 패턴 코드를 생성한다(S117). 그리고 생성한 패턴 코드를 등록자 디바이스(200)에게 전송한다(S119).

도 3은 다른 실시예에 따른 패턴 코드 생성 방법을 나타낸 흐름도로서, 패턴 코드가 등록자 디바이스(200)에서 생성되는 실시예를 나타낸다.

도 3을 참조하면, 등록자 디바이스(200)에서 패턴 코드 생성을 요청하는 사용자 입력 신호가 발생(S201)하면, 카메라를 통하여 촬영한 얼굴 이미지(등록자의 얼굴이 포함된 이미지)를 생성한다(S203).

등록자 디바이스(200)는 생성(S203)한 얼굴 이미지를 포함하는 얼굴 벡터 데이터 생성 요청을 서버 장치(100)에게 전송한다(S205).

서버 장치(100)는 AI 얼굴 인식 모델을 이용하여 S205 단계에서 수신한 얼굴 이미지로부터 얼굴 벡터 데이터를 생성한다(S207). 그리고 생성(S207) 한 얼굴 벡터 데이터를 등록자 디바이스(200)에게 전송한다(S209).

등록자 디바이스(200)는 인증키 등록 유무를 판단(S211)하여 인증키 등록으로 판단되면 사용자의 입력 또는 사용자의 요청에 따른 인증키를 생성한다(S213).

등록자 디바이스(200)는 추가 데이터 등록 유무를 판단(S215)하여 추가 데이터 등록으로 판단되면 사용자의 입력 또는 사용자의 요청에 따른 추가 데이터를 생성한다(S217).

등록자 디바이스(200)는 S209 단계에서 수신한 얼굴 벡터 데이터, 그리고 S213 단계에서 수신한 인증키 및/또는 S217 단계에서 생성한 추가 데이터를 포함하는 패턴 코드를 생성한다(S219).

도 2 및 도 3의 실시예는, 패턴 코드를 제공하는 다양한 서비스에 런칭될 수 있다. 예를들어, 기존에 카카오톡의 결제를 위한 패턴 코드 생성, 전자출입명부 서비스, 전자서명 서비스, 주민등록증 등 다양한 서비스에 적용될 수 있고, 이러한 패턴 코드 생성은 별도의 전용 클라이언트 프로그램 또는 포털 사이트와 같은 웹 사이트/모바일 사이트를 통해 제공될 수 있다.

한 실시예에 따르면, 등록자 디바이스(200)에서 실행된 클라이언트 프로그램이 서버 장치(100)에 접속된 후, 이루어질 수 있다. 이 경우, 인증키 등록 유무, 추가 데이터 등록 유무는 클라이언트 프로그램의 설정에 따른다. 예를들어, 클라이언트 프로그램이 결제 프로그램일 경우, 결제 수단 정보를 패턴 코드로 생성할때 인증키도 등록하도록 요청할 수 있다. 이 경우, 추가 데이터는 결제 수단 정보가 된다.

다른 실시예에 따르면, 패턴 코드 생성은 등록자 디바이스(200)에서 서비스 웹 사이트 또는 모바일 사이트에 접속한 후, 이루어질 수 있다. 이 경우, 인증키 등록 유무, 추가 데이터 등록 유무는 웹 사이트 또는 모바일 사이트의 설정에 따른다. 예를들어, 포털 사이트에서 패턴 코드 발급 항목을 클릭한 경우, 인증키도 등록하도록 요청할 수 있다.

또한, 도 2 및 도 3의 실시예에서 사용자의 선택에 따라 인증키 등록, 추가 데이터 등록이 선택적으로 이루어질 수 있다.

도 4는 한 실시예에 따른 얼굴 특징점 정보를 포함한 패턴 코드 인증 방법을 나타낸 흐름도이다.

도 4를 참조하면, 인증자 디바이스(300)는 얼굴 인증이 필요한 서비스 제공자의 단말 또는 얼굴 인증이 필요한 서비스 이용자의 단말일 수 있다. 예를들어, 인증자 디바이스(300)는 매장의 결제 단말기, 본인 인증 단말, 전자출입명부 서비스 단말 등일 수 있다.

인증자 디바이스(300)는 인증이 필요한 서비스 이용자 또는 인증 요청자가 제시한 패턴 코드를 스캔한다(S301). 인증자 디바이스(300)는 카메라 촬영을 통하여 인증 요청자의 얼굴을 촬영하여 얼굴 이미지를 생성한다(S303).

인증자 디바이스(300)는 패턴 코드의 스캔 데이터 및 얼굴 이미지를 포함하는 패턴 코드 인증 요청을 서버 장치(100)에게 전송한다(S305).

서버 장치(100)는 패턴 코드 스캔 데이터로부터 얼굴 벡터 데이터를 추출한다(S307).

서버 장치(100)는 AI 얼굴 인식 모델을 이용하여 S305 단계에서 수신한 얼굴 이미지로부터 얼굴 벡터 데이터를 생성한다(S309).

서버 장치(100)는 S307 단계에서 추출한 얼굴 벡터 데이터와 S309 단계에서 생성한 얼굴 벡터 데이터를 비교하여 유사도를 산출한다(S311).

서버 장치(100)는 유사도가 임계값보다 큰지 판단(313)하여, 크면, 패턴 코드에 얼굴을 등록한 등록자와 인증 요청자가 동일 인물인 것으로 판단하여 패턴 코드 인증을 성공으로 처리한다(S315). 그리고 인증 성공 응답을 인증자 디바이스(300)에게 전송한다(S317).

서버 장치(100)는 S313 단계에서 유사도가 임계값보다 크지 않으면, 패턴 코드에 얼굴을 등록한 등록자와 인증 요청자가 동일 인물이 아닌 것으로 판단하여 인증 실패로 처리한다(S319). 그리고 인증 실패 응답을 인증자 디바이스(300)에게 전송한다(S321).

이때, S305 단계에서 수신한 패턴 코드에 인증키가 포함되어 있고, 패턴 코드에 인증키 일치 여부를 판단하도록 지시하는 명령이 포함되어 있을 경우, S315 단계 이후, 인증키 입력을 인증자 디바이스(300)에게 요구하고 인증자 디바이스(300)로부터 수신한 인증키가 패턴 코드에 포함된 인증키와 일치하면 인증 실패로 처리할 수도 있다. 물론, 인증키는 인증자 디바이스(300)에서 입력되어 S305 단계에 함께 전송될 수 있다.

또는 인증자 디바이스(300)가 패턴 코드 스캐너가 없을 경우, 인증자 디바이스(300)와 서버 장치(100)는 인증키를 이용한 인증을 수행할 수도 있다.

이상 기술한 얼굴 특징점 정보를 포함한 패턴 코드 인증은 다양한 서비스에 적용될 수 있으며, 이에 대해 설명하면 다음과 같다.

도 5는 한 실시예에 따른 얼굴 특징점 정보를 포함한 패턴 코드 인증 적용 실시예로서, 전자출입명부 서비스 흐름도이다.

도 5를 참조하면, 패턴 코드 발급 사업자는 앱 또는 인터넷 사이트에 패턴 코드 생성 기능을 제공한다. 전자출입명부가 필요한 시설을 이용하는 사용자(시설 이용자)는 등록 디바이스(200)를 이용하여 패턴 코드 발급 사업자가 제공하는 앱 또는 인터넷 사이트에 접속하여 자신의 얼굴 이미지를 제공하여 패턴 코드를 발급(S1)받는다. 시설 이용자는 시설 출입시 시설 관리자에게 패턴 코드를 제시하고 얼굴을 촬영(S2)한다. 시설 관리자는 인증 디바이스(300)의 관리자용 앱을 통하여 시설 이용자의 패턴 코드를 스캔하고 시설 이용자를 촬영하여 획득한 얼굴 이미지를 패턴 코드 인증 사업자에게 제공하여 인증(S3)을 한다. 이때, 인증 사업자는 패턴 코드내 얼굴 벡터 데이터와 촬영된 얼굴 이미지로부터 추출된 얼굴 벡터 데이터의 유사도를 비교하여 인증(S3)한다. 인증에 성공하면, 시설 관리자는 방문 기록과 시설 정보를 생성하여 사회보장 정보원으로 제공(S4)한다. 사회보장 정보원은 시설 관리자로부터 제공받은 방문 기록 및 시설 정보를 저장하고, 질병관리본부의 요청이 있으면, 이를 제공(S5)한다. 질병관리본부는 패턴 코드 발급 사업자로부터 제공(S6)받은 패턴 코드 발급 정보와 사회보장 정보원으로부터 제공받은 방문 기록/시설 정보를 토대로 방문자를 식별하고 역학 조사를 한 후 일정 시간 도과후 해당 정보를 폐기한다.

이때, 시설 이용자는 도 1 ~ 도 4에서 설명한 등록 디바이스(200) 및 인증 디바이스(300)를 사용할 수 있다. 시설 관리자는 도 1 ~ 도 4에서 설명한 인증 디바이스(300)를 사용할 수 있다. 만약, 시설 관리자가 패턴 코드 스캐너가 없을 경우, 시설 이용자의 인증 디바이스(300)를 이용하여 패턴 코드 인증 결과를 인증 디바이스(300)의 화면을 통해 확인할 수 있다.

패턴 코드 발급 사업자와 패턴 코드 인증 사업자는 동일할 수 있으며, 서버 장치(100)를 운용할 수 있다.

도 6은 다른 실시예에 따른 얼굴 특징점 정보를 포함한 패턴 코드 인증 적용 실시예로서, 안면 인식 전자 서명 서비스 절차를 나타내고, 도 7은 도 6의 안면 인식 전자 서명이 적용된 계약서의 예시를 나타낸다.

도 6을 참조하면, 등록자 디바이스(200)와 인증 디바이스(300)가 하나의 사용자 디바이스로 구현된 경우의 동작을 나타내며, 이러한 사용자 디바이스는 서버 장치(100)와 연동할 수 있다. 이때, 서버 장치(100)는 안면 인식 전자 서명 서비스에 따른 전자계약서를 생성하는 서버일 수 있다. 이때, 도 6의 흐름도는 서버 장치(100)에 접속된 상태에서 사용자 디바이스에서 구현되는 동작으로 설명하기로 한다.

사용자 디바이스는 서버 장치(100)가 제공하는 전자 문서 포맷에 따라 그리고 사용자가 입력한 데이터를 토대로 전자 문서 타입의 계약서를 생성한다(S401).

사용자 디바이스는 계약서에 첨부된 신분증 이미지를 OCR(optical character recognition) 기술로 판독하여 신분증 정보(예, 이름, 주민번호, 발급지 주소 등)를 추출한다(S403).

사용자 디바이스는 본인 인증 기관(예, 도로교통공단 서버, 정부24 서버, 경찰청 서버, 전자명부 서버 등)으로 신분증 정보가 유효한지 확인을 요청하여 신분증 정보의 진위 여부를 확인한다(S405).

사용자 디바이스는 S405 단계에서 진위 여부 확인 결과, 신분증 정보가 유효한지 판단(S407)하고, 유효하다고 판단되면 카메라를 구동하여 얼굴을 촬영한다(S409).

사용자 디바이스로부터 촬영한 얼굴 이미지와 본인 인증 기관에 등록된 얼굴 이미지를 제공받아 이들 각각으로부터 얼굴 벡터 데이터를 추출하고 추출한 얼굴 벡터 데이터 간의 유사도를 비교하는 안면 인식을 구동한다(S411).

사용자 디바이스는 서버 장치(100)로부터 안면 인식 결과를 수신하고, 안면 인식 결과가 성공인지 판단한다(S413). 안면 인식 성공으로 판단되면, S411 단계에서 촬영 얼굴 이미지에서 추출된 얼굴 벡터 데이터와 신분증 정보가 포함된 패턴 코드를 서버 장치(100) 또는 사용자 디바이스에서 생성한다(S415).

서버 장치(100)는 안면 인식 결과에 따른 페이스 전자 서명 ID를 발급한다(S417). 사용자 디바이스는 S415 단계에서 생성된 패턴 코드와 S417 단계에서 발급받은 전자 서명 ID를 전자계약서에 첨부하거나 또는 오프라인 계약서 문서에 인쇄할 수 있다(S419).

도 7을 참조하면, 근로계약서의 상단에 패턴 코드가 인쇄 또는 첨부되고, 근로계약서의 하단에 안면 인식 인증 결과를 나타내는 페이스 시그니처가 인쇄 또는 첨부될 수 있다. 이때, 페이스 시그니처는 "2020.07.30. 12:30:39 000님이 페이스 ID: aDWf45xGegor004ExTeact로 서명하셨습니다."로 생성될 수 있다.

도 8은 또 다른 실시예에 따른 얼굴 특징점 정보를 포함하는 패턴 코드 인증 적용 실시예로서, 결제 서비스 절차를 나타낸다.

도 8을 참조하면, 인증 디바이스(300)가 결제 키오스크로 구현된 실시예를 나타낸다. 결제 요청자는 결제 키오스크(300)에서 패턴 코드를 스캔하고 카메라로 얼굴을 촬영한다. 결제 키오스크(300)는 패턴 코드의 스캔 데이터와 카메라로 촬영한 얼굴 이미지를 서버 장치(도 1 ~ 도 4의 100)로 전송하여 인증을 요청하고 인증 결과를 수신한다. 결제 키오스크(300)는 인증 결과가 성공이면, 패턴 코드에서 스캔한 결제 수단을 이용하여 결제 프로세스를 진행한다.

결제 키오스크(300)를 비롯한 매장에 제공되는 결제 소프트웨어는 서버 장치(100)에서 전송된 얼굴 벡터 데이터를 화면에 출력할 수 있는데, 이때, 나이, 성별 등의 추가 정보를 화면에 출력할 수 있다. 다만, 개인 프라이버시를 고려했을 경우 매장에서 볼 수 있는 데이터를 한정하여 대략적으로 남자, 나이 정보만 보여 1차적으로 간략하게 체크할 수도 있다.

도 9는 또 다른 실시예에 따른 얼굴 특징점 정보를 포함한 패턴 코드 인증 적용 실시예로서, 코로나 문진 절차를 나타낸다.

도 9를 참조하면, 코로나 문진을 요하는 시설, 예컨대 병원 방문자는 등록 디바이스(200)를 통하여 얼굴 이미지를 촬영하고 전자 문진표를 작성한다. 그리고 패턴 코드 인증 사업자의 서버 장치(100)로 접속하여 촬영된 얼굴 이미지와 전자 문진표를 전송하여 패턴 코드를 발급받는다(S11). 물론, 패턴 코드는 등록 디바이스(200)의 앱을 통해 생성될 수도 있다.

방문자는 보안 요원에게 패턴 코드를 제시하고 얼굴을 촬영한다. 즉, 보안 요원은 인증 디바이스(300)의 관리자용 앱을 통해 패턴 코드를 인식하고 얼굴 촬영 이미지를 획득한다(S12). 보안 요원은 인증 디바이스(300)와 패턴 코드 인증 사업자의 서버 장치(100) 간의 패턴 코드 얼굴 인증을 수행한다(S13). 인증에 성공하면, 보안 요원은 패턴 코드를 스캔하여 획득한 전자문진표 데이터를 확인후 출입을 허가할 수 있다. 만약, 보안 요원이 패턴 코드 스캐너들 구비하지 않은 경우, 방문자의 인증 디바이스(300)를 통해 패턴 코드 얼굴 인증(S13)을 수행한 후, 패턴 코드 인증 결과를 인증 디바이스(300)의 화면에 출력한 후, 이를 보안 요원에게 제시할 수 있다. 그러면, 보안 요원은 인증 디바이스(300)의 화면에 출력된 패턴 얼굴 인증 결과와 전자 문진표 데이터를 확인한 후, 방문자의 출입을 허가할 수 있다.

이상의 실시예 외에도, 주민등록생성시 본 발명의 실시예에 따른 패턴 코드를 주민등록증에 인쇄하고, 주민등록증을 이용한 신분 확인시 인쇄된 얼굴 특징점 정보를 포함하는 패턴 코드 인증을 수행하여 신분증 도용을 방지할 수 있다. 예컨대, 범죄집단에서 타인의 주민등록에 본인의 사진을 위조하였을 경우 경찰관이 주민등록증의 패턴 코드를 스캔한 후 현장에서 주민등록증 제시자의 사진을 찍어서 서버 장치(100)에 보내 본인 일치 여부를 확인 가능하다. 또한, 미성년자가 타인의 주민등록증을 도용했을경우에도 마찬가지로 적용할 수있다.

또한, 원격 교육시스템에 또는 시험장에서 본인 인증 절차에 얼굴 특징점 정보를 포함한 패턴 코드 인증을 적용할 수 있다.

한편, 도 10은 다른 실시예에 따른 컴퓨팅 장치의 구조도로서, 도 1 ~ 도 9에서 설명한 서버 장치(100)는 컴퓨팅 장치, 예를들어 컴퓨터 판독 가능 매체로 구현될 수 있다.

도 10을 참조하면, 컴퓨팅 장치(500)의 하드웨어는 적어도 하나의 프로세서(501), 메모리(503), 스토리지(505), 통신 인터페이스(507)를 포함할 수 있고, 버스(Bus)를 통해 연결될 수 있다. 이외에도 입력 장치 및 출력 장치 등의 하드웨어가 포함될 수 있다. 컴퓨팅 장치(500)는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다. 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치(500)에서 본 발명의 동작을 실행하도록 기술된 명령들(instructions)이 포함된 프로그램을 실행한다.

프로세서(501)는 컴퓨팅 장치(500)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(501)일 수 있고, 예를들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다. 메모리(503)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(501)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(503)는 예를들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다. 스토리지(505)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다. 통신 인터페이스(507)는 유/무선 통신 모듈일 수 있다.

도 11은 또 다른 실시예에 따른 컴퓨팅 장치의 구조도로서, 도 1 ~ 도 9에서 설명한 디바이스(200, 300)는 컴퓨팅 장치, 예를들어 컴퓨터 판독 가능 매체로 구현될 수 있다.

도 11을 참조하면, 컴퓨팅 장치(600)는 통신 장치(601), 디스플레이 장치(603), 입력 장치(605), 카메라 모듈(607), 패턴 코드 스캐너(609), 메모리(611) 및 적어도 하나의 프로세서(613)를 포함하고, 이들 구성은 버스와 같은 주변 인터페이스를 통해 연결된다.

통신 장치(601)는 메모리(611) 및/또는 프로세서(613)가 네트워크(400)에 접근할 수 있도록 한다. 디스플레이 장치(603)는 LCD(liquid crystal display) 기술 또는 LPD(light emitting polymer display) 기술을 사용할 수 있고, 이러한 디스플레이 장치(603)는 용량형, 저항형, 적외선형 등의 터치 디스플레이일 수 있다. 디스플레이 장치(603)는 프로세서(613)가 실행하는 프로그램의 동작 결과를 화면에 출력한다. 입력 장치(605)는 사용자 명령을 입력받기 위한 수단으로서, 터치 센서(Touch Sensor), 키패드, 버튼, 마우스, 키보드, 포인팅 장치와 같은 다양한 입력 장치를 포함할 수 있다. 적어도 하나의 카메라 모듈(607)은 프로세서(613)에 의해 자동으로 구동 또는 입력 장치(605)에 의해 구동될 수 있다.

패턴 코드 스캐너(609)는 QR 코드 등을 인식하는 스캐너이다. 메모리(611)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리, 또는 다른 불휘발성 반도체 메모리 장치를 포함할 수 있다. 메모리(611)는 프로세서(613)에 의해 액세스되며, 프로세서(613)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 이러한 메모리(611)는 프로세서(613) 내 롬(ROM)(미도시), 램(RAM)(미도시), 메모리 카드(미도시)(예를들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다. 메모리(611)는 컴퓨팅 장치(600)의 동작에 필요한 각종 프로그램 및 데이터를 저장한다.

적어도 하나의 프로세서(613)는 중앙처리 유닛(CPU, Central Processing Unit)이나 기타 칩셋, 마이크로프로세서 등으로 구현될 수 있다. 프로세서(613)는 컴퓨팅 장치(600)의 동작을 수행하고 명령어들을 수행하도록 구성된 프로세서로서, 메모리(611)에 저장된 프로그램을 실행한다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

통신 장치,
얼굴 특징점 정보를 포함한 패턴 코드 인증 프로그램을 저장 또는 로딩하는 메모리, 그리고
상기 패턴 코드 인증 프로그램을 실행하는 프로세서를 포함하고,
상기 패턴 코드 인증 프로그램은,
AI(Artificial Intelligence) 얼굴 인식 모델을 이용하여 인증 요청자의 얼굴을 촬영한 이미지로부터 얼굴 특징을 나타내는 얼굴 벡터 데이터를 생성하고, 상기 인증 요청자가 제시한 패턴 코드를 스캔하여 얼굴 벡터 데이터를 추출하며,
상기 생성한 얼굴 벡터 데이터와 상기 추출한 얼굴 벡터 데이터 간의 유사도가 기 설정된 임계값 이상이면, 상기 인증 요청자가 상기 패턴 코드에 얼굴 이미지를 등록한 사용자와 동일인인 것으로 결정하여 패턴 코드 인증을 성공으로 처리하도록 기술된 명령들(Instructions)을 포함하고,
상기 패턴 코드는,
상기 얼굴 벡터 데이터 및 본인 인증이 필요한 서비스 데이터를 포함하고,
상기 패턴 코드 인증은,
상기 서비스 데이터를 사용하기 위한 본인 인증이고,
상기 얼굴 벡터 데이터는,
얼굴 특징 벡터, 그리고 성별, 마스크 착용 유무, 안경 착용 유무, 인종, 표정, 연령, 매력도 및 미소 수치 중 적어도 하나를 포함하는 얼굴 추가 정보를 포함하고,
상기 패턴 코드 인증 프로그램은,
상기 얼굴 특징 벡터 간 거리 유사도와 상기 얼굴 추가 정보의 일치 여부에 기초하여 상기 동일인 유무를 결정하도록 기술된 명령들을 더 포함하고,
상기 서비스 데이터는,
이름, 주민번호 및 발급지 주소를 포함하는 신분증 정보를 포함하며,
상기 메모리는, 전자 서명 서비스 프로그램을 추가로 저장 또는 로딩하고,
상기 전자 서명 서비스 프로그램은,
신분증 이미지로부터 추출된 상기 신분증 정보를 이용하여 본인 인증 기관으로부터 상기 신분증 정보의 진위가 확인되면, 카메라를 구동하여 촬영한 얼굴 이미지로부터 추출된 얼굴 벡터 데이터와 상기 신분증 정보를 이용하여 상기 패턴 코드를 생성하도록 기술된 명령어들을 포함하고,
상기 패턴 코드는,
전자계약서, 오프라인 계약서 문서 및 주민등록증 중 적어도 하나에 인쇄될 수 있는, 컴퓨팅 장치.
삭제
제1항에서,
상기 패턴 코드 인증 프로그램은,
상기 동일인으로 판정된 상기 생성한 얼굴 벡터 데이터와의 유사도를 반영하여 상기 임계값을 가변하도록 기술된 명령들을 더 포함하는, 컴퓨팅 장치.
제1항에서,
상기 메모리는, 패턴 코드 발급 프로그램을 추가로 저장 또는 로딩하고,
상기 패턴 코드 발급 프로그램은,
상기 AI 얼굴 인식 모델을 이용하여, 등록자의 얼굴을 촬영한 등록자 이미지로부터 얼굴 특징을 나타내는 얼굴 벡터 데이터를 생성하고 생성한 얼굴 벡터 데이터를 포함하는 패턴 코드를 생성하도록 기술된 명령들을 포함하는, 컴퓨팅 장치.
제4항에서,
상기 패턴 코드 발급 프로그램은,
등록자의 결제 수단 정보 및 상기 얼굴 벡터 데이터를 포함하는 결제를 위한 패턴 코드를 생성하고,
상기 결제를 위한 패턴 코드는,
상기 인증에 성공하면, 상기 결제 수단 정보를 이용한 결제 프로세스를 진행하는 결제 프로그램에 사용되는, 컴퓨팅 장치.
제4항에서,
상기 패턴 코드 발급 프로그램은,
등록자의 전자 문진 데이터 및 상기 얼굴 벡터 데이터를 포함하는 전자 문진을 위한 패턴 코드를 생성하고,
상기 전자 문진을 위한 패턴 코드는,
상기 패턴 코드 인증에 성공하면, 상기 전자 문진 데이터를 처리하는 프로그램에 사용되는, 컴퓨팅 장치.
제4항에서,
상기 패턴 코드는,
전자 출입 명부 서비스에 사용되어 출입 인증시 사용되거나 또는 주민등록증에 인쇄되어 본인 인증시 사용되는, 컴퓨팅 장치.
제4항에서,
상기 메모리는, 전자 서명 서비스 프로그램을 추가로 저장 또는 로딩하고,
상기 전자 서명 서비스 프로그램은,
전자 서명이 필요한 전자 문서에 첨부된 신분증 이미지를 판독하여 신분증 정보를 추출하고, 본인 인증 기관 서버로 상기 추출한 신분증 정보의 유효성을 문의하여 유효하다고 판단되면,
전자 서명 요청자의 얼굴을 촬영하여 획득한 얼굴 이미지와 상기 본인 인증 기관 서버에 등록된 본인 이미지로부터 AI 얼굴 인식 모델을 이용하여 각각의 얼굴 벡터 데이터를 생성하고,
상기 각각의 얼굴 벡터 데이터를 비교하여 유사도가 임계치 이상이면 상기 얼굴 벡터 데이터를 포함하는 패턴 코드를 생성하고, 얼굴 전자 서명을 발급하며,
상기 패턴 코드와 상기 얼굴 전자 서명을 상기 전자 문서에 첨부하도록 기술된 명령들을 포함하며,
상기 전자 문서는, 전자 계약서를 포함하는, 컴퓨팅 장치.
적어도 하나의 프로세서에 의해 동작하는 디바이스의 동작 방법으로서,
패턴 코드를 스캔하여 얼굴 벡터 데이터 및 서비스 데이터를 획득하는 단계,
사용자의 얼굴을 촬영하여 얼굴 이미지를 획득하는 단계,
상기 얼굴 벡터 데이터 및 상기 서비스 데이터를 포함하는 스캔 데이터 및 상기 얼굴 이미지를 포함하는 패턴 코드 인증 요청을 서버 장치로 전송하고, 상기 서버 장치로부터 패턴 코드 인증 결과를 수신하는 단계, 그리고
상기 패턴 코드 인증 결과가 성공이면, 상기 서비스 데이터를 이용한 서비스 절차를 수행하는 단계를 포함하고,
상기 패턴 코드 인증은,
AI(Artificial Intelligence) 얼굴 인식 모델을 이용하여 상기 얼굴 이미지로부터 생성된 얼굴 특징을 나타내는 얼굴 벡터 데이터와 상기 패턴 코드에 저장된 얼굴 벡터 데이터 간의 유사도가 기 설정된 임계값 이상인지를 판단하여 상기 사용자가 패턴 코드에 얼굴 이미지를 등록한 등록자와 동일인인지 결정하는 상기 서비스 데이터를 사용하기 위한 본인 인증 절차이고,
상기 패턴 코드는,
상기 서버 장치와 접속된 등록자 디바이스의 요청에 의해 상기 서버 장치 또는 상기 등록자 디바이스에서 생성되고,
상기 서버 장치는,
상기 등록자 디바이스를 통해 촬영된 얼굴 이미지를 상기 등록자 디바이스로부터 수신하여 상기 촬영된 얼굴 이미지로부터 AI 얼굴 인식 모델을 이용하여 생성된 얼굴 벡터 데이터와 상기 등록자 디바이스를 통해 제공된 서비스 데이터를 포함하는 패턴 코드를 생성하여 상기 등록자 디바이스로 제공하고,
상기 등록자 디바이스는,
상기 촬영된 얼굴 이미지를 상기 서버 장치로 전송하여 상기 서버 장치로부터 상기 얼굴 벡터 데이터를 수신하고, 수신한 얼굴 벡터 데이터와 등록자가 입력한 서비스 데이터를 포함하는 패턴 코드를 생성하고,
상기 얼굴 벡터 데이터는,
얼굴 특징 벡터, 그리고 성별, 마스크 착용 유무, 안경 착용 유무, 인종, 표정, 연령, 매력도 및 미소 수치 중 적어도 하나를 포함하는 얼굴 추가 정보를 포함하고,
상기 패턴 코드 인증은,
상기 얼굴 특징 벡터 간 거리 유사도와 상기 얼굴 추가 정보의 일치 여부에 기초하여 상기 동일인 유무가 결정되며,
상기 서비스 데이터는,
이름, 주민번호 및 발급지 주소를 포함하는 신분증 정보를 포함하며,
상기 패턴 코드는,
신분증 이미지로부터 추출된 상기 신분증 정보를 이용하여 본인 인증 기관으로부터 상기 신분증 정보의 진위가 확인되면, 카메라를 구동하여 촬영된 얼굴 이미지로부터 추출된 얼굴 벡터 데이터와 상기 신분증 정보를 이용하여 생성되며, 전자계약서, 오프라인 계약서 문서 및 주민등록증 중 적어도 하나에 인쇄될 수 있는, 동작 방법.
삭제
제9항에서,
상기 서비스 절차는,
본인 확인이 필요한 결제 서비스, 전자 문진 서비스, 주민등록증을 이용한 신분 확인 및 전자 서명 서비스 중 적어도 하나의 서비스를 포함하는, 동작 방법.