KR20210153248A - 얼굴 속이기 방지기술과 딥러닝 aes암호 알고리즘을 이용한 개인정보를 보호할 수 있는 얼굴인식 사물함 - Google Patents

Abstract

본 발명은 얼굴 속이기(Face Spoofing)방지기술과 생체정보를 보호할 AES암
호화 알고리즘을 이용하여 제어되는 얼굴인식 사물함의 작동에 관한 것으로,
상기 장치는 사용자의 얼굴이 실제 사람얼굴인지 파악하는 3D카메라부와; 실
제 사람의 얼굴을 딥러닝으로 학습시키고 학습한 데이터를 AES암호화해서 보
관하는 컴퓨터와; 사용로그와 비정상활동을 기록할 db와 서버; 사물함 선택
을 입력받을 키패드; 사용자의 얼굴이 인증되면 사물함을 개방하는 제어부로
구성된다.

Description

얼굴 속이기 방지기술과 딥러닝 AES암호 알고리즘을 이용한 개인정보를 보호할 수 있는 얼굴인식 사물함{Face recognition Locker with Anti Face Spoofing, Deep learning, and AES encryption algorithm}

본 발명은 얼굴인식 기능을 이용해 열리는 사물함으로, 얼굴 속이기(Face Spoofing)방지기술로 인쇄물이나 전자제품으로 만든 가짜얼굴을 실제얼굴과 구분하고 딥러닝으로 추출한 얼굴정보를 AES암호 알고리즘을 이용해 얼굴인식 사물함에 등록된 사용자의 얼굴정보를 암호화하여 필요할때만 얼굴정보를 복호화해 실제 얼굴이랑 비교함으로서 사용자 개인정보가 유출되지 않게 보호하는 얼굴인식 보안기술에 관한 것 이다.

최근에는 학교, 지하철 심지어는 마트에서도 바쁜 현대인들을 위한 사물함이배치되어있다. 그에 따라 실제로 그런 공공사물함의 허술한 보안요소를 노려 내용물을 훔쳐가는 일들도 발생하고 있다. 때문에 최근에는 다양한 기술(비밀번호, 패턴, 지문인식)들로 강화된 제품들이 나오고 있지만, 강화된 신체인증기술도 최근에 지문인식같은 경우에는 사용자의 지문을 실리콘으로 복사해서 우회인증하고 얼굴인증은 사진이나 핸드폰화면으로 띄우는 등 우회하는 기술들이 나오고 있다. 게다가 일반적인 비밀번호와 패턴과는 달리 지문인식, 홍채인식, 얼굴인식같은 생체정보는 유출되면 바꾸면되는 비밀번호와는 달리 바꿀 수 없는 신체의 일부이다.

본 발명은 기존에 사용된 보안기술을 더 정밀하게 보완하고 바꿀 수 없는 생체정보를 보다 안전하게 보호하기 위한 것이다.

본 발명은 얼굴인식을 이용한 사물함으로서, 얼굴 속이기(Face Spoofing)방지기술을 구현해줄 3D 카메라로 실제 사람의 얼굴인지 촬영하고, 실제 얼굴인게 증명되면 사용자가 물건을 찾으러 돌아올 때, 빠른 인식을 위하여 2,3D 카메라로 얻은 얼굴정보를 딥러닝으로 학습하고 학습한 데이터는 보호를 위해 암호화해서 저장한다. 저장한 데이터는 얼굴 속이기(Face Spoofing)단계를 통과한 후, 정상적인 얼굴을 비교할 때 복호화해서 비교하고 일치하는 얼굴이면 모터를 제어해서 문을 개방한다. 또한, 정황파악을 위한 로그기록을 위한 db용 서버를 둔다. 이 서버는 얼굴 속이기(Face Spoofing)시도나 여러번의 의도적 비정상 시도가 포착되면 대상을 카메라로 찍어서 서버로 전송한다.

본발명을 통해 얼굴 속이기(Face Spoofing)방지 기술로 사진이나 전자제품화면으로 사용자의 생체 인증을 우회인증을 방지할 수 있고, 생체정보를 암호화함으로서 사물함이 통째로 도난당하거나 폐기될때 부주의하게 사물함 안에있는 컴퓨터하드를 누가 열어보아도 정보를 암호화한 덕에 유출되어도 정보를 알 수 없다. 특히, 얼굴을 학습한 특징점 데이터는 db통신을 안 하고 하드 내부에서만 암호화를 하기 때문에 인터넷 패킷분석같은 감청으로 부터 안전하다.

도 1은 본 발명의 전체적인 구성을 보여주는 얼굴인식 사물함의 도면이다.도 2는 본 발명에서 사물함에서 물건을 찾으러 왔을 때의 과정을 설명하는 도면이다.도 3은 본 발명에서 사물함을 처음 이용할 때의 과정을 설명하는 도면이다. 도 4는 본 발명의 인증을 획득하는 절차를 보여주는 도면이다.

아래에 첨부한 도면을 참조하여 본 발명이 어떤 기술분야를 이용해서 발명을 뒷받침해주는지 그 예를 상세하게 설명한다. 각 실시 예는 특허청구범위를 한정하는 것이 아니며, 이와 균등한 실시 예에 대한 발명 역시 본 발명의 권리 범위에 속할 것이다.

또한 이하의 설명에서 발명의 특징을 불명하게 할 수 있는 기재를 피하기 위해, 종래에 알려진 공지 기술에 대한 설명은 생략하기로 한다. 도 1은 본 발명의 전체적인 얼굴인식 사물함의 설계도 이다.

도 1을 참조하면, 본 발명의 구성인 사물함(100), 촬영장치인 3D카메라(101),2D카메라(102), 사용자의 사용을 도울 모니터(103),키패드(104) 촬영한 사진을 학습해주고 암복호화할 사물함컴퓨터(105), 비정상행위를 보고하고 기록할 서버(106), DB(107)를 포함하는 것을 특징으로 한다.3D카메라(101)는 얼굴인식 사물함의 컴퓨터(105)에 연결되어 사용자의 얼굴을 입체적으로 촬영하는 기능을 수행한다. 사용자가 사람이 아닌 인형, 모형,사진, 전자제품 액정 같은것을 필터링함으로서, 사용자가 실제 본인의 얼굴을 사용하는지 식별하고 인증할 수 있도록 한다. 2D카메라(102)도 사물함의 컴퓨터(105)에 연결되어 있는 카메라로 3D카메라(101)로 본인의 얼굴이 인증되면 사진을 촬영하고 찍은 사진을 사물함의 컴퓨터(105)의 컴퓨터에 전달하여 딥러닝을 이용해 학습하고 학습한 얼굴 데이터를 AES 암호화 알고리즘으로 암호화한다. 이때 암호화한 데이터는 외부 서버에 저장되는것이 아닌 내부에 저장하기 때문에 인터넷 패킷 분석기같은 도구로 부터 안전하다. 암호화한 데이터는 사용자가 사물함을 다시 방문했을때 촬영한 결과물을 비교할 때만 복호화했다가 다시 암호화 한다. 이 과정에서 사용 기록은 모두 로그가 서버(106)로 전송되어 db(107)에 저장되고 사용자가 비정상적인 행위가 포착되면 포착당시 카메라에서 촬영한 내용들도 저장한다.

도 2는 본 발명의 실시 예에서 사용자가 얼굴인식 사물함을 처음 사용했을 때 어떻게 진행되는지에 대한 예시를 설명한다.도 2를 참조하면, 먼저 키패드(S210)로 사용할 사물함의 번호를 입력한다. 이때, 키패드(S210)에 사용가능한 사물함 칸에만 노랑불이들어와서 사용자가 알 수 있게 표시해준다. 그 다음에 사용자가 실제 본인의 얼굴을 사용하는지 식별하고(S220) 정상적인 얼굴로 식별되지 않을 경우 사용중지(S230)가 되어 처음 메뉴로 다시 돌아가고 식별될 경우 딥러닝을 통한 얼굴 학습을 한다.(S240) 학습한 얼굴 데이터를 사물함 컴퓨터가 AES 암호화 알고리즘으로 암호화 후 저장한다.(S250) 그 후, 자동으로 잠그고(S260) 종료한다.도 2에서 딥러닝으로 분석한 얼굴정보(S240)는 서버에 전송하는 것이 아닌 컴퓨터 내부에 저장하는 것(S250)으로 때문에 인터넷 패킷 분석기같은 도구로 부터 안전하다.

도 3은 본 발명의 실시 예에서 사용자가 이미 한번 얼굴인식 사물함을 사용했을 때 어떻게 물건을 찾아가는지에 대한 예시를 설명한다.도 3를 참조하면, 먼저 키패드(S110)로 사용할 사물함의 번호를 입력한다. 이때, 키패드(S110)에 사용중인 사물함 칸에만 빨간불이들어와서 사용자가 알 수 있게 표시해준다. 그 다음에 사용자가 실제 본인의 얼굴을 사용하는지 식별하고(S120) 정상적인 얼굴이 식별되지 않을 경우 사용중지(S131)가 되어 처음으로 다시 돌아가고 정상 식별이 된경우 내부 컴퓨터에 암호화했던 얼굴 데이터(S133)을 복호화하고 얼굴 데이터를 비교한다.(S140) 그렇게 사물함이 개방되고(S150) 키패드에 있는 뒤로가기버튼(S160)을 누르면 서비스 종료 후 초기화되고, o버튼(S170)을 누르면 사용하던 사물함을 재사용하고 메뉴 초기화가 된다.도 3에서 내부 컴퓨터에 암호화해서 저장했던 사진(S133)은 얼굴데이터를 비교할 때(S140)만 복호화화고 비교가 끝나면 다시 암호화해서 저장한다.(S133)

도 4는 본 발명의 실시 예에서 촬영장치부가 어떤 방식으로 검증절차를 진행하는지에 관한 도면이다.도 4를 참조하면, 먼저 촬영을 시작한다. 3D카메라로 실제 사람의 얼굴이 맞는지 사용자가 사람이 아닌 인형, 모형,사진, 전자제품 액정 같은것을 필터링함으로서, 사용자가 실제 본인의 얼굴을 사용하는지 식별하고 검증할 수 있도록 한다. (S310) 실제 사라람의 얼굴이 검증되지 않으면 인증실패(S320) 검증이되면 얼굴데이터 인증(S330)으로 넘어간다. 여기서도 얼굴 데이터가 일치하지 않으면 인증실패 (S320)로 넘어가고 얼굴 데이터가 일치하면 인증성공(S340)으로 넘어간다.

Claims (4)

1. 사물함 문을 잠그거나 열어주는 모터,
   사용자가 볼 수 있는 모니터와 선택한 사물함을 입력하는 숫자 키패드,
   정보를 전송하는 유,무선 송신기,
   얼굴 속이기(Face Spoofing)방지하기 위한 3D 카메라,
   스푸핑방지가 인증된 후 얼굴의 특징점을 파악하기 위한 2D 카메라,
   얼굴 정보가 카메라에 들어오면 사물함 컴퓨터에 암호화되어 딥러닝으로
   학습하고 얼굴의 특징점이 저장된 사진과 비교후 인증된 경우에 모터에 개방
   신호 전달 작동된 로그는 외부 db로 전송 후 기록하는 기능을 포함하는 얼굴
   인식 사물함 장치.
   
2. 제 1항에 있어서,
   얼굴 속이기(Face Spoofing)방지 단계에서 모형 얼굴이나 사진, 휴대폰으로
   사용자의 얼굴을 입력하려는 시도가 보이면 카메라에 비춰진 사진정보를 db
   에 송신한다.
   
3. 제 1항에 있어서,
   사용자가 처음으로 사물함에 얼굴을 등록할 경우 2,3D카메라로 사용자의
   얼굴 특징점을 추출하고 딥러닝학습으로 얼굴의 특징점을 인식하여 암호화해
   서 저장해두었다가 다음에 사용자가 사물함을 이용할때 복호화하여 빠른 인
   식이 가능하게 한다.
   
4. 제 3항에 있어서,
   암호화된 딥러닝을 통해서 학습한 얼굴의 특징점은 서버로 전송하는 것이 아
   니고 내부에 저장함으로서 인터넷 패킷 분석기같은 도청으로 부터 안전하다.
   

Images