KR102049244B1 - 안면인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법 - Google Patents

안면인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR102049244B1
KR102049244B1 KR1020180036224A KR20180036224A KR102049244B1 KR 102049244 B1 KR102049244 B1 KR 102049244B1 KR 1020180036224 A KR1020180036224 A KR 1020180036224A KR 20180036224 A KR20180036224 A KR 20180036224A KR 102049244 B1 KR102049244 B1 KR 102049244B1
Authority
KR
South Korea
Prior art keywords
facial
feature information
facial feature
visitor
unit
Prior art date
Application number
KR1020180036224A
Other languages
English (en)
Other versions
KR20190114084A (ko
Inventor
엄정숙
전상윤
Original Assignee
전상윤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전상윤 filed Critical 전상윤
Priority to KR1020180036224A priority Critical patent/KR102049244B1/ko
Publication of KR20190114084A publication Critical patent/KR20190114084A/ko
Application granted granted Critical
Publication of KR102049244B1 publication Critical patent/KR102049244B1/ko

Links

Images

Classifications

    • G07C9/00158—
    • G06K9/00248—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G07C9/00166—

Abstract

본 발명은 안면 인식 정보를 이미지가 아닌 안면특성정보로 생성하여 아이디와 패스워드를 대체하도록 하여, 회원관리 및 방문객 모니터링을 수행할 수 있도록 하는 안면인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법에 관한 것이다.
상술한 안면인식을 이용한 회원관리 및 방문객 모니터링 장치는, 방문객을 촬영한 촬영이미지를 전송하는 촬영부(100); 및 상기 촬영부(100)에서 전송된 촬영이미지 또는 녹화이미지에서 방문객의 얼굴영역을 추출한 후, 얼굴영역을 이미지 데이터가 아닌 숫자 또는 텍스트 데이터 형식으로 변환한 안면특징정보를 생성하고, 생성된 안면특징정보를 고유의 식별자로 하여 회원관리 또는 요주의자에 대한 모니터링에 적용하는 안면인식관리부(200);를 포함하여 구성되는 것을 특징으로 한다.

Description

안면인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법{MEMBERSHIP MANAGEMENT AND VISITOR MONITORING APPARATUS USING FACIAL RECOGNITION AND THE METHOD THEREOF}
본 발명은 안면인식을 이용한 회원 관리 및 방문객 모니터링 기술에 관한 것으로서, 더욱 상세하게는, 안면 인식 정보를 이미지가 아닌 안면특성정보로 생성하여 아이디와 패스워드를 대체하도록 하여, 회원관리 및 방문객 모니터링을 수행할 수 있도록 하는 안면인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법에 관한 것이다.
일반적으로, 제조업체, 서비스 제공업체, 유통업체, 도소매점 등의 영리 또는 비영리 업체 또는 기관들의 운영자들은 고정 고객의 확보에 의한 매출확대를 위해 회원을 모집하고 포인트를 지급하며 이벤트 등의 부가 서비스를 제공하여 관리하는 마케팅 전략을 사용한다. 또한, 매장이나 관공서 등에서는 사고의 예방, 대처 등을 위해 다수의 감시카메라를 설치하여 방문객들에 대한 모니터링을 수행하고 있다.
일반인들은 이러한 마케팅 활동에 의해 제공하는 부가 서비스를 제공받고자 하는 경우 일반인들은 자신의 인적사항을 등록하고, 아이디와 패스워드를 생성하며, 필요에 따라서는 부가 서비스의 이용을 위해 제공하는 회원카드를 발급 받는 것에 의해 회원으로 가입하게 된다.
이러한 종래기술의 회원관리 마케팅의 경우, 일반인들이 회원 가입을 수행하는 과정에서 일일이 개인정보를 입력하고 인증을 수행하게 되므로 회원가입을 수행하는 것에 시간이 소요되고 불편함을 느끼게 되어 회원 가입이 잘 이루어지지 않는 경우가 있다.
또한, 회원 가입 시 고객 정보를 입력하게 되므로, 회원 정보가 해킹 등에 노출되는 경우 개인정보가 유출되는 문제점을 가진다.
이에 따라, 대한민국 등록특허 10-1388439호는 이메일 계정을 바탕으로 인증키를 생성하여 개인 정보 노출을 최소화할 수 있는 '이메일 기반 인증 확인 장치 및 방법'을 개시한다.
또한, 종래기술의 경우, 매장, 관공서 등에서 방문객을 관리하기 위해서 다수의 감시카메라를 설치하여 운영하는 것이 일반적이나, 항시 모니터링 실에 감시자가 상주하여야 하는 문제점이 있었다.
이에 따라, 대한민국 공개특허 10-2012-0105885호는 매장에 설치된 촬영수단과 마이크로폰을 통해 획득한 비디오와 오디오를 웹서버를 통해 사용자 단말기로 전송하는 것에 의해, 사용자가 장소에 제약 없이 매장을 관리할 수 있도록 하는 '매장 감시 시스템'을 개시한다.
대한민국 등록특허 10-1388439호 대한민국 공개특허 10-2012-0105885호
그러나 상술한 종래 기술 중 '이메일 기반 인증 확인 장치 및 방법'의 경우에는 개인 정보의 보안성은 높일 수 있으나, 회원 가입 시 개인 정보를 입력해야 하고, 부가 서비스를 이용하고자 하는 경우 회원카드를 소지하거나 아이디와 패스워드를 기억해야 하는 등의 불편함이 있었다.
또한, 개인 정보의 보안성을 높였으나, 회원 가입 시 개인정보가 입력되어 기록 되므로 개인 정보 누출의 문제를 근본적으로 해결하지 못하는 문제점을 가진다.
그리고 상술한 종래 기술 중 '매장 감시 시스템'의 경우에는, 장소에 상관없이 매장을 감시할 수 있도록 하는 편리함은 제공하나, 방문객 중 요주의 인물에 대한 모니터링을 수행하지 못하는 문제점을 가진다. 이에 따라, 빈번한 절도 행위자나, 사전 응대가 필요한 VIP 고객 등에 대한 적절한 대응을 하지 못하는 문제점 또한 발생하게 된다.
따라서 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로서, 안면 인식 정보를 이미지가 아닌 안면특성정보로 생성하여 아이디와 패스워드를 대체하도록 함으로써, 회원 가입자들이 자신의 개인 정보를 입력함이 없이 안면특징정보를 이용하여 회원가입을 할 수 있도록 하고, 회원 가입 후에는 별도의 회원카드나 회원번호를 사용함이 없이 안면인식을 수행하는 것만으로 포인트 또는 이벤트 제공 등의 회원관리를 수행할 수 있도록 하는 것에 의해 회원 등록 및 회원 관리의 편리성을 현저히 향상시킨 안면인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 회원 가입 등에서 개인 정보의 입력을 배제하도록 함으로써, 개인 정보의 유출을 근본적으로 차단할 수 있도록 하는 안면 인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법을 제공하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 요주의자의 안면특징정보와 경계자 또는 VIP 등의 속성 정보를 함께 저장한 후, 방문객들에 대한 모니터링 수행 중 경계자 또는 VIP를 자동으로 식별하여 통보하여 줌으로써, 요주의자에 대한 대응을 용이하게 수행할 수 있도록 하는 안면인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법을 제공하는 것을 또 다른 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 안면인식을 이용한 회원관리 및 방문객 모니터링 장치는,
방문객을 촬영한 촬영이미지를 전송하는 촬영부(100); 및
상기 촬영부(100)에서 전송된 촬영이미지 또는 녹화이미지에서 방문객의 얼굴영역을 추출한 후, 얼굴영역을 이미지 데이터가 아닌 숫자 또는 텍스트 데이터 형식으로 변환한 안면특징정보를 생성하고, 생성된 안면특징정보를 고유의 식별자로 하여 회원관리 또는 요주의자에 대한 모니터링에 적용하는 안면인식관리부(200);를 포함하여 구성되는 것을 특징으로 한다.
상기 촬영부(100)는,
직원과 상호작용을 하는 순간에 직원의 회원 가입 문의에 수락한 것으로 확인되는 신호가 입력되는 경우, 회원 가입 대상 방문객을 촬영하여 방문객 이미지를 상기 안면인식관리부(200)로 전송하는 다수의 회원관리촬영부(110); 및
직원과의 상호작용 유무와 관계없이 내부의 영역을 모두 감시하여 촬영된 영상을 안면인식관리부(200)로 전송하는 방문객모니터링촬영부(120);를 포함하여 구성될 수 있다.
상기 안면인식관리부(200)는,
회원등록된 방문객의 안면특징정보를 기준으로 회원정보를 저장하는 회원테이블(211)과 요주의자의 안면특징정보와 요주의 속성 정보를 저장하는 요주자의테이블(212)을 포함하여 구성되는 안면DB부(210);
상기 촬영부(100)에서 전송되는 회원관리 대상 방문객 이미지로부터 얼굴영역을 추출한 후 이미지 데이터가 아닌 안면특징데이터를 추출하여 안면특징정보를 생성하여 출력하고, 촬영부(100)에서 인증 요청 신호와 함께 전송된 방문객 이미지에서 얼굴영역을 추출한 후 안면특징정보를 추출하여 출력하며, 회원등록 인증요청 이외의 일반 방문객들의 이미지에서 얼굴영역을 추출한 후 안면특징정보를 추출하여 출력하는 안면특징정보생성부(220);
상기 안면특징정보생성부(220)에서 생성된 안면특징정보를 등록된 회원의 아이디와 패스워드로 저장하여 회원등록을 수행하고, 상기 인증 요청 신호에 대응하는 안면특징정보를 안면DB부(210)의 회원테이블의 회원 안면특징정보와 비교하여 회원 인증을 수행하며, 보상에 대한 관리를 포함하는 회원관리를 수행하는 회원관리부(230); 및
상기 안면특징정보생성부(220)에서 출력되는 전체 방문객들의 안면특징정보를 수신한 후, 요주의자 테이블(212)에 저장된 안면특징정보와 비교한 후, 일치하는 정보가 있는 경우, 등록된 속성 정보를 경고로 출력하는 방문객모니터링부(240);를 포함하여 구성될 수 있다.
상기 안면특징정보생성부(220)는,
동일 방문객을 촬영한 다수의 방문객 이미지들에 포함된 다수의 안면이미지들을 추출하여 안면 데이터 셋을 생성하고,
생성된 안면데이터 셋들에 안면인식 알고리즘을 반복 적용하여 안면특징을 학습시킨 후,
학습된 안면특징을 안면특징정보로 출력하고,
안면특징정보의 생성 후에는 그레이 스케일 이미지를 삭제하도록 구성될 수 있다.
상술한 목적을 달성하기 위한 본 발명의 안면인식을 이용한 회원관리 및 방문객 모니터링 방법은,
촬영부(100) 및 안면DB부(210)와 안면특징정보생성부(220)와 회원관리부(230)와 방문객모니터링부(240)와 속성정보관리부(250)를 포함하는 안면인식관리부(200);를 포함하여 구성되는 안면인식을 이용한 회원관리 및 방문객 모니터링 장치의 회원관리 및 방문객 모니터링 방법은,
상기 안면특징정보생성부(220)가 상기 촬영부(100)로부터 전송된 방문객 촬영이미지로부터 안면이미지들을 획득하는 안면이미지 획득과정(S100);
상기 안면특징정보생성부(220)가 상기 획득된 안면이미지들을 학습 알고리즘을 적용하여 안면특징정보를 추출하는 안면특징정보추출과정(S200);
상기 회원관리부(230)가 상기 안면특징정보생성부(220)에서 생성된 안면특징정보를 등록된 회원의 아이디와 패스워드로 저장하여 회원등록을 수행하고, 상기 인증 요청 신호에 대응하는 안면특징정보를 안면DB부(210)의 회원테이블의 회원 안면특징정보와 비교하여 회원 인증을 수행하고, 보상에 대한 관리를 포함하는 회원관리를 수행하는 회원관리과정(S300) 또는 상기 방문객모니터링부(240)가 상기 안면특징정보생성부(220)에서 출력되는 전체 방문객들의 안면특징정보를 수신한 후, 요주의자 테이블(212)에 저장된 안면특징정보와 비교한 후, 일치하는 정보가 있는 경우, 등록된 속성 정보를 경고로 출력하는 방문객모니터링과정(S400) 중 하나 이상을 포함하는 안면인식관리과정;을 포함하여 구성되는 특징으로 한다.
상기 안면특징정보추출과정(S200)은,
동일 방문객을 촬영한 다수의 방문객 이미지들에 포함된 다수의 안면이미지들을 추출하여 안면 데이터 셋을 생성하고,
생성된 안면데이터 셋들에 안면인식 알고리즘을 반복 적용하여 안면특징을 학습시킨 후,
학습된 안면특징을 안면특징정보로 출력하고,
안면특징정보의 생성 후에는 그레이 스케일 이미지를 삭제하도록 구성될 수 있다.
상술한 본 발명은 안면 인식 정보를 이미지가 아닌 안면특성정보로 생성하여 아이디와 패스워드를 대체하도록 함으로써, 회원 가입자들이 자신의 개인 정보를 입력함이 없이 안면특징정보를 이용하여 회원가입을 할 수 있도록 하고, 회원 가입 후에는 별도의 회원카드나 회원번호를 사용함이 없이 안면인식을 수행하는 것만으로 포인트 또는 이벤트 제공 등의 회원관리를 수행할 수 있도록 하는 것에 의해 회원 등록 및 회원 관리의 편리성을 현저히 향상시키는 효과를 제공한다.
또한, 본 발명은 회원 가입 등에서 개인 정보의 입력을 배제하도록 함으로써, 개인 정보의 유출을 근본적으로 차단할 수 있도록 하는 것에 의해 개인정보의 보안성을 현저히 향상시키는 효과를 제공한다.
또한, 본 발명은 요주의자의 안면특징정보와 경계자 또는 VIP 등의 속성 정보를 함께 저장한 후, 방문객들에 대한 모니터링 수행 중 경계자 또는 VIP를 자동으로 식별하여 통보하여 줌으로써, 요주의자에 대한 대응을 용이하게 수행할 수 있도록 하는 효과를 제공한다.
도 1은 본 발명의 실시예에 안면인식을 이용한 회원관리 및 방문객 모니터링 장치(1)의 기능 블록 구성도.
도 2는 본 발명의 실시예에 따르는 도 1의 회원관리 및 방문객 모니터링 장치(1)가 적용된 안면인식을 이용한 회원관리 및 방문객 모니터링 시스템의 예로서의 POS 시스템의 구성도.
도 3은 본 발명의 실시예에 따르는 안면인식을 이용한 회원관리 및 방문객모니터링 방법의 처리과정을 나타내는 순서도.
도 4는 안면학습에 적용되는 안면이미지(얼굴이미지) 데이터 셋을 나타내는 도면.
도 5는 도 3의 처리과정 중 회원관리과정(S300)의 상세 처리과정을 나타내는 서브루틴도.
도 6은 도 3의 처리과정 중 방문객 모니터링 과정의 상세 처리과정을 나타내는 서브루틴도.
하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로, 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1은 본 발명의 실시예에 안면인식을 이용한 회원관리 및 방문객 모니터링 장치(1)의 기능 블록 구성도이고, 도 2는 본 발명의 실시예에 따르는 도 1의 회원관리 및 방문객 모니터링 장치(1)가 적용된 안면인식을 이용한 회원관리 및 방문객 모니터링 시스템으로서의 POS 시스템의 구성도이다.
도 1과 같이, 상기 회원관리 및 방문객 모니터링 장치(1)는, 방문객을 촬영한 촬영이미지를 전송하는 촬영부(100) 및 안면인식관리부(200);를 포함하여 구성된다.
상기 촬영부(100)는 회원관리를 위한 고객 또는 방문객을 촬영하는 다수의 회원관리촬영부(110)와 방문객 모니터링을 위하여 고객 또는 방문객을 촬영하는 다수의 방문객모니터링촬영부(120)를 포함하여 구성된다.
상기 회원관리촬영부(110)는 직원과 상호작용을 하는 순간에 직원의 회원 가입 문의에 수락한 것으로 확인되는 신호가 입력되는 경우, 회원 가입 대상 방문객을 촬영하여 방문객 이미지를 상기 안면인식관리부(200)로 전송하도록 구성된다. 일 예로, 도 2의 POS 시스템의 경우, 상기 회원관리촬영부(110)는 결제를 수행하는 POS 단말기(310)에서 설치되는 캠카메라들을 포함하여 구성될 수 있다.
상기 방문객모니터링촬영부(120)는 직원과의 상호작용 유무와 관계없이 내부의 영역을 모두 감시하여 촬영된 영상을 안면인식관리부(200)로 전송하도록 구성된다. 일 예로, 도 2의 POS 시스템의 경우, 매장 내부를 감시하기 위하여 설치되는 다수의 감시카메라들로 구성될 수 있다.
상기 안면인식관리부(200)는 촬영부(100)에서 전송된 촬영이미지 또는 녹화이미지에서 방문객의 얼굴영역을 추출한 후, 얼굴영역을 이미지 데이터가 아닌 숫자 또는 텍스트 데이터 형식으로 변환한 안면특징정보를 생성하고, 생성된 안면특징정보를 고유의 식별자로 하여 회원관리 또는 요주의자에 대한 모니터링을 수행하도록 구성된다.
이를 위해, 상기 안면인식관리부(200)는 안면DB부(210), 안면특징정보생성부(220), 회원관리부(230), 방문객모니터링부(240), 속성정보관리부(250), 통신부(260), 입력부(270), 표시부(280) 및 출력부(290) 등을 포함하여 구성될 수 있다.
상기 안면DB부(210)는 회원등록된 방문객의 안면특징정보를 기준으로 회원정보를 저장하는 회원테이블(211)과 요주의자의 안면특징정보와 요주의 속성 정보를 저장하는 요주자의테이블(212)을 포함하여 구성된다.
안면특징정보는 동일 방문객을 촬영한 다수의 방문객 이미지들에 포함된 다수의 안면이미지들을 추출하여 안면 데이터 셋(set)을 생성하고, 생성된 안면데이터 셋(set)들에 안면인식 알고리즘을 반복 적용하여 안면특징을 학습시킨 후 생성된 결과 값이다.
요주자에 대한 요주의 속성 정보는 절도, 파손 등의 행위를 수행한 이력이 있는 자를 구별하기 위한 '경계', 특별한 주의 서비스를 제공하도록 부여되는 'VIP', 고령자, 아동, 장애자 등에게 도움 서비스를 제공하기 위한 '도움' 등일 수 있다.
상기 안면특징정보생성부(220)는 촬영부(100)에서 전송되는 회원관리 대상 방문객 이미지로부터 얼굴영역을 추출한 후 이미지 데이터가 아닌 안면특징데이터를 추출하여 안면특징정보를 생성하여 출력하고, 촬영부(100)에서 인증 요청 신호와 함께 전송된 방문객 이미지에서 얼굴영역을 추출한 후 안면특징정보를 추출하여 출력하며, 회원등록 인증요청 이외의 일반 방문객들의 이미지에서 얼굴영역을 추출한 후 안면특징정보를 추출하여 출력하도록 구성된다.
이때, 안면특징정보생성부(220)는 상술한 바와 같이, 동일 방문객을 촬영한 다수의 방문객 이미지들에 포함된 다수의 안면이미지들을 추출하여 안면 데이터 셋을 생성하고, 생성된 안면데이터 셋들에 안면인식 알고리즘을 반복 적용하여 안면특징을 학습시킨 후, 학습된 안면특징을 안면특징정보로 출력하여 상기 안면DB부(210)에 저장한다. 그리고 안면특징정보의 생성 후에는 그레이 스케일 이미지를 삭제하는 것에 의해 개인 초상권의 유출 등의 개인정보의 유출을 방지하게 된다.
상기 회원관리부(230)는, 안면특징정보생성부(220)에서 생성된 안면특징정보를 등록된 회원의 아이디와 패스워드로 저장하여 회원등록을 수행하고, 상기 인증 요청 신호에 대응하는 안면특징정보를 안면DB부(210)의 회원테이블의 회원 안면특징정보와 비교하여 회원 인증을 수행하며, 보상에 대한 관리를 포함하는 회원관리를 수행하도록 구성된다. 즉, 상기 회원관리부(230)에 의한 회원가입의 경우, 회원 가입자를 촬영하여 안면특징정보를 생성하는 것 이외의 개인정보의 입력을 필요로 하지 않게 되므로, 개인정보의 유출을 근본적으로 방지할 수 있게 된다.
상기 방문객모니터링부(240)는 안면특징정보생성부(220)에서 출력되는 전체 방문객들의 안면특징정보를 수신한 후, 요주의자 테이블(212)에 저장된 안면특징정보와 비교한 후, 일치하는 정보가 있는 경우, 등록된 속성 정보를 경고로 출력하도록 구성된다. 이에 따라, 매장, 관공서, 대형 행사장, 극장, 식당, 공항, 터미널, 역사, 지하철 등의 장소에서 요주의자에 대한 경계를 용이하게 수행하게 되며, 고령자, 장애자, 고위층 인사 등에 대하여 적절한 대응을 용이하게 수행할 수 있도록 한다.
상기 속성정보관리부(250)는 관리자의 입력에 따라, 모니터링대상 요주의자들의 안면특징정보에 요주의 속성 정보를 부가한 후 요주의자테이블(212)에 저장하도록 구성된다.
상기 통신부(260)는 안면인식관리부(200)가 관리자의 스마트폰(4)이나 관리자 PC(5), POS 단말기(310), 매장관리서버(500) 등과의 통신 기능을 제공하도록 구성된다.
상술한 구성의 회원관리 및 방문객 모니터링 장치(1)는 도 2와 같이, POS 단말기(300), 매장관리서버(500), 상품마스터DB(600)을 포함하는 POS 시스템에 일 구성으로 적용되는 것에 의해, 매장에서 안면인식을 통한 회원관리 또는 방문객 모니터링을 수행할 수 있도록 한다.
도 3은 본 발명의 실시예에 따르는 안면인식을 이용한 회원관리 및 방문객모니터링 방법의 처리과정을 나타내는 순서도이다.
도 3과 같이, 상기 안면인식을 이용한 회원관리 및 방문객 모니터링 방법은, 촬영부(100) 및 안면DB부(210)와 안면특징정보생성부(220)와 회원관리부(230)와 방문객모니터링부(240)와 속성정보관리부(250)를 포함하는 안면인식관리부(200);를 포함하여 구성되는 안면인식을 이용한 회원관리 및 방문객 모니터링 장치(1)에 의해 수행되는 안면이미지 획득과정(S100), 안면특징정보추출과정(S200), 회원관리과정(S300) 또는 방문객 모니터링 과정(S400)을 포함하여 이루어진다.
구체적으로, 상기 안면특징정보생성부(220)가 상기 촬영부(100)로부터 전송된 방문객 촬영이미지로부터 안면이미지들을 획득하는 안면이미지 획득과정(S100)을 수행한다. 도 4는 안면학습에 적용되는 안면이미지(얼굴이미지) 데이터 셋을 나타내는 도면이다. 도 4의 안면이미지들은 안면 인식 알고리즘을 적용하기 위한 안면 데이터 셋으로서, 예로서 초당 10프레임을 적용하여 생성된 안면 이미지들을 포함한다.
다음으로, 상기 안면특징정보생성부(220)가 상기 획득된 안면이미지들을 학습 알고리즘을 적용하여 안면특징정보를 추출하는 안면특징정보추출과정(S200)을 수행한다. 실시간 이미지 프로세싱 라이브러리인 OpenCV를 활용한 신뢰성과 처리속도가 보장된 안면인식 기능을 제공할 수 있다. 따라서 OpenCV 라이브러리에서는 안면인식 알고리즘으로는 Haar feature 방식의 학습 알고리즘을 제공하며, Haar feature 알고리즘을 이용하여 복수의 안면 이미지들을 검출하고, 복수의 이미지 파일로부터 Haar Cascade 방식으로 특징을 추출하여 YAML(YAML Ain't Markup Language) 양식으로 변환하는 것에 의해 안면특징정보를 생성할 수 있다. 이는 개인을 식별하기 위한 별도의 이미지 파일을 저장할 필요가 없어, 개인정보 취급에 관한 법위반 소지를 없앨 수 있다.
다음으로, 회원관리부(230)는 회원관리과정(S300)을 수행하고, 방문객모니터링부(240)는 방문객 모니터링 과정(S400)을 수행한다. 여기서 회원관리과정(S300)과 방문객모니터링과정(S400)이 본 발명의 안면인식관리과정이 실시예들이 된다.
회원관리과정(S300)에서 회원관리부(230)는 상기 안면특징정보생성부(220)에서 생성된 안면특징정보를 등록된 회원의 아이디와 패스워드로 저장하여 회원등록을 수행하고, 상기 인증 요청 신호에 대응하는 안면특징정보를 안면DB부(210)의 회원테이블의 회원 안면특징정보와 비교하여 회원 인증을 수행하고, 보상에 대한 관리를 포함하는 회원관리를 수행한다.
도 5는 도 3의 처리과정 중 회원관리과정(S300)의 상세 처리과정을 나타내는 서브루틴도이다.
도 5와 같이, 상기 회원관리과정(S300)은, 회원 안면특징정보존재판단과정(S310), 회원가입판단과정(S320), 복수안면이미지획득과정(S330), 안면특징학습과정(S340), 안면특징데이터생성회원등록과정(S350), 회원판단과정(S360) 및 회원보상관리과정(S370)을 포함하여 이루어질 수 있다.
구체적으로, 회원관리부(230)는 촬영부(100)로부터 회원관리 대상 촬영영상에서 추출된 안면특징정보를 수신한 후, 안면DB부(210)의 회원테이블(211)을 검색하여 대응하는 안면특징정보가 존재하는 지를 판단하는 회원 안면특징정보존재판단과정(S310)을 수행한다.
다음으로, 회원관리부(230)는 안면특징보가 존재하지 않는 상태에서 관리자로부터 회원가입 신호가 입력되는지를 판단하는 회원가입판단과정(S320)을 수행한다.
회원가입판단과정(S320)의 판단결과 회원가입 신호가 입력되지 않으면 회원관리과정(S300)을 종료하고 처리과정을 복귀한다. 이와 달리 회원가입 신호가 입력되면, 회원관리부(230)는 안면특징정보생성부(220)로 안면특징정보 생성 신호를 출력하고, 안면특징정보생성부(220)는 촬영부(100)를 제어하는 것에 의해 복수의 회원가입 대상에 대한 촬영 영상을 획득하여 복수의 안면이미지들을 획득하는 복수안면이미지획득과정(S300)을 수행한다.
다음으로, 안면특징정보생성부(220)는 안면 인식 알고리즘을 적용하여 복수의 안면이미지들에 대한 학습데이터를 생성하는 안면특징학습과정(S340)을 수행한다.
이 후, 학습데이터를 기반으로 안면특징데이터를 생성한 후 회원테이블(211)에 안면특징데이터를 아이디와 패스워드로 하는 회원정보를 등록하는 안면특징데이터생성회원등록과정(S350)을 수행한다.
또한, 안면특징정보존재판단과정(S310)에서 안면특징정보가 존재하는 것으로 판단된 경우에는, 회원 여부를 판단하는 회원판단과정(360)을 수행한다.
회원판단과정(S360)의 판단결과 회원이 아닌 경우에는 회원관리과정(S300)을 종료하고 원 처리과정을 복귀한다.
이와 달리. 회원판단과정(S360)의 판단결과 회원인 경우 또는 회원가입이 완료된 경우에는 기존 회원 또는 가입된 회원에게 포인트 등의 보상을 수행하는 회원보상관리과정(S370)을 수행한 후 처리과정을 복귀한다.
다시 도 3을 참조하여 설명하면, 상기 방문객모니터링과정(S400)은, 방문객모니터링부(240)가 상기 안면특징정보생성부(220)에서 출력되는 전체 방문객들의 안면특징정보를 수신한 후, 요주의자 테이블(212)에 저장된 안면특징정보와 비교한 후, 일치하는 정보가 있는 경우, 등록된 속성 정보를 경고로 출력하는 과정이다.
도 6은 도 3의 처리과정 중 방문객 모니터링 과정의 상세 처리과정을 나타내는 서브루틴도이다.
도 6과 같이, 상기 방문객모니터리과정(S400)은 안면특징정보존재판단과정(S410), 경계대상판단과정(S420), 경계속성 출력과정(S430), VIP판단과정(S440), VIP 속성 출력과정(S450) 및 속성통보과정(S460)을 포함하여 이루어진다.
구체적으로, 방문객모니터링부(240)는 안면특징정보생성부(220)에서 입력되는 안면특징정보를 수신한 후 안면DB부(210)를 검색하여 대응하는 안면특징정보가 존재하는 지를 판단하는 방문객 안면특징정보존재판단과정(S410)을 수행한다.
판단결과 안면특징정보가 존재하지 않는 경우에는 처리과정을 종료한 후 도 3의 처리과정으로 복귀한다.
이와 달리, 안면특징정보가 존재하는 경우에는 속성 정보를 추출하여 경계대상인지를 판단하는 경계대상판단과정(S420)을 수행한다.
경계대상판단과정(S420)의 판단결과 경계인 경우 경계 속성을 추출하는 경계속성 추출과정(S430)을 수행한다.
경계대상판단과정(S420)의 판단결과 경계 대상이 아닌 경우에는, VIP 판단과정(S440)을 수행한다.
VIP판단과정(S440)의 판단결과 VIP가 아닌 경우에는 도 3의 처리과정으로 복귀한다. 이와 달리, VIP로 판단된 경우에는 'VIP'을 추출하는 VIP속성추출과정(S450)을 수행한다.
경계 속성이 추출되거나, VIP 속성이 추출된 경우에는 해당 속성에 따라 관리자들이 대응할 수 있도록 추출된 속성 정보를 관리자 단말기 등으로 통지하는 속성통보과정(S460)을 수행한 후 도 3의 처리과정으로 복귀한다.
상술한 본원 발명은, 카메라와 안면인식 알고리즘을 통해 확인된 안면특징정보를 고유 식별자로 하여 멤버십 가입(회원가입)과 인증의 수단으로 활용할 수 있어, 단순히 회원 가입 혹은 혜택을 제공받을 의사만 확인하면 별도의 카드나, 태그, 스탬프, 쿠폰 등의 물리적인 매개물을 소지하거나, 스마트폰에 앱을 설치하거나 조작하는 등의 과정을 생략할 수 있어 회원관리를 현저히 용이하게 한다.
또한, 본원 발명은 회원 가입 시 회원 정보의 입력을 불필요하게 되어 개인정보의 유출을 근본적으로 방지할 수 있도록 한다.
또한, 본 발명은 본원 발명의 특징과 함께, 안면특징정보를 식별자로 하여 관리되는 고객 중 홍보 목적의 마케팅 정보 제공에 동의한 고객에 대해서는 그 동의 여부와 함께 추가적인 개인정보를 기록해 둔다면, 기존의 멤버십 서비스를 통해 제공하던 마케팅 정보제공, 사은품 배송 등에도 활용할 수 있도록 하여, 고객관리서비스 측면에서 보다 폭 넓은 확장성을 제공할 수 있도록 한다.
한편, 소위 블랙컨슈머라고 일컬어지는 영업상 피해를 반복적으로 소매점에 입히는 고객에 대해서는 기존의 통상적인 관리 행태 혹은 고객 관리 시스템으로는 대응 수단을 마력하기 어렵다.
그러나 본 발명은 안면인식 알고리즘에 의해 추출된 안면특징정보를 고유식별정보로 하여, 악성민원 혹은 기타 이에 준하는 영업상 피해에 관한 이력을 기록해 두는 것에 의해, 차후 해당 고객이 재방문하는 경우 바로 식별 가능하게 때문에 응대에 있어 적절한 방안 마련의 기준으로 삼을 수 있다.
뿐만 아니라, 본 발명을 통해 매장 내 발생 범위에 대한 대응 수단이 강화되는 효과를 기대할 수 있다.
통신 진열 상품 도난이나 기물 파손이 발생한 사실을 소매점에서 사후에 인지한 경우 해당 피해의 원인을 매장 내에 설치된 CCTV를 통해 확인하고, 그 원인 제공자의 얼굴을 녹화기의 캡쳐 기능을 통해 이미지로 저장한 후 인쇄하여 재범 혹은 사후 신고를 위한 용도로 내부 직원 공간에 게시하곤 한다.
그러나 접객이나 매장관리 업무와 범인 색출에 모두 주의를 기울이는 것은 쉽지 않아 이러한 대응 방식은 효과성이 상당히 떨어진다.
CCTV상에 기록된 절도, 기물파손 등 영업상 피해 행위에 대해서도 행위자의 안면특징정보를 식별자로 하여 출입구 CCTV 카메라에 그 인식 기능을 적용하게 되면, 최소한 재범 예방과 빠른 신고 대응이 가능해 진다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진 자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1: 안면인식을 이용한 회원관리 및 방문객 모니터링 장치
4: 관리자 스마트폰, 5: 관리자 PC
200: 안면인식관리부
110: 회원관리촬영부(캠카메라 등)
120: 방문객모니터링촬영부(CCTV 카메라 등)

Claims (6)

  1. 방문객을 촬영한 촬영이미지를 전송하는 촬영부(100); 및
    상기 촬영부(100)에서 전송된 촬영이미지 또는 녹화이미지에서 방문객의 얼굴영역을 추출한 후, 얼굴영역을 이미지 데이터가 아닌 숫자 또는 텍스트 데이터 형식으로 변환한 안면특징정보를 생성하고, 생성된 안면특징정보를 고유의 식별자로 하여 회원관리 또는 요주의자에 대한 모니터링에 적용하는 안면인식관리부(200);를 포함하여 구성되고,
    상기 촬영부(100)는,
    직원과 상호작용을 하는 순간에 직원의 회원 가입 문의에 수락한 것으로 확인되는 신호가 입력되는 경우, 회원 가입 대상 방문객을 촬영하여 방문객 이미지를 상기 안면인식관리부(200)로 전송하는 다수의 회원관리촬영부(110); 및
    직원과의 상호작용 유무와 관계없이 내부의 영역을 모두 감시하여 촬영된 영상을 안면인식관리부(200)로 전송하는 방문객모니터링촬영부(120);를 포함하여 구성되는 안면인식을 이용한 회원관리 및 방문객모니터링 장치.
  2. 삭제
  3. 청구항 1에 있어서, 상기 안면인식관리부(200)는,
    회원등록된 방문객의 안면특징정보를 기준으로 회원정보를 저장하는 회원테이블(211)과 요주의자의 안면특징정보와 요주의 속성 정보를 저장하는 요주자의테이블(212)을 포함하여 구성되는 안면DB부(210);
    상기 촬영부(100)에서 전송되는 회원관리 대상 방문객 이미지로부터 얼굴영역을 추출한 후 이미지 데이터가 아닌 안면특징데이터를 추출하여 안면특징정보를 생성하여 출력하고, 촬영부(100)에서 인증 요청 신호와 함께 전송된 방문객 이미지에서 얼굴영역을 추출한 후 안면특징정보를 추출하여 출력하며, 회원등록 인증요청 이외의 일반 방문객들의 이미지에서 얼굴영역을 추출한 후 안면특징정보를 추출하여 출력하는 안면특징정보생성부(220);
    상기 안면특징정보생성부(220)에서 생성된 안면특징정보를 등록된 회원의 아이디와 패스워드로 저장하여 회원등록을 수행하고, 상기 인증 요청 신호에 대응하는 안면특징정보를 안면DB부(210)의 회원테이블의 회원 안면특징정보와 비교하여 회원 인증을 수행하며, 보상에 대한 관리를 포함하는 회원관리를 수행하는 회원관리부(230); 및
    상기 안면특징정보생성부(220)에서 출력되는 전체 방문객들의 안면특징정보를 수신한 후, 요주의자 테이블(212)에 저장된 안면특징정보와 비교한 후, 일치하는 정보가 있는 경우, 등록된 속성 정보를 경고로 출력하는 방문객모니터링부(240);를 포함하여 구성되는 안면인식을 이용한 회원관리 및 방문객모니터링 장치.
  4. 청구항 3에 있어서, 상기 안면특징정보생성부(220)는,
    동일 방문객을 촬영한 다수의 방문객 이미지들에 포함된 다수의 안면이미지들을 추출하여 안면 데이터 셋을 생성하고,
    생성된 안면데이터 셋들에 안면인식 알고리즘을 반복 적용하여 안면특징을 학습시킨 후,
    학습된 안면특징을 안면특징정보로 출력하고,
    안면특징정보의 생성 후에는 그레이 스케일 이미지를 삭제하도록 구성되는 안면인식을 이용한 회원관리 및 방문객모니터링 장치.
  5. 촬영부(100) 및 안면DB부(210)와 안면특징정보생성부(220)와 회원관리부(230)와 방문객모니터링부(240)와 속성정보관리부(250)를 포함하는 안면인식관리부(200);를 포함하여 구성되는 안면인식을 이용한 회원관리 및 방문객 모니터링 장치의 회원관리 및 방문객 모니터링 방법은,
    상기 안면특징정보생성부(220)가 상기 촬영부(100)로부터 전송된 방문객 촬영이미지로부터 안면이미지들을 획득하는 안면이미지 획득과정(S100);
    상기 안면특징정보생성부(220)가 상기 획득된 안면이미지들을 학습 알고리즘을 적용하여 안면특징정보를 추출하는 안면특징정보추출과정(S200); 및
    상기 회원관리부(230)가 상기 안면특징정보생성부(220)에서 생성된 안면특징정보를 등록된 회원의 아이디와 패스워드로 저장하여 회원등록을 수행하고, 인증 요청 신호에 대응하는 안면특징정보를 안면DB부(210)의 회원테이블의 회원 안면특징정보와 비교하여 회원 인증을 수행하고, 보상에 대한 관리를 포함하는 회원관리를 수행하는 회원관리과정(S300) 또는 상기 방문객모니터링부(240)가 상기 안면특징정보생성부(220)에서 출력되는 전체 방문객들의 안면특징정보를 수신한 후, 요주의자 테이블(212)에 저장된 안면특징정보와 비교한 후, 일치하는 정보가 있는 경우, 등록된 속성 정보를 경고로 출력하는 방문객모니터링과정(S400) 중 하나 이상을 포함하는 안면인식관리과정;을 포함하여 구성되는 되는 안면인식을 이용한 회원관리 및 방문객 모니터링 방법.
  6. 청구항 5에 있어서, 상기 안면특징정보추출과정(S200)은,
    동일 방문객을 촬영한 다수의 방문객 이미지들에 포함된 다수의 안면이미지들을 추출하여 안면 데이터 셋을 생성하고,
    생성된 안면데이터 셋들에 안면인식 알고리즘을 반복 적용하여 안면특징을 학습시킨 후,
    학습된 안면특징을 안면특징정보로 출력하고,
    안면특징정보의 생성 후에는 그레이 스케일 이미지를 삭제하도록 구성되는 안면인식을 이용한 회원 관리 및 방문객 모니터링 방법.
KR1020180036224A 2018-03-29 2018-03-29 안면인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법 KR102049244B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180036224A KR102049244B1 (ko) 2018-03-29 2018-03-29 안면인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180036224A KR102049244B1 (ko) 2018-03-29 2018-03-29 안면인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190114084A KR20190114084A (ko) 2019-10-10
KR102049244B1 true KR102049244B1 (ko) 2019-11-28

Family

ID=68206915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180036224A KR102049244B1 (ko) 2018-03-29 2018-03-29 안면인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102049244B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102503014B1 (ko) * 2020-08-10 2023-02-24 김종만 인공지능기반의 비접촉 입장관리시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010002983A (ja) * 2008-06-18 2010-01-07 Laurel Bank Mach Co Ltd 行動管理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120105885A (ko) 2011-03-16 2012-09-26 김승범 매장 감시 시스템
KR101388439B1 (ko) 2012-11-23 2014-04-24 주식회사 시공미디어 이메일 기반 인증 관리 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010002983A (ja) * 2008-06-18 2010-01-07 Laurel Bank Mach Co Ltd 行動管理装置

Also Published As

Publication number Publication date
KR20190114084A (ko) 2019-10-10

Similar Documents

Publication Publication Date Title
AU2019204149A1 (en) Video Analytics System
US20210196169A1 (en) Methods and System for Monitoring and Assessing Employee Moods
JP4115329B2 (ja) 顧客管理システム、該システムの機能を実現するプログラム及び記録媒体
JP6854881B2 (ja) 顔画像照合システムおよび顔画像検索システム
US8209264B2 (en) Entering and leaving management system
JP5950484B2 (ja) 防犯システム
TW200817929A (en) Intelligent video verification of point of sale (POS) transactions
KR102107203B1 (ko) 키오스크 단말기 또는 태블릿 pc를 이용한 주차차단기 자동 출입 및 휴대폰을 이용한 주차차단기 개폐 시스템
JP2011039959A (ja) 監視システム
JP7400862B2 (ja) 情報処理装置
US20210233371A1 (en) Automatic video privacy
Senior et al. Privacy protection and face recognition
WO2019200737A1 (zh) 不动产资料上传方法、装置、计算机设备和存储介质
WO2016088401A1 (ja) 防犯システム
KR102049244B1 (ko) 안면인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법
JP2011014059A (ja) 行動分析システムおよび行動分析方法
KR102230250B1 (ko) 임대주택의 불법전대 모니터링시스템 및 방법
JP2015153054A (ja) セキュリティエリア管理システム、セキュリティエリア管理方法
KR20120053937A (ko) 고객 관리 시스템 및 방법
JP2009282729A (ja) 入退室管理システム
KR20190088731A (ko) 모바일 기반 이벤트 영상 관리 시스템
CN112733737A (zh) 一种人体重识别方法及装置
KR100810097B1 (ko) 고객이미지 기록방법 및 그 시스템
KR102107533B1 (ko) Pos 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템
CN110516501A (zh) 人脸识别系统曝光光亮补偿方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right