KR20080090035A - 웹 서비스를 이용한 방문자 식별 시스템 및 방법 - Google Patents

웹 서비스를 이용한 방문자 식별 시스템 및 방법 Download PDF

Info

Publication number
KR20080090035A
KR20080090035A KR1020070032989A KR20070032989A KR20080090035A KR 20080090035 A KR20080090035 A KR 20080090035A KR 1020070032989 A KR1020070032989 A KR 1020070032989A KR 20070032989 A KR20070032989 A KR 20070032989A KR 20080090035 A KR20080090035 A KR 20080090035A
Authority
KR
South Korea
Prior art keywords
visitor
face feature
feature data
visitor face
similarity
Prior art date
Application number
KR1020070032989A
Other languages
English (en)
Inventor
김현수
윤제한
심현식
박영희
이대하
송병열
Original Assignee
삼성전자주식회사
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국전자통신연구원 filed Critical 삼성전자주식회사
Priority to KR1020070032989A priority Critical patent/KR20080090035A/ko
Publication of KR20080090035A publication Critical patent/KR20080090035A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 적어도 하나의 클라이언트와 서버를 포함하는 방문자 식별 시스템에서 웹 서비스를 이용한 방문자 식별 시스템 및 방법에 관한 것이다. 이를 위해 본 발명은 클라이언트가 미리 설정된 얼굴 검출 주기마다 카메라로부터 출력된 영상을 획득하여 상기 획득한 영상으로부터 방문자의 얼굴 이미지를 검출하고, 검출된 얼굴 이미지로부터 방문자 얼굴 특징 데이터들을 추출한 후 추출된 방문자 얼굴 특징 데이터들을 포함시킨 방문자 인증 요청 메시지를 서버로 전송하고, 서버는 방문자 인증 요청 메시지가 수신되면, 방문자 인증 요청 메시지에 포함된 방문자 얼굴 특징 데이터들을 추출하고, 방문자 DB에 저장된 방문자 얼굴 특징 데이터들과 추출된 방문자 얼굴 특징 데이터 간의 유사도에 근거하여 방문자 DB에 저장된 방문자 특징 데이터들 중 추출된 방문자 얼굴 특징 데이터들과 유사한 방문자 얼굴 특징 데이터가 있는지를 판단한 후 판단 결과, 유사한 방문자 얼굴 특징 메시지가 있으면 해당 방문자를 인증함을 알리기 위한 방문자 인증 응답 메시지를 클라이언트로 전송할 수 있게 된다.
또한, 방문자 얼굴 특징 데이터들이 조명의 변화 또는 촬영 각도와 같은 주변환경에 의해 이미 방문자 DB에 등록되어 있는 방문자가 새로운 방문자의 얼굴 특징 템플릿으로 등록되더라도 주기적인 유사 방문자 얼굴 특징 데이터들의 병합을 통해서 방문자 당 하나의 얼굴 특징 템플릿을 유지할 수 있다. 더불어 다양한 환경에서의 동일 방문자에 대한 인식률을 높임으로써 정확한 방문자 식별이 가능할 수 있게 된다.
얼굴 검출, 얼굴 인식, 유사 템플릿 병합, 방문자 식별, 웹 서비스, SOAP

Description

웹 서비스를 이용한 방문자 식별 시스템 및 방법{SYSTEM AND METHOD FOR IDENTIFYNG VISITOR USING WEBSERVICE}
도 1은 본 발명의 제1 및 제2 실시 예에 따른 클라이언트의 내부 블록 구성도,
도 2는 본 발명의 제1 실시 예에 따른 서버의 내부 블록 구성도,
도 3a는 본 발명의 제1 실시 예에 따른 클라이언트에서 방문자의 얼굴 이미지로부터 얼굴 특징 데이터를 추출하는 과정을 나타내는 제어 흐름도,
도 3b는 본 발명의 제1 실시 예에 따른 서버에서 방문자 DB에 등록된 방문자의 얼굴 특징 데이터들 중 클라이언트로부터 수신된 방문자의 얼굴 특징 데이터와 유사한 얼굴 특징 데이터를 검출하는 과정을 수행하기 위한 제어 흐름도,
도 4는 본 발명의 제1 실시 예에 따른 방문자의 얼굴 특징 데이터들과 방문자 등록 템플릿이 가지는 얼굴 특징 데이터들 간의 유사도 평균 테이블,
도 5는 본 발명의 제1 실시 예에 따른 서버에서 방문자의 얼굴 특징 데이터와 방문자 DB에 등록된 방문자의 특징 템플릿이 가지는 얼굴 특징 데이터들 간의 유사도를 설명하기 위한 예시도,
도 6은 본 발명의 제2 실시 예에 따른 방문자 식별 시스템의 구성도.
도 7은 본 발명의 제2 실시 예에 따른 서버의 내부 블록 구성도,
도 8은 본 발명의 제2 실시 예에 따른 서버에서 유사 얼굴 특징 데이터 병합 과정을 수행하기 위한 제어 흐름도,
도 9a는 본 발명의 제2 실시 예에 따른 서버에서 방문자 DB에 등록된 특징 템플릿들 간의 유사도 평균 테이블,
도 9b는 본 발명의 제2 실시 예에 따른 방문자 DB에 등록된 방문자의 얼굴 특징 템플릿 간의 유사도 평균과 비교 얼굴 특징 템플릿 간의 유사도 평균의 비율을 나타내는 유사도 평균비 테이블,
도 10는 본 발명의 제2 실시 예에 따른 서버에서 방문자 DB에 등록된 방문자의 특징 템플릿들 중 가장 유사한 특징 템플릿들을 병합하는 과정을 설명하기 위한 예시도,
도 11은 본 발명의 제2 실시 예에 따른 서버에서 결합된 유사 특징 템플릿들이 가지는 얼굴 특징 데이터들 간의 유사도 평균 테이블.
본 발명은 방문자를 식별하기 위한 방문자 식별 시스템 및 방법에 관한 것으로, 특히 클라이언트와 서버 간에 웹 서비스를 이용하여 방문자 식별 시스템을 구축하기 위한 방문자 식별 시스템 및 방법에 관한 것이다.
일반적으로 사업장이나 매장에는 하루에도 수많은 방문자가 방문한다. 그래 서, 판매자는 방문자들 중 고정 방문자의 비율이 높이기를 바라며, 이러한 고정 방문자들의 비율에 따라 사업장이나 매장의 판매율이 달라진다. 따라서, 판매자는 사업장 또는 매장에 방문하는 방문자의 방문 여부를 확인하기 위해 방문자에게 별도의 아이디 카드를 발급하기 위한 방문자 정보를 등록하도록 하고, 방문자들에게 방문자 정보가 등록된 아이디 카드를 발급한다. 이와 같은 아이디 카드를 소지한 방문자가 다음에 사업장 또는 매장에 방문할 경우 해당 방문자의 방문기록을 체크할 수 있다. 하지만 이와 같은 아이디 카드 발급 과정에서 방문자는 개인정보 유출에 대한 위험부담으로 인해 아이디 카드 발급을 위한 방문자 정보 등록과정을 원하지 않을 수 있다. 또한, 방문자가 매장을 방문할 시 아이디 카드를 소지하지 않거나 아이디 카드를 발급받은 방문자 이외의 다른 방문자가 해당 아이디 카드를 소지하여 매장을 방문할 경우에는 방문기록이 정확하게 조사되지 않을 수 있다. 그리고, 판매자는 아이디 카드 발급에 따른 재정적인 부담도 고려해야 한다.
따라서, 이와 같이 아이디 카드를 이용하여 방문자를 식별할 시 발생하는 문제점을 개선하기 위해 판매자는 방문자의 얼굴을 검출하고, 검출된 얼굴을 등록하거나 방문자 기록을 갱신함으로써 방문자를 식별하기 위한 방문자 식별 시스템을 도입하게 되었다. 이와 같이 일반적인 방문자 식별 시스템은 클라이언트와 서버로 구성되는데, 이때 클라이언트는 방문자의 얼굴 이미지를 검출하는 동작을 수행하고, 서버는 클라이언트로부터 검출된 얼굴 이미지를 인식하는 동작을 수행한다. 구체적으로 클라이언트는 카메라 또는 캠코더와 같은 영상 입력 장치를 통해 입력된 영상에서 입력된 영상에서 방문자의 얼굴 이미지를 추출하여 서버로 전송한다. 그 러면 서버는 전송된 방문자의 얼굴 이미지와 방문자 데이터 베이스에 등록된 방문자의 얼굴 이미지와 유사한 얼굴 이미지를 검색한다. 이때, 서버에서 얼굴 인식 과정을 수행하기 위해서는 인식할 얼굴 이미지를 등록하는 과정이 필요하다. 얼굴 이미지를 등록하는 방법은 온라인으로 등록하는 방법과 오프라인으로 등록하는 방법이 있다. 먼저, 온라인으로 등록하는 방법은 실시간으로 영상 처리 장치에서 영상을 입력받아 얼굴 이미지를 등록하는 방법이고, 오프라인으로 등록하는 방법은 미리 찍어놓은 사진을 이용하여 얼굴 이미지를 등록하는 방법이다. 따라서, 판매자는 이러한 인식할 얼굴 이미지를 등록하기 위해 방문자 DB에 방문자 얼굴 이미지를 미리 등록한다.
상기와 같은 종래의 방문자 식별 시스템은 클라이언트와 서버로 구성되어 방문자를 식별하는 동작을 수행한다. 그러나, 판매자가 운영하는 사업장이나 매장은 여러 지역에서 운영되어 다수의 클라이언트와 서버가 존재할 수 있다. 그러므로 클라이언트와 서버, 서버와 서버 간이 서로 다른 종류의 시스템과 운영체제에서 동작하고, 표준화되지 않은 정보 전달 인터페이스와 프로토콜이 사용될 수 있다. 이와 같은 경우 각각의 클라이언트 및 서버는 클라이언트와 서버, 서버와 서버 간의 원활한 동작 수행을 위한 메시지 형식을 클라이언트 및 서버에서 각기 처리할 수 있는 메시지 형식으로 변환해야하는 번거로움이 있었다.
또한, 방문자를 식별하기 위해서는 방문자가 별도로 방문자의 얼굴 이미지를 등록해야 하기 때문에 방문자가 스스로 얼굴 이미지를 등록해야 하는 불편한 점이 있었다.
한편, 동일한 방문자가 사업장이나 매장에 방문할 시 조명의 밝기 또는 촬영 각도에 따른 주변환경으로 인해 카메라에서 입력된 방문자의 영상이 전혀 다른 방문자의 영상으로 인식될 수 있다. 이와 같은 경우 해당 영상에서 추출된 방문자의 얼굴 이미지가 방문자 DB에 다른 방문자의 얼굴 이미지 또는 새로운 방문자의 얼굴 이미지로 등록되어 방문자 식별 시스템의 인식률이 낮아질 수 있다.
따라서, 본 발명은 클라이언트와 서버 간에 웹 서비스를 이용하여 방문자를 식별하기 위한 방문자 시스템 및 방법을 제공한다.
또한, 본 발명은 별도의 방문자 얼굴 이미지를 등록하는 과정이 없이 방문자를 식별하기 위한 방문자 시스템 및 방법을 제공한다.
그리고, 본 발명은 정확한 방문자 식별을 하기 위한 방문자 식별 시스템 및 방법을 제공한다.
상술한 바를 달성하기 위한 본 발명은 웹 서비스를 이용한 방문자 식별 시스템에 있어서, 적어도 하나의 방문자별로 방문자 얼굴 특징 데이터들을 포함하는 방문자 얼굴 특징 템플릿을 저장하는 방문자 데이터 베이스(DB: Database)와, 미리 설정된 얼굴 검출 주기마다 카메라로부터 출력된 방문자 영상을 획득하여 상기 획득한 영상으로부터 방문자의 얼굴 이미지를 검출하고, 상기 검출된 얼굴 이미지로 부터 방문자 얼굴 특징 데이터들을 추출한 후 상기 추출된 방문자 얼굴 특징 데이터들을 방문자 인증 요청 메시지에 포함시켜 서버로 전송하는 클라이언트와, 상기 방문자 인증 요청 메시지가 수신되면, 상기 수신된 방문자 인증 요청 메시지에서 방문자 얼굴 특징 데이터들을 추출하고, 상기 방문자 DB에 저장된 방문자 얼굴 특징 데이터들과 상기 추출된 방문자 얼굴 특징 데이터 간의 유사도에 근거하여 상기 추출된 방문자 얼굴 특징 데이터와 유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿이 있는지를 판단한 후, 상기 판단결과 유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿이 있으면 해당 방문자를 인증함을 알리기 위한 방문자 인증 응답 메시지를 상기 클라이언트로 전송하는 서버를 구비함을 특징으로 한다.
또한, 본 발명은 적어도 하나의 클라이언트와 서버를 포함하는 방문자 식별 시스템에서 웹 서비스를 이용한 방문자 식별 방법에 있어서, 클라이언트가 미리 설정된 얼굴 검출 주기마다 카메라로부터 출력된 영상을 획득하여 상기 획득한 영상으로부터 방문자의 얼굴 이미지를 검출하고, 상기 검출된 얼굴 이미지로부터 방문자 얼굴 특징 데이터들을 추출한 후 상기 추출된 방문자 얼굴 특징 데이터들을 포함시킨 방문자 인증 요청 메시지를 서버로 전송하는 과정과, 상기 서버는 상기 방문자 인증 요청 메시지가 수신되면, 상기 방문자 인증 요청 메시지에 포함된 방문자 얼굴 특징 데이터들을 추출하고, 상기 방문자 DB에 저장된 방문자 얼굴 특징 데이터들과 상기 추출된 방문자 얼굴 특징 데이터 간의 유사도에 근거하여 상기 방문자 DB에 저장된 방문자 특징 데이터들 중 상기 추출된 방문자 얼굴 특징 데이터들 과 유사한 방문자 얼굴 특징 데이터가 있는지를 판단한 후 상기 판단 결과, 유사한 방문자 얼굴 특징 메시지가 있으면 해당 방문자를 인증함을 알리기 위한 방문자 인증 응답 메시지를 상기 클라이언트로 전송하는 과정을 구비함을 특징으로 한다.
그리고, 본 발명은 자동으로 등록된 방문자가 등록시와 상이한 환경에서 새로운 방문자로 등록되었을 경우를 위하여, 미리 정해진 템플릿 병합 주기마다 방문자 DB에 저장된 방문자 얼굴 특징 데이터들간 유사도를 구하여, 동일한 방문자의 얼굴 특징 데이터로 판별될 경우 하나의 얼굴 특징 데이터로 병합하는 과정을 포함함을 특징으로 한다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명은 동기종 또는 이기종의 운영체제로 동작하는 클라이언트와 서버에서 표준화된 방법으로 정보 전달 및 서비스 호출을 하기 위해 클라이언트 및 서버를 구축하기 위한 방법을 제공하도록 한다. 또한, 본 발명은 방문자 식별 시스템에서 방문자 DB에 등록된 방문자 특징 템플릿들 중 유사한 방문자 특징 템플릿들을 추출하여 추출된 유사 방문자 특징 템플릿을 주기적으로 병합함으로써 방문자 인식률을 높이기 위한 방법을 제공하도록 한다.
이와 같은 방문자 식별 시스템에서 동기종 또는 이기종의 운영체제로 동작하는 클라이언트와 서버에서 표준화된 방법으로 메시지를 전달하기 위해 클라이언트 및 서버를 구축하기 위한 방법을 제1 실시 예로 설명하기로 한다. 그리고, 방문자 DB에 등록된 방문자 특징 템플릿들 중 유사한 방문자 특징 템플릿들을 주기적으로 병합함으로써 방문자 인식률을 높이기 위한 방법을 제2 실시 예로 설명하기로 한다.
먼저, 제1 실시 예에 따른 방문자 식별 시스템에서 클라이언트의 블록 구성도를 도 1를 참조하여 살펴보도록 한다.
제어부(100)는 클라이언트의 전반적인 동작을 제어한다. 특히, 본 발명에서 제어부(100)는 카메라 부(120)를 통해서 출력되는 영상을 영상 획득부(130)로 전송하여 해당 영상을 획득하도록 한다. 그리고, 제어부(100)는 얼굴 검출 타이머(110)가 작동하여 얼굴 검출 주기가 되면 영상 획득부(130)로 전송된 영상을 얼굴 검출부(140)로 전송하여 전송된 영상에서 방문자의 얼굴 이미지를 검출하도록 한다. 이후 제어부(100)는 검출된 방문자 얼굴 이미지를 특징 데이터 산출부(150)로 전송하여 방문자의 얼굴 특징 데이터를 추출하도록 한다. 여기서, 방문자의 얼굴 이미지 데이터는 비교적 큰 용량의 데이터이므로, 이를 요청 메시지에 첨부하여 서버로 전송할 경우 클라이언트와 서버 간에 과부하가 생길 수 있다. 따라서, 본 발명에서 제어부(100)는 방문자의 얼굴 이미지 데이터보다는 상대적으로 작은 용량을 가지는 방문자의 얼굴 특징 데이터를 방문자 인식 메시지에 첨부하여 서버로 전송한다. 그러면 방문자 얼굴 특징 데이터를 첨부한 메시지는 방문자 얼굴 이미지를 첨부한 메시지보다 더 빠르게 서버로 전송될 수 있다.
또한, 제어부(100)는 추출된 방문자 얼굴 특징 데이터를 포함시킨 방문자 인증 메시지를 SOAP(Simple Object Access Protocol) 표준에 맞도록 작성하여 메시지 송수신부(160)를 통해서 서버로 전송한다. 여기서 SOAP는 웹 서비스 제공자와 웹 서비스 요청자 사이에서 주고받는 메시지의 형식을 정의한 메시지 교환 프로토콜이다. 일반적으로 웹 서비스란 XML(Extensible Markup Language)을 기반으로 하는 공개 표준들을 이용하여 인터넷 기반의 분산 컴퓨팅 환경에서 원격 메소드를 호출하여 사용할 수 있는 재사용 가능한 소프트웨어 컴포넌트를 의미한다. 이러한 웹 서비스는 SOAP, WSDL(Web Service Description Language), UDDI(Universal Description, Discovery, and Integration)와 같은 3가지 XML 기반 표준들을 가진다. 여기서 WSDL은 해당 웹 서비스에 대한 상세한 설명을 포함하고 있는 서비스 명세이고, UDDI는 웹 서비스를 등록하고, 검색할 수 있는 일종의 웹 서비스 레지스트리에 대한 명세이다. 이러한 SOAP, WSDL, UDDI 등과 같은 웹 서비스와 관련된 표준들은 XML을 기반으로 하는 공개 표준들로써, SOAP과 WSDL은 월드 와이드 웹에 관련된 표준을 관장하는 W3C(The World Wide Web Consortium)에서 관리한다. 그리고, UDDI는 ebXML(Electronic Business XML)로 잘 알려진 OASIS(Organization for the Advancement of Structured Information Standards)에서 관리하고 있다. 예를 들어, 서비스 제공자가 서비스할 내용을 WSDL에 기술하여 UDDI에 등록해두면, 서비스 이용자는 우선 자신이 필요한 서비스를 UDDI를 통해 검색하고, 검색된 서비스의 WSDL을 참고해서 해당 서버에 서비스를 요청한다. 이때, 요청 메시지는 SOAP 표준에 따르게 된다. 그리고, 서비스 요청을 받은 서버에서는 관련 서비스를 수행하고, 그 결과메시지를 SOAP 표준에 따라 작성하여 서비스 요청자에게 보낸다. 만약, 서비스 이용자 및 서비스 제공자가 서로 다른 시스템이나 운영체제를 사용한다면, 서 비스 제공자는 상기와 같은 웹 서비스 표준들을 통해 각자의 환경에 맞게끔 서비스를 구현하고, 서비스 이용자는 구현된 서비스를 동일한 패턴으로 이용할 수 있게 된다. 따라서, 클라이언트는 방문자 인증 메시지를 SOAP 표준에 맞도록 작성하여 서버로 전송하게 되면 별도의 메시지 형식 변환 과정이 없이 서버에서 방문자 인증 메시지를 확인할 수 있게 된다.
한편, 얼굴 검출 타이머(110)는 제어부(100)의 제어하에 미리 설정된 타이머 값의 주기로 구동하는 얼굴을 검출하기 위한 타이머이다. 이러한 얼굴 검출 타이머(110)는 잦은 얼굴 검출 및 얼굴 인식으로 인한 클라이언트와 서버의 과부하를 방지하기 위해 미리 설정한 주기로 구동된다.
또한, 카메라 부(120)는 카메라로부터 입력된 광신호를 영상으로 변환하여 출력한다. 특히, 본 발명에서 카메라 부(120)는 카메라로부터 입력된 광신호를 영상으로 변환하여 영상 획득부(130)로 출력한다.
그리고, 영상 획득부(130)는 카메라 부(120)로부터 입력된 영상을 임시로 저장하고, 제어부(100)의 제어하에 얼굴 검출부(140)로 해당 영상을 출력한다.
한편, 얼굴 검출부(140)는 영상 획득부(130)로부터 입력된 영상에서 얼굴 이미지를 검출한다. 만약, 입력된 영상에서 방문자의 얼굴 이미지가 검출되면 얼굴 검출부(140)는 검출된 방문자 얼굴 이미지를 특징 데이터 산출부(150)로 전송하고, 그렇지 않으면 얼굴 검출 타이머(110)가 다시 동작하여 얼굴 검출하기 위한 시점이 될 때까지 대기한다.
그리고, 특징 데이터 산출부(150)는 얼굴 검출부(140)로부터 전송된 방문자 얼굴 이미지에서 방문자 얼굴의 특징이 되는 눈이나 코, 입, 머리 모양과 같은 방문자 얼굴 특징 데이터를 추출한다.
또한, 메시지 송수신부(160)는 방문자 얼굴 특징 데이터가 첨부된 방문자 인증 메시지를 서버로 송신하고, 서버로부터 방문자 인증 메시지를 수신한다.
그러면 이제 제1 실시 예에 따른 서버의 블록 구성도를 도 2를 참조하여 살펴보도록 한다.
먼저, 제어부(200)는 서버의 전반적인 동작을 제어한다. 또한, 제어부(200)는 메시지 송수신부(210)를 통해서 클라이언트로부터 방문자 인증 메시지를 수신한다. 그리고 제어부(200)는 특징 데이터 추출부(220)를 통해서 방문자 인증 메시지에 첨부된 방문자 얼굴 특징 데이터를 추출하고, 추출된 방문자 얼굴 특징 데이터를 얼굴 인식부(230)로 출력한다. 이후, 제어부(200)는 얼굴 인식부(230)로부터 입력된 방문자 얼굴 특징 데이터와 방문자 DB(240)에 등록된 방문자 얼굴 특징 데이터들을 비교하여 유사도를 확인한다. 유사도 확인 결과 유사한 얼굴 특징 데이터가 있으면 제어부(100)는 방문자 DB(240)에 등록되어 있는 사람이라고 판단하고, 얼굴 인식부(230)로부터 입력된 방문자 얼굴 특징 데이터와 유사한 얼굴 특징 데이터의 금일 방문 기록을 확인한다. 금일 방문 기록 확인 결과 금일 방문 기록이 확인되지 않으면 제어부(200)는 해당 유사 얼굴 특징 데이터의 방문 기록을 갱신한다. 또한, 상기 유사도 확인 결과 유사한 얼굴 특징 데이터가 없다면 제어부(200)는 얼굴 인식부(120)로부터 입력된 방문자 얼굴 특징 데이터를 새로운 방문자 얼굴 특징 데이터로 판단하여 방문자 DB(240)에 해당 방문자 얼굴 특징 데이터를 등록한다. 그리 고 제어부(200)는 해당 방문자 얼굴 특징 데이터 등록 및 방문 기록 갱신에 관한 정보를 방문자 인식 메시지에 포함시켜 메시지 송수신부(210)를 통해서 클라이언트로 전송한다.
한편, 메시지 송수신부(210)는 클라이언트로부터 방문자 인식 메시지를 수신하여 특징 데이터 추출부(220)로 전송한다. 그리고 메시지 송수신부(210)는 제어부(200)의 제어하에 방문자 얼굴 특징 데이터 등록 및 방문 기록 업데이트에 관한 정보를 방문자 인식 메시지에 포함하여 클라이언트로 전송한다.
또한, 특징 데이터 추출부(220)는 메시지 송수신부(210)에서 수신된 방문자 인식 메시지에 포함된 방문자 얼굴 특징 데이터를 추출한다.
그리고, 얼굴 인식부(230)는 추출된 방문자 얼굴 특징 데이터를 방문자 DB(240)에 등록된 방문자 얼굴 특징 데이터들과 비교하여 유사도를 확인한다.
한편, 방문자 DB(240)는 방문자 얼굴 특징 데이터 및 금일 방문 기록과 같은 방문자 등록 정보들을 저장한다. 여기서, 방문자 얼굴 특징 데이터는 방문자의 얼굴에서 눈이나 코, 입, 머리 모양과 같이 얼굴 특징을 나타낼 수 있는 데이터를 의미한다. 그리고, 금일 방문 기록은 특정 방문자가 금일 방문한 기록을 의미한다.
그러면 상기 도 1 및 도 2와 같이 구성되는 클라이언트와 서버에서 방문자를 식별하기 위한 과정을 도 3a 및 도 3b를 참조하여 살펴보도록 한다.
도 3a는 본 발명의 제1 실시 예에 따라 클라이언트에서 방문자 얼굴 특징 데이터를 검출하여 인증을 위해 서버로 검출한 방문자 얼굴 특징 데이터를 전송하는 과정을 도시한 흐름도이다. 그리고, 도 3b는 본 발명의 제1 실시 예에 따라 서버에 서 클라이언트로부터 수신한 방문자 얼굴 특징 데이터를 이용하여 방문자를 인식하기 위한 과정을 도시한 흐름도이다.
먼저, 도 3a를 살펴보면 제어부(100)는 300단계에서 카메라 부(120)로부터 출력된 영상을 영상 획득부(130)에 임시로 저장한다. 이후, 제어부(100)는 302단계에서 얼굴 검출 타이머(110)가 동작하는지 검사하여 동작하면 304단계를 진행하고, 그렇지 않으면 300단계로 진행하여 계속적으로 영상을 획득한다.
한편, 304단계에서 제어부(100)는 얼굴 검출부(140)를 통해서 영상 획득부(130)에 저장된 영상으로부터 방문자의 얼굴 이미지를 검출한다. 이후, 제어부(100)는 306단계에서 얼굴 이미지가 검출되었는지 검사하여 방문자의 얼굴 이미지가 검출되면 308단계를 진행하고, 그렇지 않으면 302단계로 진행하여 얼굴 검출 타이머(110)가 동작하는지 검사한다.
이후, 308단계에서 제어부(100)는 검출된 얼굴 이미지에서 얼굴 특징 데이터를 추출하도록 특징 데이터 산출부(150)를 제어한다. 그리고, 제어부는 310단계에서 추출된 얼굴 특징 데이터를 포함한 방문자 인증 메시지를 작성하여 메시지 송수신부(160)를 통해서 서버로 전송한다.
다음으로 도 3b를 살펴보면, 제어부(200)는 320단계에서 대기 상태를 유지하다가 322단계로 진행하여 방문자 인증 메시지가 메시지 송수신부(210)를 통해서 수신되었는지 검사한다. 그리고 제어부(200)는 방문자 인증 메시지가 수신되었으면 324단계를 진행하고, 그렇지 않으면 320단계로 진행하여 대기 상태를 유지한다.
이후, 324단계에서 제어부(200)는 특징 데이터 추출부(220)가 수신된 방문자 인증 메시지로부터 얼굴 특징 데이터를 추출하도록 한다. 그리고, 제어부(200)는 326단계에서 방문자 DB(240)에 등록된 방문자 얼굴 특징 데이터들과 추출된 얼굴 특징 데이터와 비교하여 유사도를 확인한 후 추출된 얼굴 특징 데이터와 유사도가 가장 높은 얼굴 특징 데이터를 검색한다. 이때, 제어부(200)가 추출된 얼굴 특징 데이터와 유사도가 가장 높은 얼굴 특징 데이터를 검색하기 위한 방법을 도 4 및 도 5를 참조하여 살펴보도록 한다.
도 4는 도 2의 특징 데이터 추출부(220)에서 추출된 k개의 방문자 얼굴 특징 데이터들과 방문자 DB에 등록된 m개의 방문자 특징 템플릿이 가지는 특징 데이터들을 각각 비교하여 유사도 평균과 유사도 평균의 총합, 유사도 평균 최대값을 포함하는 유사도 평균 테이블이다. 여기서, 방문자 특징 템플릿은 특정 방문자의 얼굴 특징 데이터들을 가지는 그룹을 의미한다. 그리고, 도 5는 방문자 얼굴 이미지로부터 추출된 k개의 얼굴 특징 데이터들과 방문자 DB(240)에 등록된 m개의 특징 템플릿들 각각이 가지는 n개의 얼굴 특징 데이터들을 비교하는 것을 설명하기 위한 예시도이다.
예를 들어 도 4의 예에서와 같이 특징 데이터 추출부(220)로부터 추출된 k개의 얼굴 특징 데이터들을
Figure 112007025950440-PAT00001
,
Figure 112007025950440-PAT00002
...,
Figure 112007025950440-PAT00003
라고 가정하고, 방문자 DB(240)에 등록된 m개의 특징 템플릿들
Figure 112007025950440-PAT00004
,
Figure 112007025950440-PAT00005
...,
Figure 112007025950440-PAT00006
이 n개의 얼굴 특징 데이터
Figure 112007025950440-PAT00007
,
Figure 112007025950440-PAT00008
...,
Figure 112007025950440-PAT00009
을 가진다고 가정한다.
이때, 제어부(200)는 도 5에 도시된 바와 같이 방문자 얼굴 영상(501)으로부터 추출된 k개의 얼굴 특징 데이터
Figure 112007025950440-PAT00010
(502)를 방문자 DB(240)에 등록된 방문자 얼굴 특징 템플릿인
Figure 112007025950440-PAT00011
(503),
Figure 112007025950440-PAT00012
(504)...,
Figure 112007025950440-PAT00013
(505)이 가지는
Figure 112007025950440-PAT00014
,
Figure 112007025950440-PAT00015
...,
Figure 112007025950440-PAT00016
의 얼굴 특징 데이터들 각각을 비교한다. 그리고, 제어부(200)는 각각의 비교한 얼굴 특징 데이터들과 방문자 DB에 등록된 특징 템플릿들 간의 유사도 평균을 산출한다. 이때,
Figure 112007025950440-PAT00017
과
Figure 112007025950440-PAT00018
의 유사도를
Figure 112007025950440-PAT00019
로 나타낸다면 유사도 평균
Figure 112007025950440-PAT00020
은 하기와 같은 <수학식1>로 나타낼 수 있다.
Figure 112007025950440-PAT00021
따라서, 제어부(200)는 상기와 같은 <수학식1>을 이용하여 k개의 얼굴 특징 데이터들을
Figure 112007025950440-PAT00022
,
Figure 112007025950440-PAT00023
...,
Figure 112007025950440-PAT00024
과 n개의 얼굴 특징 데이터
Figure 112007025950440-PAT00025
,
Figure 112007025950440-PAT00026
...,
Figure 112007025950440-PAT00027
을 가지는 m개의 방문자 특징 템플릿들
Figure 112007025950440-PAT00028
,
Figure 112007025950440-PAT00029
...,
Figure 112007025950440-PAT00030
의 유사도 평균을 각각 산출할 수 있다.
그리고, 제어부(200)는 각각
Figure 112007025950440-PAT00031
,
Figure 112007025950440-PAT00032
...,
Figure 112007025950440-PAT00033
의 유사도 평균 총합을 산출하여 최대 유사도 평균 총합을 가지는 방문자 특징 템플릿을 확인한다. 또한, 제 어부(200)는 각각의 얼굴 특징 데이터들
Figure 112007025950440-PAT00034
,
Figure 112007025950440-PAT00035
...,
Figure 112007025950440-PAT00036
별로 가장 많은 개수의 최대 유사도 평균을 가지는 방문자 특징 템플릿을 확인한다. 그리하여 제어부(200)는 최대 유사도 평균 총합을 가지고, 동시에 가장 많은 개수의 최대 유사도 평균을 가지는 방문자 특징 템플릿이 특징 데이터 추출부(220)로부터 추출된 방문자 얼굴 특징 데이터를 가지는 방문자와 가장 유사한 방문자의 특징 템플릿이라고 판단한다.
한편, 326단계에서 328단계로 진행한 제어부(200)는 방문자 DB(240)에 등록된 얼굴 특징 데이터들 중 특징 데이터 추출부(220)로부터 추출된 얼굴 특징 데이터들과 가장 유사한 특징 템플릿이 존재하는지 검사한다. 그리하여 유사 특징 템플릿이 존재하면 제어부(200)는 330단계를 진행하고, 그렇지 않으면 332단계를 진행하여 방문자 DB(240)에 새로운 방문자 얼굴 특징 데이터로 등록한다.
이후, 제어부(200)는 330단계에서 등록된 방문자의 얼굴 특징 데이터가 금일 방문 기록이 있는지 검사하여 금일 방문 기록이 있으면 336단계로 진행하고, 그렇지 않으면 334단계로 진행하여 방문자 DB(240)에 등록된 방문 기록을 갱신한다. 그리고, 330단계와 332단계, 334단계에서 336단계로 진행한 제어부(200)는 새로운 방문자 얼굴 특징 데이터 등록 및 방문자 기록 갱신과 같은 방문자 정보를 포함한 방문자 인식 메시지를 작성하여 메세지 송수신부(210)를 통해서 클라이언트로 전송한다.
다음으로 제2 실시 예에 따라 적어도 하나의 클라이언트와 서버 및 방문자 DB를 구비하는 방문자 식별 시스템의 블록 구성도에 대해서 도 6을 참조하여 살펴보도록 한다.
먼저, 클라이언트(611)는 카메라로부터 영상을 획득하고, 획득된 영상에서 얼굴 이미지를 검출한 후 검출된 얼굴 이미지에서 얼굴 특징 데이터를 추출한다. 그리고, 클라이언트(611)는 얼굴 특징 데이터를 포함시킨 방문자 인식 메시지를 서버(620)로 전송한다. 그러면, 서버(620)는 서버 세션(621)을 생성하고, 생성된 서버 세션(621)을 통해서 전송된 방문 인식 메시지로부터 얼굴 특징 데이터를 추출한다. 여기서, 웹 서비스 세션은 클라이언트로부터 방문자 인식 메시지를 전송받을 경우 서버에 하나씩 생성된다. 그리고, 서버 세션(621)은 추출된 얼굴 특징 데이터와 유사한 얼굴 특징 데이터가 방문자 DB(630)에 있는지 검색한다. 한편, 방문자 DB(630)는 방문자의 얼굴 특징 데이터 및 방문 기록, 방문자 등록 정보가 저장되고, 이를 통해서 자주 방문하는 사람을 확인할 수 있다. 또한, 얼굴 특징 데이터 병합 모듈(622)은 방문자 DB(630)에 등록된 얼굴 특징 데이터들 중 유사 얼굴 특징 데이터들을 추출 및 병합하고, 병합된 얼굴 특징 데이터들을 방문자 DB(630)에 재등록한다.
그러면, 제2 실시 예에 따른 방문자 식별 시스템에서 서버(620)의 구체적인 블록 구성도에 대해서 도 7을 참조하여 살펴보도록 한다.
먼저, 제어부(700)는 병합 타이머(710)를 미리 설정된 타이머 값의 주기로 동작시킨다. 또한, 제어부(700)는 병합 타이머(710)가 동작하면, 특징 데이터 추출부(740)를 통해서 방문자 DB(630)에 등록된 각각의 방문자 특징 템플릿들이 가지는 방문자 얼굴 특징 데이터들을 추출한다. 그리고 제어부(700)는 추출된 방문자 얼굴 특징 데이터들 각각을 서로 비교하여 유사도가 가장 높은 얼굴 특징 데이터들을 유사 특징 데이터 판단부(750)를 통해서 추출한다. 또한, 제어부(700)는 추출된 유사 얼굴 특징 데이터들을 얼굴 특징 데이터 병합부(760)를 통해서 결합하고, 결합된 유사 얼굴 특징 데이터들을 병합하여 기존의 방문자 얼굴 특징 템플릿으로 재구성한다. 이후, 제어부(700)는 재구성된 기존의 방문자 얼굴 특징 템플릿을 방문자 DB(770)에 재등록한다.
그리고, 병합 타이머(710)는 제어부(700)의 제어하에 얼굴 특징 데이터들을 병합하기 위한 미리 설정된 일정한 타이머 값의 주기로 구동된다.
또한, 특징 데이터 추출부(740)는 제어부(700)의 제어하에 방문자 DB(630)에 등록된 방문자 얼굴 특징 템플릿들이 가지는 방문자 얼굴 특징 데이터들을 추출하여 유사 특징 데이터 판단부(750)로 출력한다.
그리고, 유사 특징 데이터 판단부(750)는 특징 데이터 추출부(740)로부터 입력된 방문자 얼굴 특징 데이터들 각각을 비교하여 유사도가 가장 높은 얼굴 특징 데이터들을 판단하고, 추출된 유사 얼굴 특징 데이터들을 얼굴 특징 데이터 병합부(760)로 출력한다.
한편, 얼굴 특징 데이터 병합부(760)는 유사 특징 데이터 판단부(750)로부터 입력된 유사 얼굴 특징 데이터들을 결합한 후 결합된 유사 얼굴 특징 데이터들을 병합하여 병합된 얼굴 특징 데이터들로 기존의 방문자 얼굴 특징 템플릿을 재구성한다.
그러면, 상기 도 7과 같이 구성되는 방문자 얼굴 특징 데이터 병합 모듈(622)을 구비하는 서버에서 유사 얼굴 특징 데이터들을 병합하기 위한 과정을 도 8을 참조하여 살펴보도록 한다.
먼저, 제어부(700)는 800단계에서 얼굴 인식 동작 과정을 수행하다가 802단계로 진행하여 병합 타이머(710)가 동작하는지 검사한다. 그리고, 802단계 검사결과 제어부(700)는 병합 타이머(710)가 동작하면 804단계를 진행하고, 그렇지 않으면 800단계로 진행하여 얼굴 인식 동작을 계속적으로 수행한다.
이후, 804단계에서 제어부(700)는 유사 특징 데이터 판단부(750)를 통해서 방문자 DB(630)에 등록된 m개의 방문자 얼굴 특징 템플릿들 각각에 대해 유사도 평균을 산출한다. 그리고 제어부(700)는 806단계에서 각 방문자 얼굴 특징 템플릿마다 산출된 유사도 평균들을 방문자 DB(630)에 저장된 방문자 얼굴 특징 템플릿과 동일한 비교 방문자 얼굴 특징 템플릿간의 유사도 평균으로 나눈 유사도 평균비를 산출한다. 여기서, 비교 등록 템플릿은 방문자 DB(630)에 등록된 방문자 얼굴 특징 템플릿들과 비교되는 동일한 방문자 얼굴 특징 템플릿을 의미한다.
이후, 제어부(700)는 산출된 각각의 유사도 평균비들 중 동일한 방문자 얼굴 특징 데이터들간의 유사도 평균비를 제외하고 가장 큰 값의 유사도 평균비를 가지며 그 값이 특정 임계치 값을 넘으면 그 방문자 얼굴 특징 템플릿들을 동일한 방문자에 대한 방문자 얼굴 특징 템플릿으로 판단하여 추출한다. 이때, 제어부(700)가 상기와 같은 유사도 평균과 유사도 평균비를 산출하는 과정은 도 9를 참조하여 살펴보도록 한다.
먼저 도 9a를 살펴보면, 예를 들어
Figure 112007025950440-PAT00037
,
Figure 112007025950440-PAT00038
...,
Figure 112007025950440-PAT00039
과 같은 n개의 얼굴 특징 데이터들을 가지는 m개의 방문자 특징 템플릿
Figure 112007025950440-PAT00040
,
Figure 112007025950440-PAT00041
...,
Figure 112007025950440-PAT00042
이 방문자 DB(630)에 등록되어 있다고 가정한다. 그러면 제어부(700)는
Figure 112007025950440-PAT00043
,
Figure 112007025950440-PAT00044
...,
Figure 112007025950440-PAT00045
과
Figure 112007025950440-PAT00046
,
Figure 112007025950440-PAT00047
...,
Figure 112007025950440-PAT00048
을 서로 비교하여 각각의 유사도 평균
Figure 112007025950440-PAT00049
,
Figure 112007025950440-PAT00050
...,
Figure 112007025950440-PAT00051
을 산출한다. 이때, 임의의 R₁과 R₂각각의 얼굴 특징 데이터들을 비교한 유사도 평균
Figure 112007025950440-PAT00052
는 하기와 같은 <수학식2>로 나타낼 수 있다.
Figure 112007025950440-PAT00053
Figure 112007025950440-PAT00054
...
Figure 112007025950440-PAT00055
Figure 112007025950440-PAT00056
여기서
Figure 112007025950440-PAT00057
는
Figure 112007025950440-PAT00058
과
Figure 112007025950440-PAT00059
를 서로 비교한 유사도를 의미한다. 따라서, 제어부(700)는 상기와 같은 <수학식2>을 통해서
Figure 112007025950440-PAT00060
,
Figure 112007025950440-PAT00061
...,
Figure 112007025950440-PAT00062
을 산출할 수 있다.
그러면 이제 도 9b를 살펴보면, 제어부(700)는
Figure 112007025950440-PAT00063
과
Figure 112007025950440-PAT00064
,
Figure 112007025950440-PAT00065
...,
Figure 112007025950440-PAT00066
각각의 유사도 평균
Figure 112007025950440-PAT00067
,
Figure 112007025950440-PAT00068
...,
Figure 112007025950440-PAT00069
을
Figure 112007025950440-PAT00070
과
Figure 112007025950440-PAT00071
의 유사도 평균
Figure 112007025950440-PAT00072
으로 나눈 유사도 평균의 비
Figure 112007025950440-PAT00073
,
Figure 112007025950440-PAT00074
...,
Figure 112007025950440-PAT00075
을 산출한다. 또한, 제어부(700)는
Figure 112007025950440-PAT00076
와
Figure 112007025950440-PAT00077
,
Figure 112007025950440-PAT00078
...,
Figure 112007025950440-PAT00079
각각의 유사도 평균
Figure 112007025950440-PAT00080
,
Figure 112007025950440-PAT00081
...,
Figure 112007025950440-PAT00082
을
Figure 112007025950440-PAT00083
과
Figure 112007025950440-PAT00084
의 유사도 평균
Figure 112007025950440-PAT00085
으로 나눈 유사도 평균비
Figure 112007025950440-PAT00086
,
Figure 112007025950440-PAT00087
...,
Figure 112007025950440-PAT00088
를 산출한다. 그리하여 제어부(700)는 임의의 특징 템플릿
Figure 112007025950440-PAT00089
과 방문자 DB에 등록된
Figure 112007025950440-PAT00090
과
Figure 112007025950440-PAT00091
,
Figure 112007025950440-PAT00092
...,
Figure 112007025950440-PAT00093
각각의 유사도 평균을
Figure 112007025950440-PAT00094
과
Figure 112007025950440-PAT00095
의 유사도 평균으로 나눈 유 사도 평균비를 산출한다. 만약, 상기 도 9b에서
Figure 112007025950440-PAT00096
과
Figure 112007025950440-PAT00097
이 다른 특징 템플릿들의 유사도 평균비를 가지며 그 값이 특정 임계치를 넘는다면 제어부(700)는 R₁과 R₂를 가장 유사한 템플릿으로 판단한다. 이처럼
Figure 112007025950440-PAT00098
과
Figure 112007025950440-PAT00099
또는
Figure 112007025950440-PAT00100
와
Figure 112007025950440-PAT00101
의 유사도 평균은 상기 유사도 평균들 중 가장 큰 값을 가지는 유사도 평균이므로
Figure 112007025950440-PAT00102
와
Figure 112007025950440-PAT00103
를
Figure 112007025950440-PAT00104
와
Figure 112007025950440-PAT00105
로 나눈 최대 유사도 평균비를 가지는
Figure 112007025950440-PAT00106
과
Figure 112007025950440-PAT00107
는 가장 유사도가 높은 얼굴 특징 데이터를 의미한다.
이후, 808단계에서 제어부(700)는 유사도 평균의 비가 가장 큰 템플릿들이 존재하는지 검사하여 존재하면 810단계로 진행하고, 그렇지 않으면 병합 과정을 종료한다. 이후, 810단계부터 818단계에 대한 설명은 도 10를 참조하여 유사한 특징 템플릿들의 병합 과정에 대해서 살펴보도록 한다.
먼저, 810단계에서 제어부(700)는 얼굴 특징 데이터 병합부(760)를 통해서 가장 유사도가 높은 템플릿들이 가지는 각각 n개의 얼굴 특징 데이터들을 결합한다. 예를 들어, 병합할 템플릿들
Figure 112007025950440-PAT00108
와
Figure 112007025950440-PAT00109
가 각각 n개의 얼굴 특징 데이터
Figure 112007025950440-PAT00110
,
Figure 112007025950440-PAT00111
...,
Figure 112007025950440-PAT00112
를 가진다면 제어부(700)는
Figure 112007025950440-PAT00113
의 얼굴 특징 데이터들과
Figure 112007025950440-PAT00114
의 얼굴 특징 데이터들을 결합하여 2n개의 얼굴 특징 데이터들
Figure 112007025950440-PAT00115
,
Figure 112007025950440-PAT00116
...,
Figure 112007025950440-PAT00117
을 가지는 결합된 템플릿
Figure 112007025950440-PAT00118
을 구성한다. 이후, 712단계에서 제어부(700)는
Figure 112007025950440-PAT00119
가 가지는
Figure 112007025950440-PAT00120
,
Figure 112007025950440-PAT00121
...,
Figure 112007025950440-PAT00122
각각을 비교하여 유사도 평균 총합을 산출한 후 산출된 유사도 평균 총합 중 가장 큰 유사도 평균 총합
Figure 112007025950440-PAT00123
를 가지는 얼굴 특징 데이터
Figure 112007025950440-PAT00124
를 검출한다. 이때, 유사도 평균 총합을 산출하는 방법은 도 11를 참조하여 살펴보도록 한다.
먼저, 제어부(700)는 Rt의 얼굴 특징 데이터들인
Figure 112007025950440-PAT00125
,
Figure 112007025950440-PAT00126
...,
Figure 112007025950440-PAT00127
과
Figure 112007025950440-PAT00128
의 얼굴 특징 데이터들 중 하나인
Figure 112007025950440-PAT00129
의 유사도 값을 산출하고, 산출된 유사도 값들의 총합인 S₁를 산출한다. 그리고, 제어부(700)는
Figure 112007025950440-PAT00130
의 얼굴 특징 데이터들인
Figure 112007025950440-PAT00131
,
Figure 112007025950440-PAT00132
...,
Figure 112007025950440-PAT00133
과
Figure 112007025950440-PAT00134
의 얼굴 특징 데이터들 중 하나인
Figure 112007025950440-PAT00135
의 유사도 값을 산출하고, 산출된 유사도 값들의 총합인
Figure 112007025950440-PAT00136
를 산출한다. 그리하여, 제어부(700)는
Figure 112007025950440-PAT00137
,
Figure 112007025950440-PAT00138
...,
Figure 112007025950440-PAT00139
과
Figure 112007025950440-PAT00140
,
Figure 112007025950440-PAT00141
...,
Figure 112007025950440-PAT00142
을 각각 비교하여 유사도 값들을 산출하고, 산출된 유사도 값들의 총합인
Figure 112007025950440-PAT00143
,
Figure 112007025950440-PAT00144
... ,
Figure 112007025950440-PAT00145
을 산출한다. 이후, 제어부(700)는 산출된 유사도 총합 중 최대 유사도 총합
Figure 112007025950440-PAT00146
를 가지는 의 얼굴 특징 데이터
Figure 112007025950440-PAT00148
를 검출한다.
한편, 제어부(700)는 814단계에서 최대 유사도 총합
Figure 112007025950440-PAT00149
를 가지는 얼굴 특징 데이터
Figure 112007025950440-PAT00150
와 가장 유사도가 작은 얼굴 특징 데이터를 선택한다. 이처럼 제어부(700)가
Figure 112007025950440-PAT00151
와 가장 작은 유사도를 가지는 얼굴 특징 데이터를 선택하는 이유는 조명의 변화 또는 촬영 각도에 따른 주변 환경에 의해 다른 방문자 얼굴 특징 데이터로 등록될 확률이 높은 얼굴 특징 데이터를 Rt의 얼굴 특징 데이터로 추출하기 위해서이다.
이후, 816단계에서 제어부(200)는 선택된 얼굴 특징 데이터들과 유사도가 가장 작은 얼굴 특징 데이터들을 n개까지 선택한 후 나머지 n개의 얼굴 특징 데이터들은 삭제한다. 그리고, 제어부(700)에서 818단계에서 선택된 n개의 얼굴 특징 데이터들을 방문자 DB(630)에 재등록한 후 얼굴 특징 데이터 병합 과정을 종료한다.
상술한 바와 같이 본 발명은 웹 서비스를 이용한 방문자 식별 시스템을 구축함으로써 구축된 방문자 식별 시스템이 이기종의 운영체제에서 동작하더라도 메시지 전달 방법에 대한 별도의 형식 변환 과정이 없이 클라이언트와 서버 간의 원활한 메시지 전달이 가능하도록 할 수 있다.
또한, 본 발명은 방문자가 직접 방문자 얼굴 이미지를 방문자 DB에 등록해야하는 번거로움이 없이 미리 설정된 얼굴 검출 주기마다 온라인으로 방문자의 얼굴 특징 데이터를 검출하고, 검출된 방문자 얼굴 특징 데이터를 방문자 DB에 등록하거나 해당 방문자의 금일 방문 기록을 갱신할 수 있다.
그리고, 본 발명은 방문자 DB에 등록된 방문자 얼굴 특징 데이터들 중 유사한 얼굴 특징 데이터들을 주기적으로 병합한다. 그리하여 동일한 방문자의 얼굴 특징 데이터가 조명의 변화 또는 촬영 각도와 같은 주변환경에 의해 다른 방문자 또는 새로운 방문자의 얼굴 특징 템플릿에 등록되더라도 주기적으로 유사 얼굴 특징 데이터들을 병합하여 정확한 방문자 식별이 가능한 시스템을 구축할 수 있다.

Claims (14)

  1. 웹 서비스를 이용한 방문자 식별 시스템에 있어서,
    적어도 하나의 방문자별로 방문자 얼굴 특징 데이터들을 포함하는 방문자 얼굴 특징 템플릿을 저장하는 방문자 데이터 베이스(DB: Database)와,
    미리 설정된 얼굴 검출 주기마다 카메라로부터 출력된 방문자 영상을 획득하여 상기 획득한 영상으로부터 방문자의 얼굴 이미지를 검출하고, 상기 검출된 얼굴 이미지로부터 방문자 얼굴 특징 데이터들을 추출한 후 상기 추출된 방문자 얼굴 특징 데이터들을 방문자 인증 요청 메시지에 포함시켜 서버로 전송하는 클라이언트와,
    상기 방문자 인증 요청 메시지가 수신되면, 상기 수신된 방문자 인증 요청 메시지에서 방문자 얼굴 특징 데이터들을 추출하고, 상기 방문자 DB에 저장된 방문자 얼굴 특징 데이터들과 상기 추출된 방문자 얼굴 특징 데이터 간의 유사도에 근거하여 상기 추출된 방문자 얼굴 특징 데이터와 유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿이 있는지를 판단한 후, 상기 판단결과 유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿이 있으면 해당 방문자를 인증함을 알리기 위한 방문자 인증 응답 메시지를 상기 클라이언트로 전송하는 서버를 구비함을 특징으로 하는 방문자 식별 시스템.
  2. 제 1항에 있어서, 상기 서버가,
    상기 추출된 방문자 얼굴 특징 데이터와 유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿이 있는지를 판단한 후, 상기 판단결과 유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿이 없으면 상기 방문자 DB에 상기 추출한 방문자 얼굴 특징 데이터를 새로운 방문자에 대한 방문자 얼굴 특징 템플릿으로 저장한 후 방문자 등록 정보 및 방문 기록 정보를 포함시킨 방문자 인증 응답 메시지를 상기 클라이언트로 전송하는 것을 특징으로 하는 방문자 식별 시스템.
  3. 제 1항에 있어서, 상기 서버가 상기 추출된 방문자 얼굴 특징 데이터와 유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿이 있는지에 대한 판단은,
    상기 추출된 방문자 얼굴 특징 데이터와 상기 방문자 DB에 저장된 방문자 얼굴 특징 데이터들 간의 유사도 평균들을 산출하고, 상기 추출된 각각의 방문자 얼굴 특징 데이터별로 가장 큰 값의 유사도 평균값을 가지는 방문자 얼굴 특징 템플릿들을 확인하고, 상기 확인된 방문자 얼굴 특징 템플릿들 중 가장 많은 수의 방문자 얼굴 특징 템플릿을 상기 추출된 방문자 얼굴 특징 데이터와 유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿으로 판단하는 것을 특징으로 하는 방문자 식별 시스템.
  4. 제 3항에 있어서, 상기 서버가,
    상기 추출된 각각의 방문자 얼굴 특징 데이터별로 가장 큰 값의 유사도 평균값을 가지는 방문자 얼굴 특징 템플릿들을 확인하고, 상기 확인된 방문자 얼굴 특징 템플릿들 중 가장 많은 수의 방문자 얼굴 특징 템플릿이 적어도 둘 이상일 경우, 상기 산출된 유사도 평균들을 상기 방문자 DB에 저장된 방문자 얼굴 특징 템플릿별로 유사도 평균들의 총합을 산출하고, 상기 산출된 유사도 평균들의 총합 중 가장 큰 값의 유사도 평균들의 총합과 대응되는 방문자 얼굴 특징 템플릿을 상기 추출된 방문자 얼굴 특징 데이터와 유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿으로 판단하는 것을 특징으로 하는 방문자 식별 시스템.
  5. 제 1항에 있어서, 상기 서버는 미리 설정된 방문자 얼굴 특징 데이터 병합 주기마다 상기 방문자 DB에 저장된 각 방문자 얼굴 특징 템플릿들 간의 유사도에 근거하여 유사 방문자 얼굴 특징 템플릿들을 추출하고, 상기 추출된 유사 방문자 얼굴 특징 템플릿들의 방문자 얼굴 특징 데이터들을 병합한 후 상기 병합된 방문자 얼굴 특징 데이터들을 하나의 방문자 얼굴 특징 템플릿에 대응시켜 상기 방문자 DB에 저장하는 것을 더 포함함을 특징으로 하는 방문자 식별 시스템.
  6. 제 5항에 있어서, 상기 방문자 DB에 저장된 상기 방문자 얼굴 특징 템플릿들 모두를 비교 방문자 얼굴 특징 템플릿으로 저장하고,
    상기 서버가 상기 방문자 DB에 저장된 방문자 얼굴 특징 템플릿 각각에 대해 상기 비교 방문자 얼굴 특징 템플릿들과의 유사도 평균들을 산출하고, 상기 각 방문자 얼굴 특징 템플릿마다 산출된 유사도 평균들을 상기 방문자 얼굴 특징 템플릿과 동일한 비교 방문자 얼굴 특징 템플릿간의 유사도 평균으로 나눈 유사도 평균비를 산출한 후 상기 산출된 각각의 유사도 평균비들 중 동일한 방문자 얼굴 특징 데이터들간의 유사도 평균비를 제외하고 가장 큰 값의 유사도 평균비를 가지는 방문자 얼굴 특징 템플릿들을 동일한 방문자에 대한 방문자 얼굴 특징 템플릿으로 판단하여 추출하는 것을 특징으로 하는 방문자 식별 시스템.
  7. 제 5항에 있어서, 상기 방문자 얼굴 특징 데이터들의 병합은 상기 유사 방문자 얼굴 특징 템플릿에 포함된 각각의 방문자 얼굴 특징 데이터들을 비교하여 유사도 평균을 산출하고, 상기 방문자 얼굴 특징 데이터들마다 산출된 유사도 평균을 모두 더한 유사도 평균 총합을 산출한 후 상기 산출된 유사도 평균 총합들 중 가장 큰 값의 유사도 평균 총합을 가지는 방문자 얼굴 특징 데이터를 검출한 후 상기 결합된 방문자 얼굴 특징 템플릿이 포함한 방문자 얼굴 특징 데이터들 중에서 상기 검출된 방문자 얼굴 특징 데이터와 유사도가 가장 작은 방문자 얼굴 특징 데이터를 상기 방문자 DB에서 하나의 방문자 얼굴 특징 템플릿이 포함할 수 있는 방문자 얼굴 특징 데이터들의 개수까지 선택하는 것을 특징으로 하는 방문자 식별 시스템.
  8. 적어도 하나의 클라이언트와 서버를 포함하는 방문자 식별 시스템에서 웹 서비스를 이용한 방문자 식별 방법에 있어서,
    클라이언트가 미리 설정된 얼굴 검출 주기마다 카메라로부터 출력된 영상을 획득하여 상기 획득한 영상으로부터 방문자의 얼굴 이미지를 검출하고, 상기 검출된 얼굴 이미지로부터 방문자 얼굴 특징 데이터들을 추출한 후 상기 추출된 방문자 얼굴 특징 데이터들을 포함시킨 방문자 인증 요청 메시지를 서버로 전송하는 과정과,
    상기 서버는 상기 방문자 인증 요청 메시지가 수신되면, 상기 방문자 인증 요청 메시지에 포함된 방문자 얼굴 특징 데이터들을 추출하고, 상기 방문자 DB에 저장된 방문자 얼굴 특징 데이터들과 상기 추출된 방문자 얼굴 특징 데이터 간의 유사도에 근거하여 상기 방문자 DB에 저장된 방문자 특징 데이터들 중 상기 추출된 방문자 얼굴 특징 데이터들과 유사한 방문자 얼굴 특징 데이터가 있는지를 판단한 후 상기 판단 결과, 유사한 방문자 얼굴 특징 메시지가 있으면 해당 방문자를 인증함을 알리기 위한 방문자 인증 응답 메시지를 상기 클라이언트로 전송하는 과정을 구비함을 특징으로 하는 방문자 식별 방법.
  9. 제 8항에 있어서, 상기 방문자 DB에 저장된 방문자 특징 데이터들 중 상기 추출된 방문자 얼굴 특징 데이터들과 유사한 방문자 얼굴 특징 데이터가 있는지를 판단한 결과,
    유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿이 없으면 상기 방문자 DB에 상기 추출한 방문자 얼굴 특징 데이터를 새로운 방문자에 대한 방문자 얼굴 특징 템플릿으로 저장한 후 방문자 등록 정보 및 방문 기록 정보를 포함시킨 방문자 인증 응답 메시지를 상기 클라이언트로 전송하는 과정을 더 포함하는 것을 특징으로 하는 방문자 식별 방법.
  10. 제 8항에 있어서, 상기 추출된 방문자 얼굴 특징 데이터와 유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿이 있는지를 판단하는 과정은,
    상기 추출된 방문자 얼굴 특징 데이터와 상기 방문자 DB에 저장된 방문자 얼굴 특징 데이터들 간의 유사도 평균들을 산출하고, 상기 추출된 각각의 방문자 얼굴 특징 데이터별로 가장 큰 값의 유사도 평균값을 가지는 방문자 얼굴 특징 템플릿들을 확인하는 과정과,
    상기 확인된 방문자 얼굴 특징 템플릿들 중 가장 많은 수의 방문자 얼굴 특징 템플릿을 상기 추출된 방문자 얼굴 특징 데이터와 유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿으로 판단하는 과정을 더 포함하는 것을 특 징으로 하는 방문자 식별 방법.
  11. 제 10항에 있어서, 상기 추출된 방문자 얼굴 특징 데이터와 유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿으로 판단하는 과정은,
    상기 확인된 방문자 얼굴 특징 템플릿들 중 가장 많은 수의 방문자 얼굴 특징 템플릿이 적어도 둘 이상일 경우 상기 산출된 유사도 평균들을 상기 방문자 DB에 저장된 방문자 얼굴 특징 템플릿별로 유사도 평균들의 총합을 산출하고, 상기 산출된 유사도 평균들의 총합 중 가장 큰 값의 유사도 평균들의 총합과 대응되는 방문자 얼굴 특징 템플릿을 상기 추출된 방문자 얼굴 특징 데이터와 유사한 방문자 얼굴 특징 데이터를 가지는 방문자 얼굴 특징 템플릿으로 판단하는 과정을 더 포함하는 것을 특징으로 하는 방문자 식별 방법.
  12. 제 8항에 있어서,
    미리 설정된 방문자 얼굴 특징 데이터 병합 주기임이 감지되면, 상기 방문자 DB에 저장된 각 방문자 얼굴 특징 템플릿들 간의 유사도에 근거하여 유사한 유사 방문자 얼굴 특징 템플릿들을 추출하는 과정과,
    상기 추출된 유사 방문자 얼굴 특징 템플릿들의 방문자 얼굴 특징 데이터들을 병합하는 과정과,
    상기 병합된 방문자 얼굴 특징 데이터들을 하나의 방문자 얼굴 특징 템플릿에 대응시켜 상기 방문자 DB에 저장하는 과정을 더 포함하는 것을 특징으로 하는 방문자 식별 방법.
  13. 제 12항에 있어서, 상기 유사한 유사 방문자 얼굴 특징 템플릿들을 추출하는 과정은,
    상기 방문자 DB에 저장된 상기 방문자 얼굴 특징 템플릿들 모두를 비교 방문자 얼굴 특징 템플릿으로 저장하는 과정과,
    상기 서버가 상기 방문자 DB에 저장된 방문자 얼굴 특징 템플릿 각각에 대해 상기 비교 방문자 얼굴 특징 템플릿들과의 유사도 평균들을 산출하는 과정과,
    상기 각 방문자 얼굴 특징 템플릿마다 산출된 유사도 평균들을 상기 방문자 얼굴 특징 템플릿과 동일한 비교 방문자 얼굴 특징 템플릿간의 유사도 평균으로 나눈 유사도 평균비를 산출하는 과정과,
    상기 산출된 각각의 유사도 평균비들 중 동일한 방문자 얼굴 특징 데이터들간의 유사도 평균비를 제외하고 가장 큰 값의 유사도 평균비를 가지는 방문자 얼굴 특징 템플릿들을 동일한 방문자에 대한 방문자 얼굴 특징 템플릿으로 판단하여 추출하는 과정을 더 포함하는 것을 특징으로 하는 방문자 식별 방법.
  14. 제 12항에 있어서, 상기 방문자 얼굴 특징 데이터들을 병합하는 과정은,
    상기 방문자 얼굴 특징 데이터들의 병합은 상기 유사 방문자 얼굴 특징 템플릿에 포함된 각각의 방문자 얼굴 특징 데이터들을 비교하여 유사도 평균을 산출하는 과정과,
    상기 방문자 얼굴 특징 데이터들마다 산출된 유사도 평균을 모두 더한 유사도 평균 총합을 산출한 후 상기 산출된 유사도 평균 총합들 중 가장 큰 값의 유사도 평균 총합을 가지는 방문자 얼굴 특징 데이터를 검출하는 과정과,
    상기 결합된 방문자 얼굴 특징 템플릿이 포함한 방문자 얼굴 특징 데이터들 중에서 상기 검출된 방문자 얼굴 특징 데이터와 유사도가 가장 작은 방문자 얼굴 특징 데이터를 상기 방문자 DB에서 하나의 방문자 얼굴 특징 템플릿이 포함할 수 있는 방문자 얼굴 특징 데이터들의 개수까지 선택하는 과정을 더 포함하는 것을 특징으로 하는 방문자 식별 방법.
KR1020070032989A 2007-04-03 2007-04-03 웹 서비스를 이용한 방문자 식별 시스템 및 방법 KR20080090035A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070032989A KR20080090035A (ko) 2007-04-03 2007-04-03 웹 서비스를 이용한 방문자 식별 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070032989A KR20080090035A (ko) 2007-04-03 2007-04-03 웹 서비스를 이용한 방문자 식별 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20080090035A true KR20080090035A (ko) 2008-10-08

Family

ID=40151431

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070032989A KR20080090035A (ko) 2007-04-03 2007-04-03 웹 서비스를 이용한 방문자 식별 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20080090035A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241625B1 (ko) * 2012-02-28 2013-03-11 인텔 코오퍼레이션 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR101382063B1 (ko) * 2012-04-30 2014-04-04 이용정 영상 인식을 이용한 전시장 관리 시스템
KR102137060B1 (ko) * 2020-03-04 2020-07-23 씨엠아이텍주식회사 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241625B1 (ko) * 2012-02-28 2013-03-11 인텔 코오퍼레이션 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2013129825A1 (ko) * 2012-02-28 2013-09-06 인텔 코오퍼레이션 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US9213886B2 (en) 2012-02-28 2015-12-15 Intel Corporation Method and device for notification of facial recognition environment, and computer-readable recording medium for executing method
US9864756B2 (en) 2012-02-28 2018-01-09 Intel Corporation Method, apparatus for providing a notification on a face recognition environment, and computer-readable recording medium for executing the method
KR101382063B1 (ko) * 2012-04-30 2014-04-04 이용정 영상 인식을 이용한 전시장 관리 시스템
KR102137060B1 (ko) * 2020-03-04 2020-07-23 씨엠아이텍주식회사 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법
WO2021177544A1 (ko) * 2020-03-04 2021-09-10 씨엠아이텍주식회사 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법

Similar Documents

Publication Publication Date Title
US20160224837A1 (en) Method And System For Facial And Object Recognition Using Metadata Heuristic Search
JP5509753B2 (ja) 認識結果を生成するためのシステム及び方法
US8495188B2 (en) Sensor information management system, sensor information management method, and computer-readable storage medium
US20180033015A1 (en) Automated queuing system
US20150139540A1 (en) Mixed Media Reality Recognition Using Multiple Specialized Indexes
US9977710B2 (en) Self-stabilizing network nodes in mobile discovery system
JP7103229B2 (ja) 不審度推定モデル生成装置
EP2897093A1 (en) Personal information management system
KR20080090035A (ko) 웹 서비스를 이용한 방문자 식별 시스템 및 방법
US20200184483A1 (en) Abnormality detection apparatus, control method, and program
US10599928B2 (en) Method and system for enabling information in augmented reality applications
JP2008040607A (ja) 人物紹介サーバ、人物紹介システム、その方法およびプログラム
JP2006235865A (ja) 支援指示システム、支援指示決定装置、支援指示方法及び支援指示決定プログラム
WO2022089220A1 (zh) 图像数据处理方法、装置、设备、存储介质及产品
KR20190050110A (ko) 금융 서비스 시스템, 고객 단말 및 그의 송금 서비스 방법
JP2019028744A (ja) データ処理システム、データ処理方法およびプログラム
JP2014042170A (ja) 撮影システム、撮影支援方法、撮影装置及びその制御方法、管理装置及びその制御方法、並びにプログラム
CN114742561A (zh) 人脸识别方法、装置、设备及存储介质
CN114547182A (zh) 人员信息同步方法、终端设备及存储介质
Mayan et al. Facial attendance system technology using Microsoft Cognitive Services
US20190090111A1 (en) Data-flow control device and data-flow control method
JP7392264B2 (ja) 情報処理装置及び顔認識システム
JP7218795B2 (ja) 照合装置、制御方法、及びプログラム
TWI750922B (zh) 用於會客導引的人臉辨識系統及方法
WO2024003985A1 (ja) サーバ装置、システム、サーバ装置の制御方法及び記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application