KR101224879B1 - 얼굴인식을 이용한 매장관리시스템 및 방법 - Google Patents

Abstract

본 발명은 얼굴인식을 이용한 매장관리시스템 및 방법에 관한 것으로, 더욱 상세하게는 출입문을 통과한 고객의 얼굴을 인식하여 매장 내의 고객관리를 위한 기초데이타의 확보 및 저장할 수 있고, 동시에 미아나 범법자와 같은 수배자 여부를 확인할 수 있도록 하여 세심한 고객관리와 함께 사람찾기의 기능이 부가되는 얼굴인식을 이용한 매장관리시스템 및 방법에 관한 것이다.

Description

얼굴인식을 이용한 매장관리시스템 및 방법{Shop management system using face recognition and method thereof}

본 발명은 얼굴인식을 이용한 매장관리시스템 및 방법에 관한 것으로, 더욱 상세하게는 출입문을 통과한 고객의 얼굴을 인식하여 매장내의 고객관리를 위한 기초데이타의 확보 및 저장할 수 있고, 동시에 미아나 범법자와 같은 수배자 여부를 확인할 수 있도록 하여 세심한 고객관리와 함께 사람찾기의 기능이 부가되는 얼굴인식을 이용한 매장관리시스템 및 방법에 관한 것이다.

일반적으로 쇼핑몰이나 음식점은 고객관리를 위하여 다양한 서비스를 제공하고 있다. 예를 들면, 멤버쉽 의류매장의 경우, 회원등록을 통하여 해당 고객의 매출을 누적하여 마일리지나 기타 사은품을 증정하여 단골고객에게 혜택을 줘서 매장을 다시 찾아오도록 하는 홍보전략을 채용하고 있다.

이때 매장에서는 회원에게 회원카드를 발급하고, 고객의 비용계산시에 마일리지를 누적시켜 자체 데이타베이스에 저장하는 시스템을 사용하고 있다. 이와 같은 시스템의 경우 고객의 비용지출에 따른 마일리지의 누적 여부가 가장 목적으로서 상품의 구매리스트와 마일리지 및 고객의 개인정보등을 저장하고 있다.

그러나 이와 같은 종래의 매장관리시스템의 경우는 고객의 개인정보를 통하여 매장의 홍보메세지를 발송하고, 마일리지를 누적시키는 목적이외에 고객의 성향, 예를 들면, 의류매장의 경우 고객이 선호하는 색상이나 종류(예를 들면, 스커트 또는 청바지), 또는 음식점의 경우 고객의 선호메뉴(찌게, 비빔밥등등)와 같은 고객의 성향을 분석할 수 없다. 이는 단순히 고객의 개인정보와 마일리지의 누적만을 고려하기 때문에 고객의 성향에 대한 데이타를 확보하지 않기 때문이다.

따라서 종래의 매장관리시스템은 고객관리를 위한 기초 데이타의 확보가 되어있지 않기 때문에 보다 좋은 고객서비스의 구현에 한계가 있는 문제점이 있다.

아울러 현재 미아나 범법자의 수배의 경우 전단지를 통하여 길거리 게시판등에 부착하는 방법을 통하여 이루어지고 있다. 또한 시내의 유명매장이야말로 유동인구가 많기 때문에 사람을 찾거나 수배할 수 있는 최적의 조건을 갖추고 있다.

그러나 일반 매장에서 미아나 사람을 찾는 광고게시판의 부착 또는 범법자에 대한 수배전단을 부착할 경우에 매장내의 미관을 해칠 수 있기에 매장측으로부터 강한 반발을 일으킬 수 있는 문제점이 있다.

따라서 본 발명은 상기와 같은 종래의 문제점을 해결하고자 안출된 것으로서, 본 발명의 목적은 매장에 출입하는 고객의 얼굴을 촬영 및 저장하여 회원 여부를 확인하고, 해당 고객의 성향을 분석 및 저장할 수 있도록 하는 얼굴인식을 이용한 매장관리시스템 및 방법을 제공함에 있다.

또한 본 발명은 범법자나 미아 정보가 저장되는 데이타베이스를 구축하여 매장을 방문한 사람의 얼굴을 촬영한 데이타와 비교하여 콜센타등에 연락할 수 있어 미아 및 범법자의 검거율을 높일 수 있는 얼굴인식을 이용한 매장관리시스템 및 방법을 제공함에 있다.

본 발명은 상기와 같은 목적을 달성하기 위하여 하기와 같은 실시예를 포함한다.

본 발명의 제1실시예에 따르면, 본 발명에 따른 얼굴인식을 이용한 매장관리시스템은 도어를 통하여 출입하는 인체를 감지하는 센서부; 상기 센서부에 의해 도어를 통하여 사람이 출입됨이 감지되면 얼굴을 촬영하는 카메라; 상기 카메라에서 촬영된 이미지를 편집하는 이미지편집부; 상기 카메라에서 촬영된 이미지를 회원정보로 등록 및 저장하는 데이타베이스; 상기 센서부의 인체감지신호가 수신되면, 상기 카메라를 온시켜 촬영하도록 제어하고, 촬영된 이미지를 상기 이미지편집부에 인가하여 촬영된 이미지의 얼굴을 추출하여 상기 데이타베이스에 저장된 회원정보와 일치되는 정보가 존재됨을 판단하는 제어부; 및 상기 제어부의 제어에 의하여 상기 카메라의 촬영이미지와 회원정보를 출력하는 디스플레이를 포함하고, 상기 이미지편집부는 상기 카메라에서 촬영된 이미지의 얼굴의 코, 눈, 얼굴형, 귀의 형상과 길이중 적어도 하나 이상을 포함하는 이미지데이타를 추출하고, 상기 제어부는 상기 데이타베이스에 저장된 회원정보의 이미지데이타중에서 상기 이미지편집부에서 인가된 이미지데이타와 비교하여 일치여부를 판단한다.

본 발명의 제2실시예에 있어서, 상기 이미지데이타는 얼굴형과, 코와 눈사이의 거리, 귀와 귀사이의 거리, 얼굴의 수평길이, 얼굴의 수직길이, 양쪽 눈사이의 거리 중 하나 이상을 포함한다.

본 발명의 제3실시예에 있어서, 상기 매장관리시스템에 있어서, 상기 제어부는 상기 이미지편집부에서 추출된 이미지데이타와 상기 데이타베이스의 회원정보중에 일치되는 정보가 존재하지 않으면 상기 회원DB에 촬영이미지와 이미지데이타 및 고객의 구매내역을 저장하여 신규회원으로 등록하는 것을 특징으로 한다.

본 발명의 제4실시예에 있어서, 상기 매장관리시스템은 유무선통신으로 연결되어 상기 제어부의 제어에 의하여 통신신호를 송신하는 통신부;를 더 포함하고, 상기 데이타베이스는 공개수배된 사람의 이미지정보를 저장하는 범법자DB와 미아DB를 더 포함하고, 상기 제어부는 상기 이미지데이타와 범법자DB와 미아DB에 저장된 이미지데이타를 비교하여 일치된 정보가 존재하면 상기 통신부를 통하여 수배정보의 일치신호를 콜센터로 송신하는 것을 특징으로 한다.

본 발명의 제5실시예에 있어서, 상기 회원DB는 회원의 방문횟수와, 이전구매 상품, 이전방문일자 및 회원등록 이후 구매한 상품 내역과 가장 빈도가 높은 상품정보중 하나 이상을 포함하는 것이 바람직하다.

본 발명의 제6실시예는 매장내에 입장하는 고객의 얼굴을 촬영한 촬영이미지를 통하여 회원등록 및 회원의 성향정보를 분석하는 얼굴인식을 이용한 매장관리방법에 있어서, 매장을 방문한 고객을 감지하여 촬영하고, 촬영된 이미지를 편집하여 얼굴의 신체부위간의 형상과 거리를 포함하는 이미지데이타를 추출하는 얼굴인식단계; 상기 얼굴인식단계에서 추출된 이미지데이타를 통하여 등록된 회원유무를 판단하고, 신규회원이면 촬영된 이미지를 통하여 회원등록하고, 기존의 등록회원이라면 구매내역 및 방문정보를 출력하는 DB검색단계; 및 상기 고객의 주문이나 구매정보를 누적시켜 고객의 성향정보를 추출 및 저장하는 주문정보저장단계;를 포함한다.

본 발명의 제7실시예에 있어서, 상기 얼굴인식단계는 카메라를 오프시키는 전원오프단계; 상기 카메라의 전원오프중, 도어를 통하여 사람의 출입을 감지하여 인체감지신호가 수신됨을 판단하는 입장감지판단단계; 상기 입장감지판단단계에서 인체감지신호가 수신되면, 카메라에 전원을 온시켜 상기 도어를 통해 입장하는 사람을 촬영하는 카메라온단계; 상기 카메라온단계에서 촬영된 이미지에서 얼굴의 형상을 포함하는 이미지 데이타를 추출하는 이미지데이타생성단계; 상기 이미지데이타생성단계 이후에 카메라를 오프시키는 카메라오프단계를 포함한다.

본 발명의 제8실시예에 있어서, 상기 이미지데이타생성단계의 이미지데이타는 상기 카메라에서 촬영된 이미지에서 얼굴의 신체부위중 얼굴형, 눈과 코사이의 거리, 양쪽 귀사이의 거리, 얼굴의 수평 및 수직거리, 눈과 눈사이의 거리중 적어도 하나 이상인 것을 특징으로 한다.

본 발명의 제9실시예에 있어서, 상기 DB검색단계는 상기 얼굴인식단계에서 추출된 이미지데이타를 수신하는 데이타수신단계; 미아 및 범법자 DB를 검색하여 수배자정보의 일치여부를 판단하는 수배자판단단계; 상기 데이타수신단계 이후에 회원의 이미지데이타가 저장되는 데이타베이스를 검색하여 일치된 정보의 유무를 통해 회원여부를 판단하는 회원유무판단단계; 상기 회원유무판단단계에서 일치된 회원정보가 존재하면, 회원으로 판단하여 상기 회원의 이전 구매내역과, 방문횟수와, 최근 방문일자와, 구매빈도가 높은 상품과 구매상품의 색상이나 종류 및 가격대를 기준으로 하는 유사상품정보를 출력하는 성향정보의 출력단계; 및 상기 회원유무판단단계에서 일치된 정보가 없다면, 촬영된 이미지와 이미지데이타를 데이타베이스에 저장하여 방문일자와 구매내역을 저장하고 신규회원으로 등록시키는 신규회원등록단계;를 포함한다.

본 발명의 제10실시예에 있어서, 상기 주문정보저장단계는 등록된 회원의 구매상품의 정보를 입력하는 주문정보입력단계; 상기 주문정보입력단계에서 입력된 회원의 구매정보를 데이타베이스에 누적시켜 해당 회원의 성향정보를 갱신하는 데이타갱신단계; 상기 회원의 구매금액에 비례하는 마일리지를 연산하여 누적시켜 디스플레이에 출력하는 마일리지 연산 및 출력단계; 상기 마일리지 연산 및 출력단계에서 연산된 마일리지를 회원정보에 저장하는 저장단계를 포함한다.

본 발명은 얼굴인식을 통하여 고객정보를 확인 및 관리하고, 고객의 선호도를 저장 및 분석할 수 있어 고객관리에 매우 효과적이며, 유동인구가 많은 매장에서 얼굴인식을 이용하여 사람을 찾을 수 있어 매장 측에서는 고객관리에 매우 유용함과 동시에 사회적으로 미아나 범법자의 수배에 따른 사회적비용을 줄일 수 있어 효과적이다.

도 1은 본 발명에 따른 얼굴인식을 이용한 매장관리시스템 및 방법의 개요를 도시한 도면,
도 2는 본 발명에 따른 얼굴인식을 이용한 매장관리시스템의 블럭도,
도 3은 본 발명에 따른 얼굴인식을 이용한 관리방법을 도시한 순서도,
도 4는 본 발명에 따른 얼굴인식을 이용한 관리방법에서 얼굴인식단계를 도시한 순서도,
도 5는 본 발명에 따른 얼굴인식을 이용한 관리방법에서 검색단계를 도시한 순서도,
도 6은 본 발명에 따른 얼굴인식을 이용한 관리방법에서 회원등록단계를 도시한 순서도,
도 7은 본 발명에 따른 얼굴인식을 이용한 관리방법에서 주문정보저장단계를 도시한 순서도이다.

이하에서는 본 발명에 따른 얼굴인식을 이용한 매장관리시스템 및 그 방법의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다.

도 1은 본 발명에 따른 얼굴인식을 이용한 매장관리시스템 및 방법의 개요를 도시한 도면, 도 2는 본 발명에 따른 얼굴인식을 이용한 매장관리시스템의 블럭도이다.

도 1 및 도 2를 참조하면, 본 발명에 따른 얼굴인식을 이용한 매장관리시스템 및 방법은 도어를 통하여 입장하는 사람을 감지하는 센서부(80)와, 상기 센서부(80)에 의해 감지된 사람의 얼굴을 촬영하는 카메라(10)와, 상기 카메라(10)에서 촬영된 이미지를 편집하는 이미지편집부(20)와, 콜센터(100)와 통신하는 통신부(60)와, 고객정보를 입력하는 입력부(70)와, 고객카드 및 계산서를 인쇄하는 프린터(30)와, 고객정보 및 얼굴인식정보를 출력하는 디스플레이(40)와, 회원정보와 미아정보 및 수배자정보가 저장되는 데이타베이스(90)와, 상기와 같은 구성을 제어하는 제어부(50)를 포함한다.

상기 센서부(80)는 도어를 통하여 출입하는 인체를 감지하여 제어부(50)에 인체감지신호를 출력한다.

상기 데이타베이스(90)는 수배자의 인적사항 및 사진이 저장되는 범법자DB(92)와, 미아(아동이나 실종신고된 성인포함)의 사진과 인적정보 및 연락처가 저장되는 미아DB(91)와, 회원정보가 저장되는 회원DB(93)와, 매장에서 판매되는 상품이나 메뉴의 정보가 저장되는 상품DB(94)를 포함한다.

여기서 상기 회원DB(93)에 저장된 회원정보는 매장의 방문시에 촬영된 이미지와 이전 주문한 메뉴나 구매 상품정보, 방문횟수와 각 메뉴별 주문횟수나 상품별구매횟수 정보가 저장된다.

상기 상품DB(94)는, 예를 들면, 식당의 메뉴를 유사종류별로 분류하여 저장되거나 또는 제품을 판매하는 매장의 경우에 스타일이나 종류별(예를 들면, 스커트, 바지, 원피스, 와이셔츠, 정장)로 분류하여 저장되고, 각 상품별로 색상이나 스타일이 유사한 유사상품군 역시 저장된다. 이때 저장되는 상품정보는 색상, 사이즈, 제조사, 가격, 제품종류 및 디자이너의 정보중 하나 이상을 포함한다.

상기 카메라(10)는 상기 제어부(50)에 의하여 전원이 온되어 상기 센서부(80)에서 감지된 사람 얼굴을 촬영하여 상기 이미지편집부(20)에 출력한다.

상기 이미지편집부(20)는 상기 카메라(10)에서 촬영된 이미지를 편집한다. 특히 상기 이미지편집부(20)는 촬영된 이미지에서 얼굴에 해당되는 부분을 복사 또는 잘라내기 하여 상기 데이타베이스(90)에 저장하도록 한다.

여기서 상기 이미지편집부(20)는 상기 카메라(10)에서 촬영된 이미지에서 사람의 얼굴의, 예를 들면, 얼굴형(예를 들면, 동그란형, 사각형, 마름모형), 코와 양쪽 눈사이의 거리, 양쪽 귀사이의 거리, 얼굴의 수직 및 수평거리와 같은 신체정보 중 하나 이상을 각각의 이미지에서 추출하는 이미지데이타를 상기 제어부(50)에 인가한다. 상기 제어부(50)는 상기 이미지편집부(20)에서 추출된 신체부위의 이미지데이타를 통하여 상기 데이타베이스(90)에서 일치된 정보를 검색 및 독출한다.

상기와 같은 이미지편집부(20)의 데이타 추출은 상기 카메라(10)에서 촬영될 때마다 추출하여 제어부(50)에 인가하며, 상기 제어부(50)는 상기 이미지편집부(20)의 추출데이타를 누적시킨다.

상기 통신부(60)는 인터넷 또는 전화선을 통하여 콜센터(100)에 미아 또는 수배자 정보와 일치됨을 알리는 정보를 상기 제어부(50)의 제어에 의하여 송신한다.

상기 디스플레이(40)는 상기 제어부(50)의 제어에 의하여 상기 이미지편집부(20)에서 편집된 이미지와, 상기 이미지에 해당되는 고객의 정보(이전주문메뉴, 방문횟수, 마일리지, 나이대, 성별 및 가장최근방문시간중 적어도 하나 이상)를 출력하여 관리자가 시각적으로 확인할 수 있도록 한다.

상기 프린터(30)는 상기 제어부(50)의 제어에 의하여 상기 카메라(10)에서 촬영된 이미지와 함께 고객의 정보 또는 계산서등을 출력한다. 여기서 상기 프린터(30)는 고객의 신상정보와 함께 매장의 회원임을 증명하는 회원카드 또는 해당 고객의 계산서나 영수증중 어느 하나를 인쇄할 수 있다.

상기 제어부(50)는 상기 센서부(80)의 감지신호를 수신하여 상기 카메라(10)를 온시켜 도어를 통과한 사람의 얼굴을 촬영 및 이미지를 편집하여 회원정보와 미아정보 및 수배자정보를 검색하여 일치된 이미지를 갖는 정보를 검색 및 출력한다. 이때 상기 제어부(50)는 상기 이미지편집부(20)에서 추출된 신체 데이타를 확인하여 상기 데이타베이스(90)에 저장된 미아, 수배자 및 회원정보중에서 일치된 추출데이타를 검색하고, 검색결과 일치된 정보가 없다면 신규회원으로서 등록시킨다.

아울러 상기 제어부(50)는 상기 이미지편집부(20)에서 추출된 신체데이타를 계속해서누적시키고, 누적된 신체데이타를 통하여 상기 데이타베이스(90)에 저장된 정보를 검색하기 때문에 방문횟수가 많은 고객일수록 그 정확도는 상향된다.

또는 상기 제어부(50)는 상기 미아정보 또는 수배자정보중 어느 하나에 일치되면, 상기 통신부(60)를 제어하여 상기 콜센터(100)에 이를 통지한다.

여기서 상기 콜센터(100)는 상기 미아정보나 수배자정보를 배포하는 경찰서, 소방청 또는 근처 파출소나 관세청, 또는 미아의 보호자에 해당 정보를 전달한다.

바람직하게로는 상기 데이타베이스(90)에 저장되는 미아나 수배자 정보는 상기 콜센타등에서 제공되거나 또는 상기 통신부(60)에서 상기 콜센터(100)에 설치되는 데이타베이스(90)에 연동됨도 가능하다. 상술한 바에 따르면 매장 내에 데이타베이스(90)가 설치되는 것으로 설정하였으나 이에 국한되지 않고, 외부기관(콜센터(100), 소방소, 경찰청, 국가정보원, 검찰)의 데이타베이스(90)와 연동시켜 정보의 저장 및 검색하는 것 역시 본 발명의 기술적사상의 범위에 해당된다.

본 발명은 상기와 같은 구성을 포함하며 이하에서는 본 발명에 따른 얼굴인식을 이용한 관리방법을 첨부된 도 3 내지 도 7을 참조하여 상세히 설명한다.

도 3은 본 발명에 따른 얼굴인식을 이용한 관리방법을 도시한 순서도이다.

도 3을 참조하면, 본 발명에 따른 얼굴인식을 이용한 관리방법은 매장을 방문한 고객의 얼굴을 인식하는 얼굴인식단계(S100)와, 상기 얼굴인식단계(S100)에서 추출된 신체정보와 일치되는 정보를 갖는 회원정보, 범법자 및 미아정보와 비교하여 일치된 정보를 검색하는 DB검색단계(S200)와, 상기 사용자의 주문이나 구매정보를 저장하는 주문정보저장단계(S300)를 포함한다.

즉, 본 발명은 매장을 방문한 고객의 얼굴을 인식하여 해당 고객의 이전 방문시에 주문한 메뉴 또는 구매한 상품을 확인할 수 있다. 방문횟수가 많은 고객일 수 록 누적된 구매정보가 많아지고, 매장측에서는 누적된 고객의 구매정보를 통하여 고객의 성향을 추측할 수 있어 보다 질 좋은 서비스를 제공할 수 있다. 상기 얼굴인식단계는 하기의 도 4를 참조하여 상세히 설명한다.

도 4는 본 발명에 따른 얼굴인식을 이용한 관리방법에서 얼굴인식단계를 도시한 순서도이다.

도 4를 참조하면, 상기 얼굴인식단계는 카메라(10)를 오프시키는 전원오프단계(S110)와, 전원오프중에 출입구에서 인체감지신호가 수신됨을 판단하는 입장감지판단단계(S120)와, 상기 입장감지판단단계(S120)에서 출입구측에서 인체가 감지된다면 카메라(10)를 온시키는 카메라온단계(S130)와, 상기 카메라온단계(S130)에서 촬영된 이미지에서 신체 부위의 특징을 추출한 이미지데이타를 생성하는 이미지데이타생성단계(S140)와, 상기 이미지데이타 생성단계(S140) 이후에 카메라(10)를 오프시키는 카메라오프단계(S150)를 포함한다.

상기 전원오프단계(S110)는 상기 제어부(50)에서 평상시에 카메라(10)를 오프시키는 단계이다. 상기 제어부(50)는 상기 센서부(80)의 인체감지신호가 수신되기 이전에는 불필요한 에너지의 낭비를 방지하기 위하여 상기 카메라(10)의 전원을 오프시킨다.

상기 입장감지판단단계(S120)는 상기 제어부(50)에서 상기 센서부(80)의 인체감지신호가 수신됨을 판단하는 단계이다. 여기서 상기 센서부(80)는 도어의 개방됨과 상기 도어를 통한 사람의 입장을 감지한다. 예를 들면, 상기 센서부(80)는 온도센서를 구비하여 인체에서 발열되는 체온을 감지하여 사람의 입장여부에 대한 감지신호를 상기 제어부(50)에 인가한다.

상기 카메라온단계(S130)는 상기 제어부(50)에서 상기 센서부(80)의 인체감지신호가 수신되면, 상기 카메라(10)를 온하여 도어를 통하여 입장하는 사람의 얼굴을 촬영하도록 제어하는 단계이다. 상기 제어부(50)는 상기 센서부(80)의 인체감지신호가 수신되면, 상기 카메라(10)에 전원을 인가하여 온시키고, 상기 카메라(10)를 구동시켜 입장한 사람의 얼굴을 촬영하도록 한다.

상기 이미지데이타생성단계(S140)는 상기 제어부(50)가 상기 카메라(10)에서 촬영된 이미지를 상기 이미지편집부(20)에 인가하여 이미지데이타를 생성하도록 제어하는 단계이다. 여기서 상기 카메라(10)는 지면에서 일정높이 이상의 장면을 촬영하여 상기 이미지편집부(20)에 인가한다. 상기 이미지편집부(20)는 상기 카메라(10)에서 촬영된 이미지중에서 얼굴부분을 확대하여 선명한 화질을 갖도록 보정함과 동시에 신체부위의 특징(얼굴형, 얼굴의 좌우거리, 눈과 코사이의 거리, 눈과 귀사이의 거리, 양측 귀사이의 거리, 얼굴의 수평 및 수직거리중 적어도 하나 이상)를 연산하는 이미지데이타를 생성하여 상기 제어부(50)에 상기 촬영이미지와 함께 송신한다.

상기 카메라오프단계(S150)는 상기 제어부(50)가 상기 이미지데이타생성단계(S140)에서 이미지데이타가 인가되면 상기 카메라(10)를 오프시켜 불필요한 에너지의 낭비를 방지한다.

상기 DB검색단계(S200)는 상기 얼굴인식 단계(S100) 이후에 상기 제어부(50)에서 상기 데이타베이스(90)를 검색하여 일치된 정보를 독출하거나 또는 신규회원으로 등록시키는 단계이다. 그 상세한 설명은 하기의 도 5를 참조하여 설명한다.

도 5는 본 발명에 따른 얼굴인식을 이용한 관리방법에서 검색단계를 도시한 순서도이다.

도 5를 참조하면, 상기 DB검색단계는 상기 제어부(50)가 상기 이미지데이타를 수신하는 얼굴인식 데이타 수신단계(S210)와, 미아 및 범법자 DB를 검색하는 미아 및 범법자 데이타검색단계(S220)와, 상기 미아 및 범법자 데이타의 검색결과를 판단하는 수배자판단단계(S230)와, 회원여부를 판단하는 회원유무판단단계(S240)와, 상기 회원유무판단단계(S240)에서 회원으로 판단되면 상기 회원의 성향정보를 화면에 표시하는 출력단계(S250)와, 상기 회원유무판단단계(S240)에서 회원이 아니면 회원으로 등록하는 회원등록단계(S260)와, 상기 수배자 판단단계(S230)에서 미아 및/또는 범법자DB(92)에 일치된 정보가 존재한다면 콜센타에 송신하는 콜센타송신단계(S270)를 포함한다.

상기 얼굴인식데이타수신단계(S210)는 상기 제어부(50)에서 상기 이미지편집부(20)의 이미지데이타를 수신하는 단계이다. 상기 이미지데이타는 촬영된 이미지와 상기 신체부위의 특징을 연산한 결과가 포함된다.

상기 미아 및 범법자데이타검색단계(S220)는 상기 제어부(50)가 이미지편집부(20)로부터 수신된 이미지데이타와 미아DB(91)와, 범법자DB(92)에 저장된 정보와 일치되는 정보를 검색하는 단계이다.

상기 수배자판단단계(S230)는 상기 제어부(50)에서 상기 이미지데이타를 수신한 이후에 데이타베이스(90)를 검색결과를 근거로 하여 일치된 정보의 유무를 판단하는 단계이다. 상기 제어부(50)는 미아 및 범법자 데이타검색단계에서 상기 이미지데이타에 포함된 얼굴의 특징에 따른 이미지데이타에 일치되는 정보를 갖는 수배자를 검색결과를 판단한다.

상기 회원유무판단단계(S240)는 상기 제어부(50)가 상기 회원DB(93)에 저장된 이미지데이타를 검색하여 상기 이미지편집부(20)에서 수신된 이미지데이타와 일치되는 정보를 검색하여 상기 고객의 회원여부를 판단하는 단계이다.

상기 성향분석 및 출력단계(S250)는 상기 제어부(50)가 상기 회원유무판단단계(S240)에서 회원DB(93)에 저장된 정보와 일치되는 정보가 존재하면, 해당 정보를 독출하여 상기 디스플레이(40)에 출력하는 단계이다. 상기 디스플레이(40)에 출력되는 정보는 상술한 바와 같이, 고객의 누적방문횟수, 최근 방문일자, 구매내역 또는 주문메뉴의 명칭이나 횟수 및 고객의 지출비용중 적어도 하나 이상 포함한다. 따라서 매장관리자는 상기 디스플레이(40)에서 출력되는 회원의 정보를 통하여 고객이 선호하는 상품이나 메뉴를 확인하고 디스플레이(40)에 출력되는 유사상품 중에서 어느 하나를 권할 수 있다.

또한, 음식점의 경우는 상기 고객의 주문내역중에서 주문횟수가 많은 음식을 파악할 수 있어, 해당 음식이나 상기 음식과 유사한 종류의 메뉴를 추천할 수 있어 고객관리에 용이하다.

따라서 업체측에서는 상기 디스플레이(40)에 출력되는 정보를 확인하여 고객의 성향을 확인할 수 있고, 고객이 선호하는 성향에 맞는 메뉴나 상품을 소개할 수 있다.

상기 콜센터송신단계(S270)는 상기 제어부(50)가 수배자판단단계(S230)에서 검색결과 상기 범법자DB(92)와 미아DB(91)에서 일치된 정보가 존재하면, 상기 통신부(60)를 제어하여 상기 콜센터(100)에 송신한다.

상기 회원등록단계(S260)는 하기의 도 6을 참조하여 상세히 설명한다.

도 6은 본 발명에 따른 얼굴인식을 이용한 관리방법에서 회원등록단계를 도시한 순서도이다.

도 6을 참조하면, 상기 회원등록단계는 상기 제어부(50)에서 상기 데이타베이스(90)의 회원DB(93)에 촬영이미지와 이미지데이타를 저장하는 이미지등록단계(S261)와, 상기 고객의 주문정보를 입력하는 주문정보입력단계(S262)와, 고객의 주문정보를 누적하여 성향을 분석하는 성향분석단계(S63)와, 분석된 성향정보를 저장하는 저장단계(S264)를 포함한다.

상기 이미지등록단계(S261)는 상기 제어부(50)에서 상기 이미지편집부(20)에 편집된 이미지와 이미지데이타를 상기 회원DB(93)에 저장하는 단계이다. 여기서 상기 제어부(50)는 상기 회원DB(93)에서 해당 회원의 정보테이블을 형성하고, 이미지를 등록한다. 아울러 상기 제어부(50)는 상기 이미지편집부(20)에서 상기 이미지에 포함된 신체의 특징을 연산하는 이미지데이타를 함께 등록한다.

상기 주문정보입력단계(S262)는 상기 제어부(50)에서 상기 신규회원의 구매상품이나 구매상품정보를 상기 회원DB(93)에 등록하는 단계이다. 예를 들면, 매장관리자가 상기 신규회원의 구매상품이나 주문메뉴를 키보드를 통하여 입력하면, 상기 제어부(50)가 해당 회원의 정보테이블에 상기 신규회원의 구매상품이나 주문메뉴를 등록시킨다.

상기 성향분석단계(S263)는 상기 제어부(50)에서 상기 신규회원의 구매상품 또는 주문메뉴를 통하여 해당 회원의 성향을 분석하는 단계이다. 여기서 상기 제어부(50)는 상기 신규회원의 구매상품과 동일한 종류와 스타일에 관한 유사상품목록을 검색하여 출력한다. 여기서 상기 유사상품 또는 유사메뉴는 상기 매장내의 상품정보를 저장하는 상품DB(94)에 저장된다.

상기 저장단계(S264)는 상기 제어부(50)가 상기 성향분석단계(S263)에서 검색된 고객의 구매상품이나 주문메뉴와 유사상품이나 유사메뉴의 정보를 상기 회원DB(93)에 등록시키는 단계이다. 상기 제어부(50)는 상기 성향분석단계에서 검색된 유사상품이나 유사메뉴정보를 상기 신규회원의 정보테이블에 등록하여 이후에 재 방문시의 고객에 대한 성향정보를 매장의 관리자가 인지할 수 있도록 한다.

상기 주문정보저장단계(S300)는 도 7을 참조하여 상세히 설명한다.

도 7은 본 발명에 따른 얼굴인식을 이용한 관리방법에서 주문정보저장단계를 도시한 순서도이다.

도 7을 참조하면, 상기 주문정보저장단계(S300)는 등록된 회원이 매장에서 상품을 구매하거나 또는 메뉴를 주문하면, 상기 회원의 구매한 상품의 정보나 주문한 메뉴의 정보를 입력하는 주문정보입력단계(S310)와, 상기 주문정보입력단계(S310)에서 입력된 회원의 구매정보를 상기 회원DB(93)에 누적시켜 해당 회원의 성향정보를 갱신하는 데이타갱신단계(S320)와, 상기 회원이 지출하는 금액에 비례하는 마일리지를 연산하여 누적시켜 디스플레이(40)에 출력하는 마일리지 연산 및 출력단계(S330)와, 연산된 마일리지를 회원정보에 저장하는 저장단계(S340)를 포함한다.

상기 주문정보입력단계(S310)는 등록된 회원이 상품을 구매하거나 음식을 주문하면, 매장관리자가 키보드를 통하여 상기 구매상품과 주문메뉴를 입력하고, 상기 입력부(70)는 상기 제어부(50)에 상기 회원의 구매상품 또는 주문정보를 인가하는 단계이다.

상기 데이타갱신단계(S320)는 상기 주문정보입력단계(S310)에서 상기 제어부(50)가 수신된 회원의 주문정보를 상기 회원DB(93)의 해당 회원정보테이블에 누적시켜 저장하는 단계이다. 상기 회원정보테이블은 해당 회원의 방문일시와 총구매비용과 구매상품리스트가 저장된다. 따라서 상기 제어부(50)는 상기 회원의 추가 구매시에 해당 구매정보를 누적시켜 데이타를 갱신한다.

상기 마일리지연산 및 출력단계(S330)는 상기 제어부(50)에서 상기 회원의 지출비용 대비하여 설정된 마일리지 연산공식에 따라서 마일리지를 연산하여 누적시키는 단계이다. 상기 제어부(50)는 해당 회원별로 지출한 금액에 대비하여 마일리지를 연산하여 상기 정보테이블에 저장한다. 여기서 상기 마일리지는 해당 회원이 비용의 계산시에 현금처럼 사용할 수 있도록 하는 포인트이다.

상기 저장단계(S340)는 상기 제어부(50)에서 마일리지연산 및 출력단계(S330) 이후에 해당 회원의 비용계산 이후에 잔여 마일리지를 저장하는 단계이다. 여기서 상기 제어부(50)는 상기 회원이 비용의 계산을 위하여 마일리지를 사용하는 경우라면, 누적된 마일리지에서 사용된 마일리지를 연산하고 남은 잔여 마일리지를 저장하고, 상기 프린터(30)를 통하여 계산서를 출력하는 단계이다.

이와 같이 본 발명은 별도의 회원가입과정을 거치지 않고, 카메라(10)에 의한 방문고객의 얼굴을 인식하여 신규회원으로 등록한 이후에 해당 고객의 구매상품이나 지출비용 및 유사상품이나 메뉴를 검색 및 출력하고, 방문시마다 해당 고객의 구매정보를 누적시킬 수 있어 고객의 성향을 파악할 수 있다.

또한 본 발명은 매장을 방문한 사람의 얼굴을 인식하여 미아나 범법자의 정보와 비교하여 자동으로 콜센타로 송신가능하기 때문에 미아나 범법자의 수배에 크게 활용될 수 있다.

10: 카메라 20: 이미지편집부
30: 프린터 40: 디스플레이
50: 제어부 60: 통신부
70: 입력부 80: 센서부
90: 데이타베이스 91: 미아DB
92: 범법자DB 93: 회원DB
94: 상품DB 100 : 콜센터

Claims (10)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 도어를 통하여 출입하는 인체를 감지하는 센서부; 상기 센서부에 의해 도어를 통하여 사람이 출입됨이 감지되면 얼굴을 촬영하는 카메라; 상기 카메라에서 촬영된 이미지를 편집하는 이미지편집부; 상기 카메라에서 촬영된 이미지를 회원정보로 등록 및 저장하고, 공개수배된 사람의 이미지정보를 저장하는 범법자DB와 미아DB 및 회원의 방문횟수와, 이전구매 상품, 이전방문일자 및 회원등록 이후 구매한 상품 내역과 가장 빈도가 높은 상품정보중 하나 이상을 포함하는 회원DB를 구비한 데이타베이스; 상기 센서부의 인체감지신호가 수신되면, 상기 카메라를 온시켜 촬영하도록 제어하고, 촬영된 이미지를 상기 이미지편집부에 인가하여 촬영된 이미지의 얼굴을 추출하여 상기 데이타베이스에 저장된 회원정보와 일치되는 정보가 존재됨을 판단하는 제어부; 상기 제어부의 제어에 의하여 상기 카메라의 촬영이미지와 회원정보를 출력하는 디스플레이; 및 유무선통신으로 연결되어 상기 제어부의 제어에 의하여 통신신호를 송신하는 통신부;를 포함하여 매장내에 입장하는 고객의 얼굴을 촬영한 촬영이미지를 통하여 회원등록 및 회원의 성향정보를 분석하는 얼굴인식을 이용한 매장관리방법에 있어서,
   매장을 방문한 고객을 감지하여 촬영하고, 촬영된 이미지를 편집하여 얼굴의 신체부위간의 형상과 거리를 포함하는 이미지데이타를 추출하는 얼굴인식단계;
   상기 얼굴인식단계에서 추출된 이미지데이타를 통하여 등록된 회원유무를 판단하고, 신규회원이면 촬영된 이미지를 통하여 회원등록하고, 기존의 등록회원이라면 구매내역 및 방문정보를 출력하는 DB검색단계; 및
   상기 고객의 주문이나 구매정보를 누적시켜 고객의 성향정보를 추출 및 저장하는 주문정보저장단계;를 포함하고,
   상기 얼굴인식단계는
   카메라를 오프시키는 전원오프단계;
   상기 카메라의 전원오프중, 도어를 통하여 사람의 출입을 감지하여 인체감지신호가 수신됨을 판단하는 입장감지판단단계;
   상기 입장감지판단단계에서 인체감지신호가 수신되면, 카메라에 전원을 온시켜 상기 도어를 통해 입장하는 사람을 촬영하는 카메라온단계;
   상기 카메라온단계에서 촬영된 이미지에서 얼굴의 형상을 포함하는 이미지 데이타를 추출하는 이미지데이타생성단계;
   상기 이미지데이타생성단계 이후에 카메라를 오프시키는 카메라오프단계를 포함하고,
   상기 이미지데이타생성단계의 이미지데이타는
   상기 카메라에서 촬영된 이미지에서 얼굴의 신체부위중 얼굴형, 눈과 코사이의 거리, 양쪽 귀사이의 거리, 얼굴의 수평 및 수직거리, 눈과 눈사이의 거리중 적어도 하나 이상이며,
   상기 DB검색단계는
   상기 얼굴인식단계에서 추출된 이미지데이타를 수신하는 데이타수신단계;
   미아 및 범법자 DB를 검색하여 수배자정보의 일치여부를 판단하는 수배자판단단계;
   상기 데이타수신단계 이후에 회원의 이미지데이타가 저장되는 데이타베이스를 검색하여 일치된 정보의 유무를 통해 회원여부를 판단하는 회원유무판단단계;
   상기 회원유무판단단계에서 일치된 회원정보가 존재하면, 회원으로 판단하여 상기 회원의 이전 구매내역과, 방문횟수와, 최근 방문일자와, 구매빈도가 높은 상품과 구매상품의 색상이나 종류 및 가격대를 기준으로 하는 유사상품정보를 출력하는 성향정보의 출력단계; 및
   상기 회원유무판단단계에서 일치된 정보가 없다면, 촬영된 이미지와 이미지데이타를 데이타베이스에 저장하여 방문일자와 구매내역을 저장하고 신규회원으로 등록시키는 신규회원등록단계;를 포함하고,
   상기 주문정보저장단계는
   등록된 회원의 구매상품의 정보를 입력하는 주문정보입력단계;
   상기 주문정보입력단계에서 입력된 회원의 구매정보를 데이타베이스에 누적시켜 해당 회원의 성향정보를 갱신하는 데이타갱신단계;
   상기 회원의 구매금액에 비례하는 마일리지를 연산하여 누적시켜 디스플레이에 출력하는 마일리지 연산 및 출력단계; 및
   상기 마일리지 연산 및 출력단계에서 연산된 마일리지를 회원정보에 저장하는 저장단계를 포함하는 얼굴인식을 이용한 매장관리방법.
   
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images