KR102254639B1 - 매장 관리 시스템 및 방법 - Google Patents

Abstract

본 발명의 일 측면에 따른 매장 관리 시스템은, 오프라인 매장 내에서 상품이 진열되는 적어도 하나의 선반 및 그 선반에 접근하는 사용자를 촬영하는 카메라; 상기 카메라에서 촬영된 촬영 영상을 수집하는 영상 수집부; 상기 수집된 촬영 영상을 분석하여, 상기 사용자의 시선을 추정하고, 상기 사용자의 손의 위치를 인식하여 상품의 피킹 또는 반납의 행동을 분석하는 영상 분석부; 상기 오프라인 매장 내의 결제 단말로부터 결제 정보를 수집하는 결제 정보 수집부; 상기 적어도 하나의 선반의 식별정보와, 상기 적어도 하나의 선반 위의 적어도 하나의 분석 대상 영역의 정보와, 각 분석 대상 영역에 진열되는 상품의 정보를 저장하는 선반 등록부; 상기 추정된 사용자의 시선과, 상기 상품의 피킹 또는 반납의 행동과, 상기 결제 정보를 기초로, 시선 대비 피킹 전환률 또는 피킹 대비 구매 전환율의 통계 정보를 계산하는 통계 계산부; 및 상기 통계 정보를 상기 오프라인 매장의 매장 관리자의 단말로 전송하는 통계 정보 제공부를 포함한다.

Description

매장 관리 시스템 및 방법{SYSTEM AND METHOD FOR MANAGING STORES}

본 발명은 매장 관리 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 영상 분석을 통해서 매장 내 상품들에 대한 사용자들의 시선과 행동을 분석하여 매장 관리자에게 통계 정보를 제공하는 매장 관리 시스템 및 방법에 관한 것이다.

IT 기술의 발전으로 이미 온라인 매장은 사용자들의 소비 패턴을 분석하고 이에 관한 통계 정보를 매장 관리자에게 제공하고 있다. 오프라인 매장의 경우에도 사용자들의 매장 방문률과 구매율을 높이기 위해 다양한 기술들을 통해서 매장 내 사용자 분석을 연구하고 있다. 그러나 오프라인 매장의 경우 사용자 분석을 위해 많은 비용을 투자해야 하고, 비용, 기술 등의 문제로 각 상품에 대한 사용자의 관심도를 추정하기 어려운 상황이다. 단순히 매출로서 집계되는 상품별 판매 수, 교환 수, 환불 수 등과 같은 매출 데이터만을 이용하고 있을 뿐이다.

이러한 문제점을 해결하기 위해 국내등록특허 제10-1779094호는, 매장 내 방문객의 영상을 수집 및 분석하여, 방문객의 성별 및 연령대를 구분하고 또한 방문객의 시선을 추적하여, 전시 중인 상품의 위치에 방문객이 얼마 동안 머무르는지 그리고 매장 내 시간대별 방문객의 수와 단골 고객 수 등을 분석하는 방법을 제안하고 있다. 그러나 국내등록특허 제10-1779094호의 목적은, 결제를 위한 대기열의 실시간 대기시간정보를 제공하고 단골 고객 방문시에 알림을 제공하는 것으로서, 온라인 매장과 같이 사용자들의 매장 방문률과 구매율을 높이기 위한 통계 정보를 제공하지 못한다. 또한, 국내등록특허 제10-1779094호는 각 매장별로 독립적인 상품 구성 그리고 상품의 진열 위치 변경에 실시간 대응하지 못한다. 즉, 매장 관리자가 매장 내 선반에서의 상품 배열 위치를 변경하고 상품들의 구성을 달리할 수 있는데, 이 경우 국내등록특허 제10-1779094호는 상품에 대한 고객의 인기도 등을 분석할 수 없어 매장 관리자가 상품 진열 위치나 상품을 구성하는데 실질적인 도움을 주지 못한다.

따라서, 오프라인 매장에 대해서도 온라인 매장과 같이 사용자들의 매장 방문률과 구매율을 높일 수 있고, 또한 매장별로 상품 구성이 독립적이고 상품의 진열 위치가 상이하더라도 빠르게 통계 정보를 분석할 수 있는 방안이 요구된다.

국내등록특허 제10-1779094호(2017.09.18. 공고)

본 발명은 영상 분석을 통해 오프라인 매장을 방문하는 사용자들의 시선과 행동을 분석하여 사용자들의 오프라인 매장의 방문률과 구매율을 높일 수 있는데 참조할 수 있는 통계 정보를 매장 관리자에게 제공하는 매장 관리 시스템 및 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 오프라인 매장의 관리자가 해당 오프라인 매장의 분석 대상 영역을 직접 설정할 수 있도록 하고 그 분석 대상 영역에 관한 통계 정보를 매장 관리자에게 제공하는 매장 관리 시스템 및 방법을 제공하는데 다른 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명의 일 측면에 따른 매장 관리 시스템은, 오프라인 매장 내에서 상품이 진열되는 적어도 하나의 선반 및 그 선반에 접근하는 사용자를 촬영하는 카메라; 상기 카메라에서 촬영된 촬영 영상을 수집하는 영상 수집부; 상기 수집된 촬영 영상을 분석하여, 상기 사용자의 시선을 추정하고, 상기 사용자의 손의 위치를 인식하여 상품의 피킹 또는 반납의 행동을 분석하는 영상 분석부; 상기 오프라인 매장 내의 결제 단말로부터 결제 정보를 수집하는 결제 정보 수집부; 상기 적어도 하나의 선반의 식별정보와, 상기 적어도 하나의 선반 위의 적어도 하나의 분석 대상 영역의 정보와, 각 분석 대상 영역에 진열되는 상품의 정보를 저장하는 선반 등록부; 상기 추정된 사용자의 시선과, 상기 상품의 피킹 또는 반납의 행동과, 상기 결제 정보를 기초로, 시선 대비 피킹 전환률 또는 피킹 대비 구매 전환율의 통계 정보를 계산하는 통계 계산부; 및 상기 통계 정보를 상기 오프라인 매장의 매장 관리자의 단말로 전송하는 통계 정보 제공부를 포함한다.

상기 통계 계산부는, 상기 매장 관리자에 의해 선택된 선반에 대해 상기 시선 대비 피킹 전환률 또는 상기 피킹 대비 구매 전환율의 통계 정보를 계산하되, 상기 시선 대비 피킹 전환률은, 상기 선택된 선반에서의 피킹 횟수를 그 선택된 선반에 대한 시선 횟수로 나눈 비율이고, 상기 피킹 대비 구매 전환율은, 상기 선택된 선반에서의 상품 구매 횟수를 그 선택된 선반에서의 피킹 횟수로 나눈 비율일 수 있다.

상기 통계 계산부는, 상기 매장 관리자에 의해 선택된 분석 대상 영역에 대해 상기 시선 대비 피킹 전환률 또는 상기 피킹 대비 구매 전환율의 통계 정보를 계산하되, 상기 시선 대비 피킹 전환률은, 상기 선택된 분석 대상 영역에서의 피킹 횟수를 그 선택된 분석 대상 영역에 대한 시선 횟수로 나눈 비율이고, 상기 피킹 대비 구매 전환율은, 상기 선택된 분석 대상 영역에서의 상품 구매 횟수를 그 선택된 분석 대상 영역에서의 피킹 횟수로 나눈 비율일 수 있다.

상기 영상 분석부는, 상기 수집된 촬영 영상에서 얼굴 영역을 인식한 후 그 얼굴 영역을 기초로 상기 사용자의 성별과 연령을 인식하고, 상기 통계 계산부는, 상기 매장 관리자에 의해 선택된 성별 및 연령대의 상기 통계 정보를 계산할 수 있다.

상기 통계 계산부는, 상기 매장 관리자에 의해 선택된 적어도 하나의 기간의 상기 통계 정보를 계산할 수 있다.

상기 적어도 하나의 분석 대상 영역의 정보는, 상기 매장 관리자에 의해 상기 매장 관리자의 단말에서 촬영된 선반의 영상에서 소정 개수로 분할된 분석 대상 영역들의 좌표 정보로서, 상기 매장 관리자의 단말로부터 수신되고, 상기 각 분석 대상 영역에 진열되는 상품의 정보는, 상기 매장 관리자의 단말에서 각 분석 대상 영역마다 상기 매장 관리자로부터 입력되는 상품명을 포함하고, 상기 매장 관리자의 단말로부터 수신될 수 있다.

상기 좌표 정보는, 상기 매장 관리자의 단말에서 상기 소정 개수로 분할된 분석 대상 영역들의 레이아웃의 라인들이 상기 매장 관리자의 터치 드래그에 의해 상하좌우 위치가 조정된 후의 좌표 정보일 수 있다.

상기 매장 관리자의 단말에서 상기 소정 개수로 분할된 분석 대상 영역들은, 상기 선반의 영상에서 인식된 상품에 따라 자동으로 설정된 후 상기 터치 드래그에 의해 상기 레이아웃의 라인들의 위치가 조정된 것일 수 있다.

본 발명의 다른 측면에 따른 매장 관리 시스템이 오프라인 매장을 관리하는 방법은, 상기 오프라인 매장 내에서 상품이 진열되는 적어도 하나의 선반의 식별정보와, 상기 적어도 하나의 선반 위의 적어도 하나의 분석 대상 영역의 정보와, 각 분석 대상 영역에 진열되는 상품의 정보를 저장하는 단계; 상기 적어도 하나의 선반 및 그 선반에 접근하는 사용자를 촬영하는 카메라에서 촬영된 촬영 영상을 상기 카메라로부터 수집하는 단계; 상기 수집된 촬영 영상을 분석하여, 상기 사용자의 시선을 추정하고, 상기 사용자의 손의 위치를 인식하여 상품의 피킹 또는 반납의 행동을 분석하는 단계; 상기 오프라인 매장 내의 결제 단말로부터 결제 정보를 수집하는 단계; 상기 추정된 사용자의 시선과, 상기 상품의 피킹 또는 반납의 행동과, 상기 결제 정보를 기초로, 시선 대비 피킹 전환률 또는 피킹 대비 구매 전환율의 통계 정보를 계산하는 단계; 및 상기 통계 정보를 상기 오프라인 매장의 매장 관리자의 단말로 전송하는 단계를 포함한다.

본 발명의 실시예에 따르면, 본 발명에서 정의되는 시선 수는 종래 온라인 매장에서의 상품 클릭 수에 대응할 수 있고, 본 발명의 피킹 횟수는 종래 온라인 매장에서 상품을 장바구니에 담은 수에 대응할 수 있으며, 본 발명의 전환률은 종래 온라인 매장에서 장바구니에 담은 상품을 구매한 비율에 대응할 수 있다.

따라서, 오프라인 매장에 대해서도 매장 관리자에게 온라인 매장과 유사한 통계 정보를 제공할 수 있다. 따라서 매장 관리자는 각종 통계 정보를 통해 온라인 매장의 상품 진열을 재구성하는 등의 구매율을 높일 수 있는 방안을 도출할 수 있는 기회를 제공받을 수 있다. 즉, 매장 관리자는 인기도가 없는 상품을 확인하여 대체 상품으로 교환하여 매출을 올릴 수 있고, 새로운 신상품이 출시될 때 가장 눈에 띄도록 배치하여 인기도를 체크할 수 있다.

또한 본 발명의 실시예에 따르면, 매장 관리자가 관리자 단말을 통해 매장 내 선반들의 분석 대상 영역을 직접 설정할 수 있도록 함으로써, 매장 관리자가 수시로 바뀌는 매장 환경에 신속하게 대응할 수 있다.

도 1은 본 발명의 일 실시예에 따른 매장 관리 시스템의 구성을 나타낸 도면이다.
도 2는 도 1의 매장 서버의 영상 분석부의 구체적인 구성을 나타낸 도면이다.
도 3은 도 1의 관리 서버의 구성을 나타낸 도면이다.
도 4는 도 1의 관리자 단말의 구성을 나타낸 도면이다.
도 5는 도 1의 매장 분석 프로그램의 구성을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 관리자 단말에서 분석 대상 영역을 등록하는 방법을 설명하는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 매장 및 선반의 정보를 등록하는 화면을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 특정 선반에 대해 분석 대상 영역을 설정하는 화면을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 각 분석 대상 영역에 대해 상품 정보를 설정하는 화면을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 매장 관리 시스템의 매장 서버에서 사용자를 추적하는 방법을 설명하는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 관리자 단말에서 통계 정보를 확인하는 방법을 설명하는 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 조건 설정 및 조회 결과를 나타낸 화면이다.
도 13은 본 발명의 일 실시예에 따른 복수의 기간 간의 통계 정보를 비교하는 화면이다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 매장 관리 시스템의 구성을 나타낸 도면이고, 도 2는 도 1의 매장 서버의 영상 분석부의 구체적인 구성을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 매장 관리 시스템은, 오프라인 매장의 선반(110)마다 설치되는 복수의 카메라(111), 오프라인 매장에서 사용자의 상품 구매에 대한 결제를 처리하는 결제 단말(120), 오프라인 매장마다 설치되는 매장 서버(130), 각 매장의 매장 서버(130)와 통신하는 관리 서버(140) 및 매장 관리자가 구비하는 관리자 단말(150)을 포함한다. 이들 구성요소들은 네트워크를 통해서 서로 통신한다. 여기서 네트워크는 LTE(Long Term Evolution), WCDMA(Wideband Code Division Multiple Access)와 같은 이동통신망, 유선 인터넷망, Wi-Fi와 같은 근거리 무선통신망을 포함하는 것으로서, 본 발명에 있어서 주지의 관용기술에 해당하므로 자세한 설명은 생략한다. 본 실시예에서는 관리 서버(140)가 매장 서버(130)로부터 분리되어 복수의 매장의 매장 서버(130)들과 통신하는 것으로 설명하지만 여기에 제한되는 것은 아니며 각 매장마다 관리 서버(140)와 매장 서버(130)가 통합되어 구축될 수도 있다.

오프라인 매장에는 상품을 진열하는 복수의 선반(110)이 설치된다. 각 선반(110)에는 상품을 구매하는 또는 구매하려는 고객, 즉 사용자를 촬영하는 카메라(111)가 설치된다. 카메라(111)는 선반(110)에서 사용자의 모습 및 선반(110)에 진열된 상품들을 촬영할 수 있는 화각을 가지도록 설치된다. 선반(110)마다 하나씩 카메라(111)를 설치하는 것이 바람직하나 여기에 제한되는 것은 아니며, 사용자 및 선반(110)을 모두 촬영할 수 있는 적절한 위치에 카메라(111)가 설치될 수도 있다. 예를 들어, 선반(110)의 위쪽과 선반(110)의 좌우측에 카메라(111)를 설치할 수도 있다. 카메라(111)는 촬영 영상을 실시간으로 또는 미리 메모리에 저장하였다가 지정된 시간에 매장 서버(130)로 전송할 수 있다. 도 1에 도시하지 않았지만, 선반(110)에는 디지털 저울이 설치되고 그 디지털 저울 위에 상품이 놓일 수 있으며, 디지털 저울은 매장 서버(130)와 통신하여 상품의 무게 정보를 매장 서버(130)로 전송할 수 있다. 또는 선반(110)에는 초음파 센서가 설치되어 사용자의 손이 들어오고 나가는 것을 센싱하고 이에 관한 센싱 정보를 매장 서버(130)로 전송할 수 있다.

매장 서버(130)는, 오프라인 매장에 설치되어 매장 내의 적어도 하나 이상의 카메라(111)로부터 촬영 영상을 수집하고, 수집된 촬영 영상을 저장 장치에 저장하거나 또는 실시간 촬영 영상을 분석한다. 또한 매장 서버(130)는 결제 단말(120)로부터 결제 정보를 수집한다. 이를 위해 도 1에 도시된 바와 같이 매장 서버(130)는 영상 수집부(131), 영상 분석부(133) 및 결제 정보 수집부(134)를 포함하고 이러한 구성요소는 하드웨어로 구현되거나 또는 소프트웨어로 구현되어 메모리에 설치된 후 프로세서에 의해 실행될 수 있다. 매장 서버(130)는 하드디스크 또는 NAS(Network Attached Storage) 등의 저장 장치를 포함한다.

영상 수집부(131)는, 매장 내 카메라(111)들로부터 촬영 영상을 수집한다. 영상 수집부(131)는, 실시간으로 촬영 영상을 수신하여 저장 장치에 저장할 수 있고, 또는 일정한 주기마다 카메라(111)에 의해 촬영되어 저장되어 있던 촬영 영상을 수신하여 저장 장치에 저장할 수 있다.

영상 분석부(133)는, 수집된 촬영 영상을 분석하여, 사용자의 얼굴을 인식하고, 인식된 얼굴에 기초하여 사용자의 성별과 연령을 분석하며, 또한 사용자의 시선을 추정하고, 사용자의 손의 행동을 인식한다. 도 2를 참조하면, 영상 분석부(133)는, 얼굴 검출 모듈(210), 연령 인식 모듈(220), 성별 인식 모듈(230), 시선 추정 모듈(240) 및 행동 인식 모듈(250)을 포함한다.

얼굴 검출 모듈(210)은, 사용자의 얼굴 영역을 인식한 후, 인식된 얼굴 영역을 기초로 사용자가 기존 고객인지 신규 고객인지 판단하여 신규 고객인 경우 ID를 부여하여 얼굴 분석을 통해 추출된 얼굴 특징점과 함께 저장 장치에 저장하고, 기존 고객인 경우 저장 장치로부터 상기 추출된 얼굴 특징점에 해당하는 기존 고객의 ID, 성별 및 연령의 정보를 호출한다. 상기 얼굴 특징점은 예를 들어 조명, 화장 등에 의해서 변화되기 어려운 영역들(예를 들어, 눈 중심, 코끝, 입끝, 눈동자 등)에 대한 데이터와 이 영역들 간의 거리 데이터일 수 있다.

연령 인식 모듈(220)은, 신규 고객에 대해 상기 인식된 얼굴 영역을 미리 학습된 신경회로망을 통해 분석하여 사용자의 연령을 인식하고 상기 ID에 매핑하여 저장 장치에 저장한다. 또한 성별 인식 모듈(230)은 신규 고객에 대해 상기 인식된 얼굴 영역을 미리 학습된 신경회로망을 통해 분석하여 사용자의 성별을 인식하고 상기 ID에 매핑하여 저장 장치에 저장한다.

시선 추정 모듈(240)은, 상기 수집된 촬영 영상을 기초로 사용자의 머리 방향과 눈동자의 위치를 파악하고 이를 통해 사용자의 시선을 추정함으로써 사용자가 주시하는 선반(110)의 영역(이하에서의 분석 대상 영역)을 분석한다. 시선 추정 모듈(240)은, 사용자의 머리 방향과 눈동자의 위치를 분석한 후 법선을 그어 그 법선이 닿는 선반(110)의 영역을 분석한다. 시선 추정 모듈(240)은, 사용자의 시선이 일정 시간 이상 머무르는 선반(110)의 영역의 정보를 시선 응시 데이터로서 상기 ID에 매핑하여 저장 장치에 저장한다. 시선 응시 데이터는, 사용자 ID, 선반의 정보, 분석 대상 영역 내 상품의 정보, 발생 시간을 포함할 수 있다.

행동 인식 모듈(250)은, 상기 수집된 촬영 영상에서 사용자의 손의 위치를 인식하여 사용자가 선반(110) 내의 상품을 손에 들어 카트 등에 넣었는지 또는 반납하였는지 등의 행위를 분석하고 이에 관한 행위 데이터를 상기 ID에 매핑하여 저장 장치에 저장한다. 반납 행위의 경우 상품을 쥔 손을 선반(110) 안으로 넣고 선반(110) 밖으로 나왔을 때 상품이 손에서 없어진 상황을 파악하여 분석할 수 있다. 행동 인식 모듈(250)은 선반(110)의 디지털 저울로부터 수신되는 무게 정보를 더 참조하여 사용자가 물건을 들었는지 반납하였는지 등의 행위 정보를 정밀하게 분석할 수 있다. 또는 선반(110)에 설치되는 초음파 센서를 통해 사용자의 손이 선반(110) 안으로 진입하였는지를 파악하여 더 정밀하게 행위를 분석할 수 있다. 행위 데이터는 사용자 ID, 선반의 정보, 분석 대상 영역 내 상품의 정보, 발생 시간을 포함할 수 있다.

다시 도 1을 참조하면, 매장 서버(130)의 결제 정보 수집부(134)는, 오프라인 매장 내에 설치된 결제 단말(120)로부터 사용자의 상품 구매에 관한 결제 정보를 수집하여 저장 장치에 저장한다. 여기서 결제 정보는, 상품의 식별정보를 포함하고, 식별정보는 예를 들어 바코드 정보일 수 있다. 여기서 결제 단말(120)은, 상품의 포장에 인쇄된 바코드를 인식할 수 있는 바코드 리더기를 포함할 수 있고, 신용카드 등의 카드 결제 기능을 포함한다.

관리자 단말(150)은 카메라와 매장 분석 프로그램을 포함하는 휴대용 통신 단말이다. 관리자 단말(150)은 네트워크를 통해 관리 서버(140)와 통신할 수 있다. 관리자 단말(150)은 매장 관리 프로그램을 통해 관리 서버(140)에 접속하여 회원 가입 및 로그인 인증을 수행할 수 있다. 관리자는 관리자 단말(150)에 설치된 매장 관리 프로그램을 통해 본인이 관리하는 매장을 관리 서버(140)에 등록하고, 매장 내의 선반(110) 및 선반(110)에 대해 적어도 하나 이상의 분석 대상 영역을 설정할 수 있고, 각 분석 대상 영역에 진열되는 상품에 대한 정보를 등록할 수 있다. 또한 관리자 단말(150)의 매장 관리 프로그램은 관리자 서버(140)로부터 각종 통계 정보를 수신하여 그래픽으로 화면에 출력할 수 있다. 관리자 단말(150)에 관해서는 이하에서 도 4 및 도 5를 참조하여 자세히 설명한다.

관리 서버(140)는, 상술한 바와 같이 관리자 단말(150)과 통신하여 관리자의 입력에 따라 매장 정보를 저장 장치에 저장하고, 또한 매장 내 각 선반의 정보와 진열 상품 정보를 수신하여 저장 장치에 저장한다. 또한 관리 서버(140)는, 각 매장의 매장 서버(130)와 통신하여 매장 서버(130)로부터 영상 분석 결과 및 결제 정보를 수신하고, 그 수신된 영상 분석 결과 및 결제 정보를 토대로 각종 통계 정보를 계산하여 관리자 단말(150)로 전송한다.

도 3은 도 1의 관리 서버의 구성을 나타낸 도면이다. 관리 서버(140)는, 선반 등록부(310), 통계 계산부(320) 및 통계 정보 제공부(330)를 포함하고, 이러한 구성요소는 하드웨어로 구현되거나 또는 소프트웨어로 구현되어 메모리에 설치된 후 프로세서에 의해 실행될 수 있다. 관리 서버(140)는 하드디스크 또는 NAS(Network Attached Storage) 등의 저장 장치를 포함한다.

선반 등록부(310)는, 매장 관리자의 회원 가입 및 로그인 인증을 수행한다. 선반 등록부(310)는, 회원 가입시 이름, ID, 비밀번호를 수신하여 저장 장치에 저장할 수 있다. 또한 선반 등록부(310)는, 로그인 인증에 성공한 매장 관리자의 관리자 단말(150)로부터 매장 관리자가 관리하는 매장의 정보를 수신하고, 또한 매장 내 각 선반의 식별정보, 각 선반의 분석 대상 영역의 정보, 그리고 각 분석 대상 영역에 진열되는 상품의 정보를 수신하여 저장 장치에 저장한다. 여기서 매장의 정보는 매장명, 주소 등을 포함하고, 선반의 식별정보는 위치 및 일련번호일 수 있으며, 분석 대상 영역의 정보는 좌표 정보일 수 있고, 상품의 정보는 상품명, 바코드 정보 등을 포함할 수 있다.

통계 계산부(320)는, 각 매장의 매장 서버(130)와 통신하여 매장 서버(130)로부터 영상 분석 결과 및 결제 정보를 수신하여 저장 장치에 저장하고, 그 수신된 영상 분석 결과 및 결제 정보를 토대로 매장 관리자의 요청에 따라 각종 통계 정보를 계산한다. 통계 계산부(320)는, 매장의 전체 방문자 수, 시선 횟수, 피킹-반납 횟수, 구매 건수, 전환률을 막대 그래프, 또는 파이 그래프 등과 같은 시각적 효과를 갖는 그래프를 생성한다. 여기서 시선 횟수, 피킹-반납 횟수, 구매 건수, 전환률은, 매장에 대해 전체 통계로서 계산될 수 있고, 또는 선반별로, 또는 분석 대상 영역별로 계산될 수 있다. 이하에서 상세히 설명한다.

매장 통계

통계 계산부(320)는, 개별 매장의 전체 방문자 수, 시선 횟수, 피킹 횟수, 반납 횟수, 구매 건수 및 전환률을 성별별로 또는 연령대별로 또는 시간대별 또는 요일별로 계산한다. 전체 방문자 수는 영상 분석 결과를 토대로 인식된 개별 사용자의 수를 합한 결과이다. 시선 횟수는, 일정한 시간 동안 매장 내 임의의 선반을 응시한 시선의 횟수의 합이며, 피킹 횟수는 매장 내 임의의 선반 내의 상품을 손으로 든 행위의 횟수의 합이며, 반납 횟수는 임의의 선반 내의 상품을 손으로 든 후에 다시 선반에 내려놓는 행위 횟수의 합이다. 구매 건수는 결제 정보를 토대로 분석되는 전체 결제 건수의 합이다. 전환률은 시선 대비 피킹 전환률과 피킹 대비 구매 전환률을 포함하고, 시선 대비 피킹 전환률은 매장 내에서의 피킹 횟수를 매장 내에서의 시선 횟수로 나눈 비율이고, 피킹 대비 구매 전환률은 매장 내에서의 구매 횟수를 매장 내에서의 피킹 횟수로 나눈 비율이다.

선반 통계

통계 계산부(320)는, 매장 내의 각 선반별로 전체 방문자 수, 시선 횟수, 피킹 횟수, 반납 횟수, 구매 건수 및 전환률을 성별별로 또는 연령대별로 또는 시간대별 또는 요일별로 계산할 수 있다. 전체 방문자 수는 영상 분석 결과를 토대로 인식된 각 선반별 선반에 방문한 개별 사용자의 수를 합한 결과이다. 여기서 선반에 방문하였다는 것은 선반에 시선을 주는 것뿐만 아니라 시선을 주지 않더라도 각 개별 선반을 관리하는 카메라에 사용자가 인식되는 것까지도 포함할 수 있다. 시선 횟수는, 일정한 시간 동안 특정 선반을 응시한 시선의 횟수의 합이며, 피킹 횟수는 특정 선반 내의 상품을 손으로 든 행위의 횟수의 합이며, 반납 횟수는 특정 선반 내의 상품을 손으로 든 후에 다시 선반에 내려놓는 행위 횟수의 합이다. 구매 건수는 결제 정보 및 영상 분석 결과를 토대로 분석되는 특정 선반에 진열된 상품들의 결제 건수의 합이다. 전환률은 시선 대비 피킹 전환률과 피킹 대비 구매 전환률을 포함하고, 시선 대비 피킹 전환률은 특정 선반에서의 피킹 횟수를 해당 선반의 시선 횟수로 나눈 비율이고, 피킹 대비 구매 전환률은 특정 선반에서의 구매 횟수를 해당 선반의 피킹 횟수로 나눈 비율이다.

분석 대상 영역 통계

통계 계산부(320)는, 매장 내의 각 선반의 분석 대상 영역별로 전체 방문자 수, 시선 횟수, 피킹 횟수, 반납 횟수, 구매 건수 및 전환률을 성별별로 또는 연령대별로 또는 시간대별 또는 요일별로 계산할 수 있다. 전체 방문자 수는 영상 분석 결과를 토대로 인식된 각 분석 대상 영역에 방문한 개별 사용자의 수를 합한 결과이다. 여기서 분석 대상 영역에 방문하였다는 것은 분석 대상 영역에 시선을 주는 것뿐만 아니라 시선을 주지 않더라도 각 분석 대상 영역으로부터 소정 거리 내에서 사용자가 인식되는 것까지도 포함할 수 있다. 시선 횟수는, 일정한 시간 동안 특정 분석 대상 영역을 응시한 시선의 횟수의 합이며, 피킹 횟수는 특정 분석 대상 영역 내의 상품을 손으로 든 행위의 횟수의 합이며, 반납 횟수는 특정 분석 대상 영역 내의 상품을 손으로 든 후에 다시 선반에 내려놓는 행위 횟수의 합이다. 구매 건수는 결제 정보 및 영상 분석 결과를 토대로 분석되는 특정 분석 대상 영역에 진열된 상품들의 결제 건수의 합이다. 전환률은 시선 대비 피킹 전환률과 피킹 대비 구매 전환률을 포함하고, 시선 대비 피킹 전환률은 특정 분석 대상 영역의 상품의 피킹 횟수를 해당 분석 대상 영역의 시선 횟수로 나눈 비율이고, 피킹 대비 구매 전환률은 특정 분석 대상 영역의 상품의 구매 횟수를 해당 분석 대상 영역의 상품의 피킹 횟수로 나눈 비율이다.

통계 정보 제공부(330)는, 상기 통계 계산부(320)에서 계산한 통계 정보를 네트워크를 통해 관리자 단말(150)로 전송한다.

도 4는 도 1의 관리자 단말의 구성을 나타낸 도면이다. 도 4를 참조하면, 관리자 단말(150)은, 메모리(410), 메모리 제어기(421), 하나 이상의 프로세서(CPU)(422), 주변 인터페이스(423), 입출력(I/O) 서브시스템(430), 디스플레이 장치(441), 입력 장치(442), 통신 모듈(452) 및 카메라(460)를 포함한다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 통하여 통신한다. 도 4에 도시한 여러 구성요소는 하나 이상의 신호 처리 및/또는 애플리케이션 전용 집적 회로(application specific integrated circuit)를 포함하여, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 둘의 조합으로 구현될 수 있다. 관리자 단말(150)은, 예를 들어, 스마트폰, 태블릿 PC, 또는 노트북이나 퍼스널 컴퓨터 등일 수 있으나 여기에 제한되지는 않는다.

메모리(410)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리, 또는 다른 불휘발성 반도체 메모리 장치를 포함할 수 있다. 프로세서(422) 및 주변 인터페이스(423)와 같은 관리자 단말(150)의 다른 구성요소에 의한 메모리(410)로의 액세스는 메모리 제어기(421)에 의하여 제어될 수 있다. 메모리(410)는 관리자 단말(150)의 각종 정보와 프로그램을 저장할 수 있다.

주변 인터페이스(423)는 관리자 단말(150)의 입출력 주변 장치를 프로세서(422) 및 메모리(410)와 연결한다. 하나 이상의 프로세서(422)는 다양한 소프트웨어 프로그램 및/또는 메모리(410)에 저장되어 있는 명령어 세트를 실행하여 관리자 단말(150)을 위한 여러 기능을 수행하고 데이터를 처리한다. 일부 실시예에서, 주변 인터페이스(423), 프로세서(422) 및 메모리 제어기(421)는 칩(420)과 같은 단일 칩 상에서 구현될 수 있다.

I/O 서브시스템(430)은 디스플레이 장치(441), 입력 장치(442)와 같은 관리자 단말(150)의 입출력 주변장치와 주변 인터페이스(423) 사이에 인터페이스를 제공한다. 디스플레이 장치(441)는 LCD(liquid crystal display) 기술 또는 LPD(light emitting polymer display) 기술 등을 사용할 수 있고, 이러한 디스플레이 장치(441)는 용량형, 저항형, 적외선형 등의 터치 디스플레이일 수 있다. 터치 디스플레이는 관리자 단말(150)과 사용자 사이에 출력 인터페이스 및 입력 인터페이스를 제공한다. 터치 디스플레이는 사용자에게 시각적인 출력을 표시한다. 시각적 출력은 텍스트, 그래픽, 비디오와 이들의 조합을 포함할 수 있다. 시각적 출력의 일부 또는 전부는 사용자 인터페이스 대상에 대응할 수 있다. 터치 디스플레이는 사용자 입력을 수용하는 터치 감지면을 형성한다.

프로세서(422)는 관리자 단말(150)에 연관된 동작을 수행하고 명령어들을 수행하도록 구성된 프로세서로서, 예를 들어, 메모리(410)로부터 검색된 명령어들을 이용하여, 관리자 단말(150)의 컴포넌트 간의 입력 및 출력 데이터의 수신과 조작을 제어할 수 있다. 소프트웨어 구성요소는 운영 체제(411), 그래픽 모듈(412) 및 매장 분석 프로그램(413)이 메모리(410)에 설치된다. 운영 체제(411)는, 예를 들어, 다윈(Darwin), RTXC, LINUX, UNIX, OS X, WINDOWS 또는 VxWorks, 안드로이드 등과 같은 내장 운영체제일 수 있고, 일반적인 시스템 태스크(task)(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등)를 제어 및 관리하는 다양한 소프트웨어 구성요소 및/또는 장치를 포함하고, 다양한 하드웨어와 소프트웨어 구성요소 사이의 통신을 촉진시킨다. 그래픽 모듈(412)은 디스플레이 장치(441) 상에 그래픽을 제공하고 표시하기 위한 주지의 여러 소프트웨어 구성요소를 포함한다. "그래픽(graphics)"이란 용어는 텍스트, 웹 페이지, 아이콘(예컨대, 소프트 키를 포함하는 사용자 인터페이스 대상), 디지털 이미지, 비디오, 애니메이션 등을 제한 없이 포함하여, 사용자에게 표시될 수 있는 모든 대상을 포함한다.

통신 모듈(452)은 외부 포트를 통한 통신 또는 RF 신호에 의한 통신을 수행한다. 통신 모듈(452)은 전기 신호를 RF 신호로 또는 그 반대로 변환하며 이 RF 신호를 통하여 통신 네트워크, 다른 이동형 게이트웨이 장치 및 통신 장치와 통신할 수 있다. 통신 모듈(452)은 예를 들어 안테나 시스템, RF 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 오실레이터, 디지털 신호 처리기, CODEC 칩셋, 가입자 식별 모듈(subscriber identity module, SIM) 카드, 메모리 등을 포함할 수 있고, 이러한 기능을 수행하기 위한 주지의 회로를 포함할 수 있다. 통신 모듈(452)은 월드 와이드 웹(World Wide Web, WWW)으로 불리는 인터넷, 인트라넷과 네트워크 및/또는, 셀룰러 전화 네트워크, 무선 LAN 및/또는 MAN(metropolitan area network)와 같은 무선 네트워크, 그리고 근거리 무선 통신에 의하여 다른 장치와 통신할 수 있다.

입력 장치(442)는 키보드 또는 터치 패드 또는 마우스, 터치펜 등의 물리적인 입력 인터페이스를 통해 사용자 입력을 수신할 수 있고, 또는 디스플레이 장치(441)의 터치 디스플레이와 연계하여 사용자 입력을 수신할 수 있다. 카메라(460)는 매장 분석 프로그램(413)에 의해 호출된 카메라 프로그램의 제어에 따라 피사체를 촬영한다.

도 5는 도 1의 매장 분석 프로그램의 구성을 나타낸 도면이다. 도 5를 참조하면, 매장 분석 프로그램(413)은, 선반 설정부(510) 및 통계 정보 출력부(520)를 포함한다.

선반 설정부(510)는, 매장 관리자의 입력에 따라 관리 서버(140)와 사용자에 대한 회원 가입 처리 및 로그인 처리를 수행한다. 선반 설정부(510)는 회원 가입시 매장 관리자로부터 이름, ID, 비밀번호를 입력받아 관리 서버(140)로 전송하고, 로그인시 ID 및 비밀번호를 관리 서버(140)로 전송한다.

선반 설정부(510)는, 매장 관리자로부터 매장의 정보를 입력받아 관리 서버(140)로 전송하여 등록하고, 또한 매장 내 각 선반의 식별정보, 각 선반의 분석 대상 영역의 정보, 그리고 각 분석 대상 영역에 진열되는 상품의 정보를 매장 관리자로부터 입력받아 관리 서버(140)로 전송하여 등록한다. 여기서 매장의 정보는 매장명, 주소 등을 포함하고, 선반의 식별정보는 위치 및 일련번호를 포함할 수 있으며, 분석 대상 영역의 정보는 좌표 정보일 수 있고, 상품의 정보는 상품명, 바코드 정보 등을 포함할 수 있다.

도 7은 본 발명의 일 실시예에 따른 매장 및 선반의 정보를 등록하는 화면을 나타낸 도면이고, 도 8은 본 발명의 일 실시예에 따른 특정 선반에 대해 분석 대상 영역을 설정하는 화면을 나타낸 도면이며, 도 9는 본 발명의 일 실시예에 따른 각 분석 대상 영역에 대해 상품 정보를 설정하는 화면을 나타낸 도면이다.

도 7을 참조하면, 선반 설정부(510)는, 매장 관리자로부터 본인이 관리하는 매장명을 매장명 입력창(701)을 통해 입력받는다. 바람직하게, 선반 설정부(510)는, 매장 리스트를 저장하여 관리하는 관리 서버(140)로부터 매장 리스트를 수신하여 표시하고 이 중에서 하나를 매장 관리자로부터 선택받을 수 있고, 또는 매장 주소나 매장명으로 검색하여 선택받을 수 있다. 또한, 선반 설정부(510)는 선반명 입력창(702)을 통해 매장 관리자로부터 선반명, 식별번호 그리고 위치를 입력받는다. 여기서 위치는, 예를 들어, 서쪽 벽면의 위로부터 3번째 선반 등의 정보이다. 또한 선반 설정부(510)는 매장 관리자의 조작에 따라 카메라(460)에서 촬영된 선반의 영상을 선반 영상 표시창(703)에 표시한다.

도 8을 참조하면, 선반 설정부(510)는 상기 선반 영상 표시창(703)에 표시되는 선반 영상에 대해 매장 관리자의 입력에 따라 소정 개수의 분석 대상 영역을 설정한다. 도 8에 도시된 바와 같이, 선반 설정부(510)는 분할 개수 입력창(802)을 통해 가로 영역의 개수와 세로 영역의 개수를 매장 관리자로부터 입력받고 그 가로 및 세로의 개수에 따라 선반 영상을 균등 분할하며 레이아웃을 설정한다. 또는 선반 설정부(510)는 인공 지능 딥 러닝 기술 중 영상 분할(Segmentation) 기법을 활용하여 선반 영상을 자동으로 분할할 수 있다. 즉, 선반 설정부(510)는 선반 영상에서 진열된 상품들을 인식하고 서로 다른 상품을 서로 다른 분석 대상 영역으로 인지하여 레이아웃을 설정할 수 있다. 이때, 선반 설정부(510)는 레이아웃의 각 라인에 대해 매장 관리자의 편집을 가능하게 하며 각 라인의 상하좌우 위치를 조정할 수 있다. 예를 들어, 특정 선반에 진열된 상품들의 레이아웃이 가로 3칸 x 세로 4칸으로서 총 12종 상품이 진열되어 있다면 자동으로 상품 영역에 맞게 3칸 x 4칸에 맞는 라인이 생성 및 배치된다. 라인이 설정된 후, 직접 라인의 세부 위치를 조절하는 방법의 예시로는 화면상에서 표시되는 라인을 터치하여 드래그 등으로 자유롭게 이동시킬 수 있다.

도 9를 참조하면, 선반 설정부(510)는, 분석 대상 영역의 설정 후에, 매장 관리자로부터 각 분석 대상 영역에 진열되는 상품의 정보를 입력받는다. 상품의 정보는, 상품명, 가격, 바코드 등의 식별정보를 포함할 수 있다. 선반 설정부(510)는, 각 분석 대상 영역에 대해 상품의 정보를 입력받을 때, 상품의 포장지에 인쇄된 바코드를 리딩하여 상품의 정보를 설정할 수 있다. 또는 선반 설정부(510)는, 상품들의 정보를 저장하고 관리하는 관리 서버(140)에 상품명을 전송하고 이에 대응하는 상품 리스트를 수신하여 표시하고 이 중에서 하나를 매장 관리자로부터 선택받을 수 있다.

선반 설정부(510)는, 이상에서 설명한 방법에 따라 입력되는 매장명, 선반명, 선반 식별번호 그리고 분석 대상 영역 정보를 관리 서버(140)로 전송한다. 분석 대상 영역 정보는, 각 분석 대상 영역의 좌표 정보와, 상품 정보를 포함할 수 있다. 한편, 선반 설정부(510)는, 기존에 등록되어 있는 각 선반 및 분석 대상 영역의 정보를 매장 관리자의 입력에 따라 수정할 수 있다.

매장 분석 프로그램(413)의 통계 정보 출력부(520)는, 매장 관리자로부터 입력되는 조건 정보를 관리 서버(140)로 전송하고, 관리 서버(140)로부터 그 조건 정보에 대응하는 통계 정보를 수신하여 화면에 표시한다. 조건 정보는, 매장 전체, 또는 선반별 또는 분석 대상 영역별 지정, 기간, 성별, 연령을 포함하고, 또한 방문자 수, 시선 수, 구매수, 전환률 등의 통계 유형을 포함한다. 통계 정보 출력부(520)는, 복수의 기간 정보를 매장 관리자로부터 입력받아 서로 다른 기간 간의 통계 정보를 비교 표시할 수 있다.

도 12는 본 발명의 일 실시예에 따른 조건 설정 및 조회 결과를 나타낸 화면이고, 도 13은 본 발명의 일 실시예에 따른 복수의 기간 간의 통계 정보를 비교하는 화면이다. 도 12를 참조하면, 제 1 입력창(501)을 통해 매장, 선반, 그리고 분석 대상 영역을 설정할 수 있고, 제 2 입력창(502)을 통해 기간을 설정할 수 있으며, 제 3 입력창(503)을 통해 통계 유형을 설정할 수 있고, 제 4 입력창(504)을 통해 성별 및 연령을 설정할 수 있다. 이와 같이 설정된 조건에 따라 조회 결과 표시창(505)에는 통계 정보가 표시된다. 그리고 도 13을 참조하면, 서로 다른 두 기간이 매장 관리자로부터 설정되면, 그 두 기간 간의 통계 정보가 막대 그래프로 비교되어 표시된다.

도 6은 본 발명의 일 실시예에 따른 관리자 단말에서 분석 대상 영역을 등록하는 방법을 설명하는 흐름도이다.

도 6을 참조하면, 관리자 단말(150)은, 매장 관리자로부터 본인이 관리하는 매장명을 입력받고 그 매장명을 관리 서버(140)에 전송하여 등록한다(S601). 이때 매장 관리자는 ID/비밀번호를 입력하여 로그인 과정을 거칠 수 있다. 관리자 단말(150)은, 매장 리스트를 저장하여 관리하는 관리 서버(140)로부터 매장 리스트를 수신하여 표시하고 이 중에서 하나를 매장 관리자로부터 선택받을 수 있고, 또는 매장 주소나 매장명으로 검색하여 선택받을 수 있다.

관리자 단말(150)은 단계 S601에서 등록된 매장에 대해 매장 관리자로부터 기존 선반을 선택받거나 또는 신규 선반 추가에 관한 입력을 수신한다(S602). 신규 선반 추가에 관한 입력을 수신할 경우, 관리자 단말(150)은 매장 관리자로부터 신규 선반의 선반명 및 식별번호를 입력받는다(S603). 그리고 관리자 단말(150)은 매장 관리자의 조작에 따라 특정 선반을 사진 촬영한다(S604).

관리자 단말(150)은 단계 S604에서 촬영된 선반 영상에 대해 매장 관리자의 입력에 따라 분석 대상 영역들의 레이아웃을 설정한다(S606). 관리자 단말(150)은, 매장 관리자로부터 가로 영역의 개수와 세로 영역의 개수를 입력받고 그 가로 및 세로의 개수에 따라 선반 영상을 균등 분할하며 레이아웃을 설정한다. 또는 관리자 단말(150)은 인공 지능 딥 러닝 기술 중 영상 분할(Segmentation) 기법을 활용하여 선반 영상을 자동으로 분할할 수 있다. 즉, 관리자 단말(150)은, 선반 영상에서 진열된 상품들을 인식하고 서로 다른 상품을 서로 다른 분석 대상 영역으로 인지하여 레이아웃을 설정할 수 있다. 이때, 관리자 단말(150)은 레이아웃의 각 라인에 대해 매장 관리자의 편집을 가능하게 하며 각 라인의 상하좌우 위치를 조정할 수 있다. 예를 들어, 특정 선반에 진열된 상품들의 레이아웃이 가로 3칸 x 세로 4칸으로서 총 12종 상품이 진열되어 있다면 자동으로 상품 영역에 맞게 3칸 x 4칸에 맞는 라인이 생성 및 배치된다. 라인이 설정된 후, 직접 라인의 세부 위치를 조절하는 방법의 예시로는 화면상에서 표시되는 라인을 터치하여 드래그 등으로 자유롭게 이동시킬 수 있다.

관리자 단말(150)은, 단계 S606에서 설정된 레이아웃에 따라 분할된 각 분석 대상 영역별로 해당 영역에 진열되는 상품의 정보를 입력받아 해당 영역의 좌표, 선반의 정보(즉, 선반명, 식별번호)와 함께 관리 서버(140)로 전송하여 등록한다(S607). 상품의 정보는, 상품명, 가격, 바코드 등의 식별정보를 포함할 수 있다. 관리자 단말(150)은, 각 분석 대상 영역에 대해 상품의 정보를 입력받을 때, 상품의 포장지에 인쇄된 바코드를 리딩하여 상품의 정보를 설정할 수 있다. 또는 관리자 단말(150)은, 상품들의 정보를 저장하고 관리하는 관리 서버(140)에 상품명을 전송하고 이에 대응하는 상품 리스트를 수신하여 표시하고 이 중에서 하나를 매장 관리자로부터 선택받을 수 있다.

한편, 단계 S602에서, 매장 관리자가 기존 선반을 선택한 경우, 관리자 단말(150)은 매장 관리자로부터 그 선택된 기존 선반에 대한 선반명 및 식별번호의 수정 입력을 수신하고(S605), 단계 S604부터 다시 수행하여 기존 선반 등록을 수정할 수 있다. 관리자 단말(150)은 이러한 과정을 매장 내의 모든 선반에 대해 완료될 때까지 반복 수행할 수 있다.

도 10은 본 발명의 일 실시예에 따른 매장 관리 시스템의 매장 서버에서 사용자를 추적하는 방법을 설명하는 흐름도이다.

도 10을 참조하면, 매장 서버(130)는, 매장 내 카메라(111)들로부터 촬영 영상을 수집한다(S1001). 매장 서버(130)는, 실시간으로 촬영 영상을 수신하여 저장 장치에 저장할 수 있고, 또는 일정한 주기마다 카메라(111)에 의해 촬영되어 저장되어 있던 촬영 영상을 수신하여 저장 장치에 저장할 수 있다.

매장 서버(130)는, 상기 수집된 촬영 영상에서 사용자의 얼굴 영역을 인식한 후 얼굴 특징점을 분석한다(S1002). 얼굴 특징점은 예를 들어 조명, 화장 등에 의해서 변화되기 어려운 영역들(예를 들어, 눈 중심, 코끝, 입끝, 눈동자 등)에 대한 데이터와 이 영역들 간의 거리 데이터일 수 있다.

매장 서버(130)는 단계 S1002에서 분석한 얼굴 특징점에 기초하여 촬영 영상에서 인식되는 사용자가 기존 사용자인지 신규 사용자인지 판단한다(S1003). 매장 서버(130)는 저장 장치에 기 저장된 사용자별 얼굴 특징점과 상기 단계 S1002에서 분석한 얼굴 특징점을 비교하여 유사한 얼굴 특징점이 저장 장치에 저장되어 있는 경우 기존 사용자로 판단하고 그렇지 않으면 신규 사용자로 판단한다.

매장 서버(130)는, 신규 사용자인 경우, 해당 신규 사용자에게 새로운 ID를 부여하여 상기 단계 S1002에서 분석된 얼굴 특징점과 함께 저장 장치에 저장하여 등록한다(S1004). 그리고 매장 서버(130)는 그 신규 사용자의 상기 인식된 얼굴 영역을 미리 학습된 신경회로망을 통해 분석하여 연령과 성별을 인식하고 상기 ID에 매핑하여 저장 장치에 저장한다(S1005). 반면, 기존 사용자인 경우, 매장 서버(130)는, 그 기존 사용자의 ID, 연령 및 성별을 저장 장치에서 호출한다(S1006).

이와 같이 사용자의 ID, 연령 및 성별이 추출된 후, 매장 서버(130)는 상기 단계 S1001에서 수집된 촬영 영상을 기초로 사용자의 머리 방향과 눈동자의 위치를 파악하고 이를 통해 사용자의 시선을 추정함으로써 사용자가 주시하는 선반(110)의 영역을 분석한다(S1007). 바람직하게, 매장 서버(130)는 사용자의 시선이 일정 시간 이상 머무르는 선반(110)의 분석 대상 영역의 정보를 시선 응시 데이터로서 상기 ID에 매핑하여 저장 장치에 저장한다.

또한, 매장 서버(130)는, 상기 수집된 촬영 영상에서 사용자의 손의 위치를 인식하여 사용자가 선반(110) 내의 상품을 손에 들어 카트 등에 넣었는지 또는 반납하였는지 등의 행위를 분석하고 이에 관한 행위 데이터를 상기 ID에 매핑하여 저장 장치에 저장한다(S1008). 매장 서버(130)는, 선반(110)의 디지털 저울로부터 수신되는 무게 정보를 더 참조하여 사용자가 물건을 들었는지 반납하였는지 등의 행위 정보를 정밀하게 분석할 수 있다.

매장 서버(130)는, 단계 S1007 내지 단계 S1009의 과정을 사용자가 매장을 퇴장할 때까지 반복 수행한다. 매장 서버(130)는 사용자의 결제 정보(예, 회원 정보)를 토대로 매장에서 퇴장한 것을 인식하거나 또는 계산대에 설치된 카메라에서 촬영되는 영상을 분석하여 사용자의 퇴장을 인식할 수 있다.

도 11은 본 발명의 일 실시예에 따른 관리자 단말에서 통계 정보를 확인하는 방법을 설명하는 흐름도이다.

도 11을 참조하면, 관리자 단말(150)은 매장 관리자의 입력에 따라 관리 서버(140)에 접속하여 로그인한다(S1101). 관리자 단말(150)은 매장 관리자로부터 입력되는 ID 및 비밀번호를 관리 서버(140)로 전송하여 로그인한다.

관리자 단말(150)은 매장 관리자로부터 매장을 선택받는다(S1102). 관리자 단말(150)은, 매장 리스트를 저장하여 관리하는 관리 서버(140)로부터 매장 리스트를 수신하여 표시하고 이 중에서 하나를 매장 관리자로부터 선택받을 수 있고, 또는 매장 주소나 매장명으로 검색하여 선택받을 수 있다.

관리자 단말(150)은 매장 관리자로부터 통계 보기 메뉴를 선택받는다(S1103). 여기서 통계 보기 메뉴는, 매장 전체 통계 보기, 매장 내 선반별 통계 보기 또는 선반 내 특정 분석 대상 영역별 통계 보기를 포함할 수 있고, 매장 관리자는 이 중에서 하나를 선택한다.

통계 보기 메뉴가 선택된 후, 관리자 단말(150)은 매장 관리자로부터 분석 기간을 선택받는다(S1104). 관리자 단말(150)은 달력 형태로 분석 시작 날짜와 종료 날짜를 선택받을 수 있고, 또는 특정 요일을 선택받을 수 있으며, 또는 특정 시간대를 선택받을 수 있다. 이때 관리자 단말(150)은 비교될 수 있는 복수의 기간을 선택받을 수 있다.

관리자 단말(150)은, 매장 관리자로부터 통계 유형을 선택받는다(S1105). 통계 유형은, 방문자 수, 시선 수, 구매 수, 전환률 등의 앞서 설명한 각종 통계 유형 중 적어도 하나를 선택받는다. 또한, 관리자 단말(150)은, 분석 대상의 사용자들의 성별 및 연령을 선택받는다(S1106).

관리자 단말(150)은, 단계 S1102 내지 단계 S1106에서 선택된 정보를 관리 서버(140)로 전송하고, 관리 서버(140)로부터 그 선택된 정보에 대응하는 통계 정보의 그래픽 데이터를 수신하여 화면에 출력한다(S1107).

종래의 온라인 매장의 경우 상품 클릭 수, 상품을 장바구니에 담은 수, 그리고 장바구니에 담은 상품의 구매 수 등과 같은 다양한 통계 정보를 판매자에게 제공한다. 본 발명의 실시예에 따르면, 본 발명에서 정의되는 시선 수는 종래 온라인 매장에서의 상품 클릭 수에 대응할 수 있고, 본 발명의 피킹 횟수는 종래 온라인 매장에서 상품을 장바구니에 담은 수에 대응할 수 있으며, 본 발명의 전환률은 종래 온라인 매장에서 장바구니에 담은 상품을 구매 수에 대응할 수 있다. 따라서, 오프라인 매장에 대해서도 매장 관리자에게 온라인 매장과 유사한 통계 정보를 제공할 수 있다. 따라서 매장 관리자는 각종 통계 정보를 통해 상품 진열을 재구성하는 등의 구매율을 높일 수 있는 방안을 도출할 수 있는 기회를 제공받을 수 있다. 또한 매장 관리자가 스스로 관리자 단말(150)을 통해 분석 대상 영역을 직접 설정할 수 있도록 함으로써 매장 관리자가 수시로 바뀌는 매장 환경에 신속하게 대응할 수 있다.

본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.

도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

110 : 선반
111 : 카메라
120 : 결제 단말
130 : 매장 서버
131 : 영상 수집부
133 : 영상 분석부
134 : 결제 정보 수집부
140 : 관리 서버
150 : 관리자 단말

Claims (17)

1. 오프라인 매장 내에서 상품이 진열되는 적어도 하나의 선반 및 그 선반에 접근하는 사용자를 촬영하는 카메라;
   상기 카메라에서 촬영된 촬영 영상을 수집하는 영상 수집부;
   상기 수집된 촬영 영상을 분석하여, 상기 사용자의 시선을 추정하고, 상기 사용자의 손의 위치를 인식하여 상품의 피킹 또는 반납의 행동을 분석하는 영상 분석부;
   상기 오프라인 매장 내의 결제 단말로부터 결제 정보를 수집하는 결제 정보 수집부;
   상기 적어도 하나의 선반의 식별정보와, 상기 적어도 하나의 선반 위의 적어도 하나의 분석 대상 영역의 정보와, 각 분석 대상 영역에 진열되는 상품의 정보를 저장하는 선반 등록부;
   상기 추정된 사용자의 시선과, 상기 상품의 피킹 또는 반납의 행동과, 상기 결제 정보를 기초로, 시선 대비 피킹 전환률 또는 피킹 대비 구매 전환율의 통계 정보를 계산하는 통계 계산부; 및
   상기 통계 정보를 상기 오프라인 매장의 매장 관리자의 단말로 전송하는 통계 정보 제공부를 포함하고,
   상기 적어도 하나의 분석 대상 영역의 정보는,
   상기 매장 관리자에 의해 상기 매장 관리자의 단말에서 촬영된 선반의 영상에서 소정 개수로 분할된 분석 대상 영역들의 좌표 정보로서, 상기 매장 관리자의 단말로부터 수신되고,
   상기 각 분석 대상 영역에 진열되는 각 상품의 정보는,
   상기 매장 관리자의 단말에서 각 분석 대상 영역마다 상기 매장 관리자로부터 입력되는 상품명을 포함하고, 상기 매장 관리자의 단말로부터 수신되며,
   상기 좌표 정보는,
   상기 매장 관리자의 단말에서 상기 소정 개수로 분할된 분석 대상 영역들의 레이아웃의 라인들이 상기 매장 관리자의 터치 드래그에 의해 상하좌우 위치가 조정된 후의 좌표 정보이며,
   상기 매장 관리자의 단말에서 상기 소정 개수로 분할된 분석 대상 영역들은, 인공지능 딥러닝 영상 분할 기법을 이용하여 상기 선반의 영상에서 인식된 상품에 따라 자동으로 설정된 후 상기 터치 드래그에 의해 상기 레이아웃의 라인들의 위치가 조정된 매장 관리 시스템.
2. 제 1 항에 있어서,
   상기 통계 계산부는,
   상기 매장 관리자에 의해 선택된 선반에 대해 상기 시선 대비 피킹 전환률 또는 상기 피킹 대비 구매 전환율의 통계 정보를 계산하되,
   상기 시선 대비 피킹 전환률은, 상기 선택된 선반에서의 피킹 횟수를 그 선택된 선반에 대한 시선 횟수로 나눈 비율이고,
   상기 피킹 대비 구매 전환율은, 상기 선택된 선반에서의 상품 구매 횟수를 그 선택된 선반에서의 피킹 횟수로 나눈 비율인 것을 특징으로 하는 매장 관리 시스템.
3. 제 1 항에 있어서,
   상기 통계 계산부는,
   상기 매장 관리자에 의해 선택된 분석 대상 영역에 대해 상기 시선 대비 피킹 전환률 또는 상기 피킹 대비 구매 전환율의 통계 정보를 계산하되,
   상기 시선 대비 피킹 전환률은, 상기 선택된 분석 대상 영역에서의 피킹 횟수를 그 선택된 분석 대상 영역에 대한 시선 횟수로 나눈 비율이고,
   상기 피킹 대비 구매 전환율은, 상기 선택된 분석 대상 영역에서의 상품 구매 횟수를 그 선택된 분석 대상 영역에서의 피킹 횟수로 나눈 비율인 것을 특징으로 하는 매장 관리 시스템.
4. 제 2 항 또는 제 3 항에 있어서,
   상기 영상 분석부는,
   상기 수집된 촬영 영상에서 얼굴 영역을 인식한 후 그 얼굴 영역을 기초로 상기 사용자의 성별과 연령을 인식하고,
   상기 통계 계산부는,
   상기 매장 관리자에 의해 선택된 성별 및 연령대의 상기 통계 정보를 계산하는 것을 특징으로 하는 매장 관리 시스템.
5. 제 4 항에 있어서,
   상기 통계 계산부는,
   상기 매장 관리자에 의해 선택된 적어도 하나의 기간의 상기 통계 정보를 계산하는 것을 특징으로 하는 매장 관리 시스템.
6. 삭제
7. 삭제
8. 삭제
9. 매장 관리 시스템이 오프라인 매장을 관리하는 방법에 있어서,
   프로세서가, 상기 오프라인 매장 내에서 상품이 진열되는 적어도 하나의 선반의 식별정보와, 상기 적어도 하나의 선반 위의 적어도 하나의 분석 대상 영역의 정보와, 각 분석 대상 영역에 진열되는 상품의 정보를 저장하는 단계;
   상기 프로세서가, 상기 적어도 하나의 선반 및 그 선반에 접근하는 사용자를 촬영하는 카메라에서 촬영된 촬영 영상을 상기 카메라로부터 수집하는 단계;
   상기 프로세서가, 상기 수집된 촬영 영상을 분석하여, 상기 사용자의 시선을 추정하고, 상기 사용자의 손의 위치를 인식하여 상품의 피킹 또는 반납의 행동을 분석하는 단계;
   상기 프로세서가, 상기 오프라인 매장 내의 결제 단말로부터 결제 정보를 수집하는 단계;
   상기 프로세서가, 상기 추정된 사용자의 시선과, 상기 상품의 피킹 또는 반납의 행동과, 상기 결제 정보를 기초로, 시선 대비 피킹 전환률 또는 피킹 대비 구매 전환율의 통계 정보를 계산하는 단계; 및
   상기 프로세서가, 상기 통계 정보를 상기 오프라인 매장의 매장 관리자의 단말로 전송하는 단계를 포함하고,
   상기 적어도 하나의 분석 대상 영역의 정보는,
   상기 매장 관리자에 의해 상기 매장 관리자의 단말에서 촬영된 선반의 영상에서 소정 개수로 분할된 분석 대상 영역들의 좌표 정보로서, 상기 매장 관리자의 단말로부터 수신되고,
   상기 각 분석 대상 영역에 진열되는 상품의 정보는,
   상기 매장 관리자의 단말에서 각 분석 대상 영역마다 상기 매장 관리자로부터 입력되는 상품명을 포함하고, 상기 매장 관리자의 단말로부터 수신되며,
   상기 좌표 정보는,
   상기 매장 관리자의 단말에서 상기 소정 개수로 분할된 분석 대상 영역들의 레이아웃의 라인들이 상기 매장 관리자의 터치 드래그에 의해 상하좌우 위치가 조정된 후의 좌표 정보이고,
   상기 매장 관리자의 단말에서 상기 소정 개수로 분할된 분석 대상 영역들은, 인공지능 딥러닝 영상 분할 기법을 이용하여 상기 선반의 영상에서 인식된 상품에 따라 자동으로 설정된 후 상기 터치 드래그에 의해 상기 레이아웃의 라인들의 위치가 조정된 방법.
10. 제 9 항에 있어서,
    상기 계산하는 단계는,
    상기 프로세서가, 상기 매장 관리자에 의해 선택된 선반에 대해 상기 시선 대비 피킹 전환률 또는 상기 피킹 대비 구매 전환율의 통계 정보를 계산하되,
    상기 시선 대비 피킹 전환률은, 상기 선택된 선반에서의 피킹 횟수를 그 선택된 선반에 대한 시선 횟수로 나눈 비율이고,
    상기 피킹 대비 구매 전환율은, 상기 선택된 선반에서의 상품 구매 횟수를 그 선택된 선반에서의 피킹 횟수로 나눈 비율인 것을 특징으로 하는 방법.
11. 제 9 항에 있어서,
    상기 계산하는 단계는,
    상기 프로세서가, 상기 매장 관리자에 의해 선택된 분석 대상 영역에 대해 상기 시선 대비 피킹 전환률 또는 상기 피킹 대비 구매 전환율의 통계 정보를 계산하되,
    상기 시선 대비 피킹 전환률은, 상기 선택된 분석 대상 영역에서의 피킹 횟수를 그 선택된 분석 대상 영역에 대한 시선 횟수로 나눈 비율이고,
    상기 피킹 대비 구매 전환율은, 상기 선택된 분석 대상 영역에서의 상품 구매 횟수를 그 선택된 분석 대상 영역에서의 피킹 횟수로 나눈 비율인 것을 특징으로 하는 방법.
12. 제 10 항 또는 제 11 항에 있어서,
    상기 분석하는 단계는,
    상기 프로세서가, 상기 수집된 촬영 영상에서 얼굴 영역을 인식한 후 그 얼굴 영역을 기초로 상기 사용자의 성별과 연령을 인식하는 단계를 포함하고,
    상기 계산하는 단계는,
    상기 프로세서가, 상기 매장 관리자에 의해 선택된 성별 및 연령대의 상기 통계 정보를 계산하는 것을 특징으로 하는 방법.
13. 제 12 항에 있어서,
    상기 계산하는 단계는,
    상기 프로세서가, 상기 매장 관리자에 의해 선택된 적어도 하나의 기간의 상기 통계 정보를 계산하는 것을 특징으로 하는 방법.
14. 삭제
15. 삭제
16. 삭제
17. 제 9 항에 따른 방법을 컴퓨터 시스템을 통해 실행하는 컴퓨터 프로그램으로서 기록매체에 기록된 컴퓨터 프로그램.

Images