KR20200107619A - 응대 방법을 제공하는 전자 장치 및 그의 동작 방법 - Google Patents

Abstract

본 개시는 매장 내의 고객에 대한 응대 방법을 제공하는 전자 장치 및 그의 동작 방법에 관한 것이다. 구체적으로, 전자 장치가 매장 내의 고객에 대한 응대 방법을 제공하는 방법에 있어서, 상기 매장 내에 설치된 적어도 하나의 카메라로부터 상기 고객을 촬영한 영상을 획득하는 단계; 상기 영상을 제공한 카메라의 식별 값을 획득하는 단계; 상기 영상 내 상기 고객의 얼굴 특징에 기초하여 상기 고객이 응시하는 응시 방향을 결정하는 단계; 상기 매장 내 물품의 진열 정보를 획득하는 단계; 상기 진열 정보에 기초하여 상기 카메라 주변의 진열 물품들 중에서 상기 응시 방향에 대응되는 진열 물품을 식별하는 단계; 및 상기 진열 물품과 관련된 응대 방법을 제공하는 단계; 를 포함하는 방법이 개시된다.

Description

응대 방법을 제공하는 전자 장치 및 그의 동작 방법 {ELECTRONIC DEVICE FOR PROVIDING CUSTOMER SERVICE METHOD AND METHOD THEREOF}

본 개시는 응대 방법을 제공하는 전자 장치 및 그의 동작 방법에 관한 것이다. 구체적으로, 본 개시는 매장 내 고객에 대한 응대 방법을 제공하는 전자 장치 및 그의 동작 방법에 관한 것이다.

백화점, 대형 마트, 편의점 등과 같이 상품을 판매하는 다양한 형태의 매장에서 고객의 방문 이력, 구매 행태, 고객의 동선 등의 다양한 정보의 분석을 통해 매장의 매출을 향상시키기 위한 기술들이 개발되고 있다.

그러나, 일반적인 매장 관리 기술들은 단순히 고객의 동선만을 추적하고, 추적된 고객의 동선을 분석할 뿐, 고객이 실제로 관심을 가지는 상품이 무엇인지, 고객의 행동, 고객의 특성 등을 다양하게 활용하지 못하기 때문에 고객의 구매 성향을 정확하게 파악하기 어려운 문제점이 있다.

또한, 일반적인 매장 관리를 위해 개발된 일부 솔루션들은 고객의 동선, 체류 정보 등 단순한 정보를 나열하는 구성만을 개시할 뿐이므로, 매출 향상 내지 고객의 특성을 정확하게 파악하고, 파악된 고객의 특성을 기초로 맞춤형 고객 응대 방법을 제공하기 위한 기술 개발이 요구되고 있다.

개시된 실시 예에 따르면, 고객에 대한 응대 방법을 제공하는 전자 장치가 제공될 수 있다.

또한, 일 실시 예에 의하면, 매장 내 고객의 응시 방향을 기초로, 고객에 대한 응대 방법을 제공하는 전자 장치가 제공될 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시 예에 따른 전자 장치가 매장 내의 고객에 대한 응대 방법을 제공하는 방법은 상기 매장 내에 설치된 적어도 하나의 카메라로부터 상기 고객을 촬영한 영상을 획득하는 단계; 상기 영상을 제공한 카메라의 식별 값을 획득하는 단계; 상기 영상 내 상기 고객의 얼굴 특징에 기초하여 상기 고객이 응시하는 응시 방향을 결정하는 단계; 상기 매장 내 물품의 진열 정보를 획득하는 단계; 상기 진열 정보에 기초하여 상기 카메라 주변의 진열 물품들 중에서 상기 응시 방향에 대응되는 진열 물품을 식별하는 단계; 및 상기 진열 물품과 관련된 응대 방법을 제공하는 단계; 를 포함할 수 있다.

일 실시 예에 따라, 상기 응시 방향을 결정하는 단계는 상기 영상에서 상기 고객의 얼굴 영역을 식별하는 단계; 상기 식별된 얼굴 영역 내 적어도 하나의 오브젝트를 결정하는 단계; 상기 적어도 하나의 오브젝트를 이용하여 상기 고객의 얼굴의 방향 및 상기 얼굴 내의 눈동자의 방향 중 적어도 하나를 식별하는 단계; 및 상기 식별된 얼굴의 방향 및 상기 눈동자의 방향 중 적어도 하나를 이용하여 상기 응시 방향을 결정하는 단계; 를 포함할 수 있다.

일 실시 예에 따라, 상기 진열 물품을 식별하는 단계는 상기 획득된 식별 값을 상기 진열 정보에 맵핑함으로써 상기 영상을 제공한 카메라의 위치를 결정하는 단계; 상기 영상 내 상기 고객의 위치를 식별하는 단계; 및 상기 식별된 고객의 위치, 상기 결정된 카메라의 위치 및 상기 응시 방향에 대응되는 상기 진열 물품을 식별하는 단계; 를 포함할 수 있다.

일 실시 예에 따라, 상기 진열 물품을 식별하는 단계는 상기 영상 내 상기 고객의 위치 및 상기 결정된 카메라의 위치에 기초하여, 상기 카메라와 상기 고객 사이의 거리를 결정하는 단계; 상기 결정된 거리 및 상기 응시 방향에 대응되는 상기 매장 내 위치를 식별하는 단계; 및 상기 결정된 거리 및 상기 응시 방향에 대응되는 상기 매장 내 위치를 상기 진열 정보에 맵핑함으로써 상기 진열 물품을 식별하는 단계; 를 포함할 수 있다.

일 실시 예에 따라, 상기 방법은 상기 영상 내 상기 고객의 얼굴 특징에 기초하여 상기 고객의 프로필 정보를 획득하는 단계; 상기 고객이 상기 진열 물품을 응시하는 응시 시간에 관한 정보를 획득하는 단계; 상기 프로필 정보, 상기 응시 시간에 관한 정보 및 상기 진열 정보 중 적어도 하나에 기초하여 상기 매장 내 상기 진열 물품에 대한 상기 고객의 선호 정보를 결정하는 단계; 및 상기 결정된 고객의 선호 정보에 기초하여 상기 응대 방법을 결정하는 단계; 를 더 포함할 수 있다.

일 실시 예에 따라 상기 방법은 상기 영상 내 상기 고객의 신체 특징에 기초하여 상기 고객의 행동 정보를 획득하는 단계; 및 상기 획득된 행동 정보, 상기 프로필 정보, 상기 응시 시간에 관한 정보 및 상기 진열 정보 중 적어도 하나에 기초하여 상기 고객의 선호 정보를 결정하는 단계; 를 더 포함할 수 있다.

일 실시 예에 따라, 상기 응대 방법을 제공하는 단계는 상기 식별된 진열 물품에 기초하여, 상기 고객을 응대하기 위한 응대 시점, 상기 고객을 응대할 응대 주체 및 응대 종류를 결정하는 단계; 및 상기 응대 시점, 응대 주체 및 응대 종류 중 적어도 하나를 이용하여 상기 응대 방법을 결정하는 단계; 를 포함할 수 있다.

일 실시 예에 따라 상기 응대 방법을 제공하는 단계는 상기 프로필 정보, 상기 행동 정보, 상기 고객의 선호 정보에 기초하여 상기 고객을 응대 하기 위한 응대 시점, 상기 고객을 응대할 응대 주체 및 응대 종류를 결정하는 단계; 및 상기 응대 시점, 응대 주체 및 응대 종류 중 적어도 하나를 이용하여 상기 응대 방법을 결정하는 단계; 를 포함할 수 있다.

일 실시 예에 따라, 상기 고객의 선호 정보는 상기 진열 정보에 상기 응시 시간에 관한 정보를 반영함으로써 지도 형태로 생성되고, 상기 고객의 선호 정보는 상기 매장 내 소정의 진열 영역 별 및 상기 매장 내 물품 별 생성될 수 있다.

일 실시 예에 따라, 상기 진열 정보는 상기 매장 내 배치된 물품의 위치에 관한 정보, 상기 물품을 배치하기 위한 진열대의 위치에 관한 정보 및 상기 고객의 영상을 획득하기 위한 카메라의 위치에 관한 정보 중 적어도 하나를 포함하고, 상기 방법은 상기 획득된 고객의 선호 정보를 기초로 상기 진열 정보를 갱신하기 위한 안내 정보를 제공하는 단계; 를 더 포함할 수 있다.

일 실시 예에 따라, 상기 프로필 정보는 상기 고객의 얼굴 특징에 기초하여 결정되는 상기 고객의 나이 정보 및 상기 고객의 성별 정보 중 적어도 하나를 포함하고, 상기 행동 정보는 상기 고객의 얼굴 특징 및 신체 특징 중 적어도 하나에 기초하여 결정되는 상기 고객의 표정 정보 및 상기 고객의 제스처 정보 중 적어도 하나를 포함할 수 있다.

또한, 상기 기술적 과제를 해결하기 위한 본 개시의 또 다른 실시 예에 따라, 매장 내의 고객에 대한 응대 방법을 제공하는 전자 장치는 통신 인터페이스; 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행함으로써 상기 응대 서비스 제공 장치를 제어하는 프로세서; 를 포함하고, 상기 프로세서는 상기 매장 내에 설치된 적어도 하나의 카메라로부터 상기 고객을 촬영한 영상을 획득하고, 상기 영상을 제공한 카메라의 식별 값을 획득하고, 상기 영상 내 상기 고객의 얼굴 특징에 기초하여 상기 고객이 응시하는 응시 방향을 결정하고, 상기 매장 내 물품의 진열 정보를 획득하고, 상기 진열 정보에 기초하여 상기 카메라 주변의 진열 물품들 중에서 상기 응시 방향에 대응되는 진열 물품을 식별하고, 상기 식별된 진열 물품과 관련된 응대 방법을 제공할 수 있다.

일 실시 예에 따라 상기 프로세서는 상기 영상에서 상기 고객의 얼굴 영역을 식별하고, 상기 식별된 얼굴 영역 내 적어도 하나의 오브젝트를 결정하고, 상기 적어도 하나의 오브젝트를 이용하여 상기 고객의 얼굴의 방향 및 상기 얼굴 내의 눈동자의 방향 중 적어도 하나를 식별하고, 상기 식별된 얼굴의 방향 및 상기 눈동자의 방향 중 적어도 하나를 이용하여 상기 응시 방향을 결정할 수 있다.

일 실시 예에 따라 상기 프로세서는 상기 획득된 식별 값을 상기 진열 정보에 맵핑함으로써 상기 영상을 제공한 카메라의 위치를 결정하고, 상기 영상 내 상기 고객의 위치를 식별하고, 상기 식별된 고객의 위치, 상기 결정된 카메라의 위치 및 상기 응시 방향에 대응되는 상기 진열 물품을 식별할 수 있다.

일 실시 예에 따라 상기 프로세서는 상기 영상 내 상기 고객의 위치 및 상기 결정된 카메라의 위치에 기초하여, 상기 카메라와 상기 고객 사이의 거리를 결정하고, 상기 결정된 거리 및 상기 응시 방향에 대응되는 상기 매장 내 위치를 식별하고, 상기 결정된 거리 및 상기 응시 방향에 대응되는 상기 매장 내 위치를 상기 진열 정보에 맵핑함으로써 상기 진열 물품을 식별할 수 있다.

일 실시 예에 따라 상기 프로세서는 상기 영상 내 상기 고객의 얼굴 특징에 기초하여 상기 고객의 프로필 정보를 획득하고, 상기 고객이 상기 진열 물품을 응시하는 응시 시간에 관한 정보를 획득하고, 상기 프로필 정보, 상기 응시 시간에 관한 정보 및 상기 진열 정보중 적어도 하나에 기초하여 상기 매장 내 상기 진열 물품에 대한 상기 고객의 선호 정보를 결정하고, 상기 결정된 고객의 선호 정보에 기초하여 상기 응대 방법을 결정할 수 있다.

일 실시 예에 따라 상기 프로세서는 상기 영상 내 상기 고객의 신체 특징에 기초하여 상기 고객의 행동 정보를 획득하고, 상기 획득된 행동 정보, 상기 프로필 정보, 상기 응시 시간에 관한 정보 및 상기 진열 정보 중 적어도 하나에 기초하여 상기 고객의 선호 정보를 결정할 수 있다.

일 실시 예에 따라 상기 프로세서는 상기 프로필 정보, 상기 행동 정보, 상기 고객의 선호 정보에 기초하여 상기 고객을 응대 하기 위한 응대 시점, 상기 고객을 응대할 응대 주체 및 응대 종류를 결정하고, 상기 응대 시점, 응대 주체 및 응대 종류 중 적어도 하나를 이용하여 상기 응대 방법을 결정할 수 있다.

일 실시 예에 따라 상기 고객의 선호 정보는 상기 진열 정보에 상기 응시 시간에 관한 정보를 반영함으로써 지도 형태로 생성되고, 상기 고객의 선호 정보는 상기 매장 내 소정의 진열 영역 별 및 상기 매장 내 물품 별 생성될 수 있다.

일 실시 예에 따라 상기 진열 정보는 상기 매장 내 배치된 물품의 위치에 관한 정보, 상기 물품을 배치하기 위한 진열대의 위치에 관한 정보 및 상기 고객의 영상을 획득하기 위한 카메라의 위치에 관한 정보 중 적어도 하나를 포함할 수 있다.

일 실시 예에 따라 상기 프로필 정보는 상기 고객의 얼굴 특징에 기초하여 결정되는 상기 고객의 나이 정보 및 상기 고객의 성별 정보 중 적어도 하나를 포함할 수 있다.

일 실시 예에 따라, 상기 행동 정보는 상기 고객의 얼굴 특징 및 신체 특징 중 적어도 하나에 기초하여 결정되는 상기 고객의 표정 정보 및 상기 고객의 제스처 정보 중 적어도 하나를 포함할 수 있다.

일 실시 예에 따라 상기 프로세서는, 획득된 고객의 선호 정보를 기초로 상기 진열 정보를 갱신하기 위한 안내 정보를 더 제공할 수 있다.

또한, 상기 기술적 과제를 해결하기 위한 본 개시의 또 다른 실시 예에 따라, 매장 내에 설치된 적어도 하나의 카메라로부터 고객을 촬영한 영상을 획득하는 동작; 상기 영상을 제공한 카메라의 식별 값을 획득하는 동작; 상기 영상 내 상기 고객의 얼굴 특징에 기초하여 상기 고객이 응시하는 응시 방향을 결정하는 동작; 상기 매장 내 물품의 진열 정보를 획득하는 동작; 상기 진열 정보에 기초하여 상기 카메라 주변의 진열 물품들 중에서 상기 응시 방향에 대응되는 진열 물품을 식별하는 동작; 및 상기 진열 물품과 관련된 응대 방법을 제공하는 동작을 수행하도록 하는 명령어들을 포함하는, 컴퓨터 프로그램을 제공할 수 있다.

도 1은 일 실시 예에 따른, 전자 장치가 매장 내의 고객에 대한 응대 방법을 제공하는 방법을 개략적으로 설명하기 위한 도면이다.
도 2는 일반적인 매장 내 고객에 대한 동선을 파악하기 위한 방법을 설명하기 위한 예시도이다.
도 3은 일 실시 예에 따른, 전자 장치가 매장 내의 고객에 대한 응대 방법을 제공하는 방법의 흐름도이다.
도 4는 일 실시 예에 따른, 전자 장치가 고객의 응시 방향을 결정하는 방법을 세부적으로 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른, 전자 장치가 고객의 응시 방향을 결정하는 방법을 설명하기 위한 참고 도면이다.
도 6은 일 실시 예에 따른, 전자 장치가 고객이 응시하는 진열 물품을 식별하는 방법을 세부적으로 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른, 전자 장치가 고객이 응시하는 진열 물품을 식별하는 방법을 세부적으로 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른, 전자 장치가 고객의 선호 정보를 결정하고, 결정된 선호 정보에 기초하여 응대 방법을 결정하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른, 전자 장치가 획득하는 고객의 프로필 정보 및 행동 정보를 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른, 전자 장치가 응대 방법을 결정하는 방법을 세부적으로 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른, 전자 장치가 응대 방법을 결정하는 방법을 세부적으로 설명하기 위한 도면이다.
도 12는 또 다른 실시 예에 따른, 전자 장치가 고객에 대한 응대 방법을 제공하는 방법의 흐름도이다.
도 13은 일 실시 예에 따른, 매장 내의 고객에 대한 응대 방법을 제공하는 전자 장치의 블록도이다.
도 14는 일 실시 예에 따른, 매장 내의 고객에 대한 응대 방법을 제공하는 전자 장치의 블록도이다.
도 15는 일 실시 예에 따른 전자 장치가 매장 서버를 이용하여 고객에 대한 응대 방법을 제공하는 방법을 설명하기 위한 도면이다.
도 16은 일 실시 예에 따른 매장 서버의 블록도를 나타내는 도면이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명의 일 실시예에 대해 구체적으로 설명하기로 한다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 일 실시 예에 따른, 전자 장치(1000)가 매장 내의 고객에 대한 응대 방법을 제공하는 방법을 개략적으로 설명하기 위한 도면이다.

일 실시 예에 따른 전자 장치(1000)는 매장 내 고객이 응시하는 진열 물품을 식별하고, 식별된 진열 물품과 관련된 응대 방법을 결정할 수 있다. 전자 장치(1000)는 결정된 응대 방법을 매장 내 점원 소지한 단말(3100) 또는 고객을 응대하기 위한 이동 로봇(3200)으로 전송할 수 있다. 단말(3100)을 소지한 점원 또는 이동 로봇(3200)은 전자 장치(1000)가 제공한 응대 방법에 따라 고객(2002)을 응대할 수 있다.

일 실시 예에 따른 전자 장치(1000)는 매장 내에 설치된 적어도 하나의 카메라(108)가 촬영한 고객의 영상을 획득하고, 획득된 영상 내 고객이 응시하는 응시 방향을 결정하며, 결정된 응시 방향 및 미리 결정된 진열 정보에 대응되는 진열 물품을 식별하고, 식별된 진열 물품과 관련된 응대 방법을 제공할 수 있다. 일 실시 예에 의하면, 카메라(108)는 매장 내 물품이 진열되는 진열대에 위치할 수도 있으나, 이에 한정되는 것은 아니다. 일 실시 예에 따르면, 카메라(108)는 고객의 영상을 획득하고, 획득된 영상 내 고객이 응시하는 응시 방향을 결정하기 위해, 매장 내 천장에 위치할 수도 있다.

예를 들어 전자 장치(1000)는 일반적인 매장 관리 장치와는 달리, 고객(2000)이 응시하는 응시 방향을 식별하고, 식별된 응시 방향 및 진열 정보에 대응되는 진열 물품(109)을 식별함으로써 고객의 선호 정보를 정확하게 식별할 수 있다. 전자 장치(1000)는 정확하게 식별된 고객의 선호 정보에 기초하여 맞춤형 고객 응대 방법을 제공할 수 있다.

일 실시 예에 따른 전자 장치(1000)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 전자 장치(1000)는, 모바일 단말, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 등이 있을 수 있으나, 이에 한정되는 것은 아니다.

본 명세서에서 기술되는 전자 장치(1000)는 매장 내 위치하는 매장 서버, 매장 내 서비스 데스크의 컴퓨터 장치, 매장 서버와 별도로 관리되는 컴퓨터 장치일 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 매장 내 응대 방법을 제공하기 위한 다른 전자 장치와 전기적으로 연결되는 매장 외부의 서버 일 수 있다. 이하에서는, 설명의 편의상, 전자 장치(1000)가 매장 내 응대 방법을 결정하기 위한 컴퓨터 장치 인 경우를 예로 설명하기로 한다.

도 2는 일반적인 매장 내 고객에 대한 동선을 파악하기 위한 방법을 설명하기 위한 예시도이다.

일반적으로 매장 내 고객의 성향을 분석하고, 분석된 고객의 성향에 따라 맞춤형 마케팅을 수행하기 위한 기술들이 다수 개발되었다. 예를 들어, 일반적인 매장 관리 시스템은 매장(219) 내 고객의 위치를 추적하고, 추적된 고객의 위치에 기초하여 고객의 이동 경로를 결정하였다. 또한, 일반적인 매장 관리 시스템은 고객이 이동 경로상에 머무르는 체류 시간을 측정하고, 측정된 체류 시간에 기초하여, 매장의 진열대(218)를 기준으로 구별되는 진열 영역을 등급화하고, 등급화된 매장의 영역에 기초하여 히트맵을 생성하며, 생성된 히트맵을 이용하여 고객의 관심 영역을 결정하였다.

즉, 일반적인 매장 관리 시스템은 매장 내 고객이 오랫동안 머무르는 영역을 제1 영역(204, 212), 제2 영역(206, 214) 및 제3 영역(202, 216)과 같이 등급화함으로써 고객이 선호하는 영역을 결정할 수 있다. 하지만, 일반적인 매장 관리 시스템은 고객의 위치에 기초하여 고객의 선호 영역 정도만을 결정할 수 있을 뿐, 실제 고객이 선호하는 물품이 무엇인지 여부를 정확하게 식별할 수 없는 문제점이 있다.

도 3은 일 실시 예에 따른, 전자 장치가 매장 내의 고객에 대한 응대 방법을 제공하는 방법의 흐름도이다.

S310에서, 전자 장치(1000)는 매장 내에 설치된 적어도 하나의 카메라로부터 고객을 촬영한 영상을 획득할 수 있다. 일 실시 예에 의하면, 매장 내 설치된 적어도 하나의 카메라는 실시간으로 영상을 촬영할 수 있는 CCTV 일 수 있으나 이에 한정되는 것은 아니다. 즉, 매장 내 설치된 적어도 하나의 카메라는 매장 내 고객을 촬영할 수 있는 기타 영상 촬영 장치일 수 있다. 전자 장치(1000)는 매장 내 적어도 하나의 카메라와 유선 또는 무선으로 연결될 수 있고, 실시간 또는 미리 설정된 시간 간격으로 고객을 촬영한 영상을 수신할 수 있다.

S320에서, 전자 장치(1000)는 영상을 제공한 카메라의 식별 값을 획득할 수 있다. 예를 들어, 전자 장치(1000)는 매장 내 카메라별로 미리 설정된 식별 값을 획득하고, 획득된 식별 값을 이용하여 매장 내 카메라를 구별할 수 있다. 일 실시 예에 의하면, 카메라의 식별 값은 전자 장치(1000)가 카메라로부터 수신하는 고객을 촬영한 영상에 포함될 수도 있다. 후술하는 바와 같이, 카메라의 식별 값은 전자 장치(1000)가 획득하는 진열 정보에 포함될 수 도 있다.

S330에서, 전자 장치(1000)는 영상 내 고객의 얼굴 특징에 기초하여, 고객이 응시하는 응시 방향을 결정할 수 있다. 전자 장치(1000)는 영상 내 고객의 얼굴 영역을 식별하고, 식별된 얼굴 영역에 포함된 적어도 하나 이상의 오브젝트를 이용하여 고객의 얼굴 특징을 결정하며, 결정된 얼굴 특징에 기초하여 응시 방향을 결정할 수 있다.

일 실시 예에 의하면, 전자 장치(1000)는 여러 계층을 가진 깊은 신경망(Neural Network) 구조를 가지는 딥러닝 알고리즘을 이용하여 영상에서 고객의 얼굴을 식별하고, 고객이 응시하는 응시 방향을 결정할 수 있다. 딥러닝은 기본적으로 여러 계층을 가진 깊은 신경망(deep neural network) 구조로 형성될 수 있다. 일 실시 예에 따른 전자 장치(1000)가 이용하는 신경망은 합성곱 신경망(Convolutional Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)을 포함할 수 있으나, 이에 한정되지 않는다.

일 실시 예에 의하면, 전자 장치(1000)가 이용하는 신경망은 컨벌루션 레이어와 풀링 레이어(pooling layer)가 반복 사용되는 CNN 구조에 풀리 커넥티드 레이어(fully-connected)가 연결된 구조일 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 영상 내 고객이 응시하는 응시 방향을 식별하기 위하여 복수의 신경망을 사용할 수도 있다. 일 실시 예에 의하면, 전자 장치(1000)는 신경망 모델을 이용하여, 카메라가 촬영한 고객의 영상으로부터 고객의 얼굴 특징 및 신체 특징을 결정할 수 있다. 전자 장치(1000)가 고객의 응시 방향을 결정하는 방법은 도 4를 참조하여 구체적으로 설명하기로 한다.

S340에서, 전자 장치(1000)는 매장 내 물품의 진열 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 매장 내 물품의 진열 정보를 매장 서버 또는 매장 서버와 유선 또는 무선으로 연결되는 매장 관리자의 또 다른 서버로부터 획득할 수 있다. 또 다른 실시 예에 의하면, 진열 정보는 전자 장치(1000)의 메모리 내에 미리 저장될 수도 있다. 일 실시 예에 의하면, 전자 장치가 획득하는 진열 정보는 상기 매장 내 배치된 물품의 위치에 관한 정보, 상기 물품을 배치하기 위한 진열대의 위치에 관한 정보 및 상기 고객의 영상을 획득하기 위한 카메라의 위치에 관한 정보 중 적어도 하나를 포함할 수 있다. 진열 정보에 포함된 매장 내 카메라의 위치에 관한 정보는 카메라의 식별 값에 기초하여 구별될 수 있다. 또 다른 실시 예에 의하면, 현재 영상 내 고객이 예전이 해당 매장을 방문한 고객인 경우, 전자 장치(1000)가 획득하는 진열 정보는 고객의 방문 이력, 고객의 구매 이력에 대한 정보를 더 포함할 수 있다.

S350에서, 전자 장치(1000)는 획득된 진열 정보에 기초하여, 상기 고객의 영상을 촬영한 카메라 주변의 진열 물품들 중에서, 상기 응시 방향에 대응되는 진열 물품을 식별할 수 있다. 예를 들어, 전자 장치(1000)는 획득된 카메라의 식별 값을 이용하여 카메라의 위치를 결정하고, 카메라의 위치 및 영상 내 고객의 응시 방향에 대응되는 매장 내 위치를 식별할 수 있다. 또한, 전자 장치(1000)는 카메라의 위치 및 영상 내 고객의 응시 방향에 대응되는 매장 내 위치를 진열 정보에 맵핑함으로써 고객이 응시하는 진열 물픔을 식별할 수 있다. 전자 장치(1000)가 진열 물픔을 식별하는 방법은 도 6 내지 도 7을 참조하여 구체적으로 설명하기로 한다.

S360에서, 전자 장치(1000)는 식별된 진열 물품과 관련된 응대 방법을 제공할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 고객에게 응대를 제공하기 위한 시점을 나타내는 응대 시점, 고객에게 응대를 제공하는 주체를 나타내는 응대 주체 및 응대의 방식 또는 내용과 관련된 응대 종류를 결정할 수 있다. 전자 장치(1000)는 결정된 응대 시점, 응대 주체 및 응대 종류 중 적어도 하나를 이용하여 응대 방법을 결정하고, 결정된 응대 방법을 제공할 수 있다.

도 4는 일 실시 예에 따른, 전자 장치가 고객의 응시 방향을 결정하는 방법을 세부적으로 설명하기 위한 도면이다.

S410에서, 전자 장치(1000)는 매장 내 적어도 하나의 카메라로부터 획득된 영상에서 고객의 얼굴 영역을 식별할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 고객의 얼굴 영상에서 얼굴 특징점을 추출할 수 있고, 추출된 얼굴 특징점에 기초하여 얼굴 영역을 식별할 수 있다. 예를 들어, 전자 장치(1000)는 미리 학습된 합성곱 신경망 모델(CNN)을 이용하여 영상 내 얼굴 특징점을 추출하고, 추출된 얼굴 특징점에 기초하여 얼굴 영역을 식별할 수 있다.

S420에서, 전자 장치(1000)는 추출된 얼굴 특징점에 기초하여, 식별된 얼굴 영역에서 적어도 하나의 오브젝트를 결정할 수 있다. 일 실시 예에 의하면, 전자 장치(100)가 결정하는 오브젝트는 얼굴 윤곽 오브젝트, 눈 오브젝트, 코 오브젝트, 입 오브젝트 및 눈동자 오브젝트 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.

S430에서, 전자 장치(1000)는 결정된 적어도 하나의 오브젝트를 이용하여 고객의 얼굴 방향 및 얼굴 내의 눈동자의 방향 중 적어도 하나를 식별할 수 있다. 예를 들어, 전자 장치(1000)는 오브젝트 별 포함된 적어도 하나의 특징점을 이용하여 오브젝트 별로 적어도 하나의 기준선을 설정할 수 있다. 전자 장치(1000)는 오브젝트 별로 설정된 적어도 하나의 기준선을 이용하여 고객의 얼굴 방향 및 눈동자의 방향을 식별할 수 있다.

S440에서, 전자 장치(1000)는 식별된 얼굴의 방향 및 눈동자의 방향 중 적어도 하나를 이용하여 응시 방향을 결정할 수 있다. 예를 들어, 전자 장치(1000)는 영상 내 고객의 얼굴 방향을 이용하여, 고객이 응시하는 응시 방향을 결정할 수도 있지만, 영굴 영역 내 고객의 눈동자 방향을 이용하여 응시 방향을 결정할 수도 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 영상 내 고객의 얼굴 방향 및 눈동자 방향 모두를 이용하여 응시 방향을 결정할 수도 있다.

도 5는 일 실시 예에 따른, 전자 장치가 고객의 응시 방향을 결정하는 방법을 설명하기 위한 참고 도면이다.

S502에서, 전자 장치(1000)는 매장 내 적어도 하나의 카메라로부터 획득된 영상에서 특징점을 추출할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 미리 학습된 신경망 모델을 이용하여 영상에서 얼굴 특징점을 추출할 수 있다. 일 실시 예에 의하면, 전자 장치(1000) Harris Corner, SIFT 및 FAST 등과 같은 특징점 추출 알고리즘을 이용하여 고객의 영상으로부터 특징점을 추출할 수도 있지만, 이에 한정되는 것은 아니다.

S504에서, 전자 장치(1000)는 영상에서 추출된 특징점을 이용하여 고객의 얼굴 영역을 식별할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 추출된 특징점들의 위치, 추출된 특징점들 간의 상대적 위치 및 추출된 특징점들의 상대적 위치에 기초하여 결정되는 특징점 분포 패턴에 기초하여 고객의 얼굴 영역을 식별할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 영상 학습 데이터들을 기초로 미리 학습된 신경망 모델을 이용하여 고객의 얼굴 영역을 식별할 수도 있다.

S506에서, 전자 장치(1000)는 식별된 얼굴 영역 내 에서 적어도 하나의 오브젝트를 결정할 수 있다. 예를 들어, 전자 장치(1000)는 얼굴 영역 내 적어도 2이상의 특징점들을 연결함으로써 특징 벡터를 생성할 수 있고, 생성된 특징 벡터들의 벡터 방향 및 특징 벡터들의 위치에 기초하여 적어도 하나의 오브젝트를 결정할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 영상 학습 데이터들을 기초로 미리 학습되는 신경망 모델을 이용하여 얼굴 윤곽 오브젝트, 눈동자 오브젝트, 코 오브젝트 및 입 오브젝트 중 적어도 하나를 결정할 수 있다.

S508에서, 전자 장치(1000)는 식별된 얼굴의 방향 및 눈동자의 방향 중 적어도 하나를 이용하여 응시 방향을 결정할 수 있다. 예를 들어, 전자 장치(1000)는 얼굴 윤곽 오브젝트 내 특징점들을 이용하여 적어도 하나의 얼굴 기준선들을 생성하고, 생성된 얼굴 기준선들을 이용하여 영상 내 고객 얼굴의 방향을 결정할 수 있다. 또한, 전자 장치(1000)는 눈 오브젝트 내 소정의 특징점들을 이용하여 적어도 하나의 눈동자 기준선들을 생성하고, 생성된 눈동자 기준선들을 이용하여 영상 내 고객의 눈동자 방향을 결정할 수 있다.

일 실시 예에 의하면 고객의 얼굴 특징은, 얼굴 영역 내 식별된 적어도 하나의 오브젝트들의 방향, 적어도 하나의 오브젝트들의 상대적 위치 및 패턴을 기초로 구별될 수 있는 얼굴에 대한 특징들을 나타낼 수 있다. 예를 들어, 일 실시 예에 의하면 얼굴 특징은 눈동자 사이의 거리, 눈 사이의 중심 좌표, 코의 중심 좌표, 양쪽 눈동자와 코 중심과의 거리 및 입술의 중심 좌표 등을 포함할 수 있다.

일 실시 예에 의하면, 고객의 얼굴 방향 및 눈동자의 방향은 벡터 형태로 표현될 수 있다. 예를 들어, 전자 장치(1000)는 고객의 얼굴 방향 벡터 및 눈동자의 방향 벡터에 서로 다른 가중치를 설정하고, 얼굴 방향 벡터 및 눈동자의 방향 벡터에 설정된 서로 다른 가중치에 따라, 얼굴 방향 벡터 및 눈동자 방향 벡터를 가중합함으로써 고객의 응시 방향을 결정할 수 있다. 도 6은 일 실시 예에 따른, 전자 장치가 고객이 응시하는 진열 물품을 식별하는 방법을 세부적으로 설명하기 위한 도면이다.

S610에서, 전자 장치(1000)는 카메라의 식별 값을 진열 정보에 맵핑함으로써 고객의 영상을 제공한 카메라의 위치를 결정할 수 있다. 예를 들어, 전자 장치(1000)가 획득하는 진열 정보는 매장 내 물품의 위치에 대한 정보뿐만 아니라, 적어도 하나의 카메라의 위치에 대한 정보를 포함할 수 있다. 특히, 진열 정보에 포함된 적어도 하나의 카메라들은 식별 값으로 구별될 수 있다.

즉, 전자 장치(1000)는 영상을 제공한 카메라의 식별 값을 진열 정보에 맵핑함으로써 실제로 고객의 영상을 제공한 카메라의 위치를 식별할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)가 영상을 제공한 카메라의 식별 값을 진열정보에 맵핑하는 것은, 전자 장치(1000)가 획득한 카메라의 식별 값과 매칭되는 식별 값을 진열 정보로부터 검색하는 것에 대응될 수 있다.

S620에서, 전자 장치(1000)는 영상 내 고객의 위치를 식별할 수 있다. 예를 들어, 전자 장치(1000)는 고객의 영상을 제공한 카메라의 위치를 식별하고, 식별된 카메라가 제공하는 영상 내에서 고객의 위치를 식별할 수 있다. 일 실시 예에 의하면, 카메라가 제공하는 영상 내 고객의 위치는 카메라가 제공한 이미지의 중심을 원점으로 하는 직교 좌표계에서 직교 좌표로 결정되거나, 원형 좌표계에서 원형 좌표로 결정될 수 있으나, 이에 한정되는 것은 아니다.

S630에서, 전자 장치(1000)는 영상 내 식별된 고객의 위치, 카메라의 위치 및 응시 방향에 대응되는 진열 물품을 식별할 수 있다. 예를 들어, 전자 장치(1000)는 영상 내 식별된 고객의 위치, 카메라의 위치 및 응시 방향에 대응되는 매장 내 위치를 결정하고, 영상 내 식별된 고객의 위치, 카메라의 위치 및 응시 방향에 대응되는 매장 내 위치를 진열 정보에 맵핑함으로써 진열 물품을 식별할 수 있다.

도 7은 일 실시 예에 따른, 전자 장치가 고객이 응시하는 진열 물품을 식별하는 방법을 세부적으로 설명하기 위한 도면이다.

S710에서, 전자 장치(1000)는 영상 내 고객의 위치 및 결정된 카메라의 위치에 기초하여 카메라와 고객 사이의 거리를 결정할 수 있다. 예를 들어, 전자 장치(1000)는 카메라의 위치를 기준으로, 카메라가 획득하는 영상 내 고객, 진열 물품 및 진열 물품이 배치되는 진열대의 위치를 진열 정보에 맵핑할 수 있다. 전자 장치(1000)는 카메라가 획득한 영상 내 고객, 진열 물품 및 진열 물품이 배치되는 진열대의 위치에 관한 정보를 진열 정보에 맵핑함으로써 영상 내 촬영되는 객체들의 실제 위치를 추정할 수 있다.

S720에서, 전자 장치(1000)는 영상 내 고객의 위치와 카메라의 사이의 거리 및 응시 방향에 대응되는 매장 내 위치를 식별할 수 있다. 예를 들어, 전자 장치(1000)는 영상 내 고객과 카메라 사이의 거리를 결정하고, 결정된 거리만큼 떨어진 거리에 위치하는 고객의 얼굴 특징에 기초하여 고객이 응시하는 응시 방향을 결정할 수 있다. 전자 장치(1000)는 고객이 응시하는 방향을 기초로, 고객의 시선을 추적함으로써 고객이 응시하는 매장 내 위치(예컨대 응시 지점)를 식별할 수 있다.

S730에서, 전자 장치(1000)는 고객과 카메라 사이의 거리 및 응시 방향에 대응되는 매장 내 위치를 진열 정보에 맵핑함으로써 진열 물품을 식별할 수 있다. S730은 도 6의 S630에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.

도 8은 일 실시 예에 따른, 전자 장치가 고객의 선호 정보를 결정하고, 결정된 선호 정보에 기초하여 응대 방법을 결정하는 방법을 설명하기 위한 도면이다.

S810에서, 전자 장치(1000)는 고객의 프로필 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 매장 내 설치된 적어도 하나의 카메라로부터 획득된 고객의 영상을 이용하여 고객의 프로필 정보를 획득할 수 있다. 일 실시 예에 의하면, 고객의 프로필 정보는 고객의 나이 정보 또는 성별 정보 중 적어도 하나를 포함할 수 있다.

일 실시 예에 의하면, 전자 장치(1000)는 매장 내 설치된 적어도 하나의 카메라에서 획득된 고객의 영상에서 고객의 얼굴 영역을 식별하고, 식별된 얼굴 영역에서 결정되는 적어도 하나의 오브젝트를 결정할 수 있다. 또한 전자 장치(1000)는 적어도 하나의 오브젝트에 기초하여 결정되는 얼굴 특징을 이용하여 고객의 성별 정보 또는 나이 정보 중 적어도 하나를 결정할 수 있다.

일 실시 예에 의하면, 전자 장치(1000)는 영상 내 고객의 얼굴 특징과 고객의 성별 정보 및 나이 정보를 매칭하여, 전자 장치 내의 메모리 또는 매장 서버 내 메모리 등에 저장할 수 있다. 전자 장치(1000)는 매장 내 고객의 영상으로부터 획득된 얼굴 특징이, 미리 저장된 고객의 얼굴 특징과 일치하는 경우, 미리 저장된 얼굴 특징과 매칭되어 저장된 고객의 성별 정보 및 나이 정보를 이용하여 현재, 영상 내 고객의 나이 정보 및 성별 정보를 결정할 수 있다.

S820에서, 전자 장치(1000)는 영상 내 고객의 신체 특징에 기초하여 고객의 행동 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 매장 내 적어도 하나의 카메라로부터 획득된 고객의 영상에서 고객의 신체 특징점을 검출하고, 검출된 신체 특징점에 기초하여 고객의 신체 영역을 식별할 수 있다. 전자 장치(1000)는 식별된 신체 영역 내 적어도 하나의 신체 특징점을 이용하여 특징 벡터들을 생성할 수 있고, 생성된 특징 벡터들의 벡터 방향 및 벡터 위치에 기초하여 고객의 행동 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 영상 내 고객의 신체 특징에 기초하여, 고객이 동일한 물건을 반복하여 들었다가 내려놓는지, 고객이 두리번거리고 있는지, 고객이 동일한 두 지점을 반복하여 오가고 있는지 여부 등을 식별할 수 있다.

S830에서, 전자 장치(1000)는 진열 물품을 응시하는 응시 시간에 관한 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 카메라와 고객 사이의 거리 및 응시 방향에 대응되는 매장 내 위치를 식별하고, 식별된 매장 내 위치를 진열 정보에 맵핑함으로써 진열 물품을 식별할 수 있다. 전자 장치(1000)는 매장 내 적어도 하나의 카메라를 이용하여 고객의 영상을 실시간으로 획득하고, 획득된 고객의 영상으로부터 고객과 카메라 사이의 거리 및 고객의 응시 방향을 실시간으로 추적할 수 있다.

또한, 전자 장치(1000)는 실시간으로 추적된 고객과 카메라 사이의 거리 및 응시 방향에 대응되는 매장 내 위치가 변하지 않는 시간을 측정함으로써, 고객이 진열 물품을 응시하는 응시 시간에 관한 정보를 획득할 수 있다. 일 실시 예에 의하면, 고객과 카메라 사이의 거리 및 응시 방향에 대응되는 매장 내 위치가 변하지 않는 것은 고객과 카메라 사이의 거리 및 응시 방향에 대응되는 매장 내 위치가 기 설정된 임계범위 내에서 변하는 경우를 포함할 수 있다. 즉, 전자 장치(1000)는 현재 고객과 카메라 사이의 거리 및 응시 방향에 대응되는 매장 내 위치가 소정의 임계 범위 내에서만 변하는 경우, 현재 고객과 카메라 사이의 거리 및 응시 방향에 대응되는 매장 내 위치가 변하지 않은 것으로 결정할 수 있다.

또 다른 실시 예에 의하면, 전자 장치(1000)는 실시간으로 추적된 고객과 카메라 사이의 거리 및 응시 방향에 대응되는 매장 내 위치를, 기 설정된 시간 간격으로 측정할 수 있다. 전자 장치(1000)는 기 설정된 시간 간격으로 변하는, 카메라 사이의 거리 및 응시 방향에 대응되는 매장 내 위치를 추적함으로써 고객이 응시하는 진열 물품의 변화를 추적할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 진열 물품에 대한 고객의 응시 시간을 분석함으로써 고객의 진열 물품에 대한 집중도, 매장 내 체류 시간, 동일한 상품의 디자인이나 형태에 따른 관심도를 측정할 수 있다. 또한, 전자 장치(1000)는 영상 내에서 식별된 고객의 매장 내 체류 시간을 측정하고, 측정된 체류 시간 대비 해당 고객의 구매 비율을 결정함으로써 현재 매장의 판매 효율을 결정할 수도 있다.

S840에서, 전자 장치(1000)는 프로필 정보, 응시 시간에 관한 정보 및 진열 정보 중 적어도 하나에 기초하여 매장 내 진열 물품에 대한 고객의 선호 정보를 결정할 수 있다. 전자 장치(1000)가 획득하는 고객의 선호 정보는 진열 정보에 상기 응시 시간에 관한 정보를 반영함으로써 지도 형태로 생성되고, 상기 고객의 선호 정보는 상기 매장 내 소정의 진열 영역 별 및 상기 매장 내 물품 별 생성될 수 있다. 즉 고객의 선호 정보는 본원 진열 정보를 포함할 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 프로필 정보, 행동 정보, 응시 시간에 관한 정보 및 진열 정보 중 적어도 하나에 기초하여, 고객의 선호 정보를 결정할 수도 있다.

일 실시 예에 의하면, 고객의 선호 정보는 히트맵으로 표현될 수 있으며, 히트맵은 고객이 응시한 응시 시간에 따라 매장 내 소정의 영역을 서로 다른 기호 또는 색상으로 나타낼 수 있다. 예를 들어, 히트맵은 고객이 진열 물품을 응시하는 시간이 길게 측정되는 매장 내 진열 물품들이 위치한 영역을 진한 색상으로 나타낼 수 있고, 고객이 오랫동안 응시한 진열 물품의 우선 순위에 대한 정보를 포함할 수 있다. 또 다른 실시 예에 의하면, 고객의 선호 정보는 고객의 프로필 정보를 포함할 수 있다.

S850에서, 전자 장치(1000)는 선호 정보에 기초하여 응대 방법을 결정할 수 있다. 예를 들어, 전자 장치(1000)는 고객의 선호 정보에 기초하여 응대 주체, 응대 방법 및 응대 종류를 결정하고, 결정된 응대 주체, 응대 방법 및 응대 종류 중 적어도 하나에 기초하여 응대 방법을 결정할 수 있다. 예를 들어, 전자 장치(1000)는 결정된 고객 선호 정보가 현재 식별된 고객의 나이가 30대이고, 남성이며, 가장 오랫동안 응시하는 진열 물품이 게임기라는 점을 나타내는 경우, 고객이 게임기가 진열된 영역으로 진입 후 10초가 경과한 후(=예컨대 응대 시점), 매장 내 이동 로봇으로 하여금(예컨대 응대 주체), 게임기에 대한 안내 정보를 고객에게 제공(=예컨대 응대 종류)하도록 한다는 응대 방법을 제공할 수 있다.

또 다른 실시 예에 의하면, 전자 장치(1000)는 결정된 고객 선호 정보가 현재 식별된 고객의 나이가 60대이고, 여성이며, 가장 오랫동안 응시하는 진열 물품이 화장품이라는 점을 나타내는 경우, 고객이 화장품이 진열된 영역으로 진입 후 약 5초가 경과한 후, 매장 내 점원이, 화장품에 대한 안내 정보를 고객에게 제공하도록 한다는 응대 방법을 제공할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 결정된 응대 방법을 점원이 소지한 단말로 전송할 수 있다.

또 다른 실시 예에 의하면, 전자 장치(1000)는 S850단계에 이어서, 획득된 고객의 선호 정보를 기초로 진열 정보를 갱신하기 위한 안내 정보를 제공할 수 있다. 본 개시에 따른 전자 장치(1000)는 획득된 고객의 선호 정보에 기초하여 진열 정보를 갱신하기 위한 안내 정보를 제공함으로써, 매장 관리자가, 고객의 선호 정보를 기초로 매장 내 물품들의 위치, 물품들이 배치되는 진열대의 위치 등을 조절할 수 있도록 할 수 있다.

또한, 일 실시 예에 따른 전자 장치가 결정한 응대 방법, 응대 방법을 결정하기 위하여 이용한 고객의 행동 정보, 프로필 정보, 응시 시간에 관한 정보 및 진열 정보 및 고객의 선호 정보들은 추후 매장을 방문하는 고객들이 구매 패턴분석에 사용될 수 있으며, 사용자로 하여금 효율적인 매장 물품 진열 및 진열대 배치 전략을 하도록 할 수 있다.

도 9는 일 실시 예에 따른, 전자 장치가 획득하는 고객의 프로필 정보 및 행동 정보를 설명하기 위한 도면이다.

예를 들어, 전자 장치(1000)가 획득하는 고객의 프로필 정보(930)는 나이 정보(932) 및 성별 정보(942) 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자 장치(1000)는 매장 내 적어도 하나의 카메라로부터 획득된 고객의 영상을 분석함으로써 나이 정보 및 성별 정보를 포함하는 고객 프로필 정보를 획득할 수 있다. 전자 장치(1000)는 영상의 얼굴 특징에 기초하여 고객의 나이 정보, 고객의 성별 정보를 포함하는 프로필 정보를 획득할 수 있다. 또 다른 실시 예에 의하면, 고객의 프로필 정보(930)는 표정 정보를 더 포함할 수 있다.

일 실시 예에 의하면, 전자 장치(1000)가 획득하는 나이 정보(932)는 나이대 별 얼굴 특징에 대한 정보를 포함할 수 있다. 또한, 성별 정보(942)는 얼굴 특징에 따른 성별에 대한 정보를 포함할 수 있다. 예를 들어, 전자 장치(1000)는 나이가 ??은 고객들(예컨대 10대-30대의 고객들)에 대해서, 매장 내 이동 로봇이 고객 응대를 하도록 응대 방법을 결정할 수 있지만, 나이가 많은 고객들(예컨대 40대 이상)이 매장을 방문한 경우, 매장 내 점원이 응대를 하도록 응대 방법을 결정할 수도 있다.

또 다른 실시 예에 의하면, 전자 장치(1000)는 고객의 나이 정보 또는 성별 정보에 따라 응대 주체를 결정할 수 있다. 전자 장치(1000)는 고객의 나이 정보 또는 성별 정보 중 적어도 하나에 기초하여, 매장 내 고객을 응대 하기 위한 이동 로봇과 점원의 수를 조절하기 위한 정보(=예컨대 매장 내 이동 로봇의 수와 점원의 수의 비율에 관한 정보)를 제공할 수 있다.

일 실시 예에 의하면, 전자 장치(1000)는 영상 내 고객의 얼굴 특징 및 신체 특징 중 적어도 하나에 기초하여, 고객의 표정 정보(962) 및 고객의 제스처 정보(972) 중 적어도 하나를 획득할 수 있다. 전자 장치(1000)가 획득하는 고객의 행동 정보는 표정 정보(962) 및 제스처 정보(972)중 적어도 하나를 포함할 수 있다. 예를 들어, 표정 정보는 Positive 표정(963)과 관련된 정보, Negative(964)와 관련된 정보를 포함할 수 있으나, 이에 한정되는 것은 아니며, 기타 필요한 고객의 표정에 관련된 정보를 포함할 수 있다. 또 다른 실시 예에 의하면, 표정 정보는 고객의 프로필 정보에 포함될 수도 있다.

예를 들어, 전자 장치(1000)는 고객이 웃는 표정을 짓거나, 입 꼬리가 좌우로 올라가는 경우 고객의 표정 정보를 Positive 표정(963)과 관련된 정보로 결정할 수 있다. 또한, 전자 장치(1000)는 고객이 화난 표정을 짓거나, 입 꼬리가 좌우로 내려오거나, 눈가가 내려오는 경우 고객의 표정 정보를 Negative 표정(964)과 관련된 정보로 결정할 수 있다.

일 실시 예에 의하면, 제스처 정보는 크게 고민을 나타내는 제스처(973), 도움을 요청하는 제스처(983) 및 일반 구매 행위와 관련된 제스처(993)를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 전자 장치(1000)는 고객의 신체 특징에 기초하여, 고객의 위치가 변하지 않거나(974), 고객이 동일한 물건을 반복하여 들었다가 내려놓거나(975) 고객이 두 종류의 물건을 들어서 비교(976)하는 경우 고객의 제스처 정보를 고민을 나타내는 제스처(973)로 결정할 수 있다.

또한, 전자 장치(1000)는 고객의 신체 특징에 기초하여, 고객이 두리번거리거나 (984), 고객의 위치가 동일한 두 지점을 반복하여 오가거나(985), 기타 도움이 필요한 행위를 하는 경우(986), 고객의 제스처 정보를 도움을 요청하는 제스처(964)로 결정할 수 있다. 또한, 전자 장치(1000)는 영상 내 고객의 신체 특징에 기초하여, 고객이 물건을 들고 계산대로 이동하는 경우, 고객의 제스처 정보를 일반 구매 행위와 관련된 제스처(993)로 결정할 수 있다. 하지만, 전자 장치가 이용하는 고객의 제스처 정보는 도 9에 한정되는 것은 아니다.

도 10은 일 실시 예에 따른, 전자 장치가 응대 방법을 결정하는 방법을 세부적으로 설명하기 위한 도면이다.

S1010에서, 전자 장치(1000)는 응대 시점, 응대 주체 및 응대 종류를 결정할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 식별된 진열 물품에 기초하여 고객을 응대 하기 위한 응대 시점, 고객을 응대할 응대 주체 및 응대 종류를 결정할 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 프로필 정보, 행동 정보, 고객의 선호 정보에 기초하여 응대 시점, 응대 주체 및 응대 종류를 결정할 수도 있다.

예를 들어, 전자 장치(1000)는 영상 내 고객의 표정 정보가 Negative 표정(963)과 관련된 정보로 결정되거나, 고객의 제스처 정보가 고민을 나타내는 제스처(973) 또는 도움을 요청하는 제스처(983)로 결정되는 경우, 고객에게 응대 서비스를 제공하기 위한 시점인 응대 시점을 빠르게 결정할 수 있다. 즉, 전자 장치(1000)는 고객이 화가 나거나, 짜증 나는 경우, 또는 도움이 필요한 경우 응대 시점을 "빨리" 또는 "즉시"로 결정함으로써, 고객의 불편함을 적극적으로 해소할 수 있다.

일 실시 예에 의하면, 전자 장치(1000)는 영상 내 고객의 나이 정보가 10대-30대 사이로 결정되는 경우 고객에게 응대 서비스를 제공할 응대 주체를 이동 로봇으로 결정할 수 있다. 하지만, 전자 장치(1000)는 영상 내 고객의 나이 정보가 30대 이상으로 결정되는 경우 응대 주체를 점원으로 결정할 수 있다. 즉, 전자 장치(1000)는 고객의 나이별 응대 주체를 서로 다르게 설정함으로써 고객 맞춤형 응대 방법을 제공할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 영상 내 고객의 제스처 정보가 고민을 나타내는 제스처(973)인 경우, 응대 종류를 '제품 안내'로 결정할 수 있지만, 영상 내 고객의 제스처 정보가 도움을 요청하는 제스처(983)로 결정되는 경우, 응대 종류를 '제품 안내' 또는 '매장 안내'로 결정할 수 있다.

S1020에서, 전자 장치(1000)는 응대 시점, 응대 주체 및 응대 종류 중 적어도 하나를 이용하여 응대 방법을 결정할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 매장 내 식별된 고객이 60대, 여성이고, 고객의 표정정보가 Negative 표정(963)과 관련된 정보로 결정되고, 제스처 정보가 도움을 요청하는 제스처 정보로 결정되는 경우, 응대 시점을 '즉시', 응대 주체를 '점원', 응대 종류를 '매장 안내 및 제품 설명'으로 하는 응대 방법을 제공할 수 있다. 즉, 전자 장치(1000)는 응대 시점을 '즉시', 응대 주체를 '점원', 응대 종류를 '매장 안내 및 제품 설명'으로 하는 응대 방법을 점원이 소지한 단말로 제공하고, 점원은 단말로부터 응대 시점을 '즉시', 응대 주체를 '점원', 응대 종류를 '매장 안내 및 제품 설명'으로 하는 응대 방법을 획득한 후, 매장 내 고객에게 응대 서비스를 제공할 수 있다.

도 11은 일 실시 예에 따른, 전자 장치가 응대 방법을 결정하는 방법을 세부적으로 설명하기 위한 도면이다.

전자 장치(1000)는 응대 시점(114), 응대 주체(116) 및 응대 종류(118) 중 적어도 하나를 이용하여 응대 방법(112)을 결정할 수 있다. 일 실시 예에 의하면, 응대 시점은 '즉시', '고객이 응시하는 진열 물품이 배치된 영역으로 진입한 시점으로부터 기 설정된 시간 경과 후', '고객이 직접 도움을 요청할 때' 또는 '매장 내 고객이 진입한 시점으로부터 기 설정된 시간 경과후' 등을 포함할 수 있으나 이에 한정되는 것은 아니다. 또한, 응대 주체는 '점원' 또는 '이동 로봇'을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한 일 실시 예에 따르면, 응대 방법은 '제품 설명', '매장 안내' 또는 '제품 설명 및 매장 안내'를 포함할 수 있으나 이에 한정되는 것은 아니다. 전자 장치(1000)가 고객의 프로필 정보, 행동 정보, 고객의 선호 정보 등에 기초하여 응대 시점을 결정하는 구체적인 방법은 도 10의 S1010에 대응하므로 구체적인 설명은 생략하기로 한다.

일 실시 예에 의하면 응대 주체(116)는 고객 응대 서비스를 제공하는 이동 로봇 또는 점원을 포함할 수 있다. 예를 들어, 전자 장치(1000)는 영상 내 고객의 나이 정보가 10대-30대 사이로 결정되는 경우 고객에게 응대 서비스를 제공할 응대 주체를 이동 로봇으로 결정할 수 있고, 영상 내 고객의 나이 정보가 30대 이상으로 결정되는 경우 응대 주체를 점원으로 결정할 수 있다. 즉, 전자 장치(1000)는 고객의 나이별 응대 주체를 서로 다르게 설정함으로써 고객 맞춤형 응대 방법을 제공할 수 있다.

또 다른 실시 예에 의하면, 전자 장치(1000)는 영상 내 고객이 남성으로 식별되는 경우, 응대 서비스를 제공할 응대 주체를 이동 로봇으로 결정할 수 있고, 영상 내 고객이 여성으로 식별되는 경우, 응대 서비스를 제공할 응대 주체를 점원으로 결정할 수도 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 영상 내 고객의 표정 정보가 Negative 표정(963)과 관련된 정보로 결정되거나, 고객의 제스처 정보가 고민을 나타내는 제스처(973) 또는 도움을 요청하는 제스처(983)로 결정되는 경우, 응대 주체를 점원으로 결정할 수도 있다. 즉, 전자 장치(1000)는 고객의 프로필 정보, 고객의 행동 정보에 따라 응대 서비스를 제공할 응대 주체를 다르게 설정할 수 있다.

일 실시 예에 의하면, 전자 장치(1000)가 제공하는 응대 서비스의 종류와 관련된 정보를 나타내는 응대 종류(118)는 매장 안내, 상품 설명, 상품 추천 및 VOC(Voice of Communication) 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자 장치(1000)는 고객의 제스처 정보가 고민을 나타내는 제스처(973)이거나, 도움을 요청하는 제스처(983)으로 결정되는 경우, 응대 종류를 '제품 안내' 또는 '매장 안내'로 결정할 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 고객의 제스처 정보가 일반 구매 행위(963)으로 결정되는 경우, 응대 종류를 '계산대 위치 안내' '결제 서비스 제공 안내'로 결정할 수 있다.

도 12는 또 다른 실시 예에 따른, 전자 장치가 고객에 대한 응대 방법을 제공하는 방법의 흐름도이다.

S1212에서, 전자 장치(1000)는 매장 내 적어도 하나의 카메라를 이용하여 고객을 식별할 수 있다. 예를 들어, 전자 장치(1000)는 매장 내 적어도 하나의 카메라와 유선 또는 무선으로 연결될 수 있고, 매장 내 고객이 진입 시 또는 진열대로 구분되는 매장 내 소정의 진열 영역에 고객이 진입 시 고객을 식별할 수 있다. S1214에서, 전자 장치(1000)는 매장 내 고객의 영상을 획득할 수 있다. 예를 들어, 전자 장치(1000)는 매장 내 적어도 하나의 카메라를 이용하여 매장에 진입한 고객이 매장에서 나가기 전까지, 해당 고객의 영상을 연속적으로 획득할 수 있다.

S1216에서, 전자 장치(1000)는 고객의 영상을 제공한 카메라의 식별 값을 획득할 수 있다. 예를 들어, 매장 내 적어도 하나의 카메라들은 고유한 식별 값을 포함할 수 있고, 전자 장치(1000)는 카메라의 고유한 식별 값을 이용하여 매장 내 카메라를 구별할 수 있다. S1218에서, 전자 장치(1000)는 영상 내 고객이 응시하는 응시 방향을 결정할 수 있다. 예를 들어, 전자 장치(1000)는 영상 내 고객의 얼굴 특징에 기초하여 응시 방향을 결정할 수 있다. 전자 장치(1000)가 응시 방향을 결정하는 방법은 도 3의 S330에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.

S1219에서, 전자 장치(1000)는 매장 내 물품의 진열 정보를 획득할 수 있다. 전자 장치(1000)는 전자 장치 내부의 메모리에 진열 정보를 미리 저장할 수도 있지만, 매장 서버 또는 매장 서버와 연결되는 다른 매장 관리 서버로부터 진열 정보를 획득할 수 있다. 진열 정보는 매장 내 배치된 물품의 위치에 관한 정보, 물품을 배치하기 위한 진열대의 위치에 관한 정보, 진열대로 구별되는 매장 내의 소정의 진열 영역들, 고객의 영상을 획득하기 위한 카메라의 위치에 관한 정보 중 적어도 하나를 포함할 수 있다.

S1220에서, 전자 장치(1000)는 카메라와 고객 사이의 거리를 결정할 수 있다. S1220은 도 7의 S710에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다. S1221에서, 전자 장치(1000)는 결정된 거리 및 응시 방향에 대응되는 진열 물품을 식별할 수 있다. 예를 들어, 전자 장치(1000)는 결정된 거리 및 응시 방향에 대응되는 매장 내 위치를, 획득된 진열 정보 내 포함된 매장의 지도 정보에 맵핑함으로써 고객이 응시하는 진열 물품을 식별할 수 있다. S1221은 도 7의 S730에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.

S1223에서, 전자 장치(1000)는 고객이 진열 물품을 응시하는 응시 시간에 관한 정보를 획득할 수 있다. S1223은 도 8의 S830에 대응될 수 있으므로, 구체적인 설명은 생략하기로 한다. S1224에서, 전자 장치(1000)는 고객의 프로필 정보 및 행동 정보를 획득할 수 있다. 일 실시 예에 따르면, 전자 장치(1000)는 고객이 응시하는 응시 방향에 기초하여 진열 물품을 식별할 수 있을 뿐만 아니라, 고객의 표정 정보, 나이 정보, 성별 정보 및 제스처 정보 중 적어도 하나를 더 획득할 수 있다.

S1225에서, 전자 장치(1000)는 프로필 정보, 행동 정보, 응시 시간에 관한 정보 및 진열 정보 중 적어도 하나에 기초하여 고객의 선호 정보를 결정할 수 있다. 즉, 전자 장치(1000)는 응시 시간에 관한 정보 및 진열 정보에 기초하여 고객이 가장 선호하는 진열 물품을 식별할 수 있고, 더불어 고객의 나이 정보 및 성별 정보를 포함하는 프로필 정보, 표정 정보 및 제스처 정보를 포함하는 행동 정보를 더 획득함으로써 맞춤형 고객 응대 방법을 제공할 수 있다.

S1226에서, 전자 장치(1000)는 결정된 고객의 선호 정보에 기초하여 응대 시점, 응대 주체 및 응대 종류를 결정하고, 결정된 응대 시점, 응대 주체 및 응대 종류 중 적어도 하나를 이용하여 응대 방법을 결정할 수 있다. S1230에서, 전자 장치(1000)는 결정된 응대 방법을 점원이 소지한 단말 또는 이동 로봇에 제공할 수 있다.

도 13 및 도 14는 일 실시 예에 따른, 매장 내의 고객에 대한 응대 방법을 제공하는 전자 장치의 블록도이다.

도 13에 도시된 바와 같이, 일 실시 예에 따른 전자 장치(1000)는 통신 프로세서(1300), 메모리(1400) 및 통신 인터페이스(1700)를 포함할 수 있다. 그러나 도시된 구성 요소가 모두 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 전자 장치(1000)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자 장치(1000)는 구현될 수 있다. 예를 들어, 도 14에 도시된 바와 같이, 일 실시 예에 따른 전자 장치(1000)는 입력부(1100), 출력부(1200), 프로세서(1300), 메모릴(1400), 센싱부(1500), 카메라(1600) 및 통신 인터페이스(1700)를 더 포함할 수도 있다.

입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

입력부(1100)는 전자 장치(1000)가 매장 내 고객에 대한 응대 방법을 결정함에 있어서 필요한 사용자 입력을 수신할 수 있다. 예를 들어, 입력부(1100)는 전자 장치에 최신 진열 정보가 저장되어 있지 않는 경우, 진열 정보를 매장 관리 서버 등으로부터 다운로드 할 것을 명령하는 사용자 입력을 수신할 수 있다. 또한, 입력부(1100)는 영상 내 고객의 얼굴 특징 또는 신체 특징 중 적어도 하나에 매칭되는 사용자의 나이 정보, 성별 정보, 표정 정보 및 제스처 정보 등을 사용자로부터 직접 수신할 수도 있다.

출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(미도시), 음향 출력부(미도시), 및 진동 모터(미도시)를 포함할 수 있다. 예를 들어, 출력부(1200)는 매장 내 고객이 진입하는 경우, 또는 최종적으로 매장 내 고객에 대한 응대 방법이 결정되는 경우, 알람을 출력할 수 있다.

디스플레이부는 전자 장치(1000)에서 처리되는 정보를 표시 출력하기 위한 화면을 포함한다. 또한, 화면은 영상을 디스플레이 할 수 있다. 예를 들면, 화면의 적어도 일부는 매장 내 진열된 물품의 위치, 진열대의 위치 등을 포함하는 매장의 지도 정보, 고객의 선호 정보 및 응대 방법 등을 디스플레이 할 수 있다.

음향 출력부는 통신 인터페이스(1700) 로부터 수신되거나 메모리(1400)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부는 전자 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력할 수 있다.

프로세서(1300)는 통상적으로 전자 장치(1000)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(1300)는 메모리(1400)에 저장된 프로그램들을 실행함으로써, 입력부(1100), 출력부(1200), 센싱부(1500), 통신 인터페이스(1700), 카메라(1600) 등을 전반적으로 제어할 수 있다. 또한, 프로세서(1300)는 메모리(1400)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 12에 기재된 전자 장치(1000)의 기능을 수행할 수 있다.

구체적으로, 프로세서(1300)는 통신 인터페이스를 제어함으로써, 매장 내에 설치된 적어도 하나의 카메라로부터 고객을 촬영한 영상을 획득할 수 있다. 또한, 프로세서(1300)는 영상을 제공한 카메라의 식별 값을 획득할 수 있고, 영상 내 고객의 얼굴 특징에 기초하여, 고객이 응시하는 응시 방향을 결정할 수 있다. 또한 프로세서(1300)는 매장 내 물품의 진열 정보를 획득하고, 진열 정보에 기초하여 카메라 주변의 진열 물품들 중에서 응시 방향에 대응되는 진열물품을 식별할 수도 있다.

일 실시 예에 따르면, 프로세서(1300)는 미리 학습되는 신경망 모델을 이용하여, 영상 내 고객의 얼굴 영역을 식별하고, 식별된 얼굴 영역 내 적어도 하나의 오브젝트를 결정하며, 적어도 하나의 오브젝트를 이용하여 고객의 얼굴의 방향 및 얼굴 내의 눈동자의 방향을 식별할 수 있다. 또한 프로세서(1300)는 식별된 얼굴 방향 및 눈동자의 방향 중 적어도 하나를 이용하여 응시 방향을 결정할 수 있다.

일 실시 예에 의하면, 프로세서는 획득된 카메라의 식별 값을 진열 정보에 맵핑함으로써 영상을 제공한 카메라의 위치를 결정하고, 상기 영상 내 고객의 위치를 식별하며, 식별된 고객의 위치, 결정된 카메라의 위치 및 응시 방향에 대응되는 진열 물품을 식별할 수 있다.

일 실시 예에 의하면, 프로세서(1300)는 영상 내 상기 고객의 위치 및 상기 결정된 카메라의 위치에 기초하여, 상기 카메라와 상기 고객 사이의 거리를 결정하고, 상기 결정된 거리 및 상기 응시 방향에 대응되는 상기 매장 내 위치를 식별하고, 상기 결정된 거리 및 상기 응시 방향에 대응되는 상기 매장 내 위치를 상기 진열 정보에 맵핑함으로써 상기 진열 물품을 식별할 수 있다. 또 다른 실시 예에 의하면, 프로세서(1300)는 미리 학습되는 신경망 모델을 이용하여 영상 내 고객의 표정 정보, 나이 정보, 성별 정보, 제스처 정보를 획득할 수 있다.

일 실시 예에 의하면, 프로세서(1300)는 영상 내 고객의 얼굴 특징에 기초하여 고객의 프로필 정보를 획득하고, 영상 내 고객의 신체 특징에 기초하여 고객의 행동 정보를 획득하며, 행동 정보, 프로필 정보, 응시 시간에 관한 정보 및 진열 정보 중 적어도 하나에 기초하여 고객의 선호 정보를 결정할 수 있다.

일 실시 예에 의하면, 프로세서(1300)는 프로필 정보, 행동 정보 및 고객의 선호 정보에 기초하여 고객을 응대하기 위한 응대 시점, 응대 주체 및 응대 종류를 결정하고, 결정된 응대 시점, 응대 주체 및 응대 종류 중 적어도 하나를 이용하여 응대 방법을 결정할 수 있다.

메모리(1400)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다. 또한, 메모리(1400)는 전자 장치(1000)가 획득한 매장 내 고객의 영상, 영상으로부터 결정된 고객의 얼굴 특징 및 신체 특징에 대한 정보를 저장할 수 있다. 일 실시 예에 의하면, 메모리(1400)는 고객의 나이 정보, 표정 정보, 성별 정보 및 제스처 정보를 고객의 얼굴 특징 및 신체 특징 중 적어도 하나에 매칭되게 저장할 수 있다. 또한, 메모리(1400)는 고객 별로 결정된 응대 시점, 응대 주체 및 응대 방법과 관련된 정보를 더 저장할 수 있다.

또한, 메모리(1400)는 고객의 영상 데이터를 기초로 학습되는 신경망, 신경망의 구조를 특정하기 위한 레이어들 및 레이어들 간의 가중치에 관한 정보를 더 저장할 수 있다. 또한, 메모리(1400)는 매장 내 진열 정보가 갱신되는 경우, 갱신된 진열 정보를 더 저장할 수 있다.

메모리(1400)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 메모리(1400)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈, 터치 스크린 모듈, 알림 모듈 등으로 분류될 수 있다.

UI 모듈은, 애플리케이션 별로 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.

알림 모듈은 전자 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 전자 장치(1000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈은 디스플레이부를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.

센싱부(1500)는, 전자 장치(1000)의 상태 또는 전자 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다. 센싱부(1500)는 전자 장치(1000)의 사양 정보, 전자 장치(1000)의 상태 정보, 전자 장치(1000)의 주변 환경 정보, 사용자의 상태 정보 및 사용자의 디바이스 사용 이력 정보 중 일부를 생성하는데 이용될 수 있다.

센싱부(1500)는, 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS)(1460), 기압 센서, 근접 센서 및 RGB 센서(illuminance sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

카메라(1600)는 매장 내 영상을 획득할 수 있다. 예를 들어, 카메라는 실시간으로 영상을 촬영할 수 있는 CCTV 일 수 있으나 이에 한정되는 것은 아니다. 매장 내 설치된 적어도 하나의 카메라는 매장 내 고객을 촬영할 수 있는 기타 영상 촬영 장치일 수 있다. 또한, 카메라(1600)는 전자 장치(1000)또는 매장 관리 서버등과 유선 또는 무선으로 연결될 수 있고, 실시간 또는 미리 설정된 시간 간격으로 고객을 촬영한 영상을 수신할 수 있다.

통신 인터페이스(1700)는, 전자 장치(1000)가 다른 장치(미도시), 매장 서버 및 매장 서버와 연결되는 다른 관리 서버 등과 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 전자 장치(1000)와 같은 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 제한되지 않는다. 예를 들어, 통신 인터페이스(1700)는, 근거리 통신부, 이동 통신부, 방송 수신부를 포함할 수 있다.

근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

방송 수신부는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부를 포함하지 않을 수도 있다. 또한, 통신 인터페이스(1700)는, 매장 내 적어도 하나의 카메라로부터 고객의 영상을 획득할 수도 있다. 일 실시 예에 의하면, 통신 인터페이스(1700)는 매장 내 관리 서버 또는 다른 전자 장치로부터 진열 정보를 획득할 수도 있다. 또한 통신 인터페이스(1700)는 전자 장치(1000)가 결정한 응대 방법을 매장 내 점원이 소지한 단말 또는 이동 로봇으로 전송할 수 있다.

도 15는 일 실시 예에 따른 전자 장치가 매장 서버를 이용하여 고객에 대한 응대 방법을 제공하는 방법을 설명하기 위한 도면이다.

S1502에서, 매장 서버(2000)는 매장 내 적어도 하나의 카메라로부터 제1 고객 영상을 획득할 수 있다. S1504에서, 매장 서버(2000)는 획득된 제1 고객 영상을 전자 장치(1000)로 전송할 수 있다.

S1506에서, 매장 서버(2000)는 매장의 지도 정보를 획득할 수 있다. 또 다른 실시 예에 의하면, 매장의 지도 정보는 전술한 도 12의 S1219단계의 진열 정보에 포함될 수도 있다. S1508에서, 전자 장치(1000)는 고객이 응시하는 응시 지점을 결정할 수 있다. S1510에서, 매장 서버(2000)는 획득된 지도 정보를 전자 장치(1000)로 전송할 수 있다.

S1512에서, 전자 장치(1000)는 고객이 응시하는 응시 지점을 획득된 지도 정보에 맵핑함으로써 히트맵을 생성할 수 있다. 예를 들어, 전자 장치(1000)는 식별된 응시 지점을 응시하는 응시 시간에 관한 정보에 기초하여 진열 영역별 또는 진열된 물품별 고객의 선호 정보를 생성할 수 있다. 전자 장치(1000)가 생성하는 고객의 선호 정보는 히트맵 형식으로 생성될 수 있다.

S1514에서, 전자 장치(1000)는 제2 고객 영상을 획득할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)가 획득하는 제2 고객 영상은 제1 고객 영상과 다른 시간에 획득된 고객에 대한 영상일 수 있다. S1516에서, 매장 서버(2000)는 획득된 제2 고객 영상을 전자 장치(1000)로 전송할 수 있다. S1518에서, 전자 장치(1000)는 획득된 제2 고객 영상 내의 고객의 얼굴 특징 또는 신체 특징을 기초로 고객의 특성을 식별할 수 있다. 예를 들어, 전자 장치(1000)는 고객의 특성으로써, 고객의 나이 정보, 성별 정보, 표정 정보 및 제스처 정보 중 적어도 하나를 식별할 수 있다.

전자 장치(1000)는 식별된 고객의 나이 정보 및 성별 정보를 고객의 프로필 정보로써 관리하고, 고객의 표정 정보 및 제스처 정보를 행동 정보로써 관리할 수 있다. 또 다른 실시 예에 의하면, 표정 정보는 고객의 프로필 정보로써 관리 될 수 있다. S1520에서, 전자 장치(1000)는 프로필 정보, 행동 정보, 고객의 선호 정보에 기초하여 응대 시점, 응대 주체 및 응대 종류를 결정하고, 결정된 응대 시점, 응대 주체 및 응대 종류 중 적어도 하나를 이용하여 응대 방법을 결정할 수 있다. S1522에서 전자 장치(1000)는 결정된 응대 방법을 매장 서버(2000)로 전송할 수 있다. S1524에서, 매장 서버(2000)는 이동 로봇 또는 점원의 단말에 응대 방법을 전송함으로써, 이동 로봇 또는 점원이 소지한 단말이 응대 방법을 출력하도록 제어 할 수 있다.

도 16은 일 실시 예에 따른 매장 서버의 블록도를 나타내는 도면이다.

일 실시 예에 따른 매장 서버(2000)는 통신부(2100), 데이터 베이스(2200) 및 프로세서(2300)를 포함할 수 있다.

통신부(2100)는 이동 로봇(1000)과 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 통신 인터페이스(2100)는 전자 장치(1000)로부터 고객의 선호 정보, 히트맵, 응대 방법을 수신할 수 있다. 일 실시 예에 의하면, 통신 인터페이스(2100)는 적어도 하나의 카메라로부터 획득된 고객 또는 매장 내 영상을 전자 장치(1000)로 전송할 수 있다. 또한, 통신 인터페이스(2100)는 매장의 진열 정보 또는 매장의 지도 정보를 전자 장치(1000)로 전송할 수 있다.

DB(2200)는 매장의 진열 정보, 매장의 지도 정보, 매장 내 물품의 위치 및 목록에 관한 정보, 매장 내 물품이 진열된 진열대의 위치에 관한 정보, 얼굴 특징 또는 신체 특징과 매칭되는 고객의 프로필 정보, 행동 정보 등을 저장할 수 있다.

프로세서(2300)는 통상적으로 매장 서버(2000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2300)는, 매장 서버(2000)의 DB(2200)에 저장된 프로그램들을 실행함으로써, DB(2200) 및 통신부(2100) 등을 전반적으로 제어할 수 있다. 프로세서(2300)는 DB(2200)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도12에서의 전자 장치(1000)의 동작의 일부를 수행할 수 있다.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

1. 전자 장치가 매장 내의 고객에 대한 응대 방법을 제공하는 방법에 있어서,
   상기 매장 내에 설치된 적어도 하나의 카메라로부터 상기 고객을 촬영한 영상을 획득하는 단계;
   상기 영상을 제공한 카메라의 식별 값을 획득하는 단계;
   상기 영상 내 상기 고객의 얼굴 특징에 기초하여 상기 고객이 응시하는 응시 방향을 결정하는 단계;
   상기 매장 내 물품의 진열 정보를 획득하는 단계;
   상기 진열 정보에 기초하여 상기 카메라의 주변의 진열 물품들 중에서 상기 응시 방향에 대응되는 진열 물품을 식별하는 단계; 및
   상기 진열 물품과 관련된 응대 방법을 제공하는 단계; 를 포함하는, 방법.
2. 제1항에 있어서, 상기 응시 방향을 결정하는 단계는
   상기 영상에서 상기 고객의 얼굴 영역을 식별하는 단계;
   상기 식별된 얼굴 영역 내 적어도 하나의 오브젝트를 결정하는 단계;
   상기 적어도 하나의 오브젝트를 이용하여 상기 고객의 얼굴의 방향 및 상기 얼굴 내의 눈동자의 방향 중 적어도 하나를 식별하는 단계; 및
   상기 식별된 얼굴의 방향 및 상기 눈동자의 방향 중 적어도 하나를 이용하여 상기 응시 방향을 결정하는 단계; 를 포함하는, 방법.
3. 제1항에 있어서, 상기 진열 물품을 식별하는 단계는
   상기 획득된 식별 값을 상기 진열 정보에 맵핑함으로써 상기 영상을 제공한 카메라의 위치를 결정하는 단계;
   상기 영상 내 상기 고객의 위치를 식별하는 단계; 및
   상기 식별된 고객의 위치, 상기 결정된 카메라의 위치 및 상기 응시 방향에 대응되는 상기 진열 물품을 식별하는 단계; 를 포함하는, 방법.
4. 제3항에 있어서, 상기 진열 물품을 식별하는 단계는
   상기 영상 내 상기 고객의 위치 및 상기 결정된 카메라의 위치에 기초하여, 상기 카메라와 상기 고객 사이의 거리를 결정하는 단계;
   상기 결정된 거리 및 상기 응시 방향에 대응되는 상기 매장 내 위치를 식별하는 단계; 및
   상기 결정된 거리 및 상기 응시 방향에 대응되는 상기 매장 내 위치를 상기 진열 정보에 맵핑함으로써 상기 진열 물품을 식별하는 단계; 를 포함하는, 방법.
5. 제1항에 있어서, 상기 방법은
   상기 영상 내 상기 고객의 얼굴 특징에 기초하여 상기 고객의 프로필 정보를 획득하는 단계;
   상기 고객이 상기 진열 물품을 응시하는 응시 시간에 관한 정보를 획득하는 단계;
   상기 프로필 정보, 상기 응시 시간에 관한 정보 및 상기 진열 정보 중 적어도 하나에 기초하여 상기 매장 내 상기 진열 물품에 대한 상기 고객의 선호 정보를 결정하는 단계; 및
   상기 결정된 고객의 선호 정보에 기초하여 상기 응대 방법을 결정하는 단계; 를 더 포함하는, 방법.
6. 제5항에 있어서, 상기 방법은
   상기 영상 내 상기 고객의 얼굴 특징 및 신체 특징 중 적어도 하나에 기초하여 상기 고객의 행동 정보를 획득하는 단계; 및
   상기 획득된 행동 정보, 상기 프로필 정보, 상기 응시 시간에 관한 정보 및 상기 진열 정보 중 적어도 하나에 기초하여 상기 고객의 선호 정보를 결정하는 단계; 를 더 포함하는 방법.
7. 제1항에 있어서, 상기 응대 방법을 제공하는 단계는
   상기 식별된 진열 물품에 기초하여, 상기 고객을 응대하기 위한 응대 시점, 상기 고객을 응대할 응대 주체 및 응대 종류를 결정하는 단계; 및
   상기 응대 시점, 응대 주체 및 응대 종류 중 적어도 하나를 이용하여 상기 응대 방법을 결정하는 단계; 를 포함하는, 방법.
8. 제6항에 있어서, 상기 응대 방법을 제공하는 단계는
   상기 프로필 정보, 상기 행동 정보, 상기 고객의 선호 정보에 기초하여 상기 고객을 응대 하기 위한 응대 시점, 상기 고객을 응대할 응대 주체 및 응대 종류를 결정하는 단계; 및
   상기 응대 시점, 응대 주체 및 응대 종류 중 적어도 하나를 이용하여 상기 응대 방법을 결정하는 단계; 를 포함하는, 방법.
9. 제5항에 있어서,
   상기 고객의 선호 정보는 상기 진열 정보에 상기 응시 시간에 관한 정보를 반영함으로써 지도 형태로 생성되고, 상기 고객의 선호 정보는 상기 매장 내 소정의 진열 영역 별 및 상기 매장 내 물품 별로 생성되는 것인, 방법.
10. 제5항에 있어서,
    상기 진열 정보는 상기 매장 내 배치된 물품의 위치에 관한 정보, 상기 물품을 배치하기 위한 진열대의 위치에 관한 정보 및 상기 고객의 영상을 획득하기 위한 카메라의 위치에 관한 정보 중 적어도 하나를 포함하고,
    상기 방법은 상기 획득된 고객의 선호 정보를 기초로 상기 진열 정보를 갱신하기 위한 안내 정보를 제공하는 단계; 를 더 포함하는, 방법.
11. 제6항에 있어서,
    상기 프로필 정보는 상기 고객의 얼굴 특징에 기초하여 결정되는 상기 고객의 나이 정보 및 상기 고객의 성별 정보 중 적어도 하나를 포함하고,
    상기 행동 정보는 상기 고객의 얼굴 특징 및 신체 특징 중 적어도 하나에 기초하여 결정되는 상기 고객의 표정 정보 및 상기 고객의 제스처 정보 중 적어도 하나를 포함하는 것인, 방법.
12. 매장 내의 고객에 대한 응대 방법을 제공하는 전자 장치에 있어서,
    통신 인터페이스;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 하나 이상의 인스트럭션을 실행함으로써 상기 전자 장치를 제어하는 프로세서; 를 포함하고,
    상기 프로세서는 상기 매장 내에 설치된 적어도 하나의 카메라로부터 상기 고객을 촬영한 영상을 획득하고,
    상기 영상을 제공한 카메라의 식별 값을 획득하고,
    상기 영상 내 상기 고객의 얼굴 특징에 기초하여 상기 고객이 응시하는 응시 방향을 결정하고,
    상기 매장 내 물품의 진열 정보를 획득하고,
    상기 진열 정보에 기초하여 상기 카메라의 주변의 진열 물품들 중에서 상기 응시 방향에 대응되는 진열 물품을 식별하고,
    상기 식별된 진열 물품과 관련된 응대 방법을 제공하는, 전자 장치.
13. 제12항에 있어서, 상기 프로세서는
    상기 영상에서 상기 고객의 얼굴 영역을 식별하고,
    상기 식별된 얼굴 영역 내 적어도 하나의 오브젝트를 결정하고,
    상기 적어도 하나의 오브젝트를 이용하여 상기 고객의 얼굴의 방향 및 상기 얼굴 내의 눈동자의 방향 중 적어도 하나를 식별하고,
    상기 식별된 얼굴의 방향 및 상기 눈동자의 방향 중 적어도 하나를 이용하여 상기 응시 방향을 결정하는, 전자 장치.
14. 제12항에 있어서, 상기 프로세서는
    상기 획득된 식별 값을 상기 진열 정보에 맵핑함으로써 상기 영상을 제공한 카메라의 위치를 결정하고,
    상기 영상 내 상기 고객의 위치를 식별하고,
    상기 식별된 고객의 위치, 상기 결정된 카메라의 위치 및 상기 응시 방향에 대응되는 상기 진열 물품을 식별하는, 전자 장치.
15. 제14항에 있어서, 상기 프로세서는
    상기 영상 내 상기 고객의 위치 및 상기 결정된 카메라의 위치에 기초하여, 상기 카메라와 상기 고객 사이의 거리를 결정하고,
    상기 결정된 거리 및 상기 응시 방향에 대응되는 상기 매장 내 위치를 식별하고,
    상기 결정된 거리 및 상기 응시 방향에 대응되는 상기 매장 내 위치를 상기 진열 정보에 맵핑함으로써 상기 진열 물품을 식별하는, 전자 장치.
16. 제12항에 있어서, 상기 프로세서는
    상기 영상 내 상기 고객의 얼굴 특징에 기초하여 상기 고객의 프로필 정보를 획득하고,
    상기 고객이 상기 진열 물품을 응시하는 응시 시간에 관한 정보를 획득하고,
    상기 프로필 정보, 상기 응시 시간에 관한 정보 및 상기 진열 정보 중 적어도 하나에 기초하여 상기 매장 내 상기 진열 물품에 대한 상기 고객의 선호 정보를 결정하고,
    상기 결정된 고객의 선호 정보에 기초하여 상기 응대 방법을 결정하는, 전자 장치.
17. 제16항에 있어서, 상기 프로세서는
    상기 영상 내 상기 고객의 신체 특징에 기초하여 상기 고객의 행동 정보를 획득하고,
    상기 획득된 행동 정보, 상기 프로필 정보, 상기 응시 시간에 관한 정보 및 상기 진열 정보 중 적어도 하나에 기초하여 상기 고객의 선호 정보를 결정하는, 전자 장치.
18. 제16항에 있어서, 상기 프로세서는
    상기 프로필 정보, 상기 행동 정보, 상기 고객의 선호 정보에 기초하여 상기 고객을 응대 하기 위한 응대 시점, 상기 고객을 응대할 응대 주체 및 응대 종류를 결정하고,
    상기 응대 시점, 응대 주체 및 응대 종류 중 적어도 하나를 이용하여 상기 응대 방법을 결정하는, 전자 장치.
19. 제17항에 있어서,
    상기 고객의 선호 정보는 상기 진열 정보에 상기 응시 시간에 관한 정보를 반영함으로써 지도 형태로 생성되고, 상기 고객의 선호 정보는 상기 매장 내 소정의 진열 영역 별 및 상기 매장 내 물품 별 생성되며,
    상기 진열 정보는 상기 매장 내 배치된 물품의 위치에 관한 정보, 상기 물품을 배치하기 위한 진열대의 위치에 관한 정보 및 상기 고객의 영상을 획득하기 위한 카메라의 위치에 관한 정보 중 적어도 하나를 포함하고,
    상기 프로필 정보는 상기 고객의 얼굴 특징에 기초하여 결정되는 상기 고객의 나이 정보 및 상기 고객의 성별 정보 중 적어도 하나를 포함하며,
    상기 행동 정보는 상기 고객의 얼굴 특징 및 신체 특징 중 적어도 하나에 기초하여 결정되는 상기 고객의 표정 정보 및 상기 고객의 제스처 정보 중 적어도 하나를 포함하고,
    상기 프로세서는, 상기 획득된 고객의 선호 정보를 기초로 상기 진열 정보를 갱신하기 위한 안내 정보를 더 제공하는, 전자 장치.
20. 매장 내에 설치된 적어도 하나의 카메라로부터 고객을 촬영한 영상을 획득하는 동작;
    상기 영상을 제공한 카메라의 식별 값을 획득하는 동작;
    상기 영상 내 상기 고객의 얼굴 특징에 기초하여 상기 고객이 응시하는 응시 방향을 결정하는 동작;
    상기 매장 내 물품의 진열 정보를 획득하는 동작;
    상기 진열 정보에 기초하여 상기 카메라 주변의 진열 물품들 중에서 상기 응시 방향에 대응되는 진열 물품을 식별하는 동작; 및
    상기 진열 물품과 관련된 응대 방법을 제공하는 동작을 수행하도록 하는 프로그램이 저장된 기록 매체를 포함하는 컴퓨터 프로그램 제품.

Images