KR101577751B1 - 정보 관리를 위한 장치 및 방법 - Google Patents

정보 관리를 위한 장치 및 방법 Download PDF

Info

Publication number
KR101577751B1
KR101577751B1 KR1020140014433A KR20140014433A KR101577751B1 KR 101577751 B1 KR101577751 B1 KR 101577751B1 KR 1020140014433 A KR1020140014433 A KR 1020140014433A KR 20140014433 A KR20140014433 A KR 20140014433A KR 101577751 B1 KR101577751 B1 KR 101577751B1
Authority
KR
South Korea
Prior art keywords
area
display area
merchandise display
weight
region
Prior art date
Application number
KR1020140014433A
Other languages
English (en)
Other versions
KR20150093532A (ko
Inventor
정지년
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020140014433A priority Critical patent/KR101577751B1/ko
Publication of KR20150093532A publication Critical patent/KR20150093532A/ko
Application granted granted Critical
Publication of KR101577751B1 publication Critical patent/KR101577751B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에 따르면, 고객 정보 관리 장치가 고객 정보를 관리하는 방법이 제공된다. 상기 고객 정보 관리 장치는, 매장 내의 일부 또는 전체 영역을 촬영한다. 그리고 상기 고객 정보 관리 장치는, 상기 촬영 영상에서 적어도 하나의 상품 진열 영역을 설정한다. 그리고 상기 고객 정보 관리 장치는, 상기 촬영 영상으로부터 사람 객체를 추출하고, 상기 사람 객체의 시선을 추정한다. 그리고 상기 고객 정보 관리 장치는, 상기 추정된 시선을 이용해, 상기 상품 진열 영역에 대한 관심도를 계산한다.

Description

정보 관리를 위한 장치 및 방법{METHOD AND APPARATUS FOR MANAGING INFORMATION}
본 발명은 정보를 관리하는 장치 및 방법에 관한 것이다. 더욱 구체적으로, 본 발명은 얼굴 정보 분석에 기초하여 고객 정보를 관리하는 장치 및 방법에 관한 것이다.
기존의 얼굴 인식을 이용한 고객 정보 관리 방법은 얼굴 등록 과정 등과 같은 고객의 협조를 필요로 하는 과정을 포함한다. 그러나 대다수의 고객이 개인 정보 유출에 민감하기 때문에, 사진 촬영에 비협조적인 경우가 많다. 따라서, 기존의 고객 정보 관리 방법은 적용에 한계가 있다. 또한, 기존의 고객 정보 관리 방법은 고객의 실제 구매 행위가 발생해야 고객 정보를 취득할 수 있으므로, 기존의 고객 정보 관리 방법에 의해 취득될 수 있는 정보는 제한적이다.
본 발명이 해결하고자 하는 과제는, 고객의 인위적인 협조 없이 고객 정보를 관리할 수 있는 방법 및 장치를 제공하는 것이다.
본 발명의 실시예에 따르면, 고객 정보 관리 장치가 고객 정보를 관리하는 방법이 제공된다. 상기 관리 방법은, 매장 내의 일부 또는 전체 영역을 촬영하는 단계; 상기 촬영 영상에서 적어도 하나의 상품 진열 영역을 설정하는 단계; 상기 촬영 영상으로부터 사람 객체를 추출하고, 상기 사람 객체의 시선을 추정하는 단계; 및 상기 추정된 시선을 이용해, 상기 상품 진열 영역에 대한 관심도를 계산하는 단계를 포함한다.
상기 설정하는 단계는, 상기 상품 진열 영역의 위치와 상기 상품 진열 영역에 진열되는 상품의 종류를 설정하는 단계를 포함할 수 있다.
상기 추정하는 단계는, 상기 촬영 영상으로부터 상기 사람 객체의 얼굴을 검출하는 단계; 및 상기 검출된 얼굴의 포즈를 추정하여, 상기 사람 객체의 시선을 추측하는 단계를 포함할 수 있다.
상기 추정하는 단계는, 상기 상품 진열 영역에 대하여, 상기 사람 객체의 시선이 머무른 시간을 계산하는 단계를 더 포함할 수 있다.
상기 추정하는 단계는, 상기 검출된 얼굴을 분석하여, 상기 사람 객체의 성별, 연령, 및 인종 중 적어도 어느 하나를 포함하는 객체 정보를 생성하는 단계를 더 포함할 수 있다.
상기 추정하는 단계는, 상기 사람 객체의 시선 영역을 적어도 하나의 제1 영역으로 분할하는 단계를 더 포함할 수 있다. 그리고 상기 관심도를 계산하는 단계는, 상기 제1 영역 각각에 할당된 가중치와 상기 시간 정보를 이용해, 상기 상품진열 영역에 대한 관심도를 계산하는 단계를 포함할 수 있다.
상기 관리 방법은, 상기 상품 진열 영역에 대한 관심도를 성별, 연령, 및 인종 중 적어도 어느 하나를 기준으로 수집하는 단계를 더 포함할 수 있다.
상기 관리 방법은, 상기 수집된 관심도를 가공하여, 사용자가 원하는 정보를 생성하는 단계를 더 포함할 수 있다.
상기 관리 방법은, 상기 사용자가 원하는 정보를 상기 촬영 영상에 오버레이(overlay)하여 출력하는 단계를 더 포함할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 정보 관리 장치가 제공된다. 상기 정보 관리 장치는, 매장 내의 일부 영역 또는 전체 영역을 촬영하는 촬영부; 상기 촬영부에 의해 촬영된 영상에서 적어도 하나의 상품 진열 영역을 설정하는 설정부; 상기 촬영부에 의해 촬영된 영상으로부터 객체를 추출하고, 상기 추출된 객체의 시선을 추정하는 추정부; 및 상기 추정된 시선을 이용해, 상기 상품 진열 영역에 대한 관심도를 계산하는 계산부를 포함한다.
또한, 본 발명의 또 다른 실시예에 따르면, 정보 관리 장치가 제공된다. 상기 정보 관리 장치는 매장 내의 일부 영역 또는 전체 영역을 촬영하는 촬영부; 상기 촬영부에 의해 촬영된 영상에서 적어도 하나의 상품 진열 영역을 설정하는 설정부; 상기 촬영부에 의해 촬영된 영상으로부터 객체를 추출하고, 상기 추출된 객체의 시선을 추정하는 추정부; 및 상기 추정된 시선을 이용해, 상기 상품 진열 영역에 대한 관심도를 계산하는 계산부를 포함한다. 여기서 상기 계산부는, 시선 가중치와 상기 추정된 시선이 상기 상품 진열 영역에 머무른 시간 정보를 이용해, 상기 상품 진열 영역에 대한 관심도를 계산한다. 상기 시선 가중치는 상기 추정된 시선의 영역에 포함되는 적어도 하나의 영역에 할당된다.
본 발명은 고객의 인위적인 협조가 없더라도, 감시 카메라에 의해 촬영된 영상으로부터 얼굴의 위치 포즈를 추정하여, 성별, 연령, 또는 인종 별 관심 매대를 분석할 수 있다. 따라서, 본 발명의 실시예에 따르면 고객의 별도 협조 없이도 고객의 관심 매대 또는 관심 상품을 분석할 수 있어, 더욱 효율적으로 매대를 구성할 수 있다. 이를 통해, 매출을 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 고객의 시선을 분석하여 광고물을 효과적으로 배치할 수 있다. 이를 통해, 광고 효과를 극대화할 수 있고, 광고 유치를 촉진할 수 있다.
또한, 본 발명의 실시예에 따른 솔루션을 매장에 적용함으로써, 리테일 솔루션의 경쟁력을 더욱 강화할 수 있다.
도 1은 본 발명의 실시예에 따른 정보 관리 장치를 나타내는 도면이다.
도 2는 도 1의 설정부에 의한 매대 설정의 일예를 나타내는 도면이다.
도 3은 도 1의 추정부에 의한 시선 추정의 일예를 나타내는 도면이다.
도 4는 도 1의 출력부에 의한 출력의 일예를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 정보 관리 장치가 정보를 관리하는 과정을 나타내는 순서도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명은 매장에 설치된 카메라(예, 감시 카메라)의 영상으로부터 고객의 모습을 촬영한다. 그리고, 본 발명은 촬영된 고객 얼굴의 위치로부터 고객의 위치 정보를 획득한다. 그리고 본 발명은 검출된 얼굴의 포즈 추정을 통해서, 고객의 시선이 어느 쪽을 향하고 있는지를 확인하고, 시선이 향한 매대를 추정한다. 한편, 이와 더불어, 본 발명은 촬영된 얼굴 영상을 분석하여, 고객의 성별, 연령, 또는 인종 등의 정보를 추출하고, 추출된 정보를 고객의 위치, 및 시선이 향한 매대의 위치와 함께 기록한다. 그리고 본 발명은 기록된 정보를 가공하여, 사용자(예, 매장 관리자)가 원하는 형태(예, 40~50세 남성이 가장 많이 관심을 가지는 매대에 대한 정보)로 제공한다. 이하에서는 도 1 내지 도 5를 참고하여, 본 발명을 자세히 설명한다.
도 1은 본 발명의 실시예에 따른 정보 관리 장치(100)를 나타내는 도면이다.
정보 관리 장치(100)는 촬영부(110), 설정부(120), 추정부(130), 계산부(140), 분석부(150), 및 출력부(160)를 포함할 수 있다.
촬영부(110)는 매장 내의 일부 영역 또는 전체 영역을 촬영한다. 구체적으로 촬영부(110)는 CCTV(Closed Circuit Television) 카메라를 포함할 수 있다.
설정부(120)는 촬영부(110)에 의해 촬영된 영상에서 적어도 하나의 상품 진열 영역을 설정한다. 여기서 상품 진열 영역은 매장 내에 상품이 진열된 영역으로써, 매대일 수 있다. 구체적으로 설정부(120)는 GUI(Graphical user interface)를 통한 사용자의 입력에 기초해, 촬영 영상에서 각 매대의 위치와 종류(예, 빵류 매대, 과자류 매대, 사탕류 매대, 주류 매대 등)를 설정할 수 있다. 설정부(120)는 설정된 매대의 위치와 종류를 저장한다. 설정부(120)의 매대 설정 동작에 대해서는 도 2를 참고하여 자세히 설명한다.
추정부(130)는 촬영부(110)에 의해 촬영된 영상(예, DVR(Digital Video Recorder에 의해 기록된 영상)으로부터 객체를 검출하고, 상기 객체의 시선을 추정한다. 구체적으로, 추정부(130)는 촬영 영상으로부터 객체의 얼굴을 검출하고, 검출된 얼굴의 포즈를 추정한다. 그리고 추정부(130)는 얼굴 검출과 얼굴 포즈 추정을 통해, 촬영 영상에 포함된 고객이 관심을 가지는 매대를 판단한다. 즉, 추정부(130)는 검출된 객체의 시선이 촬영 영상 내의 매대 중에서 어느 매대를 향하고 있는지를 판단한다. 그리고 추정부(130)는 검출된 객체의 시선이 해당 매대에 머무른 시간을 누적하여 기록한다. 한편, 얼굴 포즈 추정에 의한 시선 추적의 정확도를 더욱 높이기 위하여, 추정부(130)는 시선 영역을 적어도 하나의 세부 영역으로 분할하고, 분할된 세부 영역에 가중치를 다르게 할당할 수 있다. 추정부(130)의 가중치 할당에 대해서는 도 3을 참고하여 자세히 설명한다. 한편, 추정부(130)는 검출된 객체를 분석하여, 검출된 객체의 성별, 연령, 또는 인종을 추정할 수 있다.
계산부(140)는 추정부(130)에 의해 추정된 객체의 시선 정보를 이용해, 각 매대에 대한 관심도를 계산한다. 구체적으로 계산부(140)는 객체의 시선이 특정 매대에 머무른 시간 정보와 시선 영역의 세부 영역 별로 할당된 가중치를 이용해, 해당 매대에 대한 관심도를 계산할 수 있다. 예를 들어, 계산부(140)는 아래의 수학식 1과 같이, 특정 매대에 대한 관심도를 계산할 수 있다.
Figure 112014012428354-pat00001
여기서, ij는 매대 j(예, 주류 매대 등)에 대한 관심도이고, n은 고객의 얼굴 검출 이벤트의 인덱스이고, N은 얼굴 검출 이벤트의 발생 횟수이다. 그리고 tn은 통계 분석의 대상 부류(예, 남성 등)에 해당하는 불특정 고객의 시선이 매대 j에 머무른 시간이고, wn은 시선 가중치이다. ij는 연령 별, 성 별, 또는 인종 별 등과 같은 기준에 따라 계산될 수 있다. 예를 들어, ij는 기준이 30대 연령인 경우에 30대 연령의 고객이 매대 j에 대해서 얼마나 관심을 가지고 있는지를 나타낼 수 있고, 또는 기준이 아시아인인 경우에 아시아인의 고객이 매대 j에 대해서 얼마나 관심을 가지고 있는지를 나타낼 수 있다. N은 기준에 따라 그 값이 달라진다. 예를 들어, 기준이 40대 연령인 경우에 N의 값은 40대 연령의 고객에 대한 얼굴 검출 이벤트의 발생 횟수일 수 있고, 기준이 남성인 경우에 N의 값은 남성 고객에 대한 얼굴 검출 이벤트의 발생 횟수일 수 있다.
분석부(150)는 각 매대에 대한 관심도를 성별, 연령, 및 인종 중 적어도 어느 하나의 기준으로 수집한다. 구체적으로, 분석부(150)는 각 매대에 대한 관심도를 객체의 성별, 연령, 또는 인종 정보와 결합하여, 성별 별, 연령 별, 또는 인종 별로 각 매대에 대한 관심도를 수집할 수 있다. 한편, 분석부(150)는 수집된 각 매대에 대한 관심도를 가공하여, 사용자가 원하는 정보를 생성할 수 있다. 구체적으로, 분석부(150)는 각 매대에 대한 성별, 연령 별, 또는 인종 별 누적 관심도를 가공하여, 매장 관리자가 활용할 수 있는 형태의 정보(이하 '관심 매대 정보')를 생성할 수 있다.
출력부(160)는 관심 매대 정보를 출력한다. 예를 들어, 출력부(160)에 의해 출력되는 관심 매대 정보는 아래의 표 1과 같이, 도표 형태일 수 있다.
남 여 성별 미상 전체
주류 0.2 0.2 0.3 0.25
사탕류 0.4 0.3 0.2 0.3
과자류 0.3 0.4 0.3 0.3
빵류 0.1 0.1 0.2 0.15
계 1.0 1.0 1.0 1.0
표 1은 관심 매대 정보의 일예로써, 각 매대에 대한 성별 관심도 정보이다. 여기서, 매대 별 관심도는 매대 별 관심도의 합이 1이 되도록 정규화될 수 있다. 한편, 출력부(160)는 관심 매대 정보를 촬영부(110)에 의해 촬영된 영상에 오버레이(overlay)하여 출력할 수도 있다. 출력부(160)에 의한 오버레이 출력에 대해서는 도 4와 함께 자세히 설명한다.
도 2는 도 1의 설정부(120)에 의한 매대 설정의 일예를 나타내는 도면이다.
도 2에 예시된 바와 같이, 설정부(120)는 촬영 영상에서 각 매대(P1~P4)의 위치를 설정하고, 각 매대(P1~P4)의 종류(예, 빵류, 과자류, 사탕류, 주류)를 설정할 수 있다.
도 3은 도 1의 추정부(130)에 의한 시선 추정의 일예를 나타내는 도면이다.
도 3에 예시된 바와 같이, 추정부(130)는 시선 영역을 중심부 영역(R2), 및 주변부 영역(R1, R3)으로 분할할 수 있다. 그리고 추정부(130)는 주변부 영역(R1, R3) 보다 중심부 영역(R2)에 더 높은 가중치를 할당할 수 있다. 도 3에서는 설명의 편의를 위해서, 중심부 영역(R2)에 가중치를 1.0으로 할당하고, 주변부 영역(R1, R3)에 가중치를 0.5로 할당한 경우를 예시하였다. 도 3과 같이, 시선 영역에 포함된 세부 영역(R1~R3)에 가중치를 서로 다르게 할당함으로써, 추정부(130)에 의한 시선 통계 추정의 신뢰도를 높일 수 있다. 추정부(130)는 하나의 매대(예, P1)를 바라보는 시선의 영역이 구체적으로 중심부 영역(R2), 및 주변부 영역(R1, R3) 중 어느 영역인 지를 판단한다. 판단된 영역(예, R2)에 할당된 시선 가중치(예, 1.0)는 계산부(140)의 계산 과정 시에 이용된다. 한편, 하나의 매대(예, P1)에 2 이상의 세부 영역(예, R1, R2)이 걸쳐져 있는 경우에, 추정부(130)는 해당 세부 영역(R1, R2) 중에서 어느 세부 영역이 더 넓게 걸쳐져 있는 지를 판단한다. 또는 하나의 매대(예, P1)에 2 이상의 세부 영역(예, R1, R2)이 걸쳐져 있는 경우에, 추정부(130)는 내삽법(interpolation)을 이용해, 해당 세부 영역(R1, R2)의 걸쳐진 영역의 크기 비율에 따라 새로운 시선 가중치를 계산할 수도 있다. 예를 들어, 어느 한 매대(예, P1)를 바라보는 시선의 영역이 중심부 영역(R2)과 주변부 영역(R1)이고, 주변부 영역(R1)의 걸쳐진 영역 크기가 A1이고, 중심부 영역(R2)의 걸쳐진 영역 크기가 A2라면, 새로운 시선 가중치(w')는 아래의 수학식 2와 같이 계산될 수 있다.
Figure 112014012428354-pat00002
수학식 2와 같이 계산된 시선 가중치(w')는 계산부(140)의 계산 과정 시에 이용될 수 있다. 한편, 시선 영역의 분할 및 가중치 할당은 얼굴 포즈 추정 방법의 정확도에 따라, 도 3의 예에 비해, 더 세분화되거나 단순화될 수 있다.
도 4는 도 1의 출력부(160)에 의한 출력의 일예를 나타내는 도면이다.
도 4에 예시된 바와 같이, 출력부(160)는 관심 매대 정보를 촬영 영상(예, CCTV 화면)에 오버레이함으로써 시각화하여, 사용자에게 제공할 수 있다. 도 4에서는 관심 매대 정보가 각 매대(P1~P4)에 대한 남성 고객의 관심도 정보(예, P1에 대한 관심도는 0.1, P2에 대한 관심도는 0.3, P3에 대한 관심도는 0.4, P4에 대한 관심도는 0.2)인 경우를 예시하였다. 한편, 출력부(160)는 각 매대(P1~P4)에 대한 관심도에 따라, 각 매대(P1~P4) 영역의 음영의 농도를 다르게 표시할 수 있다.
도 5는 본 발명의 실시예에 따른 정보 관리 장치(100)가 정보를 관리하는 과정을 나타내는 순서도이다.
정보 관리 장치(100)는 매장의 일부 영역 또는 전체 영역을 촬영한다(S110).
정보 관리 장치(100)는 촬영 영상에서 적어도 하나의 매대(예, P1~P4)의 위치 및 종류를 설정한다(S120).
정보 관리 장치(100)는 촬영 영상으로부터 객체의 얼굴을 추출하고, 추출된 얼굴의 포즈를 추정하고, 추정된 얼굴 포즈를 이용해 객체의 시선을 추정한다(S130).
정보 관리 장치(100)는 객체의 시선 정보(예, 객체의 시선이 특정 매대에 머무른 시간 정보, 시선 가중치 등)를 이용해, 각 매대(P1~P4)에 대한 관심도를 계산한다(S140).
정보 관리 장치(100)는 각 매대(P1~P4)에 대한 성별, 연령 별, 또는 인종 별 누적 관심도를 가공하여, 사용자(예, 매장 관리자)가 원하는 형태의 정보를 생성한다(S150).
한편, 사용자(예, 매장 관리자)는 본 발명의 실시예에 따른 장치 관리 방법 및 장치에 의해 생성되는 관심 매대 정보를 바탕으로, 매대(예, P1~P4)의 위치를 재조정하거나, 전략 품목을 결정하거나, 홍보물(광고물)의 배치를 결정하는 등을 수행할 수 있다.
한편, 본 발명의 실시예에 따른 정보(고객 정보) 관리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은, 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용해 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함될 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (18)

  1. 고객 정보 관리 장치가 고객 정보를 관리하는 방법으로서,
    매장 내의 일부 또는 전체 영역을 촬영하는 단계;
    상기 촬영 영상에서 적어도 하나의 상품 진열 영역을 설정하는 단계;
    상기 촬영 영상으로부터 사람 객체를 추출하고, 상기 사람 객체의 시선을 추정하는 단계; 및
    상기 추정된 시선을 이용해, 상기 상품 진열 영역에 대한 관심도를 계산하는 단계를 포함하고,
    상기 추정하는 단계는,
    상기 상품 진열 영역에 대하여, 상기 사람 객체의 시선이 머무른 시간을 계산하는 단계; 및
    상기 사람 객체의 시선 영역을 복수의 제1 영역으로 분할하는 단계를 포함하고,
    상기 관심도를 계산하는 단계는,
    상기 복수의 제1 영역 각각에 할당된 가중치와 상기 시간 정보를 이용해, 상기 상품진열 영역에 대한 관심도를 계산하는 단계를 포함하는
    관리 방법.
  2. 제1항에 있어서,
    상기 복수의 제1 영역은 상기 시선 영역의 중심에 해당하는 중심 영역과 상기 중심 영역의 주변에 해당하는 주변 영역을 포함하고,
    상기 가중치 중 상기 중심 영역에 할당된 제1 가중치는 상기 가중치 중 상기 주변 영역에 할당된 제2 가중치 보다 높고,
    상기 설정하는 단계는
    상기 상품 진열 영역의 위치와 상기 상품 진열 영역에 진열되는 상품의 종류를 설정하는 단계를 포함하는
    관리 방법.
  3. 제2항에 있어서,
    상기 추정하는 단계는
    상기 촬영 영상으로부터 상기 사람 객체의 얼굴을 검출하는 단계;
    상기 검출된 얼굴의 포즈를 추정하여, 상기 사람 객체의 시선을 추측하는 단계; 및
    상기 사람 객체의 시선이 상기 상품진열 영역을 향하고 있는 경우에, 상기 시선 영역 중 상기 상품진열 영역을 향하고 있는 영역이 상기 중심 영역인지 또는 상기 주변 영역인지를 판단하는 단계를 포함하는
    관리 방법.
  4. 제3항에 있어서,
    상기 추정하는 단계는
    상기 시선 영역 중 상기 중심 영역과 상기 주변 영역 모두가 상기 상품진열 영역을 향하고 있는 경우에, 상기 중심 영역 중 상기 상품진열 영역을 향하고 있는 영역의 제1 크기와 상기 주변 영역 중 상기 상품진열 영역을 향하고 있는 영역의 제2 크기를 판단하는 단계; 및
    상기 제1 크기 및 상기 제2 크기를 이용해 제3 가중치를 계산하는 단계를 더 포함하는
    관리 방법.
  5. 제4항에 있어서,
    상기 추정하는 단계는
    상기 검출된 얼굴을 분석하여, 상기 사람 객체의 성별, 연령, 및 인종 중 적어도 어느 하나를 포함하는 객체 정보를 생성하는 단계를 더 포함하고,
    상기 제3 가중치를 계산하는 단계는,
    아래의 수학식 1을 이용해 상기 제3 가중치를 계산하는 단계를 포함하는
    관리 방법.
    [수학식 1]
    Figure 112015048563961-pat00008

    (W3: 상기 제3 가중치, W1: 상기 제1 가중치, W2: 상기 제2 가중치, A1: 상기 제1 크기, A2: 상기 제2 크기)
  6. 삭제
  7. 제5항에 있어서,
    상기 상품 진열 영역에 대한 관심도를 성별, 연령, 및 인종 중 적어도 어느 하나를 기준으로 수집하는 단계를 더 포함하고,
    상기 복수의 제1 영역 각각에 할당된 가중치와 상기 시간 정보를 이용해 상기 상품진열 영역에 대한 관심도를 계산하는 단계는,
    상기 시선 영역 중 상기 중심 영역이 상기 상품진열 영역을 향하고 있는 경우에, 상기 가중치 중 상기 제1 가중치를 선택하는 단계;
    상기 시선 영역 중 상기 주변 영역이 상기 상품진열 영역을 향하고 있는 경우에, 상기 가중치 중 상기 제2 가중치를 선택하는 단계;
    상기 시선 영역 중 상기 중심 영역과 상기 주변 영역 모두가 상기 상품진열 영역을 향하고 있는 경우에, 상기 제3 가중치를 선택하는 단계; 및
    아래의 수학식 2를 이용해 상기 상품진열 영역에 대한 관심도를 계산하는 단계를 포함하는
    관리 방법.
    [수학식 2]
    Figure 112015048563961-pat00009

    (i: 상기 상품진열 영역에 대한 관심도, N: 얼굴 검출 횟수, tn: n 번째 얼굴 검출에 대응하는 사람 객체의 시선이 상기 상품진열 영역에 머무른 시간, wn: 상기 제1 내지 제3 가중치 중 n번째 얼굴 검출에 대응하는 사람 객체의 시선을 위해 선택된 가중치)
  8. 제7항에 있어서,
    상기 수집된 관심도를 가공하여, 사용자가 원하는 정보를 생성하는 단계를 더 포함하는
    관리 방법.
  9. 제8항에 있어서,
    상기 사용자가 원하는 정보를 상기 촬영 영상에 오버레이(overlay)하여 출력하는 단계를 더 포함하는
    관리 방법.
  10. 매장 내의 일부 영역 또는 전체 영역을 촬영하는 촬영부;
    상기 촬영부에 의해 촬영된 영상에서 적어도 하나의 상품 진열 영역을 설정하는 설정부;
    상기 촬영부에 의해 촬영된 영상으로부터 객체를 추출하고, 상기 추출된 객체의 시선을 추정하고, 상기 객체의 시선 영역을 복수의 제1 영역으로 분할하고, 상기 객체의 시선이 상기 상품 진열 영역에 머무른 시간을 계산하는 추정부; 및
    상기 추정된 시선, 상기 복수의 제1 영역 각각에 할당된 가중치, 그리고 상기 시간 정보를 이용해, 상기 상품 진열 영역에 대한 관심도를 계산하는 계산부를 포함하는
    정보 관리 장치.
  11. 제10항에 있어서,
    상기 복수의 제1 영역은 상기 객체의 시선 영역의 중심에 해당하는 중심 영역과 상기 중심 영역의 주변에 해당하는 주변 영역을 포함하고,
    상기 가중치 중 상기 중심 영역에 할당된 제1 가중치는 상기 가중치 중 상기 주변 영역에 할당된 제2 가중치 보다 높고,
    상기 설정부는,
    상기 상품 진열 영역의 위치와 상기 상품 진열 영역에 진열되는 상품의 종류를 설정하는
    정보 관리 장치.
  12. 제11항에 있어서,
    상기 추정부는
    상기 촬영부에 의해 촬영된 영상으로부터 상기 객체의 얼굴을 검출하고,
    상기 검출된 얼굴의 포즈를 추정하고,
    상기 추정된 얼굴 포즈를 이용해, 상기 객체의 시선을 추정하고,
    상기 상품 진열 영역에 대하여, 상기 객체의 시선이 머무른 시간을 계산하고,
    상기 객체의 시선이 상기 상품 진열 영역을 향하고 있는 경우에, 상기 객체의 시선 영역 중 상기 상품 진열 영역을 향하고 있는 영역이 상기 중심 영역인지 또는 상기 주변 영역인지를 판단하는
    정보 관리 장치.
  13. 제12항에 있어서,
    상기 추정부는
    상기 검출된 얼굴을 분석하여, 상기 객체의 성별, 연령, 및 인종 중 적어도 어느 하나를 포함하는 객체 정보를 생성하고,
    상기 객체의 시선 영역 중 상기 중심 영역과 상기 주변 영역 모두가 상기 상품 진열 영역을 향하고 있는 경우에, 상기 중심 영역 중 상기 상품 진열 영역을 향하고 있는 영역의 제1 크기와 상기 주변 영역 중 상기 상품 진열 영역을 향하고 있는 영역의 제2 크기를 판단하고, 상기 제1 크기 및 상기 제2 크기를 이용해 제3 가중치를 계산하는
    정보 관리 장치.
  14. 삭제
  15. 제13항에 있어서,
    상기 상품 진열 영역에 대한 관심도를 성별, 연령, 및 인종 중 적어도 어느 하나의 기준으로 수집하는 분석부를 더 포함하고,
    상기 추정부는
    아래의 수학식 1을 이용해 상기 제3 가중치를 계산하는
    정보 관리 장치.
    [수학식 1]
    Figure 112015048563961-pat00010

    (W3: 상기 제3 가중치, W1: 상기 제1 가중치, W2: 상기 제2 가중치, A1: 상기 제1 크기, A2: 상기 제2 크기)
  16. 제15항에 있어서,
    상기 분석부는
    상기 수집된 관심도를 가공하여, 사용자가 원하는 정보를 생성하고,
    상기 계산부는,
    상기 객체의 시선 영역 중 상기 중심 영역이 상기 상품 진열 영역을 향하고 있는 경우에, 상기 가중치 중 상기 제1 가중치를 선택하고, 상기 객체의 시선 영역 중 상기 주변 영역이 상기 상품 진열 영역을 향하고 있는 경우에, 상기 가중치 중 상기 제2 가중치를 선택하고, 상기 객체의 시선 영역 중 상기 중심 영역과 상기 주변 영역 모두가 상기 상품 진열 영역을 향하고 있는 경우에, 상기 제3 가중치를 선택하는
    정보 관리 장치.
  17. 제16항에 있어서,
    상기 사용자가 원하는 정보를 상기 촬영부에 의해 촬영된 영상에 오버레이하여 출력하는 출력부를 더 포함하고,
    상기 계산부는,
    아래의 수학식 2를 이용해 상기 상품 진열 영역에 대한 관심도를 계산하는
    정보 관리 장치.
    [수학식 2]
    Figure 112015048563961-pat00011

    (i: 상기 상품 진열 영역에 대한 관심도, N: 얼굴 검출 횟수, tn: n 번째 얼굴 검출에 대응하는 객체의 시선이 상기 상품 진열 영역에 머무른 시간, wn: 상기 제1 내지 제3 가중치 중 n번째 얼굴 검출에 대응하는 객체의 시선을 위해 선택된 가중치)
  18. 삭제
KR1020140014433A 2014-02-07 2014-02-07 정보 관리를 위한 장치 및 방법 KR101577751B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140014433A KR101577751B1 (ko) 2014-02-07 2014-02-07 정보 관리를 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140014433A KR101577751B1 (ko) 2014-02-07 2014-02-07 정보 관리를 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150093532A KR20150093532A (ko) 2015-08-18
KR101577751B1 true KR101577751B1 (ko) 2015-12-15

Family

ID=54057410

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140014433A KR101577751B1 (ko) 2014-02-07 2014-02-07 정보 관리를 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101577751B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190007681A (ko) 2017-07-13 2019-01-23 삼성에스디에스 주식회사 매장 분석 장치 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321354B1 (ko) * 2016-01-07 2021-11-03 삼성전자주식회사 서비스를 제공하기 위한 방법 및 그 전자 장치
WO2017165231A1 (en) * 2016-03-22 2017-09-28 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
KR101775995B1 (ko) 2016-09-09 2017-09-19 이상엽 정보 분석 장치 및 정보 분석 방법
KR102434535B1 (ko) * 2019-10-18 2022-08-22 주식회사 메이아이 인터랙션 검출 방법 및 그 장치
KR102375947B1 (ko) * 2020-03-19 2022-03-18 주식회사 메이아이 영상에 기초하여 사람과 상품 간 인터랙션 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102550560B1 (ko) * 2021-04-13 2023-07-03 주식회사 베이리스 인공지능을 이용한 전자 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003701A (ja) * 2007-06-21 2009-01-08 Denso Corp 情報システム及び情報処理装置
JP2009042956A (ja) * 2007-08-08 2009-02-26 Hitachi Ltd 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム
JP2010009444A (ja) * 2008-06-30 2010-01-14 Giken Torasutemu Kk 商品関心度計測装置
JP2014026350A (ja) * 2012-07-24 2014-02-06 Takashi Hirabayashi 関心度計測システム、関心度計測装置及び関心度計測プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003701A (ja) * 2007-06-21 2009-01-08 Denso Corp 情報システム及び情報処理装置
JP2009042956A (ja) * 2007-08-08 2009-02-26 Hitachi Ltd 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム
JP2010009444A (ja) * 2008-06-30 2010-01-14 Giken Torasutemu Kk 商品関心度計測装置
JP2014026350A (ja) * 2012-07-24 2014-02-06 Takashi Hirabayashi 関心度計測システム、関心度計測装置及び関心度計測プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190007681A (ko) 2017-07-13 2019-01-23 삼성에스디에스 주식회사 매장 분석 장치 및 방법

Also Published As

Publication number Publication date
KR20150093532A (ko) 2015-08-18

Similar Documents

Publication Publication Date Title
KR101577751B1 (ko) 정보 관리를 위한 장치 및 방법
JP6741130B2 (ja) 情報処理システム、情報処理方法及びプログラム
US10839227B2 (en) Queue group leader identification
JP6256885B2 (ja) 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
US10984252B2 (en) Apparatus and method for analyzing people flows in image
JP5866564B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP4881766B2 (ja) カメラ間連結関係情報生成装置
WO2018168095A1 (ja) 人物動向記録装置、人物動向記録方法、及びプログラム
US20180075461A1 (en) Customer behavior analysis device and customer behavior analysis system
US10410333B2 (en) Product monitoring device, product monitoring system, and product monitoring method
US20170300938A1 (en) Commodity monitoring device, commodity monitoring system, and commodity monitoring method
JP6120404B2 (ja) 移動体行動分析・予測装置
US20140278742A1 (en) Store-wide customer behavior analysis system using multiple sensors
US9245247B2 (en) Queue analysis
JP2008112401A (ja) 広告効果測定装置
KR101699479B1 (ko) 매장 혼잡도 분석 시스템 및 방법
TW201344616A (zh) 衣服影像處理系統、衣服影像處理裝置、衣服影像處理方法、電腦程式產品、及資訊記憶媒體
JP2009042956A (ja) 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム
JP7250443B2 (ja) 画像処理装置
JP5780348B1 (ja) 情報提示プログラム及び情報処理装置
WO2010053192A1 (ja) 行動分析装置及び行動分析方法並びに記録媒体
JP2016224800A (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
JP2016201105A (ja) 情報処理装置及び情報処理方法
JP3489491B2 (ja) 人物行動解析装置及び人物行動解析プログラムを記録した記録媒体
JP6516702B2 (ja) 人数集計システム、人数集計方法、及び人数集計結果の閲覧方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 4