KR101490505B1 - 관심도 생성 방법 및 장치 - Google Patents

관심도 생성 방법 및 장치 Download PDF

Info

Publication number
KR101490505B1
KR101490505B1 KR20140085260A KR20140085260A KR101490505B1 KR 101490505 B1 KR101490505 B1 KR 101490505B1 KR 20140085260 A KR20140085260 A KR 20140085260A KR 20140085260 A KR20140085260 A KR 20140085260A KR 101490505 B1 KR101490505 B1 KR 101490505B1
Authority
KR
South Korea
Prior art keywords
index
interest
generating
information
state index
Prior art date
Application number
KR20140085260A
Other languages
English (en)
Inventor
조인제
조훈제
김민규
Original Assignee
주식회사 테라클
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테라클 filed Critical 주식회사 테라클
Priority to KR20140085260A priority Critical patent/KR101490505B1/ko
Application granted granted Critical
Publication of KR101490505B1 publication Critical patent/KR101490505B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 관심도 생성 방법 및 장치에 관한 것이다.
관심도 생성 장치는, 카메라로부터 수신한 객체가 포함된 영상으로부터 객체의 눈과 관련된 제1 신체 상태 정보를, 눈과 관련된 제1 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 객체의 제1 신체 상태 지표를 생성하는 제1 신체 상태 지표 생성 모듈, 객체가 포함된 영상으로부터 객체의 얼굴 특징과 관련된 제2 신체 상태 정보를, 얼굴 특징과 관련된 제2 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 객체의 제2 신체 상태 지표를 생성하는 제2 신체 상태 지표 생성 모듈, 객체가 포함된 영상으로부터 객체의 얼굴 방향과 관련된 제3 신체 상태 정보를, 얼굴 방향과 관련된 제3 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 객체의 제3 신체 상태 지표를 생성하는 제3 신체 상태 지표 생성 모듈, 및 제1 내지 제3 신체 상태 지표 중 적어도 하나로부터 객체가 주시하고 있는 대상에 대한 객체의 관심도와 관련된 대상 이목 지표를 생성하는 대상 이목 지표 생성 모듈을 포함한다.

Description

관심도 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING DEGREES OF CONCERN}
본 발명은 관심도 생성 방법 및 장치에 관한 것이다.
최근 이동통신 단말기의 연산 처리 및 무선 데이터 처리 능력과 디스플레이의 특성이 향상되면서, 게임, 검색 서비스, 쇼핑, 개인 홈페이지 서비스 등을 제공하는 각종 서비스 서버에 무선으로 접속하여 서비스를 제공받는 사용자의 수가 급격하게 증가하고 있는 추세이다. 이에 따라, 개인 PC와 같은 유선 단말기뿐만 아니라 이동통신 단말기에 이르기까지 다양한 부가 서비스를 제공하는 운용자들은 보다 많은 고객을 확보하기 위하여, 서비스 이용에 대한 사용자 편의를 제공하는 방안을 모색하게 되었다.
국내 공개 특허 공보 제2008-0096887
전술한 문제점 및/또는 한계를 해결하기 위해 안출된 것으로, 객체의 신체 상태 정보를 기준 지표에 따라 분석하여 객체가 주시하고 있는 대상에 대한 객체의 관심도와 관련된 대상 이목 지표를 생성하는데 일 목적이 있다.
또한 객체에 대한 움직임 검출 및 추적을 통하여 상기 객체의 이동에 대한 객체의 관심도와 관련된 동선 분석 정보를 생성하는데 일 목적이 있다.
또한 객체에 대한 움직임 검출을 통하여 객체의 움직임 발생 빈도를 서로 다른 색상으로 표시하는 히트맵 정보를 생성하는데 일 목적이 있다.
본 발명의 일 실시 예에 따른 서버에 의한 관심도 생성 방법은, 카메라로부터 수신한 객체가 포함된 영상으로부터 상기 객체의 눈과 관련된 제1 신체 상태 정보를, 상기 눈과 관련되고 상기 객체가 주시하고 있는 대상에 대응되도록 설정된 제1 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 상기 객체의 제1 신체 상태 지표를 생성하는 단계; 상기 객체가 포함된 영상으로부터 상기 객체의 얼굴 특징과 관련된 제2 신체 상태 정보를, 상기 얼굴 특징과 관련되고 상기 객체가 주시하고 있는 대상에 대응되도록 설정된 제2 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 상기 객체의 제2 신체 상태 지표를 생성하는 단계; 상기 객체가 포함된 영상으로부터 상기 객체의 얼굴 방향과 관련된 제3 신체 상태 정보를, 상기 얼굴 방향과 관련 되고 상기 객체가 주시하고 있는 대상에 대응되도록 설정된 제3 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 상기 객체의 제3 신체 상태 지표를 생성하는 단계; 및 상기 제1 내지 제3 신체 상태 지표 중 적어도 하나로부터 상기 객체가 주시하고 있는 대상에 대한 상기 객체의 관심도와 관련된 대상 이목 지표를 생성하는 단계;를 포함할 수 있다.
상기 대상 이목 지표를 생성하는 단계는, 상기 제1 내지 제3 신체 상태 지표 중 적어도 2개의 지표에 서로 다른 가중치를 적용하는 단계;를 포함할 수 있다.
상기 방법은, 상기 카메라로부터 수신한 객체가 포함된 영상으로부터 상기 객체에 대한 움직임 검출 및 추적을 통하여 상기 객체의 이동에 대한 관심도와 관련된 동선 분석 정보를 생성하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 카메라로부터 수신한 객체가 포함된 영상으로부터 상기 객체에 대한 움직임 검출을 통하여 상기 영상 내에서 상기 객체의 움직임 발생 빈도를 서로 다른 색상으로 표시하는 히트맵 정보를 생성단계;를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 서버에 의한 관심도 생성 장치는, 카메라로부터 수신한 객체가 포함된 영상으로부터 상기 객체의 눈과 관련된 제1 신체 상태 정보를, 상기 눈과 관련 되고 상기 객체가 주시하고 있는 대상에 대응되도록 설정된 제1 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 상기 객체의 제1 신체 상태 지표를 생성하는 제1 신체 상태 지표 생성 모듈; 상기 객체가 포함된 영상으로부터 상기 객체의 얼굴 특징과 관련된 제2 신체 상태 정보를, 상기 얼굴 특징과 관련 되고 상기 객체가 주시하고 있는 대상에 대응되도록 설정된 제2 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 상기 객체의 제2 신체 상태 지표를 생성하는 제2 신체 상태 지표 생성 모듈; 상기 객체가 포함된 영상으로부터 상기 객체의 얼굴 방향과 관련된 제3 신체 상태 정보를, 상기 얼굴 방향과 관련 되고 상기 객체가 주시하고 있는 대상에 대응되도록 설정된 제3 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 상기 객체의 제3 신체 상태 지표를 생성하는 제3 신체 상태 지표 생성 모듈; 및 상기 제1 내지 제3 신체 상태 지표 중 적어도 하나로부터 상기 객체가 주시하고 있는 대상에 대한 상기 객체의 관심도와 관련된 대상 이목 지표를 생성하는 대상 이목 지표 생성 모듈;을 포함할 수 있다.
상기 대상 이목 지표 생성 모듈은, 상기 제1 내지 제3 신체 상태 지표 중 적어도 2개의 지표에 서로 다른 가중치를 적용할 수 있다.
상기 장치는, 상기 카메라로부터 수신한 객체가 포함된 영상으로부터 상기 객체에 대한 움직임 검출 및 추적을 통하여 상기 객체의 동선에 대한 상기 객체의 관심도와 관련된 동선 분석 정보를 생성하는 동선 분석 모듈;을 더 포함할 수 있다.
상기 장치는, 상기 카메라로부터 수신한 객체가 포함된 영상으로부터 상기 객체에 대한 움직임 검출을 통하여 상기 영상 내에서 상기 객체의 움직임 발생 빈도를 서로 다른 색상으로 표시하는 히트맵 정보를 생성하는 히트맵 생성 모듈;을 더 포함할 수 있다.
실시 예들에 따르면, 객체의 신체 상태 정보를 기준 지표에 따라 분석하여 객체가 주시하고 있는 대상에 대한 객체의 관심도와 관련된 대상 이목 지표를 생성하여 제공함으로써, 대상 이목 지표를 기반으로 한 다양한 서비스를 제공할 수 있다.
또한 객체에 대한 움직임 검출 및 추적을 통하여 상기 객체의 이동에 대한 객체의 관심도와 관련된 동선 분석 정보를 생성하여 제공함으로써, 동선 분석 정보를 기반으로 한 다양한 서비스를 제공할 수 있다.
또한 객체에 대한 움직임 검출을 통하여 객체의 움직임 발생 빈도를 서로 다른 색상으로 표시하는 히트맵 정보를 생성하여 제공함으로써 히트맵 정보를 기반으로 한 다양한 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 관심도 생성 시스템을 도시한 도면 이다.
도 2는 본 발명의 일 실시 예에 따른 관심도 생성 과정을 설명하기 위한 흐름도 이다.
도 3은 본 발명의 일 실시 예에 따른 관심도 생성 환경의 예를 보이는 도면이다.
도 4는 본 발명의 다른 실시 예에 따른 관심도 생성 환경의 예를 보이는 도면이다.
도 5는 본 발명의 또 다른 실시 예에 따른 관심도 생성 환경의 예를 보이는 도면이다.
도 6은 본 발명의 또 다른 실시 예에 따른 관심도 생성 환경의 예를 보이는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 관심도 생성 서버에서 객체의 제1 신체 상태 정보에 따라 제1 신체 상태 지표를 생성하는 예를 보이는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 관심도 생성 서버에서 객체의 제2 신체 상태 정보에 따라 제2 신체 상태 지표를 생성하는 예를 보이는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 관심도 생성 서버에서 객체의 제3 신체 상태 정보에 따라 제3 신체 상태 지표를 생성하는 예를 보이는 도면이다.
도 10은 본 발명의 다른 실시 예에 따른 관심도 생성 과정을 설명하기 위한 흐름도 이다.
도 11은 본 발명의 일 실시 예에 따른 관심도 생성 서버에서 생성한 객체의 동선 분석 정보의 예를 보이는 도면이다.
도 12는 본 발명의 또 다른 실시 예에 따른 관심도 생성 과정을 설명하기 위한 흐름도 이다.
도 13은 본 발명의 일 실시 예에 따른 관심도 생성 서버에서 생성한 객체에 대한 히트맵 정보의 예를 보이는 도면이다.
도 14는 본 발명의 다른 실시 예에 따른 관심도 생성 서버에서 생성한 객체에 대한 히트맵 정보의 예를 보이는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 관심도 생성 시스템을 도시한 도면 이다.
도 1을 참조하면, 관심도 생성 시스템은 카메라(100), 사용자 단말기(200), 관심도 생성 서버(300) 및 데이터베이스(400)를 포함한다.
카메라(100)는 영상을 촬영하기 위해 특정 장소의 고정된 위치에 배치될 수 있다. 이러한 카메라(100)는 고정렌즈가 구비되어 촬영 범위가 고정된 단일 고정식 카메라로 구성될 수 있고, 또는 촬영 범위가 가변적인 PTZ(pan-tilt-zoom) 카메라로 구성될 수 있으며, 더 나아가 단일 고정식 카메라 및 PTZ 카메라를 함께 구성할 수도 있다. 여기서 PTZ 카메라는 수평 방향으로 회전되는 팬(pan) 동작과 수직 방향으로 회전되는 틸트(tilt) 동작 및 줌인/줌아웃(zoom in/zoom out) 동작에 의해 한 대의 카메라로 다양하게 촬영영역을 용이하게 변경시킬 수 있다. PTZ 카메라는 단일 고정식 카메라에 비해 수평, 수직, 회전이 가능하므로 전 방향을 감지할 수 있고 균일한 해상도를 가진다는 장점을 가지고 있다.
또한 카메라(100)는 노트북, 핸드헬드 장치, 스마트폰, 탭, 태블릿 PC 등의 모바일 단말, 데스크 탑 컴퓨터, 또는 이러한 장치를 이용하거나 직접적으로 또는 간접적으로 이와 연결된 임의의 적절한 장치에 구비되어 영상을 촬영할 수 있다. 상기 카메라(100)는 사용자 단말기(200)에 결합되어 설치되거나, 사용자 단말기(200)와 일치로 구비될 수 있다.
사용자 단말기(200)는 인터넷과 같은 통신망을 통해 관심도 생성 서버(300)에 접속할 수 있는 장치로서, 노트북, 핸드헬드 장치, 스마트폰, 탭, 태블릿 PC 등의 모바일 단말, 데스크 탑 컴퓨터, 또는 이러한 장치를 이용하거나 직접적으로 또는 간접적으로 이와 연결된 임의의 적절한 장치일 수 있다. 사용자 단말기(200)는 관심도 생성 서버(300)에 접속하여 관심도를 생성하는 관심도 생성 프로그램을 어플리케이션의 형태로 다운로드 받아 설치할 수 있다. 그러나 반드시 이에 한정되는 것은 아니고, 관심도 생성 프로그램이 사용자 단말기(200)에 미리 설치되어 있을 수 있다.
사용자 단말기(200)는 관심도 생성 서버(300)로부터 객체의 관심도와 관련된 대상 이목 지표, 또는/및 객체의 이동에 대한 관심도와 관련된 동선 분석 정보, 또는/및 객체의 움직임 발생 빈도를 서로 다른 색상으로 표시하는 히트맵 정보를 수신할 수 있다.
관심도 생성 서버(300)는 통신망을 통해 카메라(100)로부터 객체가 포함된 영상을 수신하여 객체의 신체 상태 지표를 생성하고 이로부터 객체가 주시하고 있는 대상에 대한 객체의 관심도와 관련된 대상 이목 지표를 생성할 수 있다. 또한 관심도 생성 서버(300)는 객체가 포함된 영상으로부터 객체에 대한 움직임 검출 및 추적을 통하여 객체의 이동에 대한 관심도와 관련된 동선 분석 정보를 생성할 수 있다. 더 나아가 관심도 생성 서버(300)는 객체가 포함된 영상으로부터 객체에 대한 움직임 검출을 통하여 영상 내에서 객체의 움직임 발생 빈도를 서로 다른 색상으로 표시하는 히트맵 정보를 생성할 수 있다.
여기서, 객체라 함은, 대상 이목 지표, 또는/및 동선 분석 정보, 또는/및 객체의 히트맵 정보의 생성 대상으로써, 카메라(100)가 구비된 노트북, 핸드헬드 장치, 스마트폰, 탭, 태블릿 PC 등의 모바일 단말, 데스크 탑 컴퓨터, 또는 이러한 장치를 이용하거나 직접적으로 또는 간접적으로 이와 연결된 임의의 적절한 장치를 이용하고 있는 이용자 일 수 있다. 또는 상기 객체라 함은, 상품 진열대 위에 구비된 카메라(100)가 촬영하고 있는 영상에 포함되는, 대상 이목 지표, 또는/및 동선 분석 정보, 또는/및 객체의 히트맵 정보의 생성 대상일 수 있다. 또는 상기 객체라 함은, 예를 들어 협상 테이블과 같은 회의실에 설치된 카메라(100)가 촬영하고 있는 영상에 포함되는, 대상 이목 지표, 또는/및 동선 분석 정보, 또는/및 객체의 히트맵 정보의 생성 대상일 수 있다. 또는 상기 객체라 함은, 매장에 설치된 카메라(100)가 촬영하고 있는 영상에 포함되는, 대상 이목 지표, 또는/및 동선 분석 정보, 또는/및 객체의 히트맵 정보의 생성 대상일 수 있다. 여기서 객체는 반드시 상기 내용으로 한정되지 않고, 카메라(100)가 설치된 환경에서 카메라(100)가 촬영한 영상에 포함되는 움직이는 대상을 객체로 정의할 수 있다.
관심도 생성 서버(300)는 사용자 단말기(200)와 통신망을 통해 통신하면서 사용자 단말기(200)의 요청에 따라 대상 이목 지표, 또는/및 동선 분석 정보, 또는/및 히트맵 정보를 사용자 단말기(200)에 제공한다. 관심도 생성 서버(300)는 사용자 단말기(200)로 대상 이목 지표, 또는/및 동선 분석 정보, 또는/및 히트맵 정보를 실시간으로 제공할 수 있다. 또한 관심도 생성 서버(300)는 대상 이목 지표, 또는/및 동선 분석 정보, 또는/및 히트맵 정보를 저장하고 있다가, 사용자 단말기(200)가 요청한 시간 대의 대상 이목 지표, 또는/및 동선 분석 정보, 또는/및 히트맵 정보를 제공할 수 있다.
이러한 관심도 생성 서버(300)는 영상 수집 모듈(310), 제1 신체 상태 지표 생성 모듈(320), 제2 신체 상태 지표 생성 모듈(330), 제3 신체 상태 지표 생성 모듈(340), 대상 이목 지표 생성 모듈(350), 동선 분석 모듈(360) 및 히트맵 생성 모듈(370)을 포함할 수 있다.
영상 수집 모듈(310)은 카메라(100)로부터 객체가 포함된 영상을 수집한다. 여기서 영상 수집 모듈(310)이 수집하는 영상은, 카메라(100)가 구비된 노트북, 핸드헬드 장치, 스마트폰, 탭, 태블릿 PC 등의 모바일 단말, 데스크 탑 컴퓨터, 또는 이러한 장치를 이용하거나 직접적으로 또는 간접적으로 이와 연결된 임의의 적절한 장치로부터 수신된 영상, 매장에 설치된 카메라(100)가 촬영하고 있는 영상, 회의실에 설치된 카메라(100)가 촬영하고 있는 영상, 상품 진열대 위에 구비된 카메라(100)가 촬영하고 있는 영상 등을 포함할 수 있다.
또한 영상 수집 모듈(310)은 생성한 대상 이목 지표, 동선 분석 정보 및 히트맵 정보를 저장하고 있다가, 사용자 단말기(200)의 요청에 의해 대상 이목 지표, 동선 분석 정보 및 히트맵 정보 중 적어도 하나 이상을 사용자 단말기(200)에 제공할 수 있다.
제1 신체 상태 지표 생성 모듈(320)은 객체가 포함된 영상으로부터 객체의 눈과 관련된 제1 신체 상태 정보를, 눈과 관련 되고 상기 객체가 주시하고 있는 대상에 대응되도록 설정된 제1 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 객체의 제1 신체 상태 지표를 생성할 수 있다.
제2 신체 상태 지표 생성 모듈(330)은 객체가 포함된 영상으로부터 객체의 얼굴 특징과 관련된 제2 신체 상태 정보를, 얼굴 특징과 관련 되고 상기 객체가 주시하고 있는 대상에 대응되도록 설정된 제2 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 객체의 제2 신체 상태 지표를 생성할 수 있다.
제3 신체 상태 지표 생성 모듈(340)은 객체가 포함된 영상으로부터 객체의 얼굴 방향과 관련된 제3 신체 상태 정보를, 얼굴 방향과 관련 되고 상기 객체가 주시하고 있는 대상에 대응되도록 설정된 제3 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 객체의 제3 신체 상태 지표를 생성할 수 있다.
대상 이목 지표 생성 모듈(350)은 제1 내지 제3 신체 상태 지표로부터 상기 객체가 주시하고 있는 대상에 대한 상기 객체의 관심도와 관련된 대상 이목 지표를 생성한다. 여기서 대상 이목 지표는, 제1 내지 제3 신체 상태 지표 중 적어도 하나의 지표를 나타내는 데이터 일 수 있다. 또한 대상 이목 지표는, 가중치가 다르게 적용된 제1 내지 제3 신체 상태 지표 중 적어도 하나의 지표를 나타내는 데이터 일 수 있다. 이때 상기 제1 내지 제3 신체 상태 지표 중 적어도 2개의 지표에 대해 서로 다른 가중치가 적용되도록 할 수 있다. 또는 상기 대상 이목 지표는, 제1 내지 제3 신체 상태 지표 중 적어도 2개 지표의 평균을 나타내는 데이터 일 수 있다. 또한 대상 이목 지표는, 가중치가 다르게 적용된 제1 내지 제3 신체 상태 지표 중 적어도 2개 지표의 평균을 나타내는 데이터일 수 있다. 이때 상기 제1 내지 제3 신체 상태 지표 중 적어도 2개의 지표에 대해 서로 다른 가중치가 적용되도록 할 수 있다.
동선 분석 모듈(360)은 객체가 포함된 영상으로부터 객체에 대한 움직임 검출 및 추적을 통하여 객체의 이동에 대한 관심도와 관련된 동선 분석 정보를 생성할 수 있다.
히트맵 생성 모듈(370) 객체가 포함된 영상으로부터 객체에 대한 움직임 검출을 통하여 영상 내에서 객체의 움직임 발생 빈도를 서로 다른 색상으로 표시하는 히트맵 정보를 생성할 수 있다.
이러한 관심도 생성 서버(300)는 데이터베이스(400)와 연결되어, 정보를 송수신 할 수 있다. 이러한 데이터베이스(400)는 사용자 정보 데이터베이스(410) 및 영상 정보 데이터베이스(420)를 포함할 수 있다.
사용자 정보 데이터베이스(410)는 관심도 생성 서버(300)에 접속하여 관심도를 수신하는 사용자, 예를 들어, 홈페이지 운용자, 매장의 운용자, 회의 주관자 등의 정보 예를 들어, 아이디와 비밀번호, 나이, 연락처 등을 저장한다.
영상 정보 데이터베이스(420)는 제1 내지 제3 신체 상태를 나타낼 수 있는 각종 얼굴 정보 예를 들면, 얼굴 크기 정보, 얼굴의 특징(눈, 코, 입 등)의 위치 및 크기 정보, 얼굴 표정 정보, 얼굴 방향 정보, 눈과 관련된 정보로 홍채 크기 정보가 저장될 수 있다. 또한 영상 정보 데이터베이스(440)에는 기준 신체 상태 지표가 저장될 수 있다. 여기서 기준 신체 상태 지표는 제1 내지 제3 기준 신체 상태 지표를 포함할 수 있는데, 제1 기준 신체 상태 지표는 눈과 관련된 정보 예를 들어 서로 다른 홍채의 크기에 각각 대응되는 집중도를 나타내는 수치를, 제2 기준 신체 상태 지표는 얼굴의 특징과 관련된 정보 예를 들어 서로 다른 얼굴의 표정에 각각 대응되는 집중도를 나타내는 수치를, 제3 기준 신체 상태 지표는 얼굴의 방향과 관련된 정보 예를 들어 서로 다른 얼굴의 각도에 각각 대응되는 집중도를 나타내는 수치를 포함할 수 있다. 예를 들어 얼굴의 방향에 대한 기준 신체 상태 지표로, 얼굴 방향이 정면을 기준으로 0도 인 경우 90%로, 얼굴 방향이 정면을 기준으로±15도 인 경우 집중도를 나타내는 수치가 80%로 저장될 수 있다. 이러한 기준 신체 상태 지표는 다양한 신체 상태 정보를 바탕으로 산출될 수 있다.
더 나아가 영상 정보 데이터베이스(420)는 관심도 생성 서버(300)가 생성한 대상 이목 지표, 또는/및 동선 분석 정보, 또는/및 히트맵 정보를 저장할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 관심도 생성 과정을 설명하기 위한 흐름도 이다.
도 2를 참조하면, 관심도 생성 서버(300)는 카메라(100)로부터 객체가 포함된 영상을 수신한다(S210).
도 3 내지 도 6은 관심도 생성 환경의 예를 보이고 있다. 도 3의 (a)는 임의의 객체가 카메라(100)가 구비된 노트북에 표시된 정보를 보고 있는 화면 예시도 이다. 도 3의 (b)는 임의의 객체가 카메라(100)가 구비된 스마트폰에 표시된 정보를 주시하고 있는 화면 예시도 이다. 카메라(100)는 도 3의 (a) 및 (b)에 도시된 바와 같이 객체가 포함된 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다. 여기서 카메라(100)는 줌 기능을 이용하여 확대된 객체 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다.
도 4는 카메라(100)가 구비된 상품 진열대 위의 상품을 주시하고 있는 화면 예시도 이다. 카메라(100)는 도 4에 도시된 바와 같이 객체가 포함된 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다. 여기서 카메라(100)는 줌 기능을 이용하여 확대된 객체 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다.
도 5는 카메라(100)가 구비된 협상 테이블과 같은 회의실에서 여러 객체가 회의하고 있는 화면 예시 도이다. 카메라(100)는 팬/틸트 이동을 통하여 여러 객체들 중 임의의 한 객체가 포함된 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다. 여기서 임의의 한 객체라 함은, 예를 들어 A 회사의 주체 하에 B 회사가 참여한 협상 회의에서, B 회사의 중요 직책을 맡은 객체일 수 있다. 그리고 A 회사는, 관심도 생성 서버(300)로부터 선택된 B 회사 객체의 관심도를 수신할 수 있는 사용자 일 수 있다. 여기서 카메라(100)는 줌 기능을 이용하여 확대된 객체 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다.
도 6은 카메라(100)가 설치된 임의의 매장에서 객체들이 이동하는 화면 예시도 이다. 카메라(100)는 도 6에 도시된 바와 같이 복수의 객체가 포함된 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다. 또한 카메라(100)는 팬/틸트 이동을 통하여 여러 객체들 중 임의의 한 객체가 포함된 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다. 여기서 임의의 한 객체라 함은, 매장 이동 중 정지하고 임의의 대상(예를 들어 진열대 위의 상품)을 주시하고 있는 객체일 수 있다. 여기서 카메라(100)는 줌 기능을 이용하여 확대된 객체 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다.
도 2로 돌아와서, 관심도 생성 서버(300)는 객체가 포함된 영상으로부터 객체의 눈과 관련된 제1 신체 상태 정보를, 눈과 관련 되고 객체가 주시하고 있는 대상에 대응되도록 설정된 제1 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 객체의 제1 신체 상태 지표를 생성한다(S220).
도 7은 본 발명의 일 실시 예에 따른 관심도 생성 서버에서 객체의 제1 신체 상태 정보에 따라 제1 신체 상태 지표를 생성하는 예를 보이는 도면이다. 도 7을 참조하면, (a)에는 객체가 포함된 영상으로부터 획득한 객체의 눈과 관련된 제1 신체 상태 정보로써, 예를 들어, 객체의 홍채 정보가 도시되어 있다. (b)에는 영상 정보 데이터베이스(420)에 저장된 여러 객체(사람)들의 눈과 관련된 제1 신체 상태 정보로써, 예를 들어 홍채 정보가 도시되어 있다. (c)에는 제1 신체 상태 정보 예를 들어, 홍채의 크기에 따른 관심도의 수치를 나타내는 제1 기준 상태 지표가 도시되어 있다.
관심도 생성 서버(300)는 도 7의 (a)와 같이 제1 신체 상태 정보로써 객체의 홍채 크기를 산출한다. 여기서 추가적으로 객체의 눈의 크기도 함께 산출할 수 있다. 이는 사람마다 각각 눈의 크기 및 홍채의 크기가 다르기 때문이다. 또한 홍채는 집중 시에 팽창(크기가 커짐)하고 산만 시에 수축(크기가 작아짐)하는 특징이 있으므로, 홍채의 크기로 관심도 수치를 알 수 있다. 여기서 집중도와 관심도는 대략 동일 또는 비례하다고 할 수 있는데, 집중도가 높으면 관심도가 높고, 집중도가 낮으면(산만하면) 관심도가 낮을 수 있다. 관심도 생성 서버(300)는 도 7의 (b)와 같이 영상 정보 데이터베이스(420)로부터 검색된 객체의 제1 신체 상태 정보와 일치하거나 유사한 눈 및/또는 홍채 크기를 찾고, 도 7의 (c)와 같이 객체의 제1 신체 상태 정보와 일치하거나 동일한 눈 및/또는 홍채 크기에 대응되도록 설정된 제1 기준 상태 지표를 제1 신체 상태 지표로 생성할 수 있다.
도 7의 (c)에는 제1 기준 신체 상태 지표를 6개로 나누어 설명하고 있으나, 이에 국한되지 않고 더 많은 제1 기준 신체 상태 지표를 설정할 수 있다. 여기서 제1 신체 상태 지표를 백분율로 표시하고 있으나, 이에 국한되지 않고 다양한 방법으로 제1 신체 상태 지표를 표시할 수 있다.
도 2로 돌아와서, 관심도 생성 서버(300)는 객체가 포함된 영상으로부터 객체의 얼굴 특징과 관련된 제2 신체 상태 정보를, 얼굴 특징과 관련 되고 객체가 주시하고 있는 대상에 대응되도록 설정된 제2 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 객체의 제2 신체 상태 지표를 생성한다(S230).
도 8은 본 발명의 다른 실시 예에 따른 관심도 생성 서버에서 객체의 제2 신체 상태 정보에 따라 제2 신체 상태 지표를 생성하는 예를 보이는 도면이다. 도 8을 참조하면, (a)에는 객체 영상에서 획득한 제2 신체 상태 정보로써, 예를 들어 객체의 얼굴이 도시되어 있다. 객체 영상에 얼굴 추출 또는 얼굴 인식 알고리즘을 적용하여 객체의 얼굴을 추출할 수 있다. (b)에는 영상 정보 데이터베이스(420)에 저장된 여러 객체(사람)의 얼굴 특징과 관련된 제2 신체 상태 정보로써, 예를 들어 얼굴 표정 정보가 도시되어 있다. (c)에는 제2 신체 상태 정보 예를 들어, 얼굴 표정에 따른 관심도의 수치를 나타내는 제2 기준 상태 지표가 도시되어 있다.
관심도 생성 서버(300)는 도 8의 (a)와 같이 객체의 제2 신체 상태 정보로써, 객체의 얼굴 특징을 산출한다. 여기서, 객체의 얼굴 특징은 얼굴의 크기 및 눈, 코, 입 등의 위치를 포함할 수 있다.
객체를 포함하는 영상은 일반 영상과 달리 객체의 얼굴을 포함하는 영상으로 국한되어 있으므로, 집중 시와 산만 시에 얼굴 표정이 달라짐을 알 수 있다. 예를 들어, 무표정한 얼굴 영상은 집중하고 있다고 판단할 수 있고, 무표정한 얼굴 이외의 얼굴 영상은 산만하다고 판단할 수 있다. 여기서 집중도와 관심도는 대략 동일 또는 비례하다고 할 수 있는데, 집중도가 높으면 관심도가 높고, 집중도가 낮으면(산만하면) 관심도가 낮을 수 있다. 관심도 생성 서버(300)는 도 8의 (b)와 같이 영상 정보 데이터베이스(420)로부터 객체의 제2 신체 상태 정보와 일치하거나 동일한 얼굴 정보를 찾고, 도 8의 (c)와 같이 객체의 제2 신체 상태 정보와 일치하거나 동일한 얼굴 정보에 설정된 제2 기준 상태 지표를 제2 신체 상태 지표로 생성할 수 있다.
도 8의 (c)에는 제2 기준 신체 상태 지표를 4개로 나누어 설명하고 있으나, 이에 국한되지 않고 더 많은 제2 기준 신체 상태 지표를 설정할 수 있다. 여기서 제2 신체 상태 지표를 백분율로 표시하고 있으나, 이에 국한되지 않고 다양한 방법으로 제2 신체 상태 지표를 표시할 수 있다.
도 2로 돌아와서, 관심도 생성 서버(300)는 객체가 포함된 영상으로부터 객체의 얼굴 방향과 관련된 제3 신체 상태 정보를, 얼굴 방향과 관련 되고 객체가 주시하고 있는 대상에 대응되도록 설정된 제3 기준 신체 상태 지표를 참조하여 분석하고, 분석 결과에 기반하여 객체의 제3 신체 상태 지표를 생성한다(S240).
도 9는 본 발명의 또 다른 실시 예에 따른 관심도 생성 서버에서 객체의 제3 신체 상태 정보에 따라 제3 신체 상태 지표를 생성하는 예를 보이는 도면이다. 도 9를 참조하면, (a)에는 객체 영상에서 획득한 제3 신체 상태 정보로써, 예를 들어 객체의 얼굴이 도시되어 있다. (b)에는 영상 정보 데이터베이스(420)에 저장된 여러 객체(사람)의 얼굴 방향과 관련된 제3 신체 상태 정보로써, 예를 들어, 얼굴 각도 정보가 도시되어 있다. (c)에는 제3 신체 상태 정보 예를 들어, 얼굴 각도에 따른 집중도의 수치를 나타내는 제3 기준 상태 지표가 도시되어 있다.
관심도 생성 서버(300)는 도 9의 (a)와 같이 객체의 제3 신체 상태 정보로써, 객체의 얼굴 특징을 산출한다. 여기서, 객체의 얼굴 특징은 얼굴의 각도를 포함할 수 있다.
객체를 포함하는 영상은 일반 영상과 달리 객체의 얼굴을 포함하는 영상으로 국한되어 있으므로, 집중 시와 산만 시에 얼굴 각도가 달라짐을 알 수 있다. 예를 들어, 정면을 주시하고 있는 얼굴 영상은 집중하고 있다고 판단할 수 있고, 정면이 아닌 방향을 주시하고 있는 얼굴 영상은 산만하다고 판단할 수 있다. 여기서 집중도와 관심도는 대략 동일 또는 비례하다고 할 수 있는데, 집중도가 높으면 관심도가 높고, 집중도가 낮으면(산만하면) 관심도가 낮을 수 있다. 관심도 생성 서버(300)는 도 9의 (b)와 같이 영상 정보 데이터베이스(420)로부터 객체의 제3 신체 상태 정보와 일치하거나 동일한 얼굴 정보를 찾고, 도 9의 (c)와 같이 객체의 제3 신체 상태 정보와 일치하거나 동일한 얼굴 각도에 설정된 제3 기준 상태 지표를 제3 신체 상태 지표로 생성할 수 있다.
도 9의 (c)에는 얼굴의 각도를 4개(0도, 15도, 30도 45도)로 나누고 각도에 따른 제3 기준 신체 상태 지표를 설명하고 있으나, 이에 국한되지 않고 더 많은 얼굴의 각도를 설정할 수 있다. 여기서 제3 기준 신체 상태 지표를 백분율로 표시하고 있으나, 이에 국한되지 않고 다양한 방법으로 제3 기준 신체 상태 지표를 산출할 수 있다.
도 2로 돌아와서, 관심도 생성 서버(300)는 제1 내지 제3 신체 상태 지표 중 적어도 2개의 지표로부터 객체가 주시하고 있는 대상에 대한 객체의 관심도와 관련된 대상 이목 지표를 생성한다(S250). 여기서 대상 이목 지표는, 제1 내지 제3 신체 상태 지표 중 적어도 하나의 지표를 나타내는 데이터 일 수 있다. 또한 대상 이목 지표는, 가중치가 다르게 적용된 제1 내지 제3 신체 상태 지표 중 적어도 하나의 지표를 나타내는 데이터일 수 있다. 이때 상기 제1 내지 제3 신체 상태 지표 중 적어도 2개의 지표에 대해 서로 다른 가중치가 적용되도록 할 수 있다. 또는 제1 내지 제3 신체 상태 지표 중 적어도 2개 지표의 평균을 나타내는 데이터 일 수 있다. 또한 대상 이목 지표는, 가중치가 다르게 적용된 제1 내지 제3 신체 상태 지표 중 적어도 2개 지표의 평균을 나타내는 데이터일 수 잇다. 이때 상기 제1 내지 제3 신체 상태 지표 중 적어도 2개의 지표에 대해 서로 다른 가중치가 적용되도록 할 수 있다.
관심도 생성 서버(300)는 사용자 단말기(200)의 요청에 따라 대상 이목 지표를 사용자 단말기(200)로 전송한다(S260). 사용자는 사용자 단말기(200)를 이용하여 관심도 생성 프로그램을 실행하고, 인증 정보를 이용하여 관심도 생성 서버(300)에 인증을 요청한다. 이때 관심도 생성 서버(300)는 사용자가 미리 회원가입이 되어 있지 않으면 회원가입 절차를 먼저 수행하도록 유도한다. 사용자 단말기(200)가 관심도 생성 서버(300)로부터 인증이 수행되면, 사용자 단말기(200)는 관심도 생성 서버(300)에 대상 이목 지표를 요청한다. 여기서 사용자 단말기(200)는 관심도 생성 서버(300)에 실시간으로 대상 이목 지표를 요청하거나, 임의의 시간대의 대상 이목 지표를 요청할 수 있다. 관심도 생성 서버(300)는 생성한 대상 이목 지표를 사용자 단말기(200)에 제공한다.
관심도 생성 서버(300)는 도 3과 같이 노트북 또는 스마트 폰 상에 표시된 정보를 주시하고 있는 객체에 대한 대상 이목 지표를 생성하여 사용자 단말기(200)에 제공하고, 사용자 단말기(200)는 대상 이목 지표를 수신하여 객체가 관심을 가지고 주시하고 있는 정보를 파악할 수 있게 되어, 대상 이목 지표를 기반으로 다양한 서비스를 제공할 수 있다.
관심도 생성 서버(300)는 도 4와 같이 상품 진열대 위의 상품을 주시하고 있는 객체에 대한 대상 이목 지표를 생성하여 사용자 단말기(200)에 제공하고, 사용자 단말기(200)는 대상 이목 지표를 수신하여 객체가 관심을 가지고 주시하는 상품을 파악할 수 있게 되어, 상품의 배열 위치를 변경하는 등 대상 이목 지표를 기반으로 다양한 처리를 수행할 수 있다.
관심도 생성 서버(300)는 도 5와 같이 협상 테이블과 같은 회의실에서 임의의 한 객체에 대한 대상 이목 지표를 생성하여 사용자 단말기(200)에 제공하고, 사용자 단말기(200)는 대상 이목 지표를 수신하여 객체가 관심을 가지고 주시하는 내용을 파악할 수 있게 되어, 객체의 관심도가 낮은 경우 다른 내용을 제공하여 관심도를 이끌어 내는 등 대상 이목 지표를 기반으로 다양한 처리를 수행할 수 있다.
관심도 생성 서버(300)는 도 6과 같이 임의의 매장을 이동중인 객체들에 대한 대상 이목 지표를 생성하여 사용자 단말기(200)에 제공하고, 사용자 단말기(200)는 대상 이목 지표를 수신하여 객체가 관심을 가지고 주시하는 상품을 파악할 수 있게 되어, 해당 상품까지의 이동 경로가 더 짧아지도록 상품의 배열 위치를 변경하는 등 대상 이목 지표를 기반으로 다양한 처리를 수행할 수 있다.
도 10은 본 발명의 다른 실시 예에 따른 관심도 생성 과정을 설명하기 위한 흐름도 이다.
도 10을 참조하면, 관심도 생성 서버(300)는 카메라(100)로부터 객체가 포함된 영상을 수신한다(S1010).
카메라(100)는 예를 들어, 도 6과 같이 임의의 매장을 이동중인 객체들이 포함된 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다. 또한 카메라(100)는 팬/틸트 이동을 통하여 여러 객체들 중 임의의 한 객체가 포함된 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다. 또한 카메라(100)는 줌 기능을 이용하여 확대된 객체 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다.
카메라(100)라로부터 객체가 포함된 영상을 수신한 관심도 생성 서버(300)는 객체가 포함된 영상으로부터 객체에 대한 움직임 검출 및 추적을 수행한다(S1020).
관심도 생성 서버(300)는 객체에 대한 움직임 검출 및 추적 결과를 이용하여 객체의 이동에 대한 관심도와 관련된 동선 분석 정보를 생성한다(S1030).
관심도 생성 서버(300)는 카메라(100)로부터 입력되는 영상 프레임으로부터 매장 내 영역을 A 구역 내지 N 구역으로 분할하고, 임의의 객체가 A 구역에서 B 구역으로 이동한 경우, 관심도 생성 서버(300)은 임의의 객체에 대한 A 구역 -> B구역으로 동선이 형성되었다고 판단할 수 있다. 만약 A 구역의 임의의 고객이 B 구역을 지나 C 구역으로 이동하였다면 해당 고객의 동선은 A 구역 -> B 구역 -> C 구역으로 판단될 수 있다. 더 나아가서는 C 구역을 지나는 고객이 어디로 향하는지에 대한 통계치를 기초로 동선을 예측할 수도 있다.
관심도 생성 서버(300)는 사용자 단말기(200)의 요청에 따라 객체의 동선 분석 정보를 사용자 단말기(200)로 전송한다(S1040).
사용자는 사용자 단말기(200)를 이용하여 관심도 생성 프로그램을 실행하고, 인증 정보를 이용하여 관심도 생성 서버(300)에 인증을 요청한다. 이때 관심도 생성 서버(300)는 사용자가 미리 회원가입이 되어 있지 않으면 회원가입 절차를 먼저 수행하도록 유도한다. 사용자 단말기(200)가 관심도 생성 서버(300)로부터 인증이 수행되면, 사용자 단말기(200)는 관심도 생성 서버(300)에 동선 분석 정보를 요청한다. 여기서 사용자 단말기(200)는 관심도 생성 서버(300)에 실시간으로 동선 분석 정보를 요청하거나, 임의의 시간대의 동선 분석 정보를 요청할 수 있다. 관심도 생성 서버(300)는 생성한 동선 분석 정보를 사용자 단말기(200)에 제공한다.
도 11은 본 발명의 일 실시 예에 따른 관심도 생성 서버에서 생성한 객체의 동선 분석 정보의 예를 보이는 도면이다. 이러한 객체의 동선 분석 정보는 사용자 단말기(200)의 요청에 의해 사용자 단말기(200)로 전송된다. 도 11을 참조하면, 매장 내에서 객체들의 주요 동선 정보가 도시되어 있다. 사용자 단말기(200)는 객체의 동선 분석 정보를 수신하여 객체가 관심을 가지고 이동하는 동선을 파악할 수 있게 되어, 객체의 동선 내에 임의의 상품을 배열하여 객체의 구매를 유도하는 등 객체의 동선 분석 정보를 기반으로 다양한 처리를 수행할 수 있다.
도 12는 본 발명의 또 다른 실시 예에 따른 관심도 생성 과정을 설명하기 위한 흐름도 이다.
도 12를 참조하면, 관심도 생성 서버(300)는 카메라(100)로부터 객체가 포함된 영상을 수신한다(S1210).
카메라(100)는 예를 들어, 도 6과 같이 임의의 매장을 이동중인 객체들이 포함된 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다. 또한 카메라(100)는 팬/틸트 이동을 통하여 여러 객체들 중 임의의 한 객체가 포함된 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다. 또한 카메라(100)는 줌 기능을 이용하여 확대된 객체 영상을 촬영하여 관심도 생성 서버(300)로 전송할 수 있다.
카메라(100)라로부터 객체가 포함된 영상을 수신한 관심도 생성 서버(300)는 객체가 포함된 영상으로부터 객체에 대한 움직임을 검출하고(S1220), 영상 내에서 객체의 움직임 발생 빈도를 누적 검출한다(S1230). 관심도 생성 서버(300)는 움직임 발생 빈도 검출 시에, 설정된 일정 단위 시간(예를 들어, 1초, 1분, 1시간, 1일 등) 동안 움직임 검출에 대한 움직임 발생 빈도를 누적할 수 있다.
관심도 생성 서버(300)는 움직임 발생 빈도가 누적 검출된 관심영역을 서로 다른 색상으로 표시하는 히트맵 정보를 생성한다(S1240).
히트맵은 임의의 매장 내 고객의 동선과 관심도/복잡도를 가시적으로 나타낼 수 있다. 히트맵은 열을 뜻하는 히트(heat)와 지도를 뜻하는 맵(map)을 결합시킨 것으로, 색상으로 표현할 수 잇는 다양한 정보를 일정한 이미지 위에 열분포 형태의 비주얼한 그래픽으로 출력한다. 히트맵은 카메라 영상이나 지도 상에서 고객들의 관심도 또는 복잡도를 색 단계로 표현할 수 있다. 일정 단위 시간 동안 매장 내 고객들의 움직임을 누적하고 누적된 순서대로 색상을 부여하여 디스플레이 한다. 고객들의 움직임이 많이 검출된 영역은 붉은색 계열로 표현하고, 고객들의 움직임이 상대적으로 적게 검출된 영역은 푸른색 계열로 표현한다. 매장 운영자는 히트맵을 통해 고객들의 움직임 분포를 가시적으로 파악할 수 있다.
관심도 생성 서버(300)는 움직임 발생빈도가 누적된 적어도 하나 이상의 관심영역들을 획득하고, 관심영역들 내에서 움직임 발생 빈도에 순위를 설정한 후, 설정된 순위에 따라 서로 다른 색을 할당하여 표시함으로써 히트맵을 생성한다. 히트맵 생성을 좀더 상세히 설명하면, 관심도 생성 서버(300)는 할당한 색상단위가 예를 들어 8가지라고 가정하면, 관심영역 내에서 움직임 발생 빈도에 제1 순위 내지 제8 순위를 설정하고, 제1 순위에 제1색 예를 들어, 붉은색을 제8 순위에 제2색 예를 들어, 푸른색을 할당하고, 제2 내지 제7 순위에는 붉은색에서 푸른색으로 변하는 색상을 할당할 수 있다. 다른 방법으로, 관심도 생성 서버(300)는 관심영역 내에서 움직임 발생 빈도가 가장 많은 최대값과 움직임 발생빈도가 가장 적은 최소값을 설정하고, 최대값에는 제1색을 할당하고, 최소값에는 제2색을 할당할 수 있다. 그리고 최대값 및 최소값 사이의 영역은 일정하게 분할하거나, 특정 빈도에 대해 가중치를 적용하여 최대값에 가까운 분할영역에는 제1색과 다른 붉은색 계열로 할당하고, 최소값에 가까운 분할영역에는 제2색과 다른 푸른색 계열로 할당할 수 있다.
도 12로 돌아와서, 관심도 생성 서버(300)는 사용자 단말기(200)의 요청에 따라 히트맵 정보를 사용자 단말기(200)로 전송한다(S1250).
사용자는 사용자 단말기(200)를 이용하여 관심도 생성 프로그램을 실행하고, 인증 정보를 이용하여 관심도 생성 서버(300)에 인증을 요청한다. 이때 관심도 생성 서버(300)는 사용자가 미리 회원가입이 되어 있지 않으면 회원가입 절차를 먼저 수행하도록 유도한다. 사용자 단말기(200)가 관심도 생성 서버(300)로부터 인증이 수행되면, 사용자 단말기(200)는 관심도 생성 서버(300)에 히트맵 정보를 요청한다. 여기서 사용자 단말기(200)는 관심도 생성 서버(300)에 실시간으로 히트맵 정보를 요청하거나, 임의의 시간대의 히트맵 정보를 요청할 수 있다. 관심도 생성 서버(300)는 생성한 히트맵 정보를 사용자 단말기(200)에 제공한다.
도 13은 본 발명의 일 실시 예에 따른 관심도 생성 서버에서 생성한 객체에 대한 히트맵 정보의 예를 보이는 도면이다. 이러한 객체의 히트맵 정보는 사용자 단말기(200)의 요청에 의해 사용자 단말기(200)로 전송된다. 도 13을 참조하면, (a)는 카메라(100)가 촬영하고 있는 임의의 매장을 도시하고 있고, (b)는 서로 다른 시간 대에 따른 히트맵 생성 결과를 도시하고 있다. 사용자 단말기(200)는 객체의 히트맵 정보를 수신하여 객체가 관심을 가지는 상품이나, 매장 내 장소를 파악할 수 있게 되어, 객체가 관심을 가지고 있는 상품 주변에 해당 상품과 관련된 다른 상품을 배열하거나, 객체가 관심을 가지고 있는 장소에 임의의 상품을 배열하여 객체의 구매를 유도하는 등 객체의 히트맵 정보를 기반으로 다양한 처리를 수행할 수 있다.
본 발명의 실시 예에 따른 관심도 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 적어도 하나의 프로세스에 의해 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 카메라
200: 사용자 단말기
300: 관심도 생성 서버
310: 영상 수집 모듈
320: 제1 신체 상태 지표 생성 모듈
330: 제2 신체 상태 지표 생성 모듈
340: 제3 신체 상태 지표 생성 모듈
350: 대상 이목 지표 생성 모듈
360: 동선 분석 모듈
370: 히트맵 생성 모듈
400: 데이터베이스
410: 사용자 정보 데이터베이스
420: 영상 정보 데이터베이스

Claims (8)

  1. 서버에 의한 관심도 생성 방법에 있어서,
    서로 다른 홍채 크기 각각에 대응되는 집중도를 나타내는 수치를 포함하는 하나 이상의 제1 기준 상태 지표로부터, 카메라로부터 수신한 객체가 포함된 영상에서 획득하고 상기 객체가 주시하고 있는 대상에 대한 상기 객체의 눈과 관련된 제1 신체 상태 정보와 일치하는 제1 기준 상태 지표를 검출하고, 검출한 상기 제1 기준 신체 상태 지표에 포함된 상기 집중도를 나타내는 수치를 상기 객체의 제1 신체 상태 지표로 생성하는 단계;
    서로 다른 얼굴 특징 각각에 대응되는 집중도를 나타내는 수치를 포함하는 하나 이상의 제2 기준 상태 지표로부터, 상기 객체가 포함된 영상에서 획득하고 상기 객체가 주시고 있는 대상에 대한 상기 객체의 얼굴 특징과 관련된 제2 신체 상태 정보와 일치하는 제2 기준 상태 지표를 검출하고, 검출한 상기 제2 기준 신체 상태 지표에 포함된 상기 집중도를 나타내는 수치를 상기 객체의 제2 신체 상태 지표로 생성하는 단계;
    서로 다른 얼굴 방향 각각에 대응되는 집중도를 나타내는 수치를 포함하는 하나 이상의 제3 기준 상태 지표로부터, 상기 객체가 포함된 영상에서 획득하고 상기 객체가 주시하고 있는 대상에 대한 상기 객체의 얼굴 방향과 관련된 제3 신체 상태 정보와 일치하는 제3 기준 상태 지표를 검출하고, 검출한 상기 제3 기준 신체 상태 지표에 포함된 상기 집중도를 나타내는 수치를 상기 객체의 제3 신체 상태 지표로 생성하는 단계;
    상기 제1 내지 제3 신체 상태 지표 중 적어도 하나로부터 상기 객체가 주시하고 있는 대상에 대한 상기 객체의 관심도와 관련된 대상 이목 지표를 생성하는 단계; 및
    상기 객체가 포함된 영상에서 상기 객체에 대한 움직임 검출을 통하여 상기 영상 내에서 상기 객체의 움직임 발생 빈도가 누적된 하나 이상의 관심영역들을 획득하고, 상기 관심영역들 내에서 상기 움직임 발생 빈도에 순위를 설정한 후, 설정한 상기 순위에 따라 상기 관심영역들 각각에 서로 다른 색상을 할당하여 표시하는 히트맵 정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 관심도 생성 방법.
  2. 제 1항에 있어서, 상기 대상 이목 지표를 생성하는 단계는,
    상기 제1 내지 제3 신체 상태 지표 중 적어도 2개의 지표에 서로 다른 가중치를 적용하는 단계;를 포함하는 것을 특징으로 하는 관심도 생성 방법.
  3. 제 1항에 있어서,
    상기 카메라로부터 수신한 객체가 포함된 영상으로부터 상기 객체에 대한 움직임 검출 및 추적을 통하여 상기 객체의 이동에 대한 관심도와 관련된 동선 분석 정보를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 관심도 생성 방법.
  4. 삭제
  5. 서로 다른 홍채 크기 각각에 대응되는 집중도를 나타내는 수치를 포함하는 하나 이상의 제1 기준 상태 지표로부터, 카메라로부터 수신한 객체가 포함된 영상에서 획득하고 상기 객체가 주시하고 있는 대상에 대한 상기 객체의 눈과 관련된 제1 신체 상태 정보와 일치하는 제1 기준 상태 지표를 검출하고, 검출한 상기 제1 기준 신체 상태 지표에 포함된 상기 집중도를 나타내는 수치를 상기 객체의 제1 신체 상태 지표로 생성하는 제1 신체 상태 지표 생성 모듈;
    서로 다른 얼굴 특징 각각에 대응되는 집중도를 나타내는 수치를 포함하는 하나 이상의 제2 기준 상태 지표로부터, 상기 객체가 포함된 영상에서 획득하고 상기 객체가 주시고 있는 대상에 대한 상기 객체의 얼굴 특징과 관련된 제2 신체 상태 정보와 일치하는 제2 기준 상태 지표를 검출하고, 검출한 상기 제2 기준 신체 상태 지표에 포함된 상기 집중도를 나타내는 수치를 상기 객체의 제2 신체 상태 지표로 생성하는 제2 신체 상태 지표 생성 모듈;
    서로 다른 얼굴 방향 각각에 대응되는 집중도를 나타내는 수치를 포함하는 하나 이상의 제3 기준 상태 지표로부터, 상기 객체가 포함된 영상에서 획득하고 상기 객체가 주시하고 있는 대상에 대한 상기 객체의 얼굴 방향과 관련된 제3 신체 상태 정보와 일치하는 제3 기준 상태 지표를 검출하고, 검출한 상기 제3 기준 신체 상태 지표에 포함된 상기 집중도를 나타내는 수치를 상기 객체의 제3 신체 상태 지표로 생성하는 제3 신체 상태 지표 생성 모듈;
    상기 제1 내지 제3 신체 상태 지표 중 적어도 하나로부터 상기 객체가 주시하고 있는 대상에 대한 상기 객체의 관심도와 관련된 대상 이목 지표를 생성하는 대상 이목 지표 생성 모듈; 및
    상기 객체가 포함된 영상에서 상기 객체에 대한 움직임 검출을 통하여 상기 영상 내에서 상기 객체의 움직임 발생 빈도가 누적된 하나 이상의 관심영역들을 획득하고, 상기 관심영역들 내에서 상기 움직임 발생 빈도에 순위를 설정한 후, 설정한 상기 순위에 따라 상기 관심영역들 각각에 서로 다른 색상을 할당하여 표시하는 히트맵 정보를 생성하는 히트맵 생성 모듈;을 포함하는 것을 특징으로 하는 관심도 생성 장치.
  6. 제 5항에 있어서, 상기 대상 이목 지표 생성 모듈은,
    상기 제1 내지 제3 신체 상태 지표 중 적어도 2개의 지표에 서로 다른 가중치를 적용하는 것을 특징으로 하는 관심도 생성 장치.
  7. 제 5항에 있어서,
    상기 카메라로부터 수신한 객체가 포함된 영상으로부터 상기 객체에 대한 움직임 검출 및 추적을 통하여 상기 객체의 이동에 대한 관심도와 관련된 동선 분석 정보를 생성하는 동선 분석 모듈;을 더 포함하는 것을 특징으로 하는 관심도 생성 장치.
  8. 삭제
KR20140085260A 2014-07-08 2014-07-08 관심도 생성 방법 및 장치 KR101490505B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20140085260A KR101490505B1 (ko) 2014-07-08 2014-07-08 관심도 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20140085260A KR101490505B1 (ko) 2014-07-08 2014-07-08 관심도 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101490505B1 true KR101490505B1 (ko) 2015-02-10

Family

ID=52591441

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140085260A KR101490505B1 (ko) 2014-07-08 2014-07-08 관심도 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101490505B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170082779A (ko) * 2016-01-07 2017-07-17 삼성전자주식회사 서비스를 제공하기 위한 방법 및 그 전자 장치
KR101962363B1 (ko) * 2018-07-05 2019-03-26 주식회사딜루션 사용자들의 행동 패턴을 기반으로 하는 마케팅 정보를 제공하는 어플리케이션을 운용하는 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008197A (ja) * 1999-06-24 2001-01-12 Nec Corp 人物行動解析装置及び人物行動解析プログラムを記録した記録媒体
WO2011042989A1 (ja) * 2009-10-09 2011-04-14 Kikuchi Kouichi 視認情景に対する視認者情感判定装置
WO2011074198A1 (ja) * 2009-12-14 2011-06-23 パナソニック株式会社 ユーザインタフェース装置および入力方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008197A (ja) * 1999-06-24 2001-01-12 Nec Corp 人物行動解析装置及び人物行動解析プログラムを記録した記録媒体
WO2011042989A1 (ja) * 2009-10-09 2011-04-14 Kikuchi Kouichi 視認情景に対する視認者情感判定装置
WO2011074198A1 (ja) * 2009-12-14 2011-06-23 パナソニック株式会社 ユーザインタフェース装置および入力方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170082779A (ko) * 2016-01-07 2017-07-17 삼성전자주식회사 서비스를 제공하기 위한 방법 및 그 전자 장치
KR102321354B1 (ko) * 2016-01-07 2021-11-03 삼성전자주식회사 서비스를 제공하기 위한 방법 및 그 전자 장치
KR101962363B1 (ko) * 2018-07-05 2019-03-26 주식회사딜루션 사용자들의 행동 패턴을 기반으로 하는 마케팅 정보를 제공하는 어플리케이션을 운용하는 장치 및 그 방법

Similar Documents

Publication Publication Date Title
JP6482172B2 (ja) レコメンド装置、レコメンド方法、およびプログラム
JP6267861B2 (ja) 対話型広告のための使用測定技法およびシステム
TWI505195B (zh) 眼球關注點確定方法、裝置和系統
KR101978299B1 (ko) 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치
JP5225870B2 (ja) 情動分析装置
EP2867828A1 (en) Skin-based user recognition
Zhang et al. Eye center localization and gaze gesture recognition for human–computer interaction
KR20170022078A (ko) 디스플레이 장치 및 그의 제어방법
CN110033293A (zh) 获取用户信息的方法、装置及系统
JP2018163460A (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN109189986A (zh) 信息推荐方法、装置、电子设备和可读存储介质
KR101490505B1 (ko) 관심도 생성 방법 및 장치
Yagi et al. GO-finder: a registration-free wearable system for assisting users in finding lost objects via hand-held object discovery
JP7102173B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Lee et al. Auto-focusing method for remote gaze tracking camera
US9501710B2 (en) Systems, methods, and media for identifying object characteristics based on fixation points
US9767564B2 (en) Monitoring of object impressions and viewing patterns
WO2019192455A1 (zh) 门店系统、物品搭配方法、装置及电子设备
EP3567468B1 (en) Display apparatus and display method
CN112580409B (zh) 目标物体选择方法及相关产品
JP6755529B1 (ja) 情報処理方法、情報処理装置、及び制御プログラム
JP2019152734A (ja) デジタル情報表示システム
Cho et al. Binocular gaze detection method using a fuzzy algorithm based on quality measurements
JP2013222406A (ja) 画像検索システム、画像検索装置およびコンピュータプログラム
Lie et al. Fall-down event detection for elderly based on motion history images and deep learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant