KR20210013252A - 히트맵 제공 장치 및 방법 - Google Patents

히트맵 제공 장치 및 방법 Download PDF

Info

Publication number
KR20210013252A
KR20210013252A KR1020210009625A KR20210009625A KR20210013252A KR 20210013252 A KR20210013252 A KR 20210013252A KR 1020210009625 A KR1020210009625 A KR 1020210009625A KR 20210009625 A KR20210009625 A KR 20210009625A KR 20210013252 A KR20210013252 A KR 20210013252A
Authority
KR
South Korea
Prior art keywords
interest
region
frequency
motion
heat map
Prior art date
Application number
KR1020210009625A
Other languages
English (en)
Other versions
KR102350918B1 (ko
Inventor
박준영
노승인
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140000407A external-priority patent/KR20150080863A/ko
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020210009625A priority Critical patent/KR102350918B1/ko
Publication of KR20210013252A publication Critical patent/KR20210013252A/ko
Application granted granted Critical
Publication of KR102350918B1 publication Critical patent/KR102350918B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Radiation Pyrometers (AREA)

Abstract

본 발명은 전체영역 중 설정된 관심영역에 대해 히트맵(heatmap)을 생성하여 표시하는 히트맵 제공 장치 및 방법에 관한 것이다. 히트맵 제공 방법은 촬영영역 내에서 움직임 발생 빈도를 획득하는 움직임 분석단계, 촬영영역 중 소정의 관심영역 설정을 수신하는 관심영역 설정단계 및 관심영역 내에서 움직임 발생 빈도를 서로 다른 색상으로 표시하는 히트맵 생성단계를 포함한다.

Description

히트맵 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING HEATMAP}
본 발명은 전체영역 중 설정된 관심영역에 대해 히트맵(heatmap)을 생성하여 표시하는 히트맵 제공 장치 및 방법에 관한 것이다.
매장 내 고객의 동선 및 관심사 분석은 영업/마케팅 의사 결정을 위한 중요한 데이터이다. 이와 같은 데이터 수집 방법은 고객의 관심사를 인터뷰, 멤버십 카드, 점원을 통해 직접적으로 수집하거나, CCTV 카메라, 센서 또는 핸드폰을 통해 간접적으로 수집할 수 있다.
매장 내 고객의 동선과 관심도/복잡도를 가시적으로 나타내는 대표적인 방법에는 히트맵이 있다. 히트맵은 열을 뜻하는 히트(heat)와 지도를 뜻하는 맵(map)을 결합시킨 것으로, 색상으로 표현할 수 잇는 다양한 정보를 일정한 이미지 위에 열분포 형태의 비주얼한 그래픽으로 출력한다. 히트맵은 카메라 영상이나 지도 상에서 고객들의 관심도 또는 복잡도를 색 단계로 표현할 수 있다. 일정 단위 시간 동안 매장 내 고객들의 움직임을 누적하고 누적된 순서대로 색상을 부여하여 디스플레이 한다. 고객들의 움직임이 많이 검출된 영역은 붉은색 계열로 표현하고, 고객들의 움직임이 상대적으로 적게 검출된 영역은 푸른색 계열로 표현한다. 매장 운영자는 히트맵을 통해 고객들의 움직임 분포를 가시적으로 파악할 수 있다.
그러나 히트맵으로 고객의 움직임 분포를 파악하려는 사용자가 전체영역이 아닌 일부 관심영역에 대해 히트맵을 보고자 하는 경우, 관심영역의 히트맵이 정확하게 생성되지 않는 경우가 있다.
국내 공개특허공보 제2009-0046670호
본 발명이 해결하고자 하는 기술적인 과제는 전체영역 중 설정된 관심영역에 대해 히트맵을 생성하여 표시하는 히트맵 제공 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 히트맵 제공 방법은 촬영영역 내에서 움직임 발생 빈도를 획득하는 움직임 분석단계; 상기 촬영영역 중 소정의 관심영역 설정을 수신하는 관심영역 설정단계; 및 상기 관심영역 내에서 상기 움직임 발생 빈도를 서로 다른 색상으로 표시하는 히트맵 생성단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 촬영 영역을 소정의 개수의 영역으로 분할하는 영역 분할단계;를 더 포함하는 것을 특징으로 한다.
*본 발명에 있어서, 상기 분할 영역의 움직임 발생 빈도를 누적 저장하는 데이터베이스를 구축하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 히트맵 생성단계는, 상기 데이터베이스로부터 상기 움직임 발생 빈도가 누적된 상기 관심영역을 획득하는 단계; 상기 관심영역 내에서 상기 움직임 발생 빈도에 순위를 설정하는 단계; 및 상기 설정된 순위에 따라 서로 다른 색을 할당하여 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 관심영역 설정단계는, 소정의 관심시간 설정을 수신하는 관심시간 설정단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 히트맵 생성단계는, 상기 데이터베이스로부터 상기 관심시간 동안 상기 움직임 발생 빈도가 누적된 상기 관심영역을 획득하는 단계; 상기 관심영역 내에서 상기 움직임 발생 빈도에 순위를 설정하는 단계; 및 상기 설정된 순위에 따라 서로 다른 색을 할당하여 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 관심영역 설정단계는, 상기 촬영영역 중 복수개의 관심영역들 설정을 수신하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 히트맵 생성단계는, 상기 복수개의 관심영역에 대해 각각 생성한 상기 히트맵들을 동시에 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 관심영역 설정단계는, 상기 관심영역에 대해 복수개의 관심시간들의 설정을 수신하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 히트맵 생성단계는, 상기 관심시간 별로 상기 관심영역에 대해 생성한 상기 히트맵들을 동시에 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 히트맵 제공 장치는 촬영영역 내에서 움직임 발생 빈도를 획득하는 움직임 분석부; 상기 촬영영역을 표시하고 상기 촬영영역 중 소정의 관심영역 설정하는 사용자 인터페이스부; 및 상기 관심영역 내에서 상기 움직임 발생 빈도를 서로 다른 색상으로 할당하여 상기 사용자 인터페이스부로 출력하는 히트맵 생성부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 촬영 영역을 소정의 개수의 영역으로 분할하는 영역 분할부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 분할 영역의 움직임 발생 빈도를 누적 저장하는 데이터베이스;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 히트맵 생성부는, 상기 데이터베이스로부터 상기 움직임 발생 빈도가 누적된 상기 관심영역을 획득하고, 상기 관심영역 내에서 상기 움직임 발생 빈도에 순위를 설정한 후, 상기 설정된 순위에 따라 서로 다른 색을 할당하여 표시하는 것을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 사용자 인터페이스부는, 소정의 관심시간을 설정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 히트맵 생성부는, 상기 데이터베이스로부터 상기 관심시간 동안 상기 움직임 발생 빈도가 누적된 상기 관심영역을 획득하고, 상기 관심영역 내에서 상기 움직임 발생 빈도에 순위를 설정한 후, 상기 설정된 순위에 따라 서로 다른 색을 할당하여 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 사용자 인터페이스부는, 상기 촬영영역 중 복수개의 관심영역들을 설정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 히트맵 생성부는, 상기 복수개의 관심영역에 대해 각각 생성한 상기 히트맵들을 동시에 상기 사용자 인터페이스부로 출력하는 것을 특징으로 한다.
본 발명에 있어서, 상기 사용자 인터페이스부는, 상기 관심영역에 대해 복수개의 관심시간들을 설정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 히트맵 생성부는, 상기 관심시간 별로 상기 관심영역에 대해 생성한 상기 히트맵들을 동시에 상기 사용자 인터페이스부로 출력하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 전체영역 중 설정된 관심영역에 대해 히트맵을 생성하여 표시함으로써 전체영역에 대한 히트맵 대비 관심영역 히트맵의 정확성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 히트맵 제공 장치의 구성을 보이는 블록도 이다.
도 2는 본 발명의 일 실시 예에 따른 촬영영역 또는 관심영역의 움직임 발생 빈도를 누적한 예를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 소정 개수로 분할된 촬영영역을 보이는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 관심영역 설정 및 관심영역에 대한 히트맵 생성을 보이는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 복수의 관심영역 설정 및 복수의 관심영역에 대한 히트맵 생성을 보이는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 관심영역에 대한 복수의 관심시간을 설정하고 각 관심시간 별로 관심영역에 대한 히트맵 생성을 보이는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 히트맵 제공 방법의 동작을 보이는 흐름도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 히트맵 제공 장치의 구성을 보이는 블록도 이다.
도 1을 참조하면, 히트맵 제공장치(100)는 카메라(110), 영역 분할부(120), 센서부(130), 움직임 분석부(140), 데이터베이스(150), 사용자 인터페이스부(160) 및 히트맵 생성부(170)를 포함한다.
카메라(110)는 특정 장소의 고정된 위치에 배치되는 스피드 돔 카메라일 수 있다. 그리고 카메라(110)는 팬(pan)/틸트(tilt)/줌(zoom) 기능을 구비한 PTZ 카메라 일 수 있다. 카메라(110)가 PTZ 카메라인 경우, PTZ 기능에 의해 얻은 특정 장소에 대한 영상인 라이브 영상을 생성하고, 0-360도 패닝 및 0-90도 틸팅에 의해, 고정된 위치에서 몸체를 회전시켜 가면서 연속적으로 영상을 획득할 수 있다.
영역 분할부(120)는 카메라(110)가 촬영한 촬영영역을 소정 개수의 영역으로 분할한다. 영역 분할부(120)는 설정에 따라 다양하게 영역을 분할을 수행할 수 있는데, 예를 들어, 5×5, 10×10, 20×20 등으로 분할할 수 있다. 도 3 내지 도 6에는 촬영영역을 20×20으로 분할한 예들이 도시되어 있다.
센서부(130)는 영상 분석부(140)가 움직임을 검출할 수 있도록 촬영영역으로부터 움직임 데이터를 감지한다. 여기서 센서부(130)는 이미지 센서, 레이저 센서, 키네틱(kinetic) 센서, 적외선 센서 등을 포함할 수 있다.
센서부(130)가 이미지 센서(미도시)로 구성된 경우, 카메라(110) 및 센서부(130)는 하나로 통합된다. 이미지 센서는 감시 카메라(100)의 렌즈(미도시)를 통해 통과한 피사체의 광신호를 전기적 신호(영상 신호)로 변환하여 출력하며, COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈을 포함할 수 있다. 센서부(130)가 레이저 센서(미도시)로 구성된 경우, 레이저 센서는 레이저를 발진하는 발진부(미도시) 및 객체로부터 반사된 레이저를 수신하는 수신부(미도시)를 포함할 수 있다. 센서부(130)가 키네틱 센서(미도시)로 구성된 경우, 키네틱 센서는 하나의 RGB 카메라(미도시)와 두 개의 적외선 카메라(미도시)로 구성되고, RGB 카메라는 640×480 해상도의 32비트 데이터를 초당 30 프레임 획득하며, 적외선 카메라는 320×240 해상도의 16비트 데이터를 초당 30 프레임 획득할 수 있다. 두 개의 적외선 카메라를 이용하여 영상의 깊이 값을 산출할 수 있고, RGB 카메라와 적외선 카메라를 이용하여 객체 추적이 가능하다. 센서부(130)가 적외선 센서(미도시)로 구성된 경우, 적외선 센서는 적외선을 발광하는 발광부(미도시) 및 객체로부터 반사된 적외선을 수신하는 수광부(미도시)를 포함할 수 있다.
움직임 분석부(140)는 센서부(130)로부터 촬영영역에 대한 움직임 데이터를 수신하여 움직임을 검출하고, 움직임 발생 빈도를 획득한다. 여기서 움직임 분석부(140)는 설정된 일정 단위 시간(예를 들어, 1초, 1분, 1시간, 1일 등) 동안 움직임 분석을 수행하여 움직임 발생 빈도를 획득할 수 있다.
이미지 센서로부터 촬영영역에 대한 움직임 데이터를 수신하는 경우, 움직임 분석부(140)는 전/후 영상 프레임의 비교를 통해 움직임 발생을 판단하고, 소정 개수로 분할된 촬영영역 중 움직임이 발생한 분할영역에 움직임 발생 빈도를 획득하여 기록한다. 레이저 센서로부터 촬영영역에 대한 움직임 데이터를 수신하는 경우, 움직임 분석부(140)는 레이저를 발진하고 객체로부터 반사되어 수신되는 시간을 카운트하여 움직임 발생을 판단하고, 소정 개수로 분할된 촬영영역 중 움직임이 발생한 분할영역에 움직임 발생 빈도를 획득하여 기록한다. 키네틱 센서로부터 촬영영역에 대한 움직임 데이터를 수신하는 경우, 움직임 분석부(140)는 전/후 영상 프레임의 비교를 통해 움직임 발생을 판단하고, 소정 개수로 분할된 촬영영역 중 움직임이 발생한 분할영역에 움직임 발생 빈도를 획득하여 기록한다. 적외선 센서로부터 촬영영역에 대한 움직임 데이터를 수신하는 경우, 움직임 분석부(140)는 적외선을 발광하고 객체로부터 반사되어 수광되는 시간을 카운트하여 움직임 발생을 판단하고, 소정 개수로 분할된 촬영영역 중 움직임이 발생한 분할영역에 움직임 발생 빈도를 획득하여 기록한다.
데이터베이스(150)는 분할된 영역의 움직임 발생 빈도를 누적 저장한다. 도 2에는 촬영영역이 8×8로 분할된 각 영역에 대해 단위시간 동안의 움직임 발생 빈도를 데이터베이스(150)에 누적 저장한 예가 도시되어 있다. 여기서, 각 영역에 기록된 수치는 움직임 발생 빈도를 나타내며, 수치가 높을수록 움직임 발생빈도가 더 높다는 것을 의미한다.
사용자 인터페이스부(160)는 전체 촬영영역으로부터 관심영역 및/또는 관심시간을 설정하고, 설정한 관심영역 및 관심시간에 대한 히트맵 생성 결과를 표시한다. 도 3에는 사용자 인터페이스부(160)에 표시된 소정 개수의 영역으로 분할된 전체 촬영영역이 도시되어 있다. 다른 예로 사용자 인터페이스부(160)에는 관심영역이 미리 설정되어 있을 수도 있다.
사용자 인터페이스부(160)는 도 3에 도시된 촬영영역으로부터 사용자에 의해 설정된 관심영역을 표시한다. 여기서 관심영역은 적어도 하나 이상 설정할 수 있다. 도 4a에는 하나의 관심영역을 설정한 예가 도시되어 있고, 도 5a에는 동일한 촬영영역 내에서 두 개의 관심영역을 설정한 예가 도시되어 있다. 그러나 관심영역 설정은 이에 국한되지 않고, 3개 이상으로 설정할 수도 있다. 사용자 인터페이스부(160)는 적어도 하나 이상 설정된 관심영역에 대해 생성된 적어도 하나 이상의 히트맵을 동시에 표시할 수 있다.
또한 사용자 인터페이스부(160)는 관심영역에 대한 관심시간을 적어도 하나 이상 설정할 수 있다. 하나의 관심영역에 대하여 관심시간을 복수 개로 설정할 수 있는데, 예를 들어, 도 6b에 도시된 바와 같이 11시-12시, 15시-16시, 18시-19시, 21-22시 등으로 설정할 수 있으며, 이에 국한하지 않고 사용자가 원하는 시간대로 적어도 하나 이상의 관심시간 설정이 가능하다. 사용자 인터페이스부(160)는 적어도 하나 이상의 관심시간 동안 관심영역에 대해 생성된 적어도 하나 이상의 히트맵을 동시에 표시할 수 있다.
더 나아가 사용자 인터페이스부(160)는 적어도 하나 이상의 관심영역에 대해 적어도 하나 이상의 관심시간을 설정할 수 있다. 사용자 인터페이스부(160)는 적어도 하나 이상의 관심시간 동안 적어도 하나 이상의 관심영역에 대해 생성된 적어도 하나 이상의 히트맵을 동시에 표시할 수 있다.
히트맵 생성부(170)는 데이터베이스(150)로부터 움직임 발생빈도가 누적된 적어도 하나 이상의 관심영역 또는 설정된 적어도 하나 이상의 관심시간 대의 움직임 발생 빈도가 누적된 적어도 하나 이상의 관심영역을 획득하고, 관심영역 내에서 움직임 발생 빈도에 순위를 설정한 후, 설정된 순위에 따라 서로 다른 색을 할당하여 표시함으로써 히트맵을 생성하고 이를 사용자 인터페이스부(160)로 출력한다.
히트맵 생성을 좀더 상세히 설명하면, 히트맵 생성부(170)는 할당한 색상단위가 예를 들어 8가지라고 가정하면, 관심영역 내에서 움직임 발생 빈도에 제1 순위 내지 제8 순위를 설정하고, 제1 순위에 제1색 예를 들어, 붉은색을 제8 순위에 제2색 예를 들어, 푸른색을 할당하고, 제2 내지 제7 순위에는 붉은색에서 푸른색으로 변하는 색상을 할당할 수 있다.
다른 방법으로, 히트맵 생성부(170)는 데이터베이스(150)로부터 획득한 관심영역 내에서 움직임 발생 빈도가 가장 많은 최대값과 움직임 발생빈도가 가장 적은 최소값을 설정하고, 최대값에는 제1색을 할당하고, 최소값에는 제2색을 할당할 수 있다. 그리고 최대값 및 최소값 사이의 영역은 일정하게 분할하거나, 특정 빈도에 대해 가중치를 적용하여 최대값에 가까운 분할영역에는 제1색과 다른 붉은색 계열로 할당하고, 최소값에 가까운 분할영역에는 제2색과 다른 푸른색 계열로 할당할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 관심영역 설정 및 관심영역에 대한 히트맵 생성을 보이는 도면이다. 도 4를 참조하면 히트맵 생성부(170)는 도 4a에 도시된 바와 같이 사용자 인터페이스부(160)에서 설정한 관심영역(410)에 대해, 도 4b에 도시된 바와 같은 히트맵 생성 결과(420)를 사용자 인터페이스부(160)에 표시한다.
도 5는 본 발명의 일 실시 예에 따른 복수의 관심영역 설정 및 복수의 관심영역에 대한 히트맵 생성을 보이는 도면이다. 도 5를 참조하면 히트맵 생성부(170)는 도 5a에 도시된 바와 같이 사용자 인터페이스부(160)에서 설정한 제1 관심영역(510) 및 제2 관심영역(520)에 대해, 도 5b에 도시된 바와 같은 제1 히트맵 생성 결과(530) 및 제2 히트맵 생성결과(540)를 사용자 인터페이스부(160)에 표시한다.
도 6은 본 발명의 일 실시 예에 따른 관심영역에 대한 복수의 관심시간을 설정하고 각 관심시간 별로 관심영역에 대한 히트맵 생성을 보이는 도면이다. 도 6을 참조하면, 히트맵 생성부(170)는 도 6a에 도시된 바와 같이 사용자 인터페이스부(160)에서 설정한 11시-12시, 15시-16시, 18시-19시, 21-22시 관심시간 및 관심영역(610)에 대해, 도 6b에 도시된 바와 같은 제1 내지 제4 히트맵 생성 결과(b-1 내지 b-4)를 사용자 인터페이스부(160)에 표시한다.
이와 같이 전체영역 중 설정된 관심영역 또는/및 관심시간에 대해 히트맵을 생성하여 표시함으로써 전체영역에 대한 히트맵 대비 관심영역 히트맵의 정확성을 향상시킬 수 있다.
이어서, 도 7을 참조하여 본 발명의 일 실시 예에 따른 히트맵 제공 방법을 설명하기로 한다. 본 발명에 따른 히트맵 제공 방법은 도 1에 도시된 바와 같이 주변 구성요소들의 도움을 받아 히트맵 제공 장치(100)에서 수행될 수 있다. 이하의 설명에서 도 1 내지 도 6에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 7을 참조하면, 히트맵 제공 장치(100)는 촬영영역 내에서 움직임을 검출하고, 움직임 검출 영역으로부터 움직임 발생 빈도를 획득하는 단계(100)를 수행한다. 이에 앞서, 히트맵 제공 장치(100)는 촬영영역을 소정 개수의 영역으로 분할할 수 있다. 히트맵 제공 장치(100)는 이미지 센서, 레이저 센서, 키네틱 센서, 적외선 센서가 수신한 데이터를 수신하여 움직임을 검출하고 움직임 발생 빈도를 획득할 수 있다. 여기서 히트맵 제공 장치(100)는 설정된 일정 단위 시간 동안 움직임 분석을 수행하여 움직임 발생 빈도를 획득할 수 있다. 이미지 센서로부터 촬영영역에 대한 움직임 데이터를 수신하는 경우, 전/후 영상 프레임의 비교를 통해 움직임 발생을 판단하고, 소정 개수로 분할된 촬영영역 중 움직임이 발생한 분할영역에 움직임 발생 빈도를 획득할 수 있다. 레이저 센서로부터 촬영영역에 대한 움직임 데이터를 수신하는 경우, 레이저를 발진하고 객체로부터 반사되어 수신되는 시간을 카운트하여 움직임 발생을 판단하고, 소정 개수로 분할된 촬영영역 중 움직임이 발생한 분할영역에 움직임 발생 빈도를 획득할 수 있다. 키네틱 센서로부터 촬영영역에 대한 움직임 데이터를 수신하는 경우, 전/후 영상 프레임의 비교를 통해 움직임 발생을 판단하고, 소정 개수로 분할된 촬영영역 중 움직임이 발생한 분할영역에 움직임 발생 빈도를 획득할 수 있다. 적외선 센서로부터 촬영영역에 대한 움직임 데이터를 수신하는 경우, 적외선을 발광하고 객체로부터 반사되어 수광되는 시간을 카운트하여 움직임 발생을 판단하고, 소정 개수로 분할된 촬영영역 중 움직임이 발생한 분할영역에 움직임 발생 빈도를 획득할 수 있다. 이후 히트맵 제공 장치(100)는 분할된 영역의 움직임 발생 빈도를 데이터베이스에 누적 저장한다.
이후 히트맵 제공 장치(100)는 사용자로부터 촬영영역 중 소정의 관심영역 설정을 수신하는 단계(S200)를 수행한다. 히트맵 제공 장치(100)는 사용자로부터 적어도 하나 이상의 관심영역 설정을 수신할 수 있다. 또한 히트맵 제공 장치(100)는 사용자로부터 관심영역에 대한 적어도 하나 이상의 관심시간 설정을 수신할 수 있다. 더 나아가 히트맵 제공 장치(100)는 사용자로부터 적어도 하나 이상의 관심영역에 대한 적어도 하나 이상의 관심시간 설정을 수신할 수 있다.
히트맵 제공 장치(100)는 사용자에 의해 설정된 관심영역 및/또는 관심시간에 대해서 움직임 발생 빈도를 서로 다른 색상으로 표시하는 히트맵을 생성하여 사용자에게 제공하는 단계(S300)를 수행한다. 히트맵 제공 장치(100)는 데이터베이스로부터 움직임 발생빈도가 누적된 적어도 하나 이상의 관심영역 또는 설정된 적어도 하나 이상의 관심시간 대의 움직임 발생 빈도가 누적된 적어도 하나 이상의 관심영역을 획득하고, 관심영역 내에서 움직임 발생 빈도에 순위를 설정한 후, 설정된 순위에 따라 서로 다른 색을 할당하여 표시함으로써 히트맵을 생성하고 이를 사용자에게 제공한다. 히트맵 제공 장치(100)는 할당한 색상단위가 예를 들어 8가지라고 가정하면, 관심영역 내에서 움직임 발생 빈도에 제1 순위 내지 제8 순위를 설정하고, 제1 순위에 제1색 예를 들어, 붉은색을 제8 순위에 제2색 예를 들어, 푸른색을 할당하고, 제2 내지 제7 순위에는 붉은색에서 푸른색으로 변하는 색상을 할당할 수 있다. 또한 히트맵 제공 장치(100)는 데이터베이스로부터 획득한 관심영역 내에서 움직임 발생 빈도가 가장 많은 최대값과 움직임 발생빈도가 가장 적은 최소값을 설정하고, 최대값에는 제1색을 할당하고, 최소값에는 제2색을 할당할 수 있다. 그리고 최대값 및 최소값 사이의 영역은 일정하게 분할하거나, 특정 빈도에 대해 가중치를 적용하여 최대값에 가까운 분할영역에는 제1색과 다른 붉은색 계열로 할당하고, 최소값에 가까운 분할영역에는 제2색과 다른 푸른색 계열로 할당할 수 있다.
히트맵 제공 장치(100)는 사용자가 설정한 관심영역에 대한 히트맵 생성 결과를 사용자에게 제공할 수 있다. 또한 히트맵 제공 장치(100)는 사용자가 설정한 복수의 관심영역에 대한 복수의 히트맵 생성결과를 동시에 사용자에게 제공할 수 있다. 더 나아가 히트맵 제공 장치(100)는 관심영역에 대한 복수의 관심시간을 설정하고 각 관심시간 별로 관심영역에 대한 복수의 히트맵 생성 결과를 동시에 사용자에게 제공할 수 있다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
110: 카메라
120: 영역 분할부
130: 센서부
140: 움직임 분석부
150: 데이터베이스
160: 사용자 인터페이스부
170: 히트맵 생성부

Claims (14)

  1. 카메라에 의해 획득된 촬영영역을 복수의 영역들로 분할하는 영역 분할단계;
    상기 촬영영역 내에서 움직임을 검출하고, 상기 움직임 검출에 따라 상기 촬영역의 복수의 영역들 각각에서의 움직임 발생 빈도를 획득하는 움직임 분석단계;
    상기 복수의 영역들 각각에서의 움직임 발생 빈도를 누적 저장하는 데이터베이스를 구축하는 단계;
    상기 촬영영역 중 소정의 관심영역 설정을 수신하는 관심영역 설정단계; 및
    상기 관심영역 내에서 상기 움직임 발생 빈도를 서로 다른 색상으로 표시하는 히트맵 생성단계;를 포함하고,
    상기 히트맵 생성단계는,
    상기 데이터베이스로부터 상기 복수의 영역들 중 상기 관심영역에만 포함된 영역들 각각의 움직임 발생 빈도를 획득하는 단계;
    상기 관심영역에만 포함된 영역들 각각의 움직임 발생 빈도에 기 설정된 개수의 순위를 설정하는 단계; 및
    상기 설정된 순위에 따라 상기 관심영역에만 포함된 영역들 각각의 움직임 발생 빈도에 서로 다른 색을 할당하여 표시하는 단계;를 포함하고,
    상기 관심영역이 변경되면, 상기 변경된 관심영역에만 포함된 영역들 각각의 움직임 발생 빈도에 상기 기 설정된 개수의 순위를 설정함에 의해, 상기 관심영역이 변경될 때마다 각 영역의 움직임 발생 빈도에 할당되는 우선순위 및 색이 달라지는 것을 특징으로 하는 히트맵 제공 방법.
  2. 제 1항에 있어서, 상기 관심영역 설정단계는,
    상기 관심영역에 대해 관심시간 설정을 수신하는 관심시간 설정단계;를 더 포함하는 것을 특징으로 하는 히트맵 제공 방법.
  3. 제 2항에 있어서,
    상기 누적된 움직임 발생 빈도 획득 단계는,
    상기 데이터베이스로부터, 상기 관심시간 동안 상기 관심영역에 포함된 영역들 각각의 누적된 움직임 발생 빈도를 획득하는 단계;를 포함하는 것을 특징으로 하는 히트맵 제공 방법.
  4. 제 1항에 있어서, 상기 관심영역 설정단계는,
    상기 촬영영역 중 복수개의 관심영역들 설정을 수신하는 단계;를 포함하는 것을 특징으로 하는 히트맵 제공 방법.
  5. 제 1항에 있어서, 상기 히트맵 생성단계는,
    상기 복수개의 관심영역들에 대해 각각 생성한 상기 히트맵들을 동시에 표시하는 단계;를 포함하는 것을 특징으로 하는 히트맵 제공 방법.
  6. 제 1항에 있어서, 상기 관심영역 설정단계는,
    상기 관심영역에 대해 복수개의 관심시간들의 설정을 수신하는 단계;를 포함하는 것을 특징으로 하는 히트맵 제공 방법.
  7. 제 6항에 있어서, 상기 히트맵 생성단계는,
    상기 관심시간 별로 상기 관심영역에 대해 생성한 상기 히트맵들을 동시에 표시하는 단계;를 포함하는 것을 특징으로 하는 히트맵 제공 방법.
  8. 카메라에 의해 획득된 촬영영역을 복수의 영역들로 분할하는 영역 분할부;
    상기 촬영영역 내에서 움직임을 검출하고, 상기 움직임 검출에 따라 상기 복수의 영역들 각각에서의 움직임 발생 빈도를 획득하는 움직임 분석부;
    상기 복수의 영역들 각각의 움직임 발생 빈도를 누적 저장하는 데이터베이스;
    상기 촬영영역을 표시하고 상기 촬영영역 중 소정의 관심영역 설정을 수신하는 사용자 인터페이스부; 및
    상기 관심영역 내에서 상기 움직임 발생 빈도를 서로 다른 색상으로 할당하여 상기 사용자 인터페이스부로 출력하는 히트맵 생성부;를 포함하고,
    상기 히트맵 생성부는,
    상기 데이터베이스로부터 상기 복수의 영역들 중 상기 관심영역에만 포함된 영역들 각각의 움직임 발생 빈도를 획득하고,
    상기 관심영역에만 포함된 영역들 각각의 움직임 발생 빈도에 기 설정된 개수의 순위를 설정하고,
    상기 설정된 순위에 따라 상기 관심영역에만 포함된 영역들 각각의 움직임 발생 빈도에 서로 다른 색을 할당하여 표시하고,
    상기 관심영역이 변경되면, 상기 변경된 관심영역에만 포함된 영역들 각각의 누적된 움직임 발생 빈도에 상기 기 설정된 개수의 순위를 설정함에 의해, 상기 관심영역이 변경될 때마다 각 영역의 움직임 발생 빈도에 할당되는 우선순위 및 색이 달라지는 것을 특징으로 하는 히트맵 제공 장치.
  9. 제 8항에 있어서, 상기 사용자 인터페이스부는,
    상기 관심영역에 대해 관심시간 설정을 수신하는 것을 특징으로 하는 히트맵 제공 장치.
  10. 제 9항에 있어서, 상기 히트맵 생성부는,
    상기 데이터베이스로부터, 상기 관심시간 동안 상기 관심영역에 포함된 영역들 각각의 누적된 움직임 발생 빈도를 획득하는 것을 특징으로 하는 히트맵 제공 장치.
  11. 제 8항에 있어서, 상기 사용자 인터페이스부는,
    상기 촬영영역 중 복수개의 관심영역들을 설정하는 것을 특징으로 하는 히트맵 제공 장치.
  12. 제 11항에 있어서, 상기 히트맵 생성부는,
    상기 복수개의 관심영역들에 대해 각각 생성한 상기 히트맵들을 동시에 상기 사용자 인터페이스부로 출력하는 것을 특징으로 하는 히트맵 제공 장치.
  13. 제 8항에 있어서, 상기 사용자 인터페이스부는,
    상기 관심영역에 대해 복수개의 관심시간들을 설정하는 것을 특징으로 하는 히트맵 제공 장치.
  14. 제 13항에 있어서, 상기 히트맵 생성부는,
    상기 관심시간 별로 상기 관심영역에 대해 생성한 상기 히트맵들을 동시에 상기 사용자 인터페이스부로 출력하는 것을 특징으로 하는 히트맵 제공 장치.

KR1020210009625A 2014-01-02 2021-01-22 히트맵 제공 장치 및 방법 KR102350918B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210009625A KR102350918B1 (ko) 2014-01-02 2021-01-22 히트맵 제공 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140000407A KR20150080863A (ko) 2014-01-02 2014-01-02 히트맵 제공 장치 및 방법
KR1020210009625A KR102350918B1 (ko) 2014-01-02 2021-01-22 히트맵 제공 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140000407A Division KR20150080863A (ko) 2014-01-02 2014-01-02 히트맵 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210013252A true KR20210013252A (ko) 2021-02-03
KR102350918B1 KR102350918B1 (ko) 2022-01-13

Family

ID=79342122

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210009625A KR102350918B1 (ko) 2014-01-02 2021-01-22 히트맵 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102350918B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090046670A (ko) 2008-04-21 2009-05-11 주식회사 아리아드 콘텐츠 히트맵 프레임별 매칭에 의한 키워드 인사이트인터랙티브 광고시스템
KR20100013931A (ko) * 2008-08-01 2010-02-10 삼성전자주식회사 게이트 구동 회로, 이를 갖는 표시 장치 및 표시 장치의제조 방법
US8345101B2 (en) * 2008-10-31 2013-01-01 International Business Machines Corporation Automatically calibrating regions of interest for video surveillance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090046670A (ko) 2008-04-21 2009-05-11 주식회사 아리아드 콘텐츠 히트맵 프레임별 매칭에 의한 키워드 인사이트인터랙티브 광고시스템
KR20100013931A (ko) * 2008-08-01 2010-02-10 삼성전자주식회사 게이트 구동 회로, 이를 갖는 표시 장치 및 표시 장치의제조 방법
US8345101B2 (en) * 2008-10-31 2013-01-01 International Business Machines Corporation Automatically calibrating regions of interest for video surveillance

Also Published As

Publication number Publication date
KR102350918B1 (ko) 2022-01-13

Similar Documents

Publication Publication Date Title
CN104766295B (zh) 热图提供设备和方法
US10191356B2 (en) Methods and apparatus relating to detection and/or indicating a dirty lens condition
CN111052727B (zh) 电子装置及其控制方法
US10663691B2 (en) Imaging devices having autofocus control in response to the user touching the display screen
CN105659200B (zh) 用于显示图形用户界面的方法、设备和系统
EP3016382B1 (en) Monitoring methods and devices
US9875408B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP2017500766A (ja) 再焦点合わせ可能画像
TWI505195B (zh) 眼球關注點確定方法、裝置和系統
KR20150120317A (ko) 리포커싱을 실행하는 방법 및 전자 기기
CN103048846B (zh) 焦点调节装置及其控制方法
US9197870B1 (en) Automatic projection focusing
JP2007265125A (ja) コンテンツ表示装置
EP3163346A1 (en) Autofocusing a macro object by an imaging device
US11080865B2 (en) Heatmap providing apparatus and method
KR20190120106A (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
JP2017188715A (ja) 映像表示システム及び映像表示方法
US9449234B2 (en) Displaying relative motion of objects in an image
KR20230145296A (ko) 히트맵을 생성하는 장치 및 방법
KR20210013252A (ko) 히트맵 제공 장치 및 방법
JP6294703B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4210955B2 (ja) 撮像装置、撮像制御方法、及び、撮像制御プログラム
JP6800671B2 (ja) 付与装置、付与方法および付与プログラム
JP2017192114A5 (ko)
US10609311B2 (en) Method and device for increasing resolution of an image sensor

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant