KR102588413B1

KR102588413B1 - 히트맵을 생성하는 장치 및 방법

Info

Publication number: KR102588413B1
Application number: KR1020190012376A
Authority: KR
Inventors: 정경전
Original assignee: 한화비전 주식회사
Priority date: 2019-01-31
Filing date: 2019-01-31
Publication date: 2023-10-12
Also published as: US11182617B2; KR20200094940A; KR20230145296A; US20200250434A1

Abstract

본 발명의 실시 예에 따른 영상으로부터 히트맵을 생성하는 방법은, 영상에서 오브젝트들을 감지하는 단계, 오브젝트들 각각에 대해 영상의 분할 영역들에서의 체류 시간들을 결정하는 단계, 각 오브젝트의 체류 시간들을 해당 오브젝트의 분할 영역들에서의 체류 시간들의 합에 따라 노멀라이즈하는 단계, 그리고 노멀라이즈된 체류 시간들에 기초하여 히트맵을 생성하는 단계를 포함한다.

Description

히트맵을 생성하는 장치 및 방법{DEVICE AND METHOD FOR GENERATING HEAT MAP}

본 발명은 전자 장치에 관한 것으로, 좀 더 구체적으로는 영상으로부터 히트맵을 생성하는 장치 및 방법에 관한 것이다.

매장 내 방문객의 동선 및 관심사 분석은 영업 및 마케팅에 대한 의사 결정을 위한 중요한 데이터일 수 있다. 이러한 데이터는 방문객의 관심사를 인터뷰, 웹 페이지를 통해 직접적으로 수집되거나, CCTV 카메라를 통해 촬영되는 영상을 통해 간접적으로 수집될 수 있다.

영상에 기초하여 생성되는 히트맵은 영상 내 영역들 각각에서의 방문객의 체류 시간을 시각화할 수 있다. 히트맵은 일정한 이미지 위에 다양한 색상들을 이용하여 방문객의 체류 시간들을 시각화한다. 예를 들면, 히트맵은 방문객들이 상대적으로 빈번하게 위치한 영역을 붉은색 계열로 표현하고, 방문객들이 상대적으로 적게 위치한 영역을 푸른색 계열로 표현할 수 있다. 매장 운영자는 히트맵을 통해 방문객들이 상대적으로 빈번하게 위치한 영역들을 시각적으로 확인할 수 있으며, 이를 통해 고객들의 관심사를 파악할 수 있다.

위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.

본 발명의 실시 예들은 향상된 신뢰성을 갖는 히트맵을 출력할 수 있는 장치 및 방법을 제공하기 위한 것이다. 예를 들면, 본 발명의 실시 예들에 따른 장치 및 방법은 총 체류 시간이 지나치게 긴 오브젝트로 인해 히트맵이 의도한 바와 다르게 왜곡되는 현상을 방지할 수 있다.

본 발명의 실시 예에 따른 영상으로부터 히트맵을 생성하는 방법은, 상기 영상에서 오브젝트들을 감지하는 단계; 상기 오브젝트들 각각에 대해, 상기 영상의 분할 영역들에서의 체류 시간들을 결정하는 단계; 각 오브젝트의 체류 시간들을 해당 오브젝트의 상기 분할 영역들에서의 체류 시간들의 합에 따라 노멀라이즈하는 단계; 및 상기 노멀라이즈된 체류 시간들에 기초하여 히트맵을 생성하는 단계를 포함한다.

상기 히트맵을 생성하는 단계는, 상기 노멀라이즈된 체류 시간들 중 임계값보다 작은 노멀라이즈된 체류 시간들을 선택하는 단계; 및 상기 선택된 체류 시간들에 따라 상기 히트맵을 생성하는 단계를 포함할 수 있다.

상기 선택된 체류 시간들에 따라 상기 히트맵을 생성하는 단계는, 각 분할 영역에 대응하는 선택된 체류 시간들의 합을 연산하여 해당 분할 영역의 대표값을 결정하는 단계; 및 상기 분할 영역들의 대표값들에 따라 히트맵을 생성하는 단계를 포함할 수 있다.

상기 오브젝트들은 제 1 내지 제 m 오브젝트들을 포함하며, 상기 노멀라이즈하는 단계는 제 k 오브젝트의 각 분할 영역에서의 체류 시간을 상기 제 k 오브젝트의 상기 분할 영역들에서의 체류 시간들의 합으로 나누어 노멀라이즈하는 단계를 포함하고, m은 2보다 크거나 같은 정수이고, k는 1보다 크거나 같고 m보다 작거나 같은 정수일 수 있다.

상기 방법은, 상기 오브젝트들 각각을 식별하여 상기 오브젝트들에 각각 대응하는 메타 데이터들을 생성하는 단계; 및 상기 메타 데이터들을 저장하는 단계를 더 포함할 수 있다.

상기 방법은, 사용자 인터페이스를 통해 사용자 입력을 수신하는 단계를 더 포함하며, 상기 히트맵을 생성하는 단계는, 상기 사용자 입력에 응답하여 각 오브젝트의 상기 노멀라이즈된 체류 시간들을 해당 오브젝트에 대응하는 메타 데이터에 따라 수정하는 단계; 및 상기 수정된 체류 시간들에 따라 히트맵을 생성하는 단계를 포함할 수 있다.

상기 방법은 상기 노멀라이즈된 체류 시간들 각각에 해당 분할 영역에 따라 가중치를 부여하는 단계를 더 포함하며, 상기 히트맵을 생성하는 단계는 상기 가중치가 부여된 상기 노멀라이즈된 체류 시간들에 따라 상기 히트맵을 생성하는 단계를 포함할 수 있다.

본 발명의 실시 예들에 따르면, 향상된 신뢰성을 갖는 히트맵을 출력할 수 있는 장치 및 방법이 제공된다.

도 1은 본 발명의 실시 예에 따른 영상 촬영 장치를 보여주는 블록도이다.
도 2는 도 1의 움직임 분석부에서 출력되는 동선 정보를 개념적으로 보여주는 도면이다.
도 3은 도 1의 히트맵 제공기를 좀 더 구체적으로 보여주는 블록도이다.
도 4는 본 발명의 실시 예에 따른 영상 촬영 장치의 동작 방법을 보여주는 순서도이다.
도 5는 분할 영역들의 체류 시간들을 예시적으로 보여주는 도면이다.
도 6은 노멀라이즈된 체류 시간들을 예시적으로 보여주는 도면이다.
도 7은 노멀라이즈된 체류 시간들에 기초하여 히트맵을 생성하는 방법의 실시 예를 보여주는 순서도이다.
도 8은 도 6의 노멀라이즈된 체류 시간들을 이용하여 결정되는 대표값들을 예시적으로 보여주는 도면이다.
도 9는 노멀라이즈된 체류 시간들에 기초하여 히트맵을 생성하는 방법의 다른 실시 예를 보여주는 순서도이다.
도 10은 노멀라이즈된 체류 시간들에 기초하여 히트맵을 생성하는 방법의 또 다른 실시 예를 보여주는 순서도이다.
도 11은 영상 촬영 장치를 포함하는 네트워크 시스템을 보여주는 블록도이다.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 모호하지 않도록 하기 위해 생략될 것이라는 것을 유의하여야 한다. 또한 본 발명은 여기에서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 여기에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 여기에서 사용된 용어는 특정한 실시예들을 설명하기 위한 것이며 본 발명을 한정하기 위한 것이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 해석될 수 있다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.

도 1은 본 발명의 실시 예에 따른 영상 촬영 장치를 보여주는 블록도이다. 도 2는 도 1의 움직임 분석부에서 출력되는 동선 정보를 개념적으로 보여주는 도면이다.

도 1을 참조하면, 영상 촬영 장치(100)는 카메라(105), 이미지 프로세서(110), 움직임 분석부(120), 저장 매체(130), 히트맵 제공기(140), 및 사용자 인터페이스(150, 사용자 I/F)를 포함할 수 있다.

카메라(105)는 렌즈를 통해 수신된 광학 신호를 전기 신호로 변환하는 이미지 센서를 포함할 수 있다. 이 경우, 이미지 센서는 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈을 포함할 수 있다. 이미지 센서는 변환된 전기 신호를 디지털화하여 이미지들을 생성할 수 있다. 예를 들면, 이미지 센서(211)는 아날로그 디지털 컨버터를 포함할 수 있다.

이미지 프로세서(110)는 카메라(105)에 연결된다. 이미지 프로세서(110)는 카메라(105)로부터 수신된 이미지들을 처리하여 영상(VD)을 생성하도록 구성된다. 예를 들면, 이미지 프로세서(110)는 수신된 이미지들의 사이즈를 조절하거나 해상도를 조절하거나 다른 필요한 처리들을 수행할 수 있다.

움직임 분석부(120)는 이미지 프로세서(110)와 연결된다. 움직임 분석부(120)는 이미지 프로세서(110)로부터 영상(VD)을 수신하고, 영상(VD)에 포함된 오브젝트들을 감지 및 식별하고, 오브젝트들 각각의 움직임을 추적하고, 그에 따라 동선 정보(MVL)를 생성하도록 구성된다.

움직임 분석부(120)는 오브젝트 감지기(121), 움직임 분석기(122), 및 오브젝트 식별기(123)를 포함할 수 있다.

오브젝트 감지기(121)는 영상(VD)에 포함된 오브젝트들을 인식(recognition) 혹은 감지(detection)하도록 구성된다. 여기에서, 감지되는 오브젝트는 사람일 수 있다. 오브젝트 감지기(121)는 이 분야에서 알려진 다양한 사람 인식 알고리즘(human recognition algorithm)들 중 적어도 하나를 포함할 수 있다.

움직임 분석기(122)는 오브젝트 감지기(121)에 의해 식별된 오브젝트의 움직임을 추적할 수 있다. 움직임 분석기(122)는 영상(VD)의 앞과 뒤 프레임들 사이의 비교를 통해 오브젝트의 움직임을 추적할 수 있으며, 이 분야에서 알려진 다양한 오브젝트 추적 알고리즘(tracking algorithm)들 중 적어도 하나를 포함할 수 있다.

움직임 분석기(122)는 오브젝트의 움직임을 분석하고, 분석 결과에 따라 동선 정보(MVL)를 생성하고, 동선 정보(MVL)를 저장 매체(130)에 저장하도록 구성된다. 영상(VD)의 촬영 영역은 복수의 분할 영역들(도 5의 DA 참조)로 구분될 수 있다. 이때, 움직임 분석기(122)는 분할 영역들 중 오브젝트가 위치한 분할 영역, 그리고 분할 영역에 오브젝트가 머무른 체류 시간을 감지함으로써 동선 정보(MVL)를 생성할 수 있다. 도 2를 참조하면, 동선 정보(MVL)는 오브젝트가 위치한 분할 영역의 좌표 정보(LOCx, LOCy), 그리고 분할 영역에서의 체류 시간(RT)을 포함할 수 있다. 도 2에는 하나의 분할 영역의 좌표 정보(LOCx, LOCy) 및 그에 대응하는 체류 시간(RT)이 도시되나, 만약 오브젝트가 다수의 분할 영역들을 통해 이동했다면 동선 정보(MVL)는 복수의 분할 영역들의 좌표 정보들과 그들에 대응하는 체류 시간들을 포함할 것이다.

다시 도 1을 참조하면, 오브젝트 식별기(123)는 오브젝트 감지기(121)에 의해 감지된 오브젝트의 얼굴을 식별하고, 식별 결과에 따라 오브젝트의 특성을 나타내는 메타 데이터(MT)를 생성하고, 생성된 메타 데이터(MT)를 저장 매체(130)에 저장하도록 구성된다. 오브젝트 식별기(123)는 오브젝트의 얼굴 이미지가 포함된 영역을 검출하고, 검출된 얼굴 이미지의 특징 정보, 예를 들면 특징점들을 식별하고, 얼굴 이미지의 특징 정보에 따라 메타 데이터(MT)를 생성할 수 있다. 실시 예들에서, 메타 데이터(MT)는 오브젝트의 성별, 연령대 등과 같은 다양한 특성들을 나타내는 정보를 포함할 수 있다.

저장 매체(130)는 움직임 분석부(120) 및 히트맵 제공기(140)에 연결된다. 저장 매체(130)는 동선 정보(MVL) 및 메타 데이터(MT)를 저장하도록 구성된다. 실시 예들에서, 저장 매체(130)는 플래시 메모리(flash memory), 하드 디스크(hard disk) 등과 같은 전원이 차단되더라도 저장된 데이터를 유지하는 다양한 타입들의 저장 매체들 중 적어도 하나, 혹은 SRAM (Static RAM), DRAM (Dynamic RAM), SDRAM (Synchronous DRAM)과 같은 메모리들 중 적어도 하나를 포함할 수 있다.

히트맵 제공기(140)는 저장 매체(130)와 연결된다. 히트맵 제공기(140)는 동선 정보(MVL)를 읽고, 읽어진 동선 정보(MVL)에 따라 히트맵(HM)을 생성하도록 구성된다.

실시 예들에서, 움직임 분석부(120) 및 히트맵 제공기(140) 각각은 하드웨어, 소프트웨어, 펌웨어, 및 그것들의 조합을 통해 구현될 수 있다. 예를 들면, 움직임 분석부(120) 및 히트맵 제공기(140)가 소프트웨어를 통해 구현되는 경우, 영상 촬영 장치(100)는 프로그램 코드들 및/또는 명령어들을 실행하도록 구성되는 적어도 하나의 프로세서를 포함한다. 프로세서는 실행될 때 움직임 분석부(120) 및 히트맵 제공기(140)의 기능들을 수행하는 프로그램 코드들 및/또는 명령어들을 메모리에 로딩하고, 로딩된 프로그램 코드들 및/또는 명령어들을 실행할 수 있다. 이와 같이, 영상 촬영 장치(100)는 카메라(105) 및 이미지 프로세서(110)를 포함하되, 프로그램 코드들 및/또는 명령어들을 실행하여 영상(VD)을 처리할 수 있는 적어도 하나의 프로세서를 포함하는 컴퓨터 장치일 수 있다.

도 3은 도 1의 히트맵 제공기를 좀 더 구체적으로 보여주는 블록도이다.

도 1 및 도 3을 참조하면, 히트맵 제공기(140)는 저장 매체 인터페이스(210, 저장 매체 I/F), 영역 분할기(220), 노멀라이저(230), 및 히트맵 생성기(240)를 포함할 수 있다.

저장 매체 인터페이스(210)는 동선 정보(MVL)에 포함된 좌표 정보들 및 그에 대응하는 체류 시간들을 저장 매체(130)로부터 읽고, 읽어진 좌표 정보들 및 체류 시간들을 영역 분할기(220)에 전달할 수 있다. 실시 예들에서, 동선 정보(MVL)는 타임 스탬프를 포함할 수 있으며, 저장 매체 인터페이스(210)는 사용자 인터페이스(150)를 통해 시간 구간(예를 들면, 1분, 1시간, 또는 1일 등)을 선택하는 제 1 사용자 입력(UI1)을 수신할 때, 선택된 시간 구간에 촬영된 영상(VD)의 동선 정보(MVL)를 읽을 수 있다.

영역 분할기(220)는 움직임 분석부(120)에 의해 정의된 분할 영역들을 다시 정의하고, 정의된 분할 영역들에 각각 대응하는 체류 시간들을 제공하도록 구성된다. 실시 예들에서, 영역 분할기(220)는 사용자 인터페이스(150)를 통해 분할 영역의 크기를 선택하는 제 2 사용자 입력(UI2)을 수신할 때, 선택된 분할 영역의 크기에 따라 분할 영역들을 다시 정의하고 정의된 분할 영역들에 각각 대응하는 체류 시간들을 연산할 수 있다. 예를 들면, 제 2 사용자 입력(UI2)이 움직임 분석부(120)에 의해 정의된 분할 영역들의 4배에 대응하는 크기를 선택할 때, 영역 분할기(220)는 인접하는 4개의 분할 영역들을 그룹화하고(도 5의 DAG 참조), 그룹화된 영역에 대응하는 체류 시간들을 오브젝트 별로 예를 들면 합하거나 평균하는 연산을 수행하고, 연산된 체류 시간을 출력할 수 있다. 이하, 설명의 편의를 위해, 영역 분할기(220)는 움직임 분석부(120)에 의해 정의된 분할 영역들을 유지한다고 가정한다.

노멀라이저(230)는 체류 시간들 각각을 해당 오브젝트의 총 체류 시간에 따라 노멀라이즈하도록 구성된다. 노멀라이저(230)는 각 분할 영역에서의 체류 시간을 해당 오브젝트의 분할 영역들 전체에서의 체류 시간들의 합으로 나눔으로써 노멀라이즈할 수 있다. 이에 따라, 노멀라이저(230)는 각 분할 영역에 대응하는 노멀라이즈된 체류 시간을 출력할 수 있다.

영상(VD)에서 감지되는 오브젝트들 중 일부는 상대적으로 장시간 동안 영상(VD) 내에서 체류할 수 있다. 예를 들면, 영상(VD)이 매장 내를 촬영할 때, 매장 내에 특정 방문객이 상대적으로 장시간 동안 체류할 수 있다. 이 경우, 그 방문객의 상대적으로 높은 체류 시간에 의해 다른 방문객의 체류 시간은 히트맵(HM)에 실질적으로 반영되지 못할 수 있다. 이는, 히트맵(HM)은 원하는 바와 다르게 왜곡될 수 있음을 의미한다.

본 발명의 실시 예에 따르면, 노멀라이저(230)는 오브젝트의 체류 시간들 각각을 그 오브젝트의 총 체류 시간에 따라 노멀라이즈하도록 구성된다. 이에 따라, 총 체류 시간이 지나치게 긴 오브젝트로 인해 히트맵(HM)이 의도한 바와 다르게 왜곡되는 현상은 방지될 수 있다. 따라서, 향상된 신뢰성을 갖는 히트맵(HM)을 출력하는 히트맵 제공기(140) 및 영상 촬영 장치(100)가 제공된다.

히트맵 생성기(240)는 노멀라이즈된 체류 시간들에 따라 히트맵(HM)을 생성하도록 구성된다. 히트맵 생성기(240)는 노멀라이즈된 체류 시간들 중 임계값보다 크거나 같은 노멀라이즈된 체류 시간이 존재하는지 판별하고, 임계값보다 크거나 같은 노멀라이즈된 체류 시간을 드롭할 수 있다.

영상(VD)에서 감지되는 오브젝트들 중 일부는 상대적으로 장시간 동안 영상(VD)의 특정 분할 영역들에 체류할 수 있다. 예를 들면, 영상(VD)이 매장 내를 촬영할 때, 점원은 특정 영역에 계속적으로 머무를 수 있다. 이러한 경우, 방문객들에 연관되는 히트맵(HM)을 필요로 함에도 불구하고, 그 점원이 머무른 분할 영역은 방문객들의 분할 영역들보다 지나치게 높은 체류 시간을 가질 수 있다. 이는, 히트맵(HM)은 원하는 바와 다르게 왜곡될 수 있음을 의미한다.

본 발명의 실시 예에 따르면, 히트맵 생성기(240)는 노멀라이즈된 체류 시간들 중 임계값보다 작은 노멀라이즈된 체류 시간들을 선택하고, 선택된 체류 시간들에 따라 히트맵(HM)을 생성할 수 있다. 이에 따라, 특정 오브젝트로 인해 히트맵(HM)이 의도한 바와 다르게 왜곡되는 현상은 방지될 수 있다. 따라서, 향상된 신뢰성을 갖는 히트맵(HM)을 출력하는 히트맵 제공기(140) 및 영상 촬영 장치(100)가 제공된다.

또한, 히트맵 생성기(240)는 노멀라이즈된 체류 시간들 각각을 해당 오브젝트의 메타 데이터(MT)에 따라 변환하고, 변환된 체류 시간들에 따라 히트맵(HM)을 생성할 수 있다.

도 4는 본 발명의 실시 예에 따른 영상 촬영 장치의 동작 방법을 보여주는 순서도이다. 도 5는 분할 영역들의 체류 시간들을 예시적으로 보여주는 도면이다. 도 6은 노멀라이즈된 체류 시간들을 예시적으로 보여주는 도면이다.

도 4를 참조하면, S110단계에서, 영상(VD)에서 오브젝트가 감지된다. S120단계에서, 감지된 오브젝트에 대해, 영상(VD, 도 1 참조)의 분할 영역들에서의 체류 시간들이 결정된다. 결정된 체류 시간들, 그리고 그것들에 각각 대응하는 분할 영역들의 좌표 정보들은 저장 매체(130, 도 1 참조)에 저장될 수 있다. 도 5를 참조하면, 분할 영역들(DA)에 대응하는 체류 시간들이 도시되어 있다. 6개의 오브젝트들이 감지되었다고 가정한다. 제 1 오브젝트에 대응하는 제 1 체류 시간(RT1), 제 2 오브젝트에 대응하는 제 2 체류 시간(RT2), 제 3 오브젝트에 대응하는 제 3 체류 시간(RT3), 제 4 오브젝트에 대응하는 제 4 체류 시간(RT4), 제 5 오브젝트에 대응하는 제 5 체류 시간(RT5), 및 제 6 오브젝트에 대응하는 제 6 체류 시간(RT6)이 분할 영역들(DA) 중 적어도 하나에 대응한다. 인식의 편의를 위해, 도 5에서 제 1 체류 시간(RT1)은 분할 영역의 좌상단에, 제 2 체류 시간(RT2)은 분할 영역의 좌하단에, 제 3 체류 시간(RT3)은 분할 영역의 우상단에, 제 4 체류 시간(RT4)은 분할 영역의 우하단에, 제 5 체류 시간(RT5)은 분할 영역의 좌중단에, 제 6 체류 시간(RT6)은 분할 영역의 우중단에 표시된다.

다시 도 4를 참조하면, S130단계에서, 각 오브젝트의 체류 시간들이 오브젝트의 총 체류 시간에 따라 노멀라이즈된다. 각 분할 영역에서의 체류 시간은 그 오브젝트의 분할 영역들에서의 체류 시간들의 총합으로 나눔으로써 노멀라이즈될 수 있다. 도 6을 참조하면, 분할 영역들(DA)에 대응하는 노멀라이즈된 체류 시간들이 도시되어 있다. 도 5의 제 1 체류 시간들(RT1)의 합은 60이다. 제 1 체류 시간들(RT1) 각각은 60으로 나뉘어져 제 1 노멀라이즈된 체류 시간들(NRT1)로 변환된다. 도 5의 제 2 체류 시간들(RT2) 각각은 제 2 체류 시간들(RT2)의 합인 50으로 나뉘어져 제 2 노멀라이즈된 체류 시간들(NRT2)로 변환된다. 도 5의 제 3 체류 시간들(RT3) 각각은 제 3 체류 시간들(RT3)의 합인 20으로 나뉘어져 제 3 노멀라이즈된 체류 시간들(NRT3)로 변환된다. 도 5의 제 4 체류 시간들(RT4) 각각은 제 4 체류 시간들(RT4)의 합인 20으로 나뉘어져 제 4 노멀라이즈된 체류 시간들(NRT4)로 변환된다. 제 5 오브젝트는 하나의 분할 영역에서 감지되며, 그러므로 도 5의 제 5 체류 시간(RT5)은 그것에 의해 나뉘어져 제 5 노멀라이즈된 체류 시간(NRT5)으로 변환된다. 제 6 오브젝트는 하나의 분할 영역에서 감지되므로, 도 5의 제 6 체류 시간(RT6)은 그것에 의해 나뉘어져 제 6 노멀라이즈된 체류 시간(NRT6)으로 변환된다.

다시 도 4를 참조하면, S140단계에서, 노멀라이즈된 체류 시간들에 기초하여 히트맵이 생성된다.

본 발명의 실시 예에 따르면, 오브젝트의 체류 시간들 각각은 그 오브젝트의 총 체류 시간에 따라 노멀라이즈된다. 이에 따라, 총 체류 시간이 지나치게 긴 오브젝트로 인해 히트맵이 의도한 바와 다르게 왜곡되는 현상은 방지될 수 있다. 따라서, 본 발명의 실시 예에 따른 방법은 향상된 신뢰성을 갖는 히트맵을 제공할 수 있다.

도 7은 노멀라이즈된 체류 시간들에 기초하여 히트맵을 생성하는 방법의 실시 예를 보여주는 순서도이다. 도 8은 도 6의 노멀라이즈된 체류 시간들을 이용하여 결정되는 대표값들을 예시적으로 보여주는 도면이다.

도 7을 참조하면, S210단계에서, 임계값보다 작은 노멀라이즈된 체류 시간들이 선택된다. 다시 도 6을 참조하면, 노멀라이즈된 제 5 체류 시간(NRT5)과 노멀라이즈된 제 6 체류 시간(NRT6)은 1이다. 임계값이 0.7일 때, 노멀라이즈된 제 5 체류 시간(NRT5)과 노멀라이즈된 제 6 체류 시간(NRT6)은 드롭되고, 나머지의 노멀라이즈된 체류 시간들(NRT1, NRT2, NRT3, NRT4)이 선택될 수 있다. 실시 예들에서, 임계값은 사용자 입력에 따라 설정될 수 있다.

다시 도 7을 참조하면, S220단계에서, 각 분할 영역에 대해, 선택된 체류 시간들의 합을 연산하여 대표값이 결정된다. 도 8을 참조하면, 분할 영역들(DA)의 대표값들 각각은 소수점 둘째자리로 표현되어 있다. 실시 예들에서, 대표값들이 결정된 후에, 각 분할 영역의 대표값은 전체 분할 영역들의 대표값들의 총합으로 나뉘어 노멀라이즈될 수 있다.

다시 도 7을 참조하면, S230단계에서, 결정된 대표값들에 따라 히트맵이 생성된다. 예를 들면, 대표값들의 최대값과 최소값을 정의하고, 최대값 및 최소값에 제 1 색 및 제 2 색을 할당하고, 최대값 및 최소값 사이의 수치 범위를 일정하게 분할하고, 분할된 수치 범위들에 제 1 색에서 제 2 색으로 변하는 색들을 할당함으로써 히트맵이 생성될 수 있다. 그러나, 본 발명의 실시 예들은 여기에 한정되지 않으며, 다양한 방식들을 이용하여 히트맵이 생성될 수 있다.

본 발명의 실시 예에 따르면, 노멀라이즈된 체류 시간들 중 임계값보다 작은 노멀라이즈된 체류 시간들이 선택되고, 선택된 체류 시간들에 따라 히트맵이 생성될 수 있다. 이에 따라, 특정 오브젝트로 인해 히트맵이 의도한 바와 다르게 왜곡되는 현상은 방지될 수 있다. 따라서, 본 발명의 실시 예에 따른 방법은 향상된 신뢰성을 갖는 히트맵을 제공할 수 있다.

도 9는 노멀라이즈된 체류 시간들에 기초하여 히트맵을 생성하는 방법의 다른 실시 예를 보여주는 순서도이다.

도 9를 참조하면, S310단계에서, 노멀라이즈된 체류 시간들 각각이 해당 오브젝트의 메타 데이터에 따라 변환된다. 도 1을 참조하여 설명된 바와 같이, 영상(VD)에서 감지된 오브젝트에 포함된 얼굴이 식별되고, 식별 결과에 따라 생성된 메타 데이터(MT)가 저장 매체(130)에 저장될 수 있다. 이때, 노멀라이즈된 체류 시간들 각각은 해당 오브젝트의 메타 데이터(MT)에 따른 가중치의 적용을 통해 변환될 수 있다. 예를 들면, 여성에 대해 2배의 가중치가 부여되고 제 1 오브젝트에 대응하는 메타 데이터(MT)가 여성임을 나타낼 때, 도 6의 제 1 노멀라이즈된 체류 시간들(NRT1)에 2를 곱할 수 있다. 이와 같이, 오브젝트에 대응하는 메타 데이터(MT)에 따라, 그 오브젝트에 대응하는 체류 시간들에 가중치가 부여될 수 있다. 가중치는 사용자 입력에 따라 설정될 수 있다. 이에 따라, 사용자의 요구에 부합하는 히트맵(HM)이 제공될 수 있다.

S320단계에서, 각 분할 영역에 대해, 변환된 체류 시간들의 합을 연산하여 대표값이 결정된다. S330단계에서, 분할 영역들의 결정된 대표값들에 따라 히트맵이 생성된다.

도 10은 노멀라이즈된 체류 시간들에 기초하여 히트맵을 생성하는 방법의 또 다른 실시 예를 보여주는 순서도이다.

도 10을 참조하면, S410단계에서, 노멀라이즈된 체류 시간들 각각이 해당 분할 영역에 따라 변환된다. 각 노멀라이즈된 체류 시간은 해당 분할 영역에 따른 가중치의 적용을 통해 변환될 수 있다. 예를 들면, 사용자 입력에 의해 분할 영역들 중 일부가 선택될 때, 선택된 일부 및/또는 선택된 일부에 인접하는 분할 영역들의 노멀라이즈된 체류 시간들에 대해 가중치가 부여될 수 있다. 이에 따라, 사용자의 요구에 부합하는 히트맵(HM)이 제공될 수 있다.

S420단계에서, 각 분할 영역에 대해, 변환된 체류 시간들의 합을 연산하여 대표값이 결정된다. S430단계에서, 분할 영역들의 결정된 대표값들에 따라 히트맵이 생성된다.

도 11은 영상 촬영 장치를 포함하는 네트워크 시스템을 보여주는 블록도이다.

도 11을 참조하면, 네트워크 시스템(1000)은 네트워크(1050), 영상 촬영 장치(1100), 및 네트워크 서버(1200)를 포함한다.

네트워크(1050)는 영상 촬영 장치(1100) 및 네트워크 서버(1200)를 연결한다. 네트워크(1050)는 공용 네트워크(public network), 적어도 하나의 사설 네트워크(private network), 유선 네트워크, 무선 네트워크, 다른 적절한 타입의 네트워크, 및 그것들의 조합들 중 적어도 하나를 포함할 수 있다. 영상 촬영 장치(1100) 및 네트워크 서버(1200) 각각은 유선 통신 기능 및 무선 통신 기능 중 적어도 하나를 포함할 수 있으며, 그에 따라 네트워크(1050)를 통해 상호 간 통신할 수 있다.

영상 촬영 장치(1100)는 네트워크(1050)를 통해 네트워크 서버(1200)와 연결된다. 영상 촬영 장치(1100)는 카메라(1110)를 포함한다. 카메라(1110)는 도 1을 참조하여 설명된 카메라(105)로서 기능할 수 있다.

영상 촬영 장치(1100)는 도 1을 참조하여 설명된 영상 촬영 장치(100)로서 제공되며, 도 4, 도 7, 도 9, 및 도 10을 참조하여 설명된 동작들을 수행할 수 있다. 영상 촬영 장치(1100)는 영상(VD, 도 1 참조)에 포함된 오브젝트를 감지 및 식별하여 메타 데이터(MT, 도 1 참조)를 생성하고, 오브젝트의 움직임을 분석하여 동선 정보(MVL, 도 1 참조)를 생성하고, 동선 정보(MVL) 및/또는 메타 데이터(MT)에 기초하여 히트맵(HM, 도 1 참조)을 생성할 수 있다.

영상 촬영 장치(1100)는 히트맵(HM)을 디스플레이하기 위한 디스플레이 장치를 포함할 수 있다. 또한, 영상 촬영 장치(1100)는 히트맵(HM)을 네트워크(1050)를 통해 네트워크 서버(1200)에 제공할 수 있다.

네트워크 서버(1200)는 네트워크(1050)를 통해 영상 촬영 장치(1100)와 통신할 수 있다. 네트워크 서버(1200)는 영상 촬영 장치(1100)로부터 전송된 히트맵(HM)을 디스플레이하도록 구성된다. 예를 들면, 네트워크 서버(1200)는 웹 뷰어(web viewer)와 같이 영상 촬영 장치(1100)로부터 전송된 영상을 디스플레이 장치에 디스플레이할 수 있는 응용 애플리케이션을 포함하며, 그러한 응용 애플리케이션을 실행할 수 있는 프로세서를 포함할 수 있다.

영상 촬영 장치(1100)의 기능들 중 일부는 네트워크 서버(1200)에 의해 수행될 수 있다. 실시 예들에서, 영상 촬영 장치(1100)는 영상(VD)에 포함된 오브젝트를 감지 및 식별하여 메타 데이터(MT)를 생성하고 오브젝트의 움직임을 분석하여 동선 정보(MVL)를 생성하며, 네트워크 서버(1200)는 동선 정보(MVL) 및/또는 메타 데이터(MT)에 기초하여 히트맵(HM)을 생성할 수 있다. 이러한 경우, 네트워크 서버(1200)는 실행될 때 도 1의 히트맵 제공기(140)의 기능들을 수행하는 프로그램 코드들 및/또는 명령어들을 메모리에 로딩하고, 로딩된 프로그램 코드들 및/또는 명령어들을 실행할 수 있다.

실시 예들에서, 영상 촬영 장치(1100)는 영상(VD)을 제공하고, 네트워크 서버(1200)는 영상(VD)에 포함된 오브젝트를 감지 및 식별하여 메타 데이터(MT)를 생성하고, 오브젝트의 움직임을 분석하여 동선 정보(MVL)를 생성하고, 동선 정보(MVL) 및/또는 메타 데이터(MT)에 기초하여 히트맵(HM)을 생성할 수 있다. 이러한 경우, 네트워크 서버(1200)는 실행될 때 도 1의 움직임 분석부(120) 및 히트맵 제공기(140)의 기능들을 수행하는 프로그램 코드들 및/또는 명령어들을 메모리에 로딩하고, 로딩된 프로그램 코드들 및/또는 명령어들을 실행할 수 있다.

비록 특정 실시 예들 및 적용 례들이 여기에 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정들 및 변형들이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

100: 영상 촬영 장치
105: 카메라
110: 이미지 프로세서
120: 움직임 분석부
130: 저장 매체
140: 히트맵 제공기
230: 노멀라이저
240: 히트맵 생성기

Claims

영상으로부터 히트맵을 생성하는 방법에 있어서:
상기 영상에서 오브젝트들을 감지하는 단계;
상기 오브젝트들 각각에 대해, 상기 영상의 전체가 격자의 형태로 분할되어 형성된 분할 영역들 중 특정 분할 영역에서의 체류 시간들을 결정하는 단계;
각 오브젝트의 체류 시간들을 해당 오브젝트의 상기 분할 영역들에서의 체류 시간들의 합에 따라 노멀라이즈하는 단계;
상기 노멀라이즈된 체류 시간들에 기초하여 히트맵을 생성하는 단계; 및
상기 영상에 포함된 전체 분할 영역 중 상기 오브젝트들 각각이 체류한 분할 영역에 해당 오브젝트의 체류 시간을 표시하는 단계를 포함하되,
상기 히트맵을 생성하는 단계는,
분할 영역 각각에 대응되어 설정된 노멀라이즈된 체류 시간들의 합을 연산하여 해당 분할 영역의 대표값을 결정하는 단계; 및
상기 전체 분할 영역에 대하여 결정된 대표값을 기초로 히트맵을 생성하는 단계를 포함하고,
상기 노멀라이즈하는 단계는 오브젝트가 체류한 분할 영역들 각각에서의 체류 시간을 해당 오브젝트가 체류한 전체 분할 영역들에서의 체류 시간들의 합으로 나누어 분할 영역들 각각에 대한 노멀라이즈된 체류 시간을 출력하는 단계를 포함하는 방법.
◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈

제 1 항에 있어서,
상기 히트맵을 생성하는 단계는,
상기 노멀라이즈된 체류 시간들 중 임계값보다 작은 노멀라이즈된 체류 시간들을 선택하는 단계를 더 포함하는 방법.
삭제
제 1 항에 있어서,
상기 오브젝트들은 제 1 내지 제 m 오브젝트들을 포함하며,
상기 노멀라이즈하는 단계는 제 k 오브젝트의 각 분할 영역에서의 체류 시간을 상기 제 k 오브젝트의 상기 분할 영역들에서의 체류 시간들의 합으로 나누어 노멀라이즈하는 단계를 포함하고,
m은 2보다 크거나 같은 정수이고, k는 1보다 크거나 같고 m보다 작거나 같은 정수인 방법.
◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈

제 1 항에 있어서,
상기 오브젝트들 각각을 식별하여 상기 오브젝트들에 각각 대응하는 메타 데이터들을 생성하는 단계; 및
상기 메타 데이터들을 저장하는 단계를 더 포함하는 방법.
◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈

제 5 항에 있어서,
사용자 인터페이스를 통해 사용자 입력을 수신하는 단계를 더 포함하며,
상기 히트맵을 생성하는 단계는,
상기 사용자 입력에 응답하여 각 오브젝트의 상기 노멀라이즈된 체류 시간들을 해당 오브젝트에 대응하는 메타 데이터에 따라 수정하는 단계; 및
상기 수정된 체류 시간들에 따라 히트맵을 생성하는 단계를 포함하는 방법.