KR102118336B1 - 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법 - Google Patents

공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법 Download PDF

Info

Publication number
KR102118336B1
KR102118336B1 KR1020160061946A KR20160061946A KR102118336B1 KR 102118336 B1 KR102118336 B1 KR 102118336B1 KR 1020160061946 A KR1020160061946 A KR 1020160061946A KR 20160061946 A KR20160061946 A KR 20160061946A KR 102118336 B1 KR102118336 B1 KR 102118336B1
Authority
KR
South Korea
Prior art keywords
hot spot
region
interest
spatial
spatial behavior
Prior art date
Application number
KR1020160061946A
Other languages
English (en)
Other versions
KR20170131774A (ko
Inventor
박병하
김성동
박영충
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020160061946A priority Critical patent/KR102118336B1/ko
Priority to PCT/KR2017/005204 priority patent/WO2017200333A2/ko
Publication of KR20170131774A publication Critical patent/KR20170131774A/ko
Application granted granted Critical
Publication of KR102118336B1 publication Critical patent/KR102118336B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 공간 행동 의미 분석 방법에 관한 것으로, 특히 서비스 공간 내에서의 사용자의 행동에 대한 의미를 분석할 수 있는 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법에 관한 것이다.
이를 위한 본 발명의 일 실시 예에 따른 공간 행동 의미 분석 시스템은 연속되는 일련의 영상 프레임을 수집하는 수집 모듈 및 상기 수집 모듈을 통해 수집되는 영상 프레임에서 공간 행동 분석을 위한 관심 영역을 설정하고, 상기 관심 영역을 대상으로 프레임 간 움직임의 변화량이 기 설정된 범위 이상인 영역을 핫 스팟으로 추출하고, 상기 추출된 핫 스팟을 이용하여 상기 관심 영역 내의 움직임에 대한 공간 행동의 의미를 분석하는 핫 스팟 처리 모듈을 포함하여 구성될 수 있다.

Description

공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법{SYSTEM FOR ANALYSIS OF BEHAVIOR SEMANTIC IN SERVICE AREA AND METHOD THEREOF}
본 발명은 공간 행동 의미 분석 방법에 관한 것으로, 특히 서비스 공간 내에서의 사용자의 행동에 대한 의미를 분석할 수 있는 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
상업, 전시, 체험 등의 특정한 서비스 공간 내에서의 서비스를 이용하는 사용자의 반응을 추론하고, 사용자의 반응을 고려하여 서비스를 제공하고자 하는 시도가 다양하게 이뤄지고 있다.
서비스 공간 내의 서비스를 이용하는 사용자의 반응을 추론하기 위해서는 사용자의 생체 신호를 측정하는 방식을 고려해볼 수 있으나, 서비스 공간 내의 시시각각 변화되는 사용자들의 모든 생체 신호를 측정하기에는 무리가 있다. 또한 서비스 이용에 따른 설문 조사를 실시하거나 판매량을 분석하는 방식을 고려해 볼 수 있으나, 이러한 방식으로는 서비스 공간 내의 사용자의 행동, 성향, 감성 등을 실시간 인식하고 서비스를 제공할 수 없다는 문제점이 있다.
이에 서비스 공간 내에 지능형 CCTV, 웹캠 등을 설치하고 이를 통해 촬영되는 영상 프레임을 이용하여 서비스 공간 내의 사용자의 행동을 분석하고자 하는 시도가 이뤄지고 있다. 그러나 현재까지의 영상 프레임을 이용한 사용자의 공간 행동 의미 분석 방법은 사용자의 몸 전체(Full Body) 단위로 판별하고 추적함으로써, 공간 내의 사용자 수 카운트, 진입 여부 판단, 이동 경로 추적 등만이 가능할 뿐 구체적인 분석이 어렵다는 문제점이 있다.
따라서, 서비스 공간의 특성을 고려하여 서비스를 제공받는 사용자의 공간 행동이 서비스 제공자의 의도에 따라 이뤄지고 있는 지 보다 효율적으로 분석할 수 있는 기술의 개발이 필요하다.
한국등록특허 제10-0864913호, 2008년 10월 16일 공개 (명칭: 편의 서비스 연동 방법 및 시스템)
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로서, 서비스 공간 내에서의 사용자의 행동에 대한 의미를 분석할 수 있는 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법을 제공하는 데 목적이 있다.
특히, 본 발명은 상업, 전시, 체험 등의 특정 서비스를 제공하는 서비스 공간 내에서 서비스를 이용하는 사용자들의 공간 행동을 카메라를 통해 획득하여 영상 프레임을 생성하고, 생성된 영상 프레임을 이용하여 기 설정된 평가 지표에 따라 분석하여 사용자의 집중도, 만족도를 측정할 수 있는 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법을 제공하는 데 그 목적이 있다.
아울러, 본 발명은 획득되는 영상 프레임에서 사용자의 몸 전체(Full Body)를 대상으로 분석을 수행하는 것이 아니라, 특별히 활발하게 움직이는 부분의 행동을 분석하고 이에 대한 의미를 분석할 수 있는 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법을 제공하는 데 그 목적이 있다.
그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템은 연속되는 일련의 영상 프레임을 수집하는 수집 모듈; 및 상기 수집 모듈을 통해 수집되는 영상 프레임에서 공간 행동 분석을 위한 관심 영역을 설정하고, 상기 관심 영역을 대상으로 프레임 간 움직임의 변화량이 기 설정된 범위 이상인 영역을 핫 스팟으로 추출하고, 상기 추출된 핫 스팟을 이용하여 상기 관심 영역 내의 움직임에 대한 공간 행동의 의미를 분석하는 핫 스팟 처리 모듈;을 포함하여 구성될 수 있다.
이때, 상기 연속되는 일련의 영상 프레임 간 차영상(difference images)을 일정 시간 동안 누적하는 차 영상 산출 모듈;을 더 포함하며, 상기 핫 스팟 처리 모듈은 상기 차영상에서 누적된 값이 기 설정된 활성화 영역 추출 기준값 이상인 영역을 핫 스팟으로 추출할 수 있다.
또한, 상기 핫 스팟 처리 모듈은 상기 추출된 핫 스팟을 평가 지표를 이용하여 분석하고, 상기 관심 영역이 설정된 이후에 입력되는 영상 프레임에서 기 설정된 시간 동안의 움직임 변화량을 기준 데이터로 설정하고, 상기 평가 지표를 이용하여 분석된 값과 상기 기준 데이터를 비교하여 비교 결과에 따라 핫 스팟에 대한 공간 행동의 의미를 분석할 수 있다.
이때, 상기 핫 스팟에 대한 공간 행동 의미 분석 결과를 제공하는 결과 제공 모듈;을 더 포함하여 구성될 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법은 연속되는 일련의 영상 프레임에서 공간 행동 분석을 위한 관심 영역을 설정하는 단계; 상기 관심 영역을 대상으로 프레임 간 움직임의 변화량이 기 설정된 값 이상인 영역을 핫 스팟으로 추출하는 단계; 및 상기 추출된 핫 스팟을 이용하여 상기 관심 영역 내의 움직임에 대한 공간 행동의 의미를 분석하는 단계;를 포함하여 이뤄질 수 있다.
이때, 상기 추출하는 단계는 상기 설정된 관심 영역을 대상으로 프레임 간 차영상(difference images)을 일정 시간 동안 누적하는 단계; 및 상기 차영상에서 누적된 값이 기 설정된 활성화 영역 추출 기준값 이상인 영역을 핫 스팟으로 추출하는 단계;를 포함하여 이뤄질 수 있다.
또한, 상기 공간 행동의 의미를 분석하는 단계는 상기 추출된 핫 스팟을 평가 지표를 이용하여 분석하는 단계; 상기 관심 영역이 설정된 이후에 입력되는 영상 프레임에서 기 설정된 시간 동안의 움직임 변화량을 기준 데이터로 설정하는 단계; 상기 평가 지표를 이용하여 분석된 값과 상기 기준 데이터를 비교하는 단계; 및 상기 비교 결과에 따라 상기 핫 스팟에 대한 공간 행동의 의미를 분석하는 단계;를 포함하여 이뤄질 수 있다.
또한, 상기 공간 행동의 의미를 분석하는 단계는 상기 핫 스팟 내의 움직임에 대한 공간 행동 의미를 분석하는 단계; 상기 분석 결과에 따라 상기 핫 스팟을 유사한 영역별로 그룹핑하는 단계; 및 상기 그룹핑된 핫 스팟별로 시작화하여 사용자에게 제공하는 단계;를 포함하여 이뤄질 수 있다.
본 발명의 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법에 의하면, 상업, 전시, 체험 등의 특정 서비스를 제공하는 서비스 공간 내에서 서비스를 이용하는 사용자들의 공간 행동을 분석하여, 사용자들의 집중도, 만족도 등을 확인하고, 이에 따른 적절한 서비스를 제공할 수 있게 된다.
특히, 본 발명은 획득되는 영상 프레임에서 사용자의 몸 전체(Full Body)를 대상으로 분석을 수행하는 것이 아니라, 특별히 활발하게 움직이는 부분의 행동을 분석하고 이에 대한 의미를 분석함으로써, 특정한 서비스 공간 내에서 사용자 행동에 대한 의미를 보다 더 정확히 분석하고, 이에 따른 서비스를 적절히 제공할 수 있어 서비스 효과를 보다 더 높일 수 있게 된다.
아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.
도 1은 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템을 개략적으로 설명하기 위한 예시도이다.
도 2는 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템의 주요 구성을 도시한 블록도이다.
도 3은 본 발명의 핫 스팟 처리 모듈을 구체적으로 도시한 블록도이다.
도 4는 본 발명의 다른 실시 예에 따른 공간 행동 의미 분석 시스템의 주요 구성을 도시한 블록도이다.
도 5는 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법을 보다 더 구체적으로 설명하기 위한 흐름도이다.
도 7 내지 도 10은 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법을 설명하기 위한 예시도이다.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.
이하의 설명 및 특허 청구 범위에서, "네트워크" 또는 "통신망"은 컴퓨터 시스템들 및/또는 모듈들 간의 전자 데이터를 전송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 정보가 네트워크 또는 다른 (유선, 무선, 또는 유선 또는 무선의 조합인) 통신 접속을 통하여 컴퓨터 시스템에 전송되거나 제공될 때, 이 접속은 컴퓨터-판독가능매체로서 이해될 수 있다. 컴퓨터 판독가능 명령어는, 예를 들면, 범용 컴퓨터 시스템 또는 특수 목적 컴퓨터 시스템이 특정 기능 또는 기능의 그룹을 수행하도록 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들면, 어셈블리어, 또는 심지어는 소스코드와 같은 이진, 중간 포맷 명령어일 수 있다.
이하, 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템에 대해 설명하도록 한다.
도 1은 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템을 개략적으로 설명하기 위한 예시도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템(100)은 예를 들어 적어도 하나 이상의 네트워크 카메라(10)를 통해 획득되는 영상 프레임을 이용하여 특정 서비스 공간 내의 사용자의 행동에 대한 의미를 분석하고 이에 따른 결과를 제공하는 역할을 수행한다.
이러한, 본 발명의 공간 행동 의미 분석 시스템(100)은 컴퓨터 처리장치에 의해 실행되는 컴퓨터 프로그램 로직의 형태로 구현 가능하다. 이러한 컴퓨터 프로그램 로직은 시스템, 소스코드, 컴퓨터 실행 가능한 코드 및 여러 가지 중간 형태(예를 들면, 어셈블러, 컴파일러, 링커 또는 로케이터로 생성되는 형태 등)를 포함하여 다양한 형태로 구현될 수 있으나 이에 제한되지 않는다. 이에 본 발명의 실시예에 따른 공간 행동 의미 분석 시스템(100)은 하나의 컴퓨터 프로그램 로직으로서 반도체 메모리 장치, 자기 메모리 장치, 광 메모리 장치, 이동식 저장매체와 같은 컴퓨터에 의해 판독 가능한 기록매체에 기록 저장되어 배포될 수 있다.
아울러, 적어도 하나 이상의 네트워크 카메라(10)는 실내는 물론 실외 등 각종 지역에 설치되어, 해당 지역에서 서비스를 이용하고 있는 사용자를 실시간으로 촬영하여 공간 행동 의미 분석 시스템(100)으로 전달하게 된다.
공간 행동 의미 분석 시스템(100)은 적어도 하나 이상의 네트워크 카메라(10)를 통해 실시간으로 연속되어 입력되는 하나 이상의 영상 프레임을 분석하고, 움직임의 변화량이 많은 핫 스팟을 추출한 후 핫 스팟을 대상으로 객체에 대한 공간 행동의 의미를 분석하는 역할을 수행할 수 있다.
아울러, 본 발명의 실시 예에 따른 의미 분석 시스템(100)은 통신망을 통해 연결된 네트워크 카메라(10)를 통해 획득되는 영상 프레임을 이용하여 공간 행동 의미를 분석할 수 있으나, 기 저장된 영상 프레임, 예컨대 동영상 프레임을 이용하여 공간 행동 의미를 분석할 수도 있다.
본 발명의 공간 행동 의미 분석 시스템(100)에 대해 도 2를 참조하여 보다 구체적으로 설명하도록 한다.
도 2는 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템의 주요 구성을 도시한 블록도이며, 도 3은 본 발명의 핫 스팟 처리 모듈을 구체적으로 도시한 블록도이며, 도 4는 본 발명의 다른 실시 예에 따른 공간 행동 의미 분석 시스템의 주요 구성을 도시한 블록도이다.
먼저, 도 2를 참조하면, 본 발명의 공간 행동 의미 분석 시스템(100)은 수집 모듈(110), 디코더 모듈(130), 컨버터 모듈(140), 차영상 산출 모듈(150), 핫 스팟 처리 모듈(160), 결과 제공 모듈(180)을 포함하여 구성될 수 있다. 아울러, 본 발명의 공간 행동 의미 분석 시스템(100)은 본 발명의 실시 예 적용에 있어 발생되는 다양한 정보를 저장하는 저장 데이터베이스(120) 및 공간 행동 의미 분석을 위한 분석 지표와 같은 분석 규칙(170)을 저장하고 관리할 수 있다.
각 모듈에 대해 보다 더 구체적으로 설명하면, 수집 모듈(110)은 본 발명의 공간 행동 의미 분석을 위해 필요한 정보들을 수집하는 역할을 수행한다. 특히 본 발명의 수집 모듈(110)은 연속되는 일련의 영상 프레임에 대한 데이터를 네트워크 카메라를 통해 수집할 수 있으며, 저장 매체에 기 저장된 영상 데이터를 이용할 수도 있다. 또한, 본 발명의 수집 모듈(110)은 관심 영역에 대한 좌표 정보를 수신할 수 있으며, 여기서 관심 영역에 대한 좌표 정보는 별도의 사용자 단말을 통해 수신하거나, 본 발명의 공간 행동 의미 분석 시스템(100)이 입력 모듈을 포함하여 구성되는 경우, 입력 모듈을 통해 입력되어 수집될 수 있다.
이때, 수집 모듈(110)이 전달하는 영상 프레임은 저장 데이터베이스(120)에 저장되고 관리될 수 있다. 여기서, 저장 데이터베이스(120)는 공간 행동 의미 분석 시스템(100) 내에 구비된 저장 매체가 될 수 있으나, 네트워크 저장 장치(NAS; Network-Attached Storage)에 저장될 수도 있다.
디코더 모듈(130)은 입력된 영상 프레임이 인코딩되어 있을 경우, 디코딩하는 과정을 수행할 수 있다. 예컨대, 상기 영상 프레임이 네트워크 카메라를 통해 실시간 전달되어 입력되는 경우, 상기 영상 프레임은 인코딩된 상태에서 전달되므로, 스트림 형태의 영상 프레임을 디코딩하는 과정을 수행할 수 있다.
컨버터 모듈(140)은 인코딩된 영상 프레임을 처리하고자 하는 영상 포맷으로 변환하는 과정을 수행한다. 예컨대 YUV420, 24bit RGB, 8bit Gray Scale과 같은 다양한 영상 포맷으로 변환할 수 있다. 아울러, 상기 디코딩 및 영상 포맷 변환 과정에서는 공지된 다양한 기술들을 이용하게 된다.
차영상 산출 모듈(150)은 연속되는 일련의 영상 프레임 간의 차영상의 누적량을 계산하는 역할을 수행한다. 보다 구체적으로 차영상(difference images)은 이진화 과정을 거친 후에 누적 버퍼에 일정 시간(예컨대 1초 간의 움직임 변화량)동안 누적되게 되는데, 실제로 움직임이 활발한 영역은 누적 값이 크므로, 핫 스팟 처리 모듈(160)은 활성화 영역 추출 기준값을 기초로, 일정 크기 이상의 범위로 누적된 영역을 핫 스팟, 즉 실제 움직임이 활발한 영역으로 판단하여 추출할 수 있다.
아울러, 본 발명의 핫 스팟 처리 모듈(160)은 분석 규칙(170) 데이터베이스 저장된 평가 지표에 따라 핫 스팟 영역에 대한 데이터를 분석하고, 분석된 결과에 따라 공간 행동의 의미를 분석할 수 있다.
여기서 평가 지표는 하기의 표와 같다.
순번 평가지표(측정 변수) 의미
1 Hot Spot Count ROI 내 인식된 Hot Spot 총 개수
2 Hot Spot Density ROI 영역 대비 Hot Spot 점유 면적(%)
3 Hot Spot Size Hot Spot의 크기(Pixel)
4 Hot Spot Position ROI 내 Hot Spot 위치(중심점 좌표)
5 Hot Spot Group Size 전체 Hot Spot을 포함하는 원의 지름(Pixel)
6 Hot Spot Distribution 서비스 특성 반영 ROI 영역 내 Hot Spot 분포도
7 Hot Spot Density Variation 프레임 윈도우 간 밀집도 변화량
8 Hot Spot Group Size Variation 프레임 윈도우 간 그룹 크기 변화량
이와 같이 본 발명의 핫 스팟 처리 모듈(160)은 핫 스팟의 총 수, 밀집도, 전체 크기, 핫 스팟 개별 크기, 분포도, 위치, 밀집도 변화량, 전체 크기 변화량을 분석하고, 관심 영역 내의 움직임이 활동적으로 증감되는 지 비활동적으로 증감되는지를 분석할 수 있다. 또한, 프레임 내의 핫 스팟으로 구분되는 그룹들이 점점 모여들거나 분산되는지에 따라 서비스의 호감도를 판별할 수 있으며, 밀도가 늘어나는 지 줄어드는 지에 따라 서비스의 활동성을 판별할 수 있다.
여기서, 본 발명의 핫 스팟 처리 모듈(160)이 분석하는 공간 행동 의미는 크게 Arousal과 Valuence으로 구분될 수 있으며, Arousal은 활성(Active), 비활성(Inactive) 상태로, Valuence는 긍정(Positive), 부정(Negative) 상태로 구분될 수 있다(S219). 예를 들어, 영상 프레님 내의 핫 스팟 내에 있는 객체들이 점점 모여드는 지 혹은 분산 되는 지 등을 분석하여 제공되고 있는 서비스의 호감도를 판별할 수 있으며, 핫 스팟 내의 객체들의 밀도의 증감 여부에 따라 서비스의 활동성을 판단할 수 있다. 여기서 핫 스팟의 밀도가 늘어날수록 해당 프레임에서의 움직임이 많이 감지되는 것이기 때문에 밀도의 증가는 서비스 공간 내의 사람들의 움직임이 활발하다는 것을 의미하게 된다.
이러한 핫 스팟 처리 모듈(160)은 도 3에 도시된 바와 같이, 핫 스팟 추출 모듈(161), 핫 스팟 그룹핑 모듈(162), 공간 행동 의미 분석 모듈(163)을 포함하여 구성될 수 있다. 핫 스팟 추출 모듈(161)은 핫 스팟을 추출하는 역할을 수행하며, 핫 스팟 그룹핑 모듈(162)은 추출된 핫 스팟을 분석하고 유사한 핫 스팟별로 그룹핑하는 역할을 수행하며, 공간 행동 의미 분석 모듈(163)은 핫 스팟에 대한 의미를 분석하고 이를 시각적으로 가공하는 역할을 수행한다.
아울러, 결과 제공 모듈(180)은 분석된 공간 행동의 의미를 사용자에게 제공하는 역할을 수행하는 것으로, 특히 본 발명의 결과 제공 모듈(180)은 분석 결과 파라미터를 모아 대중 감성 추론 서버로 전송하는 역할을 수행할 수 있다.
아울러, 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템(100)은 영상 데이터뿐 아니라 음향 데이터를 동시에 고려하여 처리할 수도 있다. 이때 본 발명의 공간 행동 의미 분석 시스템(100)은 도 4에 도시된 바와 같이 영상 데이터 처리를 위한 영상 데이터 처리부(191), 음향 데이터 처리를 위한 음향 데이터 처리부(192)를 포함할 수 있으며, 각 처리부를 통해 처리된 결과를 공간 행동 의미 분석부(193)가 종합적으로 분석하여 이에 따른 결과를 제공할 수도 있다. 이때, 영상 데이터 처리부(191)는 도 2에 도시된 수집 모듈(110), 디코더 모듈(130), 컨버터 모듈(140), 차영상 산출 모듈(150) 등을 포함하여 구성될 수 있으며, 공간 행동 의미 분석부(193)는 핫 스팟 처리 모듈(160)을 포함하여 구성될 수 있다.
아울러, 음향 데이터 처리부(192)는 음향 데이터 분할, 특징 추출, 음향 특징 DB 기반 음향 의미 분석등을 수행하여 이에 따른 결과를 핫 스팟 처리 모듈(160)로 전달하고, 핫 스팟 처리 모듈(160)은 추가적으로 각 처리부에서 전달되는 데이터를 종합적으로 고려하여 의미를 분석하는 기능을 더 수행할 수도 있다.
이상으로 본 발명의 실시 예에 따른 장치의 주요 구성에 대해 설명하였다.
한편, 본 발명의 각 장치에 탑재되는 메모리는 그 장치 내에서 정보를 저장한다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛 일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛 일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
이하, 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법에 대해 설명하도록 한다.
도 5는 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 본 발명의 공간 행동 의미 분석 시스템(100)은 영상 데이터를 입력받아(S101), 전처리 과정을 수행하게 된다(S103). 여기서 전처리 과정은 디코딩 및 포맷 변환 등의 영상 처리 과정을 포함할 수 있다. 그리고 본 발명의 공간 행동 의미 분석 시스템(100)은 관심 영역을 확인한다(S105). 관심 영역은 사용자에 의해 미리 설정될 수 있는 것으로, 예를 들어 사용자가 얼굴 영역, 손 영역 등과 같이 특정한 영역을 관심 영역으로 지정할 수 있다. 또한, 관심 영역(ROI) 분석기로부터 갱신된 ROI 영역 정보를 수집할 수도 있다.
이후에 본 발명의 공간 행동 의미 분석 시스템(100)은 영상 프레임에서 관심 영역으로 설정된 영역을 중심으로 움직임의 변화량이 기 설정된 값 이상인 영역을 핫 스팟으로 추출하게 된다(S107). 이후에 본 발명의 공간 행동 의미 분석 시스템(100)은 핫 스팟에 대한 평가 지표를 이용하여 공간 행동 의미를 분석하고(S109), 이에 따른 결과를 제공하게 된다(S111).
이하, 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법에 대해 보다 더 구체적으로 설명하도록 한다.
도 6은 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법을 보다 더 구체적으로 설명하기 위한 흐름도이며, 도 7 내지 도 10은 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법을 설명하기 위한 예시도이다.
먼저, 도 6을 참조하면, 본 발명의 공간 행동 의미 분석 시스템(100)은 영상 프레임을 입력받는다(S201). 여기서 영상 프레임은 네트워크 카메라를 통해 실시간으로 수신되는 영상 스트림 데이터가 될 수 있으며, 저장매체에 기 저장된 영상 스트림 데이터를 이용할 수도 있다.
이후에, 본 발명의 공간 행동 의미 분석 시스템(100)은 입력된 영상 스트림 데이터가 인코딩되어 있을 경우, 디코딩하는 과정을 수행할 수 있다. 예컨대, 상기 영상 프레임이 네트워크 카메라를 통해 실시간 전달되어 입력되는 경우, 상기 영상 프레임은 인코딩된 상태에서 전달되므로, 스트림 형태의 영상 프레임을 디코딩하는 과정을 수행할 수 있다. 그리고 본 발명의 공간 행동 의미 분석 시스템(100)은 인코딩된 영상 프레임을 처리하고자 하는 영상 포맷으로 변환하는 과정을 수행한다(S203). 예컨대 YUV420, 24bit RGB, 8bit Gray Scale과 같은 다양한 영상 포맷으로 변환할 수 있다. 아울러, 상기 디코딩 및 영상 포맷 변환 과정에서는 공지된 다양한 기술들을 이용하게 된다.
이후, 본 발명의 공간 행동 의미 분석 시스템(100)은 관심 영역(ROI) 분석기로부터 ROI 좌표를 수신하여 확인할 수 있다(S205).
그리고, ROI 좌표가 확인되면 본 발명의 공간 행동 의미 분석 시스템(100)은 활성화 영역 추출 기준값을 확인한다(S207). 여기서, 활성화 영역 추출 기준값이란 상기 영상 프레임에서 움직임의 변화량이 활발한 영역인 핫 스팟을 추출하기 위해 기준이 되는 임계값을 의미하는 것으로, 과거의 데이터로부터 추론된 정보를 이용하거나 서비스 공간의 특성, 상황에 따라 다양하게 설정될 수 있다.
이후에, 본 발명의 공간 행동 의미 분석 시스템(100)은 새로운 활성화 영역 추출 기준값이 생성되는 것으로 확인되면, 기준값을 업데이트하고(S209), 핫 스팟 추출 과정을 수행한다.
즉, S203 단계에서 프레임 단위로 변환된 영상 프레임 간의 차영상 누적량을 계산한다(S211). 여기서 차영상은 도 7에 도시된 바와 같이 이진화 과정을 거친 후에 누적 버퍼에 일정 시간, 예컨대 1초 동안의 움직임 변화량을 누적한 정보를 지속적으로 누적하게 되는 것으로, 실제로 움직임이 있는 영역은 누적 값이 크기 때문에 활성화 영역 추출 기준값을 이용하여 비교하고, 일정 크기 이상의 범위로 누적된 핫 스팟만 실제 움직임이 활발한 영역으로 판단하여 추출하게 된다(S213).
이후, 본 발명의 공간 행동 의미 분석 시스템(100)은 추출된 핫 스팟을 평가 지표를 이용하여 분석하는 단계를 수행한다(S215). 즉 전술한 표 1에 도시된 다양한 평가 지표를 이용하여 본 발명의 공간 행동 의미 분석 시스템(100)은 추출된 핫 스팟에 대한 밀집도, 군집크기, 변화량 등을 분석하게 되며, 기준 데이터와 비교하여 공간에 대한 행동 변화량, 즉 움직임 변화량을 분석하게 된다(S217). 여기서 기준 데이터는 S205 단계 이후의 수신되는 영상 스트림 데이터에 대한 기 설정된 시간 동안의 움직임 변화량을 의미하게 된다.
그리고 본 발명의 공간 행동 의미 분석 시스템(100)은 핫 스팟 내에 존재하는 객체에 대한 공간 행동 의미를 분석하게 된다(S219), 본 발명의 공간 행동 의미 분석 시스템(100)은 도 8에 도시된 바와 같이 입력 영상 프레임(500)에서 501이 지시하는 바와 같이 관심 영역(ROI)을 중심으로 움직임의 변화량을 추적하고, 이를 분석하여 도 9에 도시된 바와 같이 하나 이상의 핫 스팟을 추출하게 된다. 이후에 본 발명의 공간 행동 의미 분석 시스템(100)은 추출된 하나 이상의 핫 스팍을 평가 지표를 이용하여 분석하고, 이를 기준 데이터와 비교하여 핫 스팟 내에 존재하는 객체들, 도 10에서는 손 객체들에 대한 의미를 분석할 수 있다. 여기서, 본 발명의 공간 행동 의미 분석 시스템(100)이 분석하는 공간 행동 의미는 크게 Arousal과 Valuence으로 구분될 수 있으며, Arousal은 활성(Active), 비활성(Inactive) 상태로, Valuence는 긍정(Positive), 부정(Negative) 상태로 구분될 수 있다(S219). 예를 들어, 영상 프레님 내의 핫 스팟 내에 있는 객체들이 점점 모여드는 지 혹은 분산 되는 지 등을 분석하여 제공되고 있는 서비스의 호감도를 판별할 수 있으며, 핫 스팟 내의 객체들의 밀도의 증감 여부에 따라 서비스의 활동성을 판단할 수 있다. 여기서 핫 스팟의 밀도가 늘어날수록 해당 프레임에서의 움직임이 많이 감지되는 것이기 때문에 밀도의 증가는 서비스 공간 내의 사람들의 움직임이 활발하다는 것을 의미하게 된다.
이후, 본 발명의 공간 행동 의미 분석 시스템(100)은 분석된 결과를 토대로 도 10에 도시된 바와 같이 핫 스팟에 대한 그룹핑을 수행하고(S221), 공간 행동 의미 분석 결과를 시각화 하여 제공할 수 있다(S223). 특히 본 발명의 공간 행동 의미 분석 시스템(100)은 공간 내에 특정 서비스를 제공하는 장치로 상기 분석 결과를 제공할 수 있으며, 대중 감성 추론 서버와 같이 추론 기능을 담당하는 서버로 분석 결과를 제공할 수도 있다.
이상으로 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법에 대해 설명하였다. 이러한 본 발명에 의하면, 상업, 전시, 체험 등의 특정 서비스를 제공하는 서비스 공간 내에서 서비스를 이용하는 사용자들의 공간 행동을 분석하여, 사용자들의 집중도, 만족도 등을 확인하고, 이에 따른 적절한 서비스를 제공할 수 있게 된다.
특히, 본 발명은 획득되는 영상 프레임에서 사용자의 몸 전체(Full Body)를 대상으로 분석을 수행하는 것이 아니라, 특별히 활발하게 움직이는 부분의 행동을 분석하고 이에 대한 의미를 분석함으로써, 특정한 서비스 공간 내에서 사용자 행동에 대한 의미를 보다 더 정확히 분석하고, 이에 따른 서비스를 적절히 제공할 수 있어 서비스 효과를 보다 더 높일 수 있게 된다.
상술한 바와 같은 본 발명의 공간 행동 의미 분석 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 본 발명의 일 실시 예에 따른 공간 행동 의미 분석 방법은 연속되는 일련의 영상 프레임에서 공간 행동 분석을 위한 관심 영역을 설정하는 단계; 상기 관심 영역을 대상으로 프레임 간 움직임의 변화량이 기 설정된 값 이상인 영역을 핫 스팟으로 추출하는 단계; 및 상기 추출된 핫 스팟을 이용하여 상기 관심 영역 내의 움직임에 대한 공간 행동의 의미를 분석하는 단계;등을 실행할 수 있다.
이때, 기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 기능들을 실행할 수 있다.
여기서, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다. 또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다. 또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이러한, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM)과 같은 반도체 메모리를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
본 발명은 공간 행동 의미 분석 방법에 관한 것으로, 특히 서비스 공간 내에서의 사용자의 행동에 대한 의미를 분석할 수 있는 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법에 관한 것이다.
이러한 본 발명에 의하면, 획득되는 영상 프레임에서 사용자의 몸 전체(Full Body)를 대상으로 분석을 수행하는 것이 아니라, 특별히 활발하게 움직이는 부분의 행동을 분석하고 이에 대한 의미를 분석함으로써, 특정한 서비스 공간 내에서 사용자 행동에 대한 의미를 보다 더 정확히 분석하고, 이에 따른 서비스를 적절히 제공할 수 있어 서비스 효과를 보다 더 높일 수 있게 되며, 이를 통해 본 발명은 영상 처리 서비스 산업의 발전에 더욱 이바지할 수 있게 된다.
더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.
100: 공간 행동 의미 분석 시스템
110: 수집 모듈
120: 저장 데이터베이스
130: 디코더 모듈
140: 컨버터 모듈
150: 차영상 산출 모듈
160: 핫 스팟 처리 모듈
170: 분석 규칙
180: 결과 제공 모듈

Claims (8)

  1. 연속되는 일련의 영상 프레임을 수집하는 수집 모듈; 및
    상기 수집 모듈을 통해 수집되는 영상 프레임에서 공간 행동 분석을 위한 관심 영역을 설정하고, 상기 관심 영역을 대상으로 프레임 간 움직임의 변화량이 기 설정된 범위 이상인 영역을 핫 스팟으로 추출하고, 상기 추출된 핫 스팟을 이용하여 분석 규칙 데이터베이스에 저장된 평가 지표에 따라 상기 관심 영역 내의 움직임에 대한 공간 행동의 의미를 분석하는 핫 스팟 처리 모듈;
    상기 연속되는 일련의 영상 프레임 간 차영상(difference images)을 일정 시간 동안 누적하는 차 영상 산출 모듈;을 포함하며,
    상기 핫 스팟 처리모듈은
    상기 차영상에서 누적된 값이 기 설정된 활성화 영역 추출 기준값 이상인 영역을 핫 스팟으로 추출하며,
    상기 평가 지표는
    상기 관심 영역 내 인식된 핫 스팟의 총 개수, 상기 관심 영역 대비 핫 스팟의 점유 면적, 핫 스팟의 크기, 상기 관심 영역 내 핫 스팟의 위치, 전체 핫 스팟을 포함하는 원의 지름, 서비스 특성 반영 상기 관심 영역 내 핫 스팟의 분포도, 프레임 윈도우 간 밀집도 변화량 및 프레임 윈도우 간 그룹 크기 변화량을 포함하는 것을 특징으로 하는 공간 행동 의미 분석 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 핫 스팟 처리 모듈은
    상기 추출된 핫 스팟을 평가 지표를 이용하여 분석하고, 상기 관심 영역이 설정된 이후에 입력되는 영상 프레임에서 기 설정된 시간 동안의 움직임 변화량을 기준 데이터로 설정하고, 상기 평가 지표를 이용하여 분석된 값과 상기 기준 데이터를 비교하여 비교 결과에 따라 핫 스팟에 대한 공간 행동의 의미를 분석하는 것을 특징으로 하는 공간 행동 의미 분석 시스템.
  4. 제1항에 있어서,
    상기 핫 스팟에 대한 공간 행동 의미 분석 결과를 제공하는 결과 제공 모듈;
    을 더 포함하는 것을 특징으로 하는 공간 행동 의미 분석 시스템.
  5. 핫 스팟 처리 모듈이 연속되는 일련의 영상 프레임에서 공간 행동 분석을 위한 관심 영역을 설정하는 단계;
    상기 핫 스팟 처리 모듈이 상기 관심 영역을 대상으로 프레임 간 움직임의 변화량이 기 설정된 값 이상인 영역을 핫 스팟으로 추출하는 단계; 및
    상기 핫 스팟 처리 모듈이 상기 추출된 핫 스팟을 이용하여 분석 규칙 데이터베이스에 저장된 평가 지표에 따라 상기 관심 영역 내의 움직임에 대한 공간 행동의 의미를 분석하는 단계;를 포함하며,
    상기 추출하는 단계는
    차 영상 산출 모듈이 상기 설정된 관심 영역을 대상으로 프레임 간 차영상(difference images)을 일정 시간 동안 누적하는 단계; 및
    상기 핫 스팟 처리 모듈이 상기 차영상에 누적된 값이 기 설정된 활성화 영역 추출 기준값 이상인 영역을 핫 스팟으로 추출하는 단계;를 포함하며,
    상기 평가 지표는
    상기 관심 영역 내 인식된 핫 스팟의 총 개수, 상기 관심 영역 대비 핫 스팟의 점유 면적, 핫 스팟의 크기, 상기 관심 영역 내 핫 스팟의 위치, 전체 핫 스팟을 포함하는 원의 지름, 서비스 특성 반영 상기 관심 영역 내 핫 스팟의 분포도, 프레임 윈도우 간 밀집도 변화량 및 프레임 윈도우 간 그룹 크기 변화량을 포함하는 것을 특징으로 하는 공간 행동 의미 분석 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 공간 행동의 의미를 분석하는 단계는
    상기 추출된 핫 스팟을 평가 지표를 이용하여 분석하는 단계;
    상기 관심 영역이 설정된 이후에 입력되는 영상 프레임에서 기 설정된 시간 동안의 움직임 변화량을 기준 데이터로 설정하는 단계;
    상기 평가 지표를 이용하여 분석된 값과 상기 기준 데이터를 비교하는 단계; 및
    상기 비교 결과에 따라 상기 핫 스팟에 대한 공간 행동의 의미를 분석하는 단계;
    를 포함하는 것을 특징으로 하는 공간 행동 의미 분석 방법.
  8. 제5항에 있어서,
    상기 공간 행동의 의미를 분석하는 단계는
    상기 핫 스팟 내의 움직임에 대한 공간 행동 의미를 분석하는 단계;
    상기 분석 결과에 따라 상기 핫 스팟을 유사한 영역별로 그룹핑하는 단계; 및
    상기 그룹핑된 핫 스팟별로 상기 공간 행동 의미를 분석한 결과를 시각화하여 사용자에게 제공하는 단계;
    를 포함하는 것을 특징으로 하는 공간 행동 의미 분석 방법.
KR1020160061946A 2016-05-20 2016-05-20 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법 KR102118336B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160061946A KR102118336B1 (ko) 2016-05-20 2016-05-20 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법
PCT/KR2017/005204 WO2017200333A2 (ko) 2016-05-20 2017-05-19 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160061946A KR102118336B1 (ko) 2016-05-20 2016-05-20 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법

Publications (2)

Publication Number Publication Date
KR20170131774A KR20170131774A (ko) 2017-11-30
KR102118336B1 true KR102118336B1 (ko) 2020-06-04

Family

ID=60326537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160061946A KR102118336B1 (ko) 2016-05-20 2016-05-20 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법

Country Status (2)

Country Link
KR (1) KR102118336B1 (ko)
WO (1) WO2017200333A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10497107B1 (en) * 2019-07-17 2019-12-03 Aimotive Kft. Method, computer program product and computer readable medium for generating a mask for a camera stream

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046801A (ja) * 2006-08-14 2008-02-28 Advanced Telecommunication Research Institute International 興味傾向情報出力装置、興味傾向情報出力方法、及びプログラム
US20160125620A1 (en) * 2014-11-03 2016-05-05 Koninklijke Philips N.V. Device, system and method for automated detection of orientation and/or location of a person

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100864913B1 (ko) 2007-10-16 2008-10-22 에스케이 텔레콤주식회사 편의 서비스 연동 방법 및 시스템
US8548203B2 (en) * 2010-07-12 2013-10-01 International Business Machines Corporation Sequential event detection from video
US8965050B2 (en) * 2010-08-31 2015-02-24 Omron Corporation Behavior analysis device
KR20140144333A (ko) * 2013-06-10 2014-12-19 주식회사 레드사이렌커뮤니케이션즈 유동인구의 행동분석을 통한 효과적 홍보전략 구축 전산시스템.
KR101575100B1 (ko) * 2014-05-20 2015-12-09 전자부품연구원 사용자 그룹의 공간행동 센싱 및 의미분석 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046801A (ja) * 2006-08-14 2008-02-28 Advanced Telecommunication Research Institute International 興味傾向情報出力装置、興味傾向情報出力方法、及びプログラム
US20160125620A1 (en) * 2014-11-03 2016-05-05 Koninklijke Philips N.V. Device, system and method for automated detection of orientation and/or location of a person
JP2017536880A (ja) * 2014-11-03 2017-12-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 人の向き及び/又は位置の自動検出のための装置、システム、及び方法

Also Published As

Publication number Publication date
WO2017200333A3 (ko) 2018-08-09
WO2017200333A2 (ko) 2017-11-23
KR20170131774A (ko) 2017-11-30

Similar Documents

Publication Publication Date Title
US9934447B2 (en) Object detection and classification
CN107784282B (zh) 对象属性的识别方法、装置及系统
US10009579B2 (en) Method and system for counting people using depth sensor
JP2023036898A (ja) 視聴者エンゲージメントを評価するためのシステムおよび方法
CN111383039B (zh) 信息推送方法、装置及信息展示系统
CN109740573B (zh) 视频分析方法、装置、设备及服务器
CN106663196A (zh) 视频中的计算机显著人物识别
CN110717358B (zh) 访客人数统计方法、装置、电子设备及存储介质
CN109063611A (zh) 一种基于视频语义的人脸识别结果处理方法和装置
CN109145127B (zh) 图像处理方法及装置、电子设备和存储介质
US11523090B2 (en) Motion data extraction and vectorization
JP2017191621A (ja) 解析装置、解析方法及びプログラム
CN115273208A (zh) 轨迹生成方法、系统、装置及电子设备
KR102118336B1 (ko) 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법
Siriwardhana et al. Classification of activities of daily living based on depth sequences and audio
Vayssade et al. Wizard: Unsupervised goats tracking algorithm
CN112158692B (zh) 获取电梯内目标对象流量的方法及装置
CN113947795A (zh) 口罩佩戴检测方法、装置、设备及存储介质
CN110223144B (zh) 无人购物的信息处理系统及方法、计算机设备及可读介质
CN110956644B (zh) 一种运动轨迹确定方法及系统
CN112906725A (zh) 统计人流特征的方法、装置及服务器
KR20160135865A (ko) 공간행동 의미분석 시스템
WO2022079841A1 (ja) グループ特定装置、グループ特定方法、及びコンピュータ読み取り可能な記録媒体
CN110659624A (zh) 一种群体人员行为识别方法、装置和计算机存储介质
Anand et al. AI-Based Real Time Object Measurement Using YOLO V5 Algorithm

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant