KR20180130621A - 서비스 공간 내 외현적 행동 반응 분석 장치 및 방법 - Google Patents

서비스 공간 내 외현적 행동 반응 분석 장치 및 방법 Download PDF

Info

Publication number
KR20180130621A
KR20180130621A KR1020170066035A KR20170066035A KR20180130621A KR 20180130621 A KR20180130621 A KR 20180130621A KR 1020170066035 A KR1020170066035 A KR 1020170066035A KR 20170066035 A KR20170066035 A KR 20170066035A KR 20180130621 A KR20180130621 A KR 20180130621A
Authority
KR
South Korea
Prior art keywords
analyzing
image
analysis module
behavior
camera
Prior art date
Application number
KR1020170066035A
Other languages
English (en)
Inventor
박병하
김영범
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170066035A priority Critical patent/KR20180130621A/ko
Publication of KR20180130621A publication Critical patent/KR20180130621A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 서비스 공간 내 외현적 행동 반응 분석 장치 및 방법에 관한 것으로, 카메라를 이용해 영상을 촬영하고 촬영 영상에서 움직임이 있는 활성 영역을 검출하여 공간행동을 분석하고, 마이크를 통해 입력된 환경 음향을 분석하고, 열화상을 촬영한 이미지를 분석하며, 분석 결과를 이용해 공간행동에 대한 각성도나 이완도를 분석함으로써 서비스가 제공되는 공간 내의 공간행동에 대해 정확한 분석 결과를 도출할 수 있다.

Description

서비스 공간 내 외현적 행동 반응 분석 장치 및 방법{Apparatus and Method for Analyzing Overt Behavioral Response in Service Space}
본 발명은 행동을 분석하는 기술과 관련한 것으로 더욱 상세하게는 상업 서비스가 제공되는 공간 내에서 사용자들의 행동 반응을 분석하는 서비스 공간 내 외현적 행동 반응 분석 장치 및 방법에 관한 것이다.
상업 서비스 제공자는 서비스가 제공되는 공간 내에 위치한 사용자들의 공간행동이 이루어지고 있는지에 대한 모니터링과 행동분석을 통해, 고객 만족도를 증가시키기 위한 서비스 계획을 수립하거나 서비스 정책의 변화를 수행한다.
예를 들어 상품 판매 프로모션이 진행되는 공간에서는 구매 고객의 행동이 활성화되는 것을 기대하게 되는데, 이러한 프로모션 서비스 제공자가 원하는 고객 반응이 있는지를 분석하고, 고객의 구매 행동을 보다 활성화하기 위한 방안을 마련할 수 있다.
기존에는 사용자들의 공간행동을 분석하기 위해, 서비스가 제공되는 공간에 CCTV(closed circuit television)를 설치하고, CCTV의 촬영 영상을 육안으로 확인하여 사용자가 서비스 제공 영역으로 진입하는 것을 확인하는 방식으로 사용자의 공간행동을 분석하여 왔다.
이 경우 영상을 인간의 육안으로 직접 확인하고 공간행동의 활성화 정도를 주관적인 판단에 의존하여 분석함으로써, 분석을 위한 고려하는 정보가 제한적인 한계가 있고 분석 정확성이 떨어지는 문제도 존재한다.
공개특허공보 제10-2010-0042801호 (2010년 04월 27일 공개)
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 상업 서비스가 제공되는 공간을 카메라를 이용해 촬영한 영상 정보와, 해당 공간 내 환경 음향 정보, 그리고 해당 공간의 열화상을 촬영한 열화상 이미지 정보를 이용해 사용자의 행동을 감지하고 반응을 분석하는 서비스 공간 내 외현적 행동 반응 분석 장치 및 방법을 제공하기 위한 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 서비스 공간 내 외현적 행동 반응 분석 장치는, 카메라를 이용해 영상을 촬영하고 촬영 영상에서 움직임이 있는 활성 영역을 검출하여 공간행동을 분석하는 카메라 영상 분석 모듈, 마이크를 통해 입력된 환경 음향을 분석하는 환경 음향 분석 모듈, 열화상을 촬영하고 열화상 이미지를 분석하는 열화상 이미지 분석 모듈, 및 상기 카메라 영상 분석 모듈, 상기 환경 음향 분석 모듈 및 상기 열화상 이미지 분석 모듈의 분석 결과를 이용해 공간행동에 대한 각성도나 이완도를 분석하는 공간행동 의미 분석 모듈을 포함한다.
본 발명의 서비스 공간 내 외현적 행동 반응 분석 장치에 있어서, 상기 카메라 영상 분석 모듈은, 카메라의 촬영 영상에서 프레임간 차영상의 사이즈가 일정 개수 이상의 픽셀로 이루어진 영역을 활성 영역으로 검출하는 것을 특징으로 한다.
본 발명의 서비스 공간 내 외현적 행동 반응 분석 장치에 있어서, 상기 카메라 영상 분석 모듈은, 활성 영역의 밀집도 변화, 활성 영역의 사이즈 평균 및 활성 영역의 개수를 주기적으로 측정하고 측정된 결과에 따라 행동 반응의 각성도나 이완도를 분석하는 것을 특징으로 한다.
본 발명의 서비스 공간 내 외현적 행동 반응 분석 장치에 있어서, 상기 카메라 영상 분석 모듈은, 복수의 카메라를 이용해 서로 다른 시점으로 영상을 촬영하는 것을 특징으로 한다.
본 발명의 서비스 공간 내 외현적 행동 반응 분석 장치에 있어서, 상기 환경 음향 분석 모듈은, 음향 데이터의 피치 변화율 및 진폭 변화율을 주기적으로 측정하고 측정된 결과에 따라 행동 반응의 각성도나 이완도를 분석하는 것을 특징으로 한다.
본 발명의 서비스 공간 내 외현적 행동 반응 분석 장치에 있어서, 상기 열화상 이미지 분석 모듈은, 열화상 이미지에서 열화상 평균값 및 열화상 객체 정보를 주기적으로 측정하고 측정된 결과에 따라 행동 반응의 각성도나 이완도를 분석하는 것을 특징으로 한다.
본 발명의 서비스 공간 내 외현적 행동 반응 분석 장치에 있어서, 상기 공간행동 의미 분석 모듈로 관심 영역에 대한 좌표 정보를 제공하고, 상기 공간행동 의미 분석 모듈로부터 관심 영역에 대응하는 공간행동에 대한 분석 결과를 제공받는 대중감성 추론 모듈을 더 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 서비스 공간 내 외현적 행동 반응 분석 방법은, 외현적 행동 반응 분석 장치가 카메라를 이용해 영상을 촬영하고 촬영 영상에서 움직임이 있는 활성 영역을 검출하여 공간행동을 분석하는 단계, 상기 외현적 행동 반응 분석 장치가 마이크를 통해 입력된 환경 음향을 분석하는 단계, 상기 외현적 행동 반응 분석 장치가 열화상을 촬영하고 열화상 이미지를 분석하는 단계, 및 상기 외현적 행동 반응 분석 장치가 분석 결과를 이용해 공간행동에 대한 각성도나 이완도를 분석하는 단계를 포함한다.
본 발명의 서비스 공간 내 외현적 행동 반응 분석 장치 및 방법에 따르면, 상업 서비스 공간 내 사용자의 움직임이 증가하거나 감소함에 따른 외현적 반응을 분석하여, 서비스 제공에 따른 사용자의 반응에 대한 분석 결과를 제공할 수 있다.
이때 카메라의 영상에서 사용자의 움직임이 있는 활성 영역을 검출하여 분석하고 환경 음향 및 열화상 이미지에 대해 분석하여, 서비스가 제공되는 공간 내의 공간행동에 대해 정확한 분석 결과를 도출할 수 있으며, 서비스의 제공에 따른 효과를 판단하거나 서비스 제공 방안을 개선하는데 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 외현적 행동 반응 분석 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 외현적 행동 반응 분석 방법의 과정을 나타낸 도면이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명은 서비스가 제공되는 공간 내에서 사용자의 반응에 따른 행동에 대해 분석하는 기술과 관련한 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 외현적 행동 반응 분석 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 외현적 행동 반응 분석 장치(100)는 서비스가 제공되는 공간 내에서 사용자의 반응을 분석하여 분석 결과를 제공하는 역할을 하며, 카메라 영상 분석 모듈(10), 환경 음향 분석 모듈(20), 열화상 이미지 분석 모듈(30), 공간행동 의미 분석 모듈(40) 및 대중감성 추론 모듈(50)을 포함하여 구성된다. 이때 각 모듈(10, 20, 30, 40, 50)은 연산을 위한 연산 유닛, 메모리와 프로그램 저장 소 등을 각각 포함한다.
카메라 영상 분석 모듈(10)은 카메라(11, 12)를 이용해 서비스가 제공되는 공간을 촬영하고, 카메라(11, 12)의 촬영 영상에서 서비스 대상 사용자의 움직임이 있는 활성 영역을 검출하여, 사용자의 공간행동을 분석하는 역할을 한다.
카메라 영상 분석 모듈(10)은 카메라(11, 12)의 촬영 영상에서 프레임간 차영상의 사이즈가 일정 개수 이상의 픽셀로 이루어진 영역을 사용자의 움직임이 있는 활성 영역으로 검출한다. 이때 카메라 영상 분석 모듈(10)은 이전 프레임 영상과 현재 입력 프레임 영상의 차이를 계산하고, 임계값 이상의 차이를 가지는 화소의 위치에 움직임이 있는 것으로 판단하여 활성 영역을 검출할 수 있으며, 사용자의 움직임이 있는 것으로 판단되는 복수의 활성 영역을 검출할 수도 있다.
이때 카메라 영상 분석 모듈(10)은 서로 다른 시선으로 서비스가 제공되는 공간을 촬영하는 복수의 카메라(11, 12)를 포함하며, 예를 들어 제1 카메라(11)가 전면(X축 및 Y축)의 영상을 촬영하는 경우 제2 카메라(12)는 수직면(Z축)의 영상을 촬영하도록 할 수 있다. 이렇듯 서로 다른 시선의 카메라(11, 12)를 이용해 서비스 공간을 촬영하는 경우, 특정 방향으로 서비스 공간을 촬영한 영상에서 검출하지 못하는 사용자의 움직임을 다른 방향으로 촬영한 영상을 이용해 검출할 수 있어, 사용자 움직임 검출의 정확도가 개선된다.
카메라 영상 분석 모듈(10)은 카메라(11, 12)의 촬영 영상에서 사용자의 움직임에 따른 활성 영역의 밀집도(density) 변화, 활성 영역의 사이즈 평균, 활성 영역의 개수를 주기적으로 측정하고 측정된 결과에 따라 행동 반응의 각성도나 이완도를 분석한다. 이때 행동 반응의 각성도는 서비스가 제공되는 공간 내에 위치하는 사용자의 움직임에 비례하여 증감하고, 행동 반응의 이완도는 사용자의 움직임의 반비례하여 증감한다.
예를 들어 서비스가 제공되는 공간 내의 사용자 움직임이 증가하면 활성 영역의 밀집도가 증가하고, 활성 영역의 사이즈 평균이 증가하며, 활성 영역의 개수가 증가하므로, 카메라 영상 분석 모듈(10)은 행동 반응의 각성도가 증가하고 이완도가 감소한 것으로 분석한다. 반대로 서비스가 제공되는 공간 내 사용자의 움직임이 감소하면 활성 영역의 밀집도가 감소하고, 활성 영역의 사이즈 평균이 감소하며, 활성 영역의 개수가 감소하므로, 카메라 영상 분석 모듈(10)은 행동 반응의 각성도가 감소하고 이완도가 증가한 것으로 분석한다.
환경 음향 분석 모듈(20)은 마이크를 이용해 서비스가 제공되는 공간의 환경 음향을 수집하고, 수집된 환경 음향을 분석하는 역할을 한다.
환경 음향 분석 모듈(20)은 마이크로 입력된 환경 음향에서, 음향 데이터의 피치(pitch) 변화율 및 진폭 변화율을 주기적으로 측정하고 측정된 결과를 이용해 행동 반응의 각성도나 이완도를 분석한다. 음향 데이터의 피치는 음의 높낮이를 나타내며 음향의 진동수에 따라 변화한다. 또한 음향 데이터의 진폭은 파형의 크기를 나타내며 음량 변화에 따라 변환한다.
예를 들어 서비스가 제공되는 공간 내에서 사용자의 행동이 활발해지면, 사용자의 대화나 행동 등에 의해 환경 음향의 피치가 높아지고 진폭이 커지므로, 환경 음향 분석 모듈(20)은 행동 반응의 각성도가 증가하고 이완도가 감소한 것으로 분석한다. 반대로 서비스가 제공되는 공간 내에서 사용자의 행동이 둔화되면, 사용자의 대화나 행동 등에 의해 환경 음향의 피치가 낮아지고 진폭이 작아지므로, 환경 음향 분석 모듈(20)은 행동 반응의 각성도가 감소하고 이완도가 증가한 것으로 분석한다.
열화상 이미지 분석 모듈(30)은 열화상 카메라를 이용해 서비스가 제공되는 공간의 열화상을 촬영하고, 열화상 이미지를 분석하는 역할을 한다.
열화상 이미지 분석 모듈(30)은 열화상 카메라를 이용해 촬영한 열화상 이미지에서, 열화상 평균값 및 열화상 객체 정보를 주기적으로 측정하고 측정된 결과를 이용해 행동 반응의 각성도나 이완도를 분석한다.
예를 들어 서비스가 제공되는 공간 내에 사용자가 모이면, 사용자의 체열에 의해 열화상의 평균값이 증가하게 되고 열화상 객체도 증가하게 되므로, 열화상 이미지 분석 모듈(30)은 행동 반응의 각성도가 증가하고 이완도가 감소한 것으로 분석한다. 반대로 서비스가 제공되는 공간 내에 사용자가 줄어들면, 사용자의 체열에 의해 열화상의 평균값이 감소하게 되고 열화상 객체도 감소하게 되므로, 열화상 이미지 분석 모듈(30)은 행동 반응의 각성도가 감소하고 이완도가 증가한 것으로 분석한다.
공간행동 의미 분석 모듈(40)은 카메라 영상 분석 모듈(10)의 분석 결과, 환경 음향 분석 모듈(20)의 분석 결과, 열화상 이미지 분석 모듈(30)의 분석 결과를 이용해 공간행동에 대한 각성도나 이완도를 종합적으로 분석하는 역할을 한다.
공간행동 의미 분석 모듈(40)은 아래의 표와 같이 각 분석 모듈(10, 20, 30)의 분석 결과에 대해 논리 연산하여 사용자의 외현적 행동 반응에 대한 의미 분석 결과를 도출한다.
영상1 영상2 열화상 음향 공간행동
의미 분석 결과
+ + + + +
- + + + +
+ + - + +
- + - - -
+ - - - -
표 1에서 '영상 1' 열(column)은 카메라 영상 분석 모듈(10)이 제1 카메라(11)에서 촬영한 영상에서 활성 영역을 검출하여 사용자의 공간행동을 분석한 결과를 나타내고, '영상 2' 열은 카메라 영상 분석 모듈(10)이 제2 카메라(12)에서 촬영한 영상에서 활성 영역을 검출하여 사용자의 공간행동을 분석한 결과를 나타내고, '열화상' 열은 열화상 이미지 분석 모듈(30)이 열화상 이미지를 분석하여 사용자의 공간행동을 분석한 결과를 나타내고, '음향' 열은 환경 음향 분석 모듈(20) 환경 음향을 분석하여 사용자의 공간행동을 분석한 결과를 나타내며, '공간행동 의미 분석 결과' 열은 공간행동 의미 분석 모듈(40)에서 '영상 1'에 대한 분석 결과, '영상 2'에 대한 분석 결과, '열화상'에 대한 분석 결과 및 '음향'에 대한 분석 결과를 논리 연산하여 최종적으로 공간행동의 의미를 분석한 결과를 나타낸다.
표 1에서 '+'의 분석 결과는 각성도가 증가한 각성 상태를 나타내고, '-'의 분석 결과는 이완도가 증가한 이완 상태를 나타낸다.
공간행동 의미 분석 모듈(40)은 예를 들어, '{(영상 1에 대한 분석 결과 OR 영상 2에 대한 분석 결과) AND 열화상에 대한 분석 결과} OR 음향에 대한 분석 결과 = 공간행동 의미 분석 결과'의 논리 연산을 이용해 공간행동의 의미를 분석할 수 있으며, 그 결과는 표 1에 나타난 바와 같다.
이 경우 마지막 행(row)의 논리 연산 결과를 살펴보면, 영상 1에 대한 분석 결과는 '+'이고, 영상 2에 대한 분석 결과는 '-'이며, 열화상에 대한 분석 결과는 '-'이고, 음향에 대한 분석 결과는 '-'이므로, 논리 연산은 '{( + OR - ) AND - } OR - = -' 가 된다. 따라서 서비스가 제공되는 공간 내 사용자의 각성도는 감소하고 이완도가 증가하여 이완 상태(-)임을 알 수 있다.
대중감성 추론 모듈(50)은 공간행동 의미 분석 모듈(40)로 사용자의 공간행동을 분석할 관심 영역에 대한 좌표 정보를 제공하고, 공간행동 의미 분석 모듈(40)로부터 관심 영역의 공간행동에 대한 분석 결과를 제공받는다.
이때 대중감성 추론 모듈(50)은 입력된 정보에 대응하여 관심 영역에 대한 정보를 공간행동 의미 분석 모듈(40)로 제공한 후, 대응하는 공간행동 분석 결과를 출력하여 확인하도록 할 수 있다.
본 발명에 따라 서비스가 제공되는 공간에 위치하는 사용자의 외현적 행동 반응을 분석하는 과정에 대해서는 도 2를 참조하여 상세하게 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 외현적 행동 반응 분석 방법의 과정을 나타낸 도면이다.
도 2를 참조하면 외현적 행동 반응 분석 장치가 카메라를 이용해 서비스가 제공되는 공간에 대한 영상을 촬영하고(S1), 촬영 영상에서 움직임이 있는 활성 영역을 검출하여 공간행동을 분석한다(S2).
단계(S1)에서 외현적 행동 반응 분석 장치는 서로 다른 시선으로 서비스 공간을 촬영하는 복수의 카메라를 이용해 영상을 촬영하고, 단계(S2)에서 서로 다른 시선으로 촬영된 복수의 촬영 영상에서 사용자의 움직임이 있는 활성 영역을 검출할 수 있다.
단계(S2)에서 외현적 행동 반응 분석 장치는 카메라의 촬영 영상에서 프레임간 차영상의 사이즈가 일정 개수 이상의 픽셀로 이루어진 영역을 사용자의 움직임이 있는 활성 영역으로 검출할 수 있다.
단계(S2)에서 외현적 행동 반응 분석 장치는 카메라의 촬영 영상에서 사용자의 움직임에 따른 활성 영역의 밀집도 변화, 활성 영역의 사이즈 평균, 활성 영역의 개수를 주기적으로 측정하고 측정된 결과에 따라 행동 반응의 각성도나 이완도를 분석한다.
단계(S2)에서 외현적 행동 반응 분석 장치는 촬영 대상 공간 내의 사용자 움직임이 증가하면 활성 영역의 밀집도가 증가하고, 활성 영역의 사이즈 평균이 증가하며, 활성 영역의 개수가 증가하므로, 행동 반응의 각성도가 증가하고 이완도가 감소한 것으로 분석한다.
반대로 단계(S2)에서 외현적 행동 반응 분석 장치는 촬영 대상 공간 내 사용자의 움직임이 감소하면 활성 영역의 밀집도가 감소하고, 활성 영역의 사이즈 평균이 감소하며, 활성 영역의 개수가 감소하므로, 행동 반응의 각성도가 감소하고 이완도가 증가한 것으로 분석한다.
그리고 외현적 행동 반응 분석 장치는 마이크를 통해 입력된 서비스 제공 공간의 환경 음향을 분석한다(S3).
단계(S3)에서 외현적 행동 반응 분석 장치는 마이크로 입력된 환경 음향에서, 음향 데이터의 피치 변화율 및 진폭 변화율을 주기적으로 측정하고 측정된 결과를 이용해 행동 반응의 각성도나 이완도를 분석한다.
단계(S3)에서 외현적 행동 반응 분석 장치는 음향 분석 대상 공간 내에서 사용자의 행동이 활발해지면, 사용자의 대화나 행동 등에 의해 환경 음향의 피치가 높아지고 진폭이 커지므로, 행동 반응의 각성도가 증가하고 이완도가 감소한 것으로 분석한다.
반대로 단계(S3)에서 외현적 행동 반응 분석 장치는 음향 분석 대상 공간 내에서 사용자의 행동이 둔화되면, 사용자의 대화나 행동 등에 의해 환경 음향의 피치가 낮아지고 진폭이 작아지므로, 행동 반응의 각성도가 감소하고 이완도가 증가한 것으로 분석한다.
또한 외현적 행동 반응 분석 장치는 서비스가 제공되는 공간의 열화상을 촬영하고(S4), 촬영된 열화상 이미지를 분석한다(S5).
단계(S5)에서 외현적 행동 반응 분석 장치는 열화상 이미지에서, 열화상 평균값 및 열화상 객체 정보를 주기적으로 측정하고 측정된 결과를 이용해 행동 반응의 각성도나 이완도를 분석한다.
단계(S5)에서 외현적 행동 반응 분석 장치는 사용자의 체열에 의해 열화상의 평균값이 증가하거나 열화상 객체가 증가하면, 행동 반응의 각성도가 증가하고 이완도가 감소한 것으로 분석한다.
반대로 단계(S5)에서 외현적 행동 반응 분석 장치는 사용자의 체열에 의해 열화상의 평균값이 감소하거나 열화상 객체도 감소하면, 행동 반응의 각성도가 감소하고 이완도가 증가한 것으로 분석한다.
이후 외현적 행동 반응 분석 장치는 단계(S2, S3, S5)에서의 분석 결과를 이용해 서비스가 제공되는 공간에 위치하는 사용자의 공간행동에 대한 각성도나 이완도를 분석한다(S6).
단계(S6)에서 외현적 행동 반응 분석 장치는 단계(S2, S3, S5)에서의 분석 결과를 논리 연산하여 사용자의 외현적 행동 반응에 대한 의미 분석 결과를 도출할 수 있으며, 도출된 결과를 외부로 전송해 확인하도록 할 수 있다.
본 발명의 실시예에 따른 서비스 공간 내 외현적 행동 반응 분석 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다.
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
10: 카메라 영상 분석 모듈
11: 제1 카메라
12: 제2 카메라
20: 환경 음향 분석 모듈
30: 영화상 이미지 분석 모듈
40: 공간행동 의미 분석 모듈
50: 대중감성 추론 모듈
100: 외현적 행동 반응 분석 장치

Claims (8)

  1. 카메라를 이용해 영상을 촬영하고 촬영 영상에서 움직임이 있는 활성 영역을 검출하여 공간행동을 분석하는 카메라 영상 분석 모듈;
    마이크를 통해 입력된 환경 음향을 분석하는 환경 음향 분석 모듈;
    열화상을 촬영하고 열화상 이미지를 분석하는 열화상 이미지 분석 모듈; 및
    상기 카메라 영상 분석 모듈, 상기 환경 음향 분석 모듈 및 상기 열화상 이미지 분석 모듈의 분석 결과를 이용해 공간행동에 대한 각성도나 이완도를 분석하는 공간행동 의미 분석 모듈;
    을 포함하는 서비스 공간 내 외현적 행동 반응 분석 장치.
  2. 제1항에 있어서,
    상기 카메라 영상 분석 모듈은,
    카메라의 촬영 영상에서 프레임간 차영상의 사이즈가 일정 개수 이상의 픽셀로 이루어진 영역을 활성 영역으로 검출하는 것을 특징으로 하는 서비스 공간 내 외현적 행동 반응 분석 장치.
  3. 제1항에 있어서,
    상기 카메라 영상 분석 모듈은,
    활성 영역의 밀집도 변화, 활성 영역의 사이즈 평균 및 활성 영역의 개수를 주기적으로 측정하고 측정된 결과에 따라 행동 반응의 각성도나 이완도를 분석하는 것을 특징으로 하는 서비스 공간 내 외현적 행동 반응 분석 장치.
  4. 제1항에 있어서,
    상기 카메라 영상 분석 모듈은,
    복수의 카메라를 이용해 서로 다른 시점으로 영상을 촬영하는 것을 특징으로 하는 서비스 공간 내 외현적 행동 반응 분석 장치.
  5. 제1항에 있어서,
    상기 환경 음향 분석 모듈은,
    음향 데이터의 피치 변화율 및 진폭 변화율을 주기적으로 측정하고 측정된 결과에 따라 행동 반응의 각성도나 이완도를 분석하는 것을 특징으로 하는 서비스 공간 내 외현적 행동 반응 분석 장치.
  6. 제1항에 있어서,
    상기 열화상 이미지 분석 모듈은,
    열화상 이미지에서 열화상 평균값 및 열화상 객체 정보를 주기적으로 측정하고 측정된 결과에 따라 행동 반응의 각성도나 이완도를 분석하는 것을 특징으로 하는 서비스 공간 내 외현적 행동 반응 분석 장치.
  7. 제1항에 있어서,
    상기 공간행동 의미 분석 모듈로 관심 영역에 대한 좌표 정보를 제공하고, 상기 공간행동 의미 분석 모듈로부터 관심 영역에 대응하는 공간행동에 대한 분석 결과를 제공받는 대중감성 추론 모듈;
    을 더 포함하는 것을 특징으로 하는 서비스 공간 내 외현적 행동 반응 분석 장치.
  8. 외현적 행동 반응 분석 장치가 카메라를 이용해 영상을 촬영하고 촬영 영상에서 움직임이 있는 활성 영역을 검출하여 공간행동을 분석하는 단계;
    상기 외현적 행동 반응 분석 장치가 마이크를 통해 입력된 환경 음향을 분석하는 단계;
    상기 외현적 행동 반응 분석 장치가 열화상을 촬영하고 열화상 이미지를 분석하는 단계; 및
    상기 외현적 행동 반응 분석 장치가 분석 결과를 이용해 공간행동에 대한 각성도나 이완도를 분석하는 단계;
    를 포함하는 서비스 공간 내 외현적 행동 반응 분석 방법.
KR1020170066035A 2017-05-29 2017-05-29 서비스 공간 내 외현적 행동 반응 분석 장치 및 방법 KR20180130621A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170066035A KR20180130621A (ko) 2017-05-29 2017-05-29 서비스 공간 내 외현적 행동 반응 분석 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170066035A KR20180130621A (ko) 2017-05-29 2017-05-29 서비스 공간 내 외현적 행동 반응 분석 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180130621A true KR20180130621A (ko) 2018-12-10

Family

ID=64670672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170066035A KR20180130621A (ko) 2017-05-29 2017-05-29 서비스 공간 내 외현적 행동 반응 분석 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180130621A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200082689A (ko) 2018-12-31 2020-07-08 중앙대학교 산학협력단 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템
CN111862521A (zh) * 2019-04-28 2020-10-30 杭州海康威视数字技术股份有限公司 行为热力图生成及报警方法、装置、电子设备及存储介质
KR20220072148A (ko) 2020-11-25 2022-06-02 한국로봇융합연구원 로봇 동작 모델링 장치 및 로봇 동작 모델링 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200082689A (ko) 2018-12-31 2020-07-08 중앙대학교 산학협력단 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템
CN111862521A (zh) * 2019-04-28 2020-10-30 杭州海康威视数字技术股份有限公司 行为热力图生成及报警方法、装置、电子设备及存储介质
KR20220072148A (ko) 2020-11-25 2022-06-02 한국로봇융합연구원 로봇 동작 모델링 장치 및 로봇 동작 모델링 방법

Similar Documents

Publication Publication Date Title
US9060158B2 (en) Image pickup apparatus that continuously takes images to obtain multiple images, control method therefor, and storage medium
US8314854B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
US8237800B2 (en) Main face choosing device, method for controlling same, and image capturing apparatus
US9443144B2 (en) Methods and systems for measuring group behavior
CN105262954B (zh) 触发摄像头自动聚焦的方法和装置
US10719946B2 (en) Information processing apparatus, method thereof, and computer-readable storage medium
CN110659397B (zh) 一种行为检测方法、装置、电子设备和存储介质
KR20190139262A (ko) 차량 손실 평가 이미지를 획득하기 위한 방법과 장치, 서버 및 단말기 디바이스
US10021505B2 (en) Control apparatus, measurement system, control method, and storage medium
US10254842B2 (en) Controlling a device based on facial expressions of a user
KR20180130621A (ko) 서비스 공간 내 외현적 행동 반응 분석 장치 및 방법
US9613429B2 (en) Image reading out control apparatus, image reading out control method thereof, and storage medium
CN107122743B (zh) 安防监控方法、装置和电子设备
WO2015029588A1 (ja) 画像処理システム、画像処理方法及びプログラム
CN112805996A (zh) 用于采集高速高清视频的方法及设备
WO2020103078A1 (en) Joint use of face, motion, and upper-body detection in group framing
Xiang et al. Remote safety monitoring for elderly persons based on omni-vision analysis
US10481864B2 (en) Method and system for emotion-triggered capturing of audio and/or image data
Lian et al. Smart privacy-preserving screen based on multiple sensor fusion
US20140270388A1 (en) Methods and systems for measuring group behavior
EP3432575A1 (en) Method for performing multi-camera automatic patrol control with aid of statistics data in a surveillance system, and associated apparatus
JP2008301162A (ja) 撮影装置、及び撮影方法
Siriwardhana et al. Classification of activities of daily living based on depth sequences and audio
JP6645503B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP2018191182A (ja) 監視装置、監視方法、コンピュータプログラム、及び記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment