KR102211204B1 - 비대면, 비접촉 선호도 조사 시스템 - Google Patents

비대면, 비접촉 선호도 조사 시스템 Download PDF

Info

Publication number
KR102211204B1
KR102211204B1 KR1020190094942A KR20190094942A KR102211204B1 KR 102211204 B1 KR102211204 B1 KR 102211204B1 KR 1020190094942 A KR1020190094942 A KR 1020190094942A KR 20190094942 A KR20190094942 A KR 20190094942A KR 102211204 B1 KR102211204 B1 KR 102211204B1
Authority
KR
South Korea
Prior art keywords
preference survey
research
positive
image frame
photographing
Prior art date
Application number
KR1020190094942A
Other languages
English (en)
Inventor
임광철
Original Assignee
임광철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임광철 filed Critical 임광철
Priority to KR1020190094942A priority Critical patent/KR102211204B1/ko
Application granted granted Critical
Publication of KR102211204B1 publication Critical patent/KR102211204B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce, e.g. shopping or e-commerce
    • G06Q30/02Marketing, e.g. market research and analysis, surveying, promotions, advertising, buyer profiling, customer management or rewards; Price estimation or determination
    • G06Q30/0202Market predictions or demand forecasting
    • G06Q30/0203Market surveys or market polls
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00335Recognising movements or behaviour, e.g. recognition of gestures, dynamic facial expressions; Lip-reading
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Abstract

본 발명의 일 실시 예에 따른 비대면, 비접촉 선호도 조사 시스템은, 홍보 현장에 배치되어 이미지 프레임을 획득하는 촬영 장치 및 상기 촬영 장치가 획득한 이미지 프레임에서 리서치 대상자들을 인식하고, 인식된 리서치 대상자들의 표정 및 행동을 판단하여 리서치 대상자들의 긍정적 감정 또는 부정적 감정을 수치화한 선호도 조사 결과를 생성하는 선호도 조사 서버를 포함한다.

Description

비대면, 비접촉 선호도 조사 시스템{NON-FACING, NON CONTACT PREFERENCE SURVEY SYSTEM}
본 발명은 비대면, 비접촉 선호도 조사 시스템에 관한 것이다. 보다 자세하게는, 리서치 대상자와 직접 접촉하지 않고 리서치 대상자의 행동 패턴과 표정을 정량화하여 분석함으로써, 특정 대상에 대한 선호도를 예측할 수 있는 시스템에 관한 것이다.
여론 조사는 국가나 사회의 여러 문제에 대한 대중의 의견이나 경향을 조사하여 통계화하기 위해 행해진다. 아울러, 여론 조사는 국가 행정에 국한되지 않고 선거 후보자 지지도 조사, 상품 판매, 상품 홍보에 이르기까지 광범위하게 이루어지고 있다.
통상적으로 여론 조사는 현장 조사원이 인쇄물을 들고 리서치 대상자를 찾아가는 오프라인 방식으로 수행되거나, 리서치 대상자에게 전화를 거는 ARS(Audio Response System), 리서치 대상자에게 홈페이지 주소를 제공하고 답변을 요청하는 온라인 방식으로 수행되고 있다.
그러나 오프라인 여론 조사는 현장 조사원 인력과 시간 그리고 비용이 많이 소모되는 문제가 존재하며, 온라인 여론 조사는 리서치 대상자의 연령대가 특정 연령대에 집중되어 있거나 본인이 아닌 다른 사람의 이름으로 조사에 참여할 수도 있다는 점에서 신뢰성이 떨어진다.
뿐만 아니라, 공직선거법 제108조제1항에 따르면 선거일 전 6일부터 선거일의 투표 마감 시각까지 여론 조사 결과를 공표할 수 없어, 각 후보자들은 유권자들의 지지도를 확인할 수 없어 마지막 선거 공략을 설정하는 데에 한계가 있다.
따라서 리서치 대상자(유권자)에게 직접 질문하지 않고, 현장에 존재하는 리서치 대상자의 표정, 행동을 이용하여 특정 대상에 대한 선호도 조사를 수행할 수 있는 비접촉 선호도 조사 시스템의 개발이 요구되며, 본 발명은 이에 관한 것이다.
대한민국 등록특허공보 제10-1799955호 (2017.11.15.)
본 발명이 해결하고자 하는 기술적 과제는 선거 유세, 물품 홍보 현장에서 사용자들의 표정, 행동을 분석하여 후보자나 물품의 선호도를 조사할 수 있는 비대면, 비접촉 선호도 조사 시스템을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 비대면, 비접촉 선호도 조사 시스템은, 홍보 현장에 배치되어 이미지 프레임을 획득하는 촬영 장치 및 상기 촬영 장치가 획득한 이미지 프레임에서 리서치 대상자들을 인식하고, 인식된 리서치 대상자들의 표정 및 행동을 판단하여 리서치 대상자들의 긍정적 감정 또는 부정적 감정을 수치화한 선호도 조사 결과를 생성하는 선호도 조사 서버를 포함한다.
일 실시 예에 따르면, 상기 선호도 조사 서버는, 홍보 대상에 따라 긍정적 감정 또는 부정적 감정을 판단하기 위한 표정 및 행동 종류를 미리 설정할 수 있다.
일 실시 예에 따르면, 상기 선호도 조사 서버는, 상기 촬영 장치가 획득한 제1 이미지 프레임에서, 리서치 대상자의 표정을 기초로 확인되는 긍정적 감정 또는 부정적 감정과 리서치 대상자의 행동을 기초로 확인되는 긍정적 감정 또는 부정적 감정이 일치하는지 판단하고, 판단 결과에 따라 상기 선호도 조사 결과를 생성하기 위한 가중치를 결정할 수 있다.
일 실시 예에 따르면, 상기 선호도 조사 서버는, 판단 결과, 상기 리서치 대상자의 표정을 기초로 확인되는 긍정적 감정 또는 부정적 감정과 상기 리서치 대상자의 행동을 기초로 확인되는 긍정적 감정 또는 부정적 감정이 일치하지 않는 경우, 상기 제1 이미지 프레임과 이어지는 제2 이미지 프레임에서, 상기 리서치 대상자의 표정 변화 및 행동 변화를 판단하고, 판단 결과에 따라 상기 선호도 조사 결과를 생성하기 위한 가중치를 추가로 결정할 수 있다.
일 실시 예에 따르면, 상기 촬영 장치는, 이미지 프레임을 획득할 수 있는 휴대 단말, 스마트 안경 및 CCTV 카메라 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 촬영 장치는, 상기 홍보 현장에 적어도 두 개 이상 마련되며, 상기 선호도 조사 서버는, 상기 홍보 현장에서 홍보 대상의 위치, 상기 촬영 장치의 위치 및 촬영 각도 중 적어도 하나를 기초로 이미지 프레임에 존재하는 리서치 대상자들을 인식할 수 있다.
일 실시 예에 따르면, 상기 선호도 조사 서버는, 상기 홍보 현장에 배치된 상기 촬영 장치의 개수에 따라 상기 선호도 조사 결과의 오차 범위를 결정할 수 있다.
일 실시 예에 따르면, 상기 선호도 조사 서버는, 상기 촬영 장치가 획득한 제1 이미지 프레임에서 상기 리서치 대상자의 표정 또는 행동이 긍정적 감정 또는 부정적 감정에 해당하지 않는 것으로 확인되는 경우, 상기 1 이미지 프레임과 이어지는 제2 이미지 프레임에서, 상기 리서치 대상자의 표정 변화 및 행동 변화를 확인하고, 확인 결과에 따라 상기 선호도 조사 결과를 생성하기 위한 가중치를 부여할 수 있다.
본 발명에 따르면, 선거 유세, 물품 홍보 현장에서 현장 조사원이 리서치 대상자에게 찾아가 대답을 요구하지 않고, 리서치 대상자의 반응을 분석함으로써, 유권자 또는 물품에 대한 선호도를 보다 정확하게 예측할 수 있다.
또한, 현장에 배치된 복수의 촬영 장치를 이용하여 리서치 대상자들의 표정, 행동을 분석할 수 있어, 현장에서 빠르게 지나가는 리서치 대상자들의 반응을 일일이 확인하기 위한 현장 조사원이 필요하지 않아 시간과 비용 면에서 경제적이다.
또한, 리서치 대상자들의 일시적인 표정, 행동뿐만 아니라, 현장을 지나치는 동안의 감정 변화를 분석하고, 그에 따른 가중치를 부여함으로써 선호도 조사의 정확도가 향상될 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 비대면, 비접촉 선호도 조사 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 선호도 조사 서버가 리서치 대상자들의 표정과 행동의 긍정/부정을 확인하는 방식을 설명하기 위한 도면이다.
도 3a 내지 3c, 도 4a 및 4b는 본 발명의 일 실시 예에 따른 관리자 단말에서 선호도를 조사 결과가 출력되는 방식을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 선호도 조사 서버의 선호도 조사 방법의 흐름을 나타낸 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 선호도 조사 서버의 구성을 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.
또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 도 1 내지 도 4를 참조하여 본 발명의 선호도 조사 시스템(1000)에 대하여 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 비대면, 비접촉 선호도 조사 시스템(1000)의 구성을 나타낸 도면이다.
도 1을 참조하면, 비대면, 비접촉 선호도 조사 시스템(1000)(이하, 선호도 조사 시스템(1000)이라 한다)은 촬영 장치(100) 및 선호도 조사 서버(200)를 포함할 수 있다.
촬영 장치(100)는 어떠한 사물, 사람 또는 서비스를 홍보하는 현장에서 홍보 현장을 지나가는 사람들, 즉 리서치 대상자들을 촬영할 수 있다. 예를 들어, 촬영 장치(100)는 하나의 이미지 프레임 또는 연속된 이미지 프레임으로 이루어진 영상을 획득할 수 있는 렌즈와 이미지 센서를 포함하는 휴대 단말(태플릿 PC, 스마트 폰), 웨어러블 디바이스(스마트 안경) 그리고 홍보 현장에 배치된 CCTV 카메라 등일 수 있다.
또한, 촬영 장치(100)는 선호도 조사 서버(200)가 수행하는 비대면, 비접촉 선호도 조사 방법을 수행하는 어플리케이션이 설치될 수 있는 장치일 수도 있으며, 이러한 경우, 촬영 장치(100)가 실시간으로 획득한 이미지 프레임을 기초로 홍보 물품 또는 유권자에 대한 리서치 대상자들의 선호도를 파악할 수 있다.
한편, 촬영 장치(100)는 통신 모듈(미도시)을 구비하여 실시간으로 획득한 이미지 프레임을 선호도 조사 서버(200)로 송신할 수 있다. 구체적으로, 촬영 장치(100)가 송신하는 정보는 촬영 장치(100)의 고유 식별 정보, 위치, 촬영 장치(100)에 구비된 렌즈 화각, 이미지 프레임, 이미지 프레임 촬영 시각 등을 포함할 수 있다.
또 다른 한편, 촬영 장치(100)는 홍보 현장에 복수 개가 배치될 수 있으며, 복수 개의 촬영 장치(100)가 하나의 시간 단위에서(예. 1초) 획득하는 이미지 프레임의 수를 조절하여 리서치 대상자의 표정 변화와 행동 변화를 보다 용이하게 파악할 수 있다.
아울러, 홍보 현장에 배치된 촬영 장치(100)의 개수가 많을수록 리서치 대상자의 표정과 행동을 정확하게 판단할 수 있기 때문에, 촬영 장치(100)의 개수에 따라 선호도 조사 서버(200)가 생성하는 선호도 조사 결과의 오차 범위가 크거나 작아질 수 있다.
선호도 조사 서버(200)는 적어도 하나의 서버 장치로서, 홍보 물품, 서비스 또는 선거 후보자에 대한 리서치 대상자들의 선호도 조사 결과를 생성할 수 있다. 구체적으로, 선호도 조사 서버(200)는 촬영 장치(100)가 획득한 이미지 프레임에서 리서치 대상자들을 인식하고, 인식된 리서치 대상자들의 표정 및 행동을 확인한 후, 리서치 대상자들의 긍정적 또는 부정적 감정을 수치화한 선호도 조사 결과를 생성할 수 있다.
여기서, 리서치 대상자들을 인식하는 방식은, 이미지 프레임 내 사람을 인식할 수 있는 기술이라면 공지된 어떠한 기술도 차용할 수 있으며, 선호도 조사 서버(200)는 홍보 물품, 서비스 또는 선거 후보자의 명함이 건네지는 상황 등 리서치 대상자에게 자극이 주어지는 시점에서 리서치 대상자들의 표정 및 행동을 확인할 수 있다. 아울러, 선호도 조사 서버(200)는 리서치 대상자의 손을 포함하는 상반신을 인식하여, 리서치 대상자의 행동을 확인할 수 있다.
이와 같이, 선호도 조사 서버(200)가 이미지 프레임 내에서 적어도 한 명의 리서치 대상자의 표정과 행동을 확인했다면, 해당 시점에서 리서치 대상자의 표정과 행동이 긍정적 감정과 대응되는지 부정적 감정과 대응되는지 판단할 수 있다.
이를 위해, 선호도 조사 서버(200)는 긍정적 감정에 속하는 표정과 행동, 부정적 감정에 속하는 표정과 행동을 미리 저장해 둘 수 있다. 예를 들어, 긍정적 감정에 속하는 표정은 눈 웃음, 입 꼬리 올라감, 눈빛 교환 등이 존재하며, 긍정적 감정에 속하는 행동은 홍보물(예. 전단지, 명함) 받음, 사진 찍기, 악수, 이동 방향 전환 등이 존재할 수 있다. 반대로, 부정적 감정에 속하는 표정은 찡그림, 입 꼬리 내려감, 눈빛 회피 등이 존재하며, 부정적 감정에 속하는 행동은 홍보물을 거부, 악수 거부, 손사래, 이동 방향 전환 등이 존재할 수 있으며, 홍보 대상에 따라 다양한 표정 및 행동의 종류를 미리 저장해 둘 수 있다.
한편, '이동 방향 전환'이나 사람의 시선과 관련된 표정은 홍보 현장에서 홍보 대상의 위치, 촬영 장치(100)의 위치 및 촬영 각도를 고려하여, 리서치 대상자의 반응이 홍보 대상에 대한 긍정적 감정인지 부정적 감정인지 확인할 수 있다.
이와 관련하여, 도 2는 본 발명의 일 실시 예에 따른 선호도 조사 서버(200)가 리서치 대상자들의 표정과 행동의 긍정/부정을 확인하는 방식을 설명하기 위한 도면이다.
도 2를 참조하면, 홍보 현장(S)에 A 홍보 요원, B 홍보 판촉물이 존재하고, 두 대의 촬영 장치(100A)(100B)가 배치된 상황에서, 선호도 조사 서버(200)는 두 대의 촬영 장치(100A)(100B)의 위치와 촬영 각도, 촬영 영역(P1)(P2)를 확인할 수 있다. 아울러, 선호도 조사 서버(200)는 A에 대한 선호도를 조사한다고 가정한다.
선호도 조사 서버(200)는 제1 리서치 대상자(R1)의 행동이 A 홍보 요원을 향하는'좌측(도 2에서의 우측)으로의 이동 방향 전환'일 경우, 제1 리서치 대상자(R1)의 '이동 방향 전환'이 긍정적 감정인 것으로 판단할 수 있다. 반대로, 제1 이미지 프레임에서 제3 리서치 대상자(R3)의 행동이 A 홍보 요원들과 멀어지는'우측(도 2에서의 좌측)으로 이동 방향 전환'일 경우, 제3 리서치 대상자(R3)의 '이동 방향 전환'이 부정적 감정인 것으로 판단할 수 있다.
아울러, 선호도 조사 서버(200)는 두 대의 촬영 장치(100A)(100B)로 획득한 이미지 프레임에서 제2 리서치 대상자(R2)의 행동에 변화가 없고, '시선을 우측(도 2에서의 좌측)으로 회피'할 경우, 제2 리서치 대상자(R2)의 '눈빛 회피'는 A 홍보 요원의 시선을 피한 것으로써 부정적 감정인 것으로 판단할 수 있다.
다시 말해서, 선호조 조사 서버(200)는 홍보 현장에서 홍보 대상의 위치, 촬영 장치(100)의 위치, 촬영 각도, 촬영 영역 중 적어도 하나를 기초로 이미지 프레임에 존재하는 리서치 대상자들을 표정 및 행동을 확인할 수 있다.
다시 도 1을 참조하여 설명하도록 한다.
선호도 조사 서버(200)는 리서치 대상자들의 표정과 행동을 단순히 긍정적 감정, 부정적 감정으로 나누지 않고 확실하지 않은 표정 및 행동에는 중립 감정으로 판단할 수 있다. 예를 들어, 중립 감정에 속하는 표정은 무표정, 놀람 등이 존재하고, 중립 감정에 속하는 행동에는 손사래, 목례 등이 존재할 수 있다. 이와 같이, 리서치 대상자의 표정 및 행동이 중립 감정에 속할 경우, 선호도 조사 서버(200)는 현재 이미지 프레임 이후 연속된 다음 이미지 프레임에서 리서치 대상자의 표정 변화 및 행동 변화를 관찰할 수 있으며, 관찰 결과 이 후의 감정이 긍정적 감정이나 부정적 감정으로 판단될 경우, 긍정적 감정 또는 부정적 감정을 수치화할 시에 해당 감정에 대한 수치를 작게 설정할 수 있다.
한편, 확인된 감정의 수치화와 관련하여 보다 구체적으로 설명하면, 선호도 조사 서버(200)는 기본적으로 표정과 행동이 긍정적 감정 또는 부정적 감정으로 판단될 때마다 긍정 1, 부정 1과 같이 1단위로 카운트 할 수 있다.
우선, 긍정적 감정과 부정적 감정 두 가지를 기준으로 보았을 때, 리서치 대상자의 표정과 행동은 아래와 같은 네 가지 경우의 수로 분류될 수 있다.
1)표정 긍정 행동 긍정 2)표정 긍정 행동 부정
3)표정 부정 행동 부정 4)표정 부정 행동 긍정
선호도 조사 서버(200)는 리서치 대상자의 표정에 따른 긍정적 감정 또는 부정적 감정과 리서치 대상자의 행동에 따른 긍정적 감정 또는 부정적 감정이 일치하는지 판단하고, 판단 결과에 따라 상기 선호도 조사 결과를 생성하기 위해 기 설정된 가중치를 결정할 수 있다.
즉, 1번, 3번과 같이 표정과 행동이 긍정적 감정 또는 부정적 감정으로 일치하는 경우, 선호도 조사 서버(200)는 리서치 대상자의 표정과 행동이 강한 긍정, 강한 부정인 것으로 판단하여 카운트 된 '긍정 1' 또는 '부정 1' 에 x1.5, x2의 가중치를 부여하여, '긍정 1.5/2', '부정 1.5/2'의 선호도 조사 결과(카운트 값)를 생성할 수 있다. 다만, 해당 가중치 수치는 예시적인 것으로서 리서치 대상자들의 수, 홍보 현장 상황에 따라 관리자가 임의로 카운트 값에 부여할 가중치 값을 조절할 수 있다.
반면, 2번 4번과 같이 표정과 행동에 따른 긍정적 감정 또는 부정적 감정이 일치하지 않는 경우, 선호도 조사 서버(200)는 제1 이미지 프레임과 이어지는 제2 이미지 프레임에서 해당 리서치 대상자의 표정 변화 및 행동 변화를 확인하고, 확인 결과에 따라 기 설정된 가중치를 부여할 수 있다.
예를 들어, 선호도 조사 서버(200)가 제1 이미지 프레임에서 확인한 리서치 대상자의 표정이 "찡그림"의 부정적 감정이고, 행동이 "홍보물 받음"의 긍정적 감정으로 판단된 상황에서, 제2 이미지 프레임에서의 리서치 대상자의 행동이 "명함 읽음"으로 확인되는 경우, 긍정적 감정에 x1.2의 가중치를, 부정적 감정에 x0.8의 가중치를 부여하여 '긍정 1.2, 부정0.8' 의 선호도 조사 결과(카운트 값)를 생성할 수 있다. 반대로, 제2 이미지 프레임에서 리서치 대상지의 표정이 "눈빛 회피"인 경우, 부정적 감정에 x1.2의 가중치를, 긍정적 감정에 x0.8의 가중치를 부여하여 '긍정 0.8, 부정1.2' 의 선호도 조사 결과(카운트 값)를 생성할 수도 있다.
한편, 1번, 3번에서 표정과 행동이 긍정적 감정 또는 부정적 감정으로 일치하는 경우에서도 제1 이미지 프레임과 이어지는 제2 이미지 프레임에서 해당 리서치 대상자의 표정 변화 및 행동 변화를 확인하고, 확인 결과에 따라 가중치를 조절할 수 있다.
예를 들어, 선호도 조사 서버(200)가 제1 이미지 프레임에서 확인한 리서치 대상자의 표정이 "눈 웃음"의 긍정적 감정이고, 행동이 "홍보물 받음"의 긍정적 감정으로 판단되어 x1.5의 가중치를 부여한 상황에서, 제2 이미지 프레임에서의 리서치 대상자의 행동이 "홍보물 읽음"으로 확인되는 경우, x2의 가중치로 조절할 수 있으며, "홍보물 읽지 않음"으로 확인되는 경우, x1.2의 가중치로 조절할 수 있다.
이와 같이, 선호도 조사 서버(200)는 리서치 대상자의 표정 및 행동 변화를 분석하여 홍보 대상에게 직접적으로 표출하지 않는 긍정적 감정 또는 부정적 감정을 판단할 수 있다.
한편 긍정적 감정, 부정적 감정에 더하여, 선호도 조사 서버(200)는 제1 이미지 프레임에서 리서치 대상자의 표정 또는 행동 중 하나가 중립 감정인 것으로 판단된 경우, 제2 이미지 프레임에서 리서치 대상자의 표정 변화 및 행동 변화를 확인하고, 확인 결과에 따라 기 설정된 가중치를 부여할 수 있다.
예를 들어, 선호도 조사 서버(200)가 제1 이미지 프레임에서 확인한 리서치 대상자의 표정이 "무표정"의 중립 감정이고, 행동이 "홍보물 받음"의 긍정적 감정으로 판단된 상황에서, 제2 이미지 프레임에서의 리서치 대상자의 행동이 "명함 읽음"으로 확인되는 경우, 긍정적 감정에 x1.5의 가중치를 부여하여 '긍정 1.5' 의 선호도 조사 결과(카운트 값)를 생성할 수 있다.
즉, 선호도 조사 서버(200)는 홍보 대상에 대한 긍정적 감정 또는 부정적 감정을 판단하고 수치화할 수 있으며, 이를 합산하거나 전체 리서치 대상 인원 수 대비 긍정적 감정의 수, 부정적 감정의 수를 계산하여 홍보 대상에 대한 지지율을 확인할 수도 있다.
도 3a 내지 3c, 도 4a 및 4b는 본 발명의 일 실시 예에 따른 관리자 단말(300)에서 선호도를 조사 결과가 출력되는 방식을 설명하기 위한 도면이다.
도 3a 내지 3c, 도 4a 및 4b를 설명하기에 앞서, 관리자 단말(300)은 선호도 조사 서버(200)를 운영하는 관리자가 소유한 단말로서, 디스플레이 모듈을 구비한 다양한 컴퓨팅 단말을 포함할 수 있으며, 선호도 조사 서버(200)가 제공하는 어플리케이션이 저장되어 실행될 수 있는 모든 기록 매체를 포함할 수 있다.
도 3a 및 도 3b를 참조하면, 선호도 조사 서버(200)는 '광주광역시'를 5개의 구와 90개의 동으로 분류하고, 분류된 각 지역에서의 선호도 조사 결과를 생성할 수 있다. 즉, 도 3a와 같이 5개의 구가 나뉘어질 수 있으며, 하나의 구를 선택했을 때, 도 3b와 같이 하나의 구에 포함된 복수 개의 동을 여러 구역으로 분류할 수 있다. 다만, 분류 기준은 관리자에 의해 임의로 설정될 수 있다.
도 3c를 참조하면, 선호도 조사 서버(200)는 리서치 대상자의 다양한 행동을 긍정적 감정(+)과 부정적 감정(-)으로 지정할 수 있다. 아울러, 선호도 조사 서버(200)는 촬영 장치(100)로부터 이미지 프레임을 획득하게 되면, 이미지 프레임 내 리서치 대상자들의 표정과 행동을 확인하고, 도 3c에 도시된 관리자 단말(300)의 화면에 표정과 행동이 확인된 수를 카운트하여 제공할 수 있다.
도 4a 및 도 4b를 참조하면, 선호도 조사 서버(200)는 앞서 확인된 표정 및 행동과 그에 따른 가중치를 고려하여 각 구, 구역에 대한 부정적 감정(-)과 긍정적 감정(+)을 판단하고 수치화하여 관리자 단말(300)에 출력할 수 있다. 아울러, 우측에 표시된 네모난 체크 표시를 선택하거나 선택 취소하여 선호도를 구체적으로 알고 싶은 구역만을 확인할 수 있다.
또한, 도면에 도시되지 않았으나, 선호도 조사 서버(200)는 시간 별 선호도 조사 결과를 제공할 수도 있다. 예를 들어, 관리자는 관리자 단말(300)을 이용하여 오전9시~오후12시 동안 각 구, 구역 별 선호도 조사 결과를 확인할 수 있다.
한편, 도 4a 및 도 4b에 도시된 바와 같이 선호도 조사 결과는 각 구역의 긍정적 감정(+)과 부정적 감정(-)의 합으로 표현되거나, 촬영 장치(100)를 통해 인식된 전체 리서치 대상자들의 수 대비 긍정적 감정으로 판단된 리서치 대상자들의 수를 계산하여 홍보 대상에 대한 지지율을 %값으로 산출할 수도 있다.
지금까지 본 발명의 일 실시 예에 따른 선호도 조사 시스템(1000)에 대하여 설명하였다. 본 발명에 따르면, 선호도 조사 서버(200)는 홍보 현장에 배치된 촬영 장치(100)를 이용하여 비대면, 비접촉 방식으로 각 지역의 반응을 정량적으로 확인할 수 있다. 또한, 하나의 이미지 프레임에서 리서치 대상자의 반응을 판단하는 것이 아니라, 촬영 장치(100)의 개수, 배치 위치, 배치 각도 등을 이용하여 리서치 대상자들의 반응 변화를 관찰하기 때문에, 홍보 대상에 대한 실제 반응을 정확하게 판단할 수 있다.
이하에서는 본 발명의 일 실시 예에 따른 선호도 조사 서버(200)가 홍보 대상에 대한 선호도를 조사하는 방법에 대하여 설명하도록 한다.
도 5는 본 발명의 일 실시 예에 따른 선호도 조사 서버(200)의 선호도 조사 방법의 흐름을 나타낸 순서도이다.
이는 본 발명의 목적을 달성하기 위해 가장 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
먼저, 선호도 조사 서버(200)는 촬영 장치(100)로부터 수신한 이미지 프레임에서 리서치 대상자들을 인식한다(S110). 여기서, 리서치 대상자들을 인식하는 방식은, 이미지 프레임 내 사람을 인식할 수 있는 기술이라면 공지된 어떠한 기술도 차용할 수 있다.
또한, 촬영 장치(100)가 복수 개일 경우, 선호도 조사 서버(200)는 각 촬영 장치(100)가 제공한 이미지 프레임을 동일한 시간대별로 그룹화하고, 그룹화된 이미지 프레임에서 적어도 하나의 리서치 대상자를 인식할 수 있다.
S110 단계 이후, 선호도 조사 서버(200)는 인식된 리서치 대상자들의 표정 및 행동을 확인한다(S120). 구체적으로, 표정은 리서치 대상자의 얼굴을 포함하며, 행동은 리서치 대상자의 손을 포함하는 상반신 전체를 의미할 수 있다.
S120 단계 이후, 선호도 조사 서버(200)는 확인된 표정 및 행동에 따라 리서치 대상자들의 긍정적 감정 또는 부정적 감정을 카운트한다(S130). 구체적으로, 선호도 조사 서버(200)는 촬영 장치(100)가 제공하는 이미지 프레임에서 홍보 물품, 서비스 또는 선거 후보자의 명함이 건네지는 상황 등 리서치 대상자에게 자극이 주어지는 시점에서 리서치 대상자들의 표정 및 행동을 확인하고, 확인된 표정 및 행동이 긍정적 감정 또는 부정적 감정으로 기 저장된 표정과 행동이 나타날 경우 긍정 1, 부정 1과 같이 1 단위의 카운트를 할 수 있다.
즉, 선호도 조사 서버(200)는 긍정적 감정에 속하는 표정과 행동, 부정적 감정에 속하는 표정과 행동을 미리 저장해 둘 수 있다. 예를 들어, 긍정적 감정에 속하는 표정은 눈 웃음, 입 꼬리 올라감, 눈빛 교환 등이 존재하며, 긍정적 감정에 속하는 행동은 홍보물(예. 전단지, 명함) 받음, 사진 찍기, 악수, 이동 방향 전환 등이 존재할 수 있다. 반대로, 부정적 감정에 속하는 표정은 찡그림, 입 꼬리 내려감, 눈빛 회피 등이 존재하며, 부정적 감정에 속하는 행동은 홍보물 거부, 악수 거부, 손사래, 이동 방향 전환 등이 존재할 수 있으며, 홍보 대상에 따라 다양한 표정 및 행동의 종류를 미리 저장해 둘 수 있다.
S130 단계 이후, 선호도 조사 서버(200)는 카운트된 값을 기초로 선호도 조사 결과를 생성한다(S140). 이 때, 선호도 조사 결과는 긍정적 감정(+)과 부정적 감정(-)의 합으로 표현될 수도 있지만, 리서치 대상자들의 행동에 따라 가중치를 부여하고, 가중치를 적용한 결과를 도출할 수도 있다.
구체적으로, 긍정적 감정과 부정적 감정 두 가지를 기준으로 보았을 때, 리서치 대상자의 표정과 행동은 아래와 같은 네 가지 경우의 수로 분류될 수 있다.
1)표정 긍정 행동 긍정 2)표정 긍정 행동 부정
3)표정 부정 행동 부정 4)표정 부정 행동 긍정
선호도 조사 서버(200)는 리서치 대상자의 표정에 따른 긍정적 감정 또는 부정적 감정과 리서치 대상자의 행동에 따른 긍정적 감정 또는 부정적 감정이 일치하는지 판단하고, 판단 결과에 따라 상기 선호도 조사 결과를 생성하기 위해 기 설정된 가중치를 결정할 수 있다.
즉, 1번, 3번과 같이 표정과 행동이 긍정적 감정 또는 부정적 감정으로 일치하는 경우, 선호도 조사 서버(200)는 리서치 대상자의 표정과 행동이 강한 긍정, 강한 부정인 것으로 판단하여 카운트 된 '긍정 1' 또는 '부정 1' 에 x1.5, x2의 가중치를 부여하여, '긍정 1.5/2', '부정 1.5/2'의 선호도 조사 결과(카운트 값)를 생성할 수 있다. 다만, 해당 가중치 수치는 예시적인 것으로서 리서치 대상자들의 수, 홍보 현장 상황에 따라 관리자가 임의로 카운트 값에 부여할 가중치 값을 조절할 수 있다.
반면, 2번 4번과 같이 표정과 행동에 따른 긍정적 감정 또는 부정적 감정이 일치하지 않는 경우, 선호도 조사 서버(200)는 제1 이미지 프레임과 이어지는 제2 이미지 프레임에서 해당 리서치 대상자의 표정 변화 및 행동 변화를 확인하고, 확인 결과에 따라 기 설정된 가중치를 부여할 수 있다.
예를 들어, 선호도 조사 서버(200)가 제1 이미지 프레임에서 확인한 리서치 대상자의 표정이 "눈 웃음"의 긍정적 감정이고, 행동이 "홍보물 거부"의 부정적 감정으로 판단된 상황에서, 제2 이미지 프레임에서의 리서치 대상자의 행동이 "이동 방향 전환"으로 확인되는 경우, 긍정적 감정에 x0.5의 가중치를, 부정적 감정에 x1.5의 가중치를 부여하여 '긍정 0.5, 부정1.5' 의 선호도 조사 결과(카운트 값)를 생성할 수 있다.
이와 같이, 선호도 조사 서버(200)는 리서치 대상자의 표정 및 행동 변화를 분석하여 홍보 대상에게 직접적으로 표출하지 않는 긍정적 감정 또는 부정적 감정을 판단할 수 있다.
한편 긍정적 감정, 부정적 감정에 더하여, 선호도 조사 서버(200)는 제1 이미지 프레임에서 리서치 대상자의 표정 또는 행동 중 하나가 중립 감정인 것으로 판단된 경우, 제2 이미지 프레임에서 리서치 대상자의 표정 변화 및 행동 변화를 확인하고, 확인 결과에 따라 기 설정된 가중치를 부여할 수 있다.
예를 들어, 선호도 조사 서버(200)가 제1 이미지 프레임에서 확인한 리서치 대상자의 표정이 "무표정"의 중립 감정이고, 행동이 "홍보물 받음"의 긍정적 감정으로 판단된 상황에서, 제2 이미지 프레임에서의 리서치 대상자의 행동이 "명함 읽음"으로 확인되는 경우, 긍정적 감정에 x1.5의 가중치를 부여하여 '긍정 1.5' 의 선호도 조사 결과(카운트 값)를 생성할 수 있다.
즉, 선호도 조사 서버(200)는 홍보 대상에 대한 긍정적 감정 또는 부정적 감정을 판단하고 수치화할 수 있으며, 이를 합산하거나 전체 리서치 대상 인원 수 대비 긍정적 감정의 수, 부정적 감정의 수를 계산하여 홍보 대상에 대한 지지율을 확인할 수도 있다.
한편, 본 발명의 일 실시 예에 따른 선호도 조사 방법은 도 6에 도시된 바와 같이, 하나 이상의 프로세서(210), 외부 장치와 통신을 위한 네트워크 인터페이스(220), 프로세서(210)에 의해 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리(230), 대용량 네트워크 데이터 및 컴퓨터 프로그램을 저장하는 스토리지(240) 및 시스템 버스(250)를 포함하는 선호도 조사 서버(200)로 구현될 수 있다. 이 경우, 컴퓨터 프로그램(241)은 촬영 장치로부터 수신한 이미지 프레임에서 리서치 대상자들을 인식하는 오퍼레이션, 인식된 리서치 대상자들의 표정 및 행동을 확인하는 오퍼레이션, 확인된 표정 및 행동에 따라 리서치 대상자들의 긍정적 감정 또는 부정적 감정을 카운트하는 오퍼레이션 및 카운트된 값을 기초로 선호도 조사 결과를 생성하는 오퍼레이션을 포함할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1000: 비대면, 비접촉 선호도 조사 시스템
100: 촬영 장치 300: 관리자 단말
200: 선호도 조사 서버
210: 프로세서 220: 네트워크 인터페이스
230: 메모리 240: 스토리지
241: 컴퓨터 프로그램 250: 시스템 버스

Claims (8)

  1. 홍보 현장에 배치되어 복수의 이미지 프레임을 획득하는 촬영 장치; 및
    상기 촬영 장치가 획득한 이미지 프레임에서 리서치 대상자들을 인식하고, 인식된 리서치 대상자들의 표정 및 행동을 확인하여 리서치 대상자들의 긍정적 감정 또는 부정적 감정을 수치화한 선호도 조사 결과를 생성하는 선호도 조사 서버;를 포함하고,
    상기 촬영 장치는, 복수의 이미지 프레임을 획득할 수 있는 휴대 단말, 스마트 안경 및 CCTV 카메라 중 적어도 하나를 포함하며,
    상기 촬영 장치는, 상기 홍보 현장에 적어도 두 개 이상 배치되고, 상기 선호도 조사 서버는, 상기 홍보 현장에서 홍보 대상의 위치, 상기 촬영 장치의 위치 및 촬영 각도 중 적어도 하나를 기초로 이미지 프레임에 존재하는 리서치 대상자들을 표정 및 행동을 확인하며,
    상기 선호도 조사 서버는, 상기 홍보 현장에 배치된 상기 촬영 장치의 개수에 따라 상기 선호도 조사 결과의 오차 범위를 결정하되,
    촬영 장치가 획득한 제1 이미지 프레임에서 리서치 대상자의 표정 또는 행동이 긍정적 감정 또는 부정적 감정에 해당하지 않는 것으로 확인되는 경우, 상기 선호도 조사 서버는 제1 이미지 프레임과 이어지는 제2 이미지 프레임에서, 상기 리서치 대상자의 표정 변화 및 행동 변화를 확인하고, 확인 결과에 따라 선호도 조사 결과를 생성하기 위한 가중치를 부여하는 것을 특징으로 하는 비대면, 비접촉 선호도 조사 시스템.
  2. 제1항에 있어서,
    상기 선호도 조사 서버는, 홍보 대상에 따라 긍정적 감정 또는 부정적 감정을 판단하기 위한 표정 및 행동 종류를 미리 설정하는 것을 특징으로 하는 비대면, 비접촉 선호도 조사 시스템.
  3. 제2항에 있어서,
    상기 선호도 조사 서버는, 상기 촬영 장치가 획득한 제1 이미지 프레임에서, 리서치 대상자의 표정을 기초로 확인되는 긍정적 감정 또는 부정적 감정과 리서치 대상자의 행동을 기초로 확인되는 긍정적 감정 또는 부정적 감정이 일치하는지 판단하고,
    판단 결과에 따라 상기 선호도 조사 결과를 생성하기 위한 가중치를 결정하는 것을 특징으로 하는 비대면, 비접촉 선호도 조사 시스템.
  4. 제3항에 있어서,
    상기 선호도 조사 서버는, 판단 결과에 따라 상기 리서치 대상자의 표정을 기초로 확인되는 긍정적 감정 또는 부정적 감정과 상기 리서치 대상자의 행동을 기초로 확인되는 긍정적 감정 또는 부정적 감정이 일치하지 않는 경우,
    상기 제1 이미지 프레임과 이어지는 제2 이미지 프레임에서, 상기 리서치 대상자의 표정 변화 및 행동 변화를 확인하고, 확인 결과에 따라 상기 선호도 조사 결과를 생성하기 위한 가중치를 부여하는 것을 특징으로 하는 비대면, 비접촉 선호도 조사 시스템.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
KR1020190094942A 2019-08-05 2019-08-05 비대면, 비접촉 선호도 조사 시스템 KR102211204B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190094942A KR102211204B1 (ko) 2019-08-05 2019-08-05 비대면, 비접촉 선호도 조사 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190094942A KR102211204B1 (ko) 2019-08-05 2019-08-05 비대면, 비접촉 선호도 조사 시스템

Publications (1)

Publication Number Publication Date
KR102211204B1 true KR102211204B1 (ko) 2021-02-02

Family

ID=74559512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190094942A KR102211204B1 (ko) 2019-08-05 2019-08-05 비대면, 비접촉 선호도 조사 시스템

Country Status (1)

Country Link
KR (1) KR102211204B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110023524A (ko) * 2009-08-31 2011-03-08 에스케이텔레콤 주식회사 영상통화 중 감정 전달 시스템 및 방법
KR20140019544A (ko) * 2012-08-06 2014-02-17 경희대학교 산학협력단 대화형 전시 서비스 제공 방법
KR101799955B1 (ko) 2016-02-29 2017-12-20 박재홍 안심번호를 수용한 자동전화 기반의 실시간 여론조사 시스템 및 방법
JP2018124604A (ja) * 2017-01-30 2018-08-09 グローリー株式会社 接客支援システム、接客支援装置及び接客支援方法
KR20180095927A (ko) * 2015-12-29 2018-08-28 후아웨이 테크놀러지 컴퍼니 리미티드 사용자 거동 기반 콘텐츠 추천을 위한 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110023524A (ko) * 2009-08-31 2011-03-08 에스케이텔레콤 주식회사 영상통화 중 감정 전달 시스템 및 방법
KR20140019544A (ko) * 2012-08-06 2014-02-17 경희대학교 산학협력단 대화형 전시 서비스 제공 방법
KR20180095927A (ko) * 2015-12-29 2018-08-28 후아웨이 테크놀러지 컴퍼니 리미티드 사용자 거동 기반 콘텐츠 추천을 위한 시스템 및 방법
KR101799955B1 (ko) 2016-02-29 2017-12-20 박재홍 안심번호를 수용한 자동전화 기반의 실시간 여론조사 시스템 및 방법
JP2018124604A (ja) * 2017-01-30 2018-08-09 グローリー株式会社 接客支援システム、接客支援装置及び接客支援方法

Similar Documents

Publication Publication Date Title
Harari et al. Using smartphones to collect behavioral data in psychological science: Opportunities, practical considerations, and challenges
US20160035046A1 (en) Influencer score
Madan et al. Pervasive sensing to model political opinions in face-to-face networks
KR20130061104A (ko) 인터랙티브 광고를 위한 사용 측정 기술 및 시스템
CN104145264A (zh) 用于通过社交网络进行情绪检测、测量和规格化的系统和方法
CN108369715A (zh) 基于视频内容特性的交互式评述
US20180268440A1 (en) Dynamically generating and delivering sequences of personalized multimedia content
Olguín et al. Assessing group performance from collective behavior
Saiz et al. Crowdsourcing architectural beauty: Online photo frequency predicts building aesthetic ratings
Balas et al. Intra-and extra-personal variability in person recognition
Wouters et al. Biometric mirror: Exploring ethical opinions towards facial analysis and automated decision-making
US20150012342A1 (en) Method and system for internet-based social-networking application for face-to-face venues
KR102211204B1 (ko) 비대면, 비접촉 선호도 조사 시스템
US20190019225A1 (en) Systems and methods for remote real estate inspections and valuations
Sowmya et al. The Effective use of Crowdsourcing in e-Governance
CN105976253A (zh) 基于与组织内容的成员交互测量社交联网系统中组织影响
Mao Experimental studies of human behavior in social computing systems
Jackson et al. Strangers in a stadium: Studying group dynamics with in vivo behavioral tracking
Sandkuhl et al. Digital Innovation Based on Digital Signage: Method, Categories and Examples
US20210004573A1 (en) Sentiment analysis
Goncalves et al. Worker performance in a situated crowdsourcing market
Mashhadi et al. Understanding the impact of personal feedback on face-to-face interactions in the workplace
KR20140144333A (ko) 유동인구의 행동분석을 통한 효과적 홍보전략 구축 전산시스템.
Humphreys Chapter Four Qualitative Sampling and Internet Research
US20130124240A1 (en) System and Method for Student Activity Gathering in a University

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant