KR101996630B1 - 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 - Google Patents
영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 Download PDFInfo
- Publication number
- KR101996630B1 KR101996630B1 KR1020170148816A KR20170148816A KR101996630B1 KR 101996630 B1 KR101996630 B1 KR 101996630B1 KR 1020170148816 A KR1020170148816 A KR 1020170148816A KR 20170148816 A KR20170148816 A KR 20170148816A KR 101996630 B1 KR101996630 B1 KR 101996630B1
- Authority
- KR
- South Korea
- Prior art keywords
- talker
- emotion
- advertisement content
- advertisement
- estimated
- Prior art date
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000014509 gene expression Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 27
- 230000002996 emotional effect Effects 0.000 description 15
- 230000008921 facial expression Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
- G06Q30/0245—Surveys
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
-
- G06K9/00302—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
- H04L51/046—Interoperability with other network applications or services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Operations Research (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명의 일 태양에 따르면, 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 방법으로서, 영상 채팅에 참여 중인 적어도 한 명의 대화자에게 광고 콘텐츠를 제공하는 단계, 상기 적어도 한 명의 대화자의 표정 및 대화 내용 중 적어도 하나를 참조하여 상기 적어도 한 명의 대화자가 상기 광고 콘텐츠에 대하여 가지는 감정을 추정하는 단계, 및 상기 적어도 한 명의 대화자의 시선 정보를 참조하여 상기 추정되는 감정이 상기 광고 콘텐츠와 연관된 것인지 여부를 검증하는 단계를 포함하는 방법이 제공된다.
Description
본 발명은 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.
인터넷과 영상 기술이 발전함에 따라, 종래의 음성 통화나 텍스트 대화에서 벗어나 생동감 있는 영상 채팅을 이용하는 인구가 증가하고 있다. 또한, 이러한 영상 채팅을 이용한 광고 마케팅 시장이 지속적으로 커지고 있는 추세이다. 이와 함께, 영상 채팅을 기반으로 채팅 참여자들에게 광고를 효율적으로 제공할 수 있는 방안에 관하여 다양한 연구가 진행되고 있다.
이에 관한, 종래 기술의 일 예로서, 네트워크를 통해 사용자 단말로 채팅 서비스를 제공하는 채팅 제공 서버에 의하여 수행되고, 사용자 단말로부터 채팅 서비스 요청을 수신하면, 하나 이상의 채팅방 중 하나의 채팅방을 상기 사용자 단말로 제공하고, 사용자 단말에서 위의 채팅방 위에 중첩되어 광고 콘텐츠가 디스플레이되어 위의 채팅방에 광고 콘텐츠가 노출되도록, 광고 콘텐츠를 위의 채팅방과 별개의 레이어로 구성하여 전송하는 방법이 소개된 바 있다.
다른 종래 기술의 일 예로서, 채팅방에서 하나 이상의 참여자들이 대화를 입력하는 시간에 기반하여 참여자들의 흥분하는 정도에 상응하는 값을 계산하는 흥분 측정부, 위의 참여자들에 상응하는 표정을 인식하고, 그 표정에 기반하여 감정에 상응하는 값을 계산하는 감정 측정부, 대화들의 주제들 중 동일한 주제들 각각에 상응하는 대화들을 서로 그룹핑하고, 그 그룹핑된 대화에 상응하는 시간 정보, 위의 감정에 상응하는 값 및 위의 흥분하는 정도에 상응하는 값에 기반하여 참여자들의 감정 상태를 인식하는 감정 상태 인식부를 포함하는 채팅 참여자의 감정 상태 인식 장치가 소개된 바 있다.
하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 채팅방에 참여 중인 대화자들에게 광고가 보여질 뿐이거나 대화 내용을 통해 대화자의 현재의 감정 상태만을 인식할 수 있을 뿐이고, 대화자들이 광고에 대하여 느끼는 감정을 인식함으로써, 해당 광고가 대화자들에게 미치는 효과를 측정할 수 있는 방안은 부재한 실정이었다. 게다가 그러한 광고에 대한 대화자의 감정이 진정으로 해당 광고로 인해 발생된 것인지 여부는 더욱이 알기 어려웠다.
이에 본 발명자는, 영상 채팅을 기반으로 대화자의 표정과 대화 내용에 관한 정보를 자연스럽게 획득하고, 그 획득된 정보에 기초하여 대화자가 광고에 대하여 느끼는 감정을 추정하고, 대화자의 시선 정보를 통해 해당 감정이 해당 광고로 인한 것인지를 검증함으로써, 대화자에게 미치는 광고 효과를 정확하게 분석해낼 수 있는 기술을 제안하는 바이다.
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 대화자의 표정과 대화 내용을 참조하여 광고 콘텐츠에 대한 대화자의 감정을 추정하고, 대화자의 시선 정보를 이용하여 이를 검증함으로써, 위의 추정된 감정이 해당 광고 콘텐츠와 연관된 것인지를 정확하게 추정하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 대화자의 감정에 기초하여 적합한 광고 콘텐츠를 제공함으로써 광고 효율을 극대화할 수 있는 것을 또 다른 목적으로 한다.
또한, 본 발명은 영상 채팅 과정에서 대화자의 표정 또는 시선 정보를 자연스럽게 획득함으로써, 영상 획득에 대한 거부감 또는 프라이버시 문제를 해소하는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 방법으로서, 영상 채팅에 참여 중인 적어도 한 명의 대화자에게 광고 콘텐츠를 제공하는 단계, 상기 적어도 한 명의 대화자의 표정 및 대화 내용 중 적어도 하나를 참조하여 상기 적어도 한 명의 대화자가 상기 광고 콘텐츠에 대하여 가지는 감정을 추정하는 단계, 및 상기 적어도 한 명의 대화자의 시선 정보를 참조하여 상기 추정되는 감정이 상기 광고 콘텐츠와 연관된 것인지 여부를 검증하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 시스템으로서, 영상 채팅에 참여 중인 적어도 한 명의 대화자에게 광고 콘텐츠를 제공하는 광고 콘텐츠 관리부, 상기 광고 콘텐츠를 제공 받은 적어도 한 명의 대화자의 표정 및 대화 내용 중 적어도 하나를 참조하여 상기 적어도 한 명의 대화자가 상기 광고 콘텐츠에 대하여 가지는 감정을 추정하는 감정 추정부, 및 상기 적어도 한 명의 대화자의 시선 정보를 참조하여 상기 추정되는 감정이 상기 광고 콘텐츠와 연관된 것인지 여부를 검증하는 감정 검증부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 대화자의 표정과 대화 내용을 참조하여 광고 콘텐츠에 대한 대화자의 감정을 추정하고, 대화자의 시선 정보를 이용하여 이를 검증함으로써, 위의 추정된 감정이 해당 광고 콘텐츠와 연관된 것인지를 정확하게 추정할 수 있게 된다.
또한, 본 발명에 의하면, 대화자의 감정에 기초하여 적합한 광고 콘텐츠를 제공함으로써 광고 효율을 극대화할 수 있게 된다.
또한, 본 발명에 의하면, 영상 채팅 과정에서 대화자의 표정 또는 시선 정보를 자연스럽게 획득함으로써, 영상 획득에 대한 거부감 또는 프라이버시 문제를 해소할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 감정 추정 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 채팅에 기반하여 채팅 참여자의 광고 콘텐츠에 대한 감정이 추정되는 상황을 예시적으로 나타내는 도면이다.
도 4 내지 도 5는 본 발명의 일 실시예에 따른 대화자 디바이스에게 제공되는 사용자 인터페이스를 예시적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 감정 추정 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 채팅에 기반하여 채팅 참여자의 광고 콘텐츠에 대한 감정이 추정되는 상황을 예시적으로 나타내는 도면이다.
도 4 내지 도 5는 본 발명의 일 실시예에 따른 대화자 디바이스에게 제공되는 사용자 인터페이스를 예시적으로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
본 명세서에서, 콘텐츠란, 문자, 부호, 음성, 음향, 이미지, 동영상 등으로 이루어지는 디지털 정보 또는 개별 정보 요소를 총칭하는 개념이다. 이러한 콘텐츠는, 예를 들면, 텍스트, 이미지, 동영상, 오디오, 링크(예를 들면, 웹 링크) 등의 데이터 또는 이러한 데이터 중 적어도 두 가지의 조합을 포함하여 구성될 수 있다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따른 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 감정 추정 시스템(200), 대화자 디바이스(300) 및 영상 채팅 서비스 제공 시스템(400)를 포함할 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE; Long Term Evolution) 통신, 블루투스 통신(예를 들면, 저전력 블루투스(BLE; Bluetooth Low Energy) 통신), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방식을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 감정 추정 시스템(200)은 통신망(100)을 통하여 후술할 대화자 디바이스(300) 및 영상 채팅 서비스 제공 시스템(400)과의 통신을 수행할 수 있고, 영상 채팅에 참여 중인 적어도 한 명의 대화자에게 광고 콘텐츠를 제공하고, 적어도 한 명의 대화자의 표정 및 대화 내용 중 적어도 하나를 참조하여 적어도 한 명의 대화자가 위의 제공 받은 광고 콘텐츠에 대하여 가지는 감정을 추정하고, 적어도 한 명의 대화자의 시선 정보를 참조하여 위의 추정되는 감정이 위의 광고 콘텐츠와 연관된 것인지 여부를 검증하는 기능을 수행할 수 있다.
본 발명에 따른 감정 추정 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다. 한편, 감정 추정 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 감정 추정 시스템(200)에 대하여 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 대화자 디바이스(300), 영상 채팅 서비스 제공 시스템(400) 또는 외부 시스템(미도시됨) 내에서 실현되거나 대화자 디바이스(300), 영상 채팅 서비스 제공 시스템(400) 또는 외부 시스템(미도시됨)에 포함될 수도 있음은 당업자에게 자명하다.
다음으로, 본 발명의 일 실시예에 따르면, 대화자 디바이스(300)는 통신망(100)을 통해 감정 추정 시스템(200) 및 영상 채팅 서비스 제공 시스템(400)에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 스마트폰, 노트북, 데스크탑, 태블릿 PC 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 대화자 디바이스(300)로서 채택될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 이러한 대화자 디바이스(300)는 전술한 영상 채팅 서비스를 이용하거나, 대화자의 표정, 시선 정보 등을 획득하기 위하여 카메라 모듈(미도시됨)을 더 포함할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 대화자 디바이스(300)에는, 영상 채팅에 기반하여 광고 콘텐츠에 대한 채팅 참여자의 감정을 추정하는 본 발명에 따른 기능이 지원되기 위한 애플리케이션이 포함되어 있을 수 있다. 이와 같은 애플리케이션은 감정 추정 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 영상 채팅 서비스 제공 시스템(400)은 통신망(100)을 통하여 감정 추정 시스템(200) 및 대화자 디바이스(300)와의 통신을 수행할 수 있고, 적어도 한 명의 대화자(즉, 적어도 하나의 대화자 디바이스(300)) 간 영상, 음성 및 문자 중 적어도 하나에 기초하여 대화를 주고 받을 수 있는 채팅 서비스를 제공하는 시스템일 수 있다. 예를 들면, 위와 같은 영상 채팅 서비스는 공지의 영상 채팅 서비스인 듀오(Duo, 구글), 에어라이브(Airlive, 에어라이브코리아), 하우스파티(Houseparty, 미어캣) 등과 같은 다양한 영상 채팅 서비스의 특징이나 속성의 적어도 일부를 포함하는 서비스일 수 있다.
감정 추정 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 감정 추정 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 감정 추정 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.
본 발명의 일 실시예에 따른 감정 추정 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기일 수 있다. 이러한 감정 추정 시스템(200)은 서버 시스템일 수 있다. 도 2에 도시된 바와 같이, 감정 추정 시스템(200)은 광고 콘텐츠 관리부(210), 감정 추정부(220), 감정 검증부(230), 광고 영향력 산출부(240), 통신부(250) 및 제어부(260)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 감정 추정 시스템(200)은 광고 콘텐츠 관리부(210), 감정 추정부(220), 감정 검증부(230), 광고 영향력 산출부(240), 통신부(250) 및 제어부(260)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 감정 추정 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 감정 추정 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따른 광고 콘텐츠 관리부(210)는 영상 채팅에 참여 중인 적어도 한 명의 대화자에게 광고 콘텐츠를 제공하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 광고 콘텐츠를 제공 받는 적어도 한 명의 대화자는 영상 채팅 내 적어도 한 명의 대화자에 의해 구성된 채팅 그룹 중 같은 그룹(예를 들면, 같은 대화방)에 존재(또는 참여)하는 대화자를 의미하는 것일 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 광고 콘텐츠 관리부(210)는 영상 채팅에 참여 중인 대화자의 표정 및 해당 대화자가 주고 받은 대화 내용을 참조하여 해당 대화자에게 제공될 광고 콘텐츠를 결정할 수 있다.
보다 상세하게는, 본 발명의 일 실시예에 따른 광고 콘텐츠 관리부(210)는 영상 채팅에 참여 중인 대화자의 표정 및 해당 대화자가 주고 받는 대화 내용을 분석함으로써, 해당 대화자의 감정 상태를 추정할 수 있고, 그 추정되는 감정 상태와 연관되는 광고 콘텐츠를 해당 대화자에게 제공할 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 광고 콘텐츠 관리부(210)는, 대화자 얼굴의 주요 특징 요소가 변화되는 패턴을 참조하여 해당 대화자의 표정에 대응하는 감정 상태를 특정할 수 있고, 대화자가 주고 받는 대화 내용으로부터 해당 대화 내용에 포함된 감정과 관련된 단어, 문장, 문단 등을 분석함으로써, 해당 대화자의 대화 내용에 대응하는 감정 상태를 특정할 수 있다. 또한, 본 발명의 일 실시예에 따른 광고 콘텐츠 관리부(210)는 대화자의 표정으로부터 특정되는 감정 상태 및 대화자의 대화 내용으로부터 특정되는 감정 상태 중 적어도 하나를 참조하여 대화자의 감정 상태를 추정할 수 있다. 이 경우, 본 발명의 일 실시예에 따른 광고 콘텐츠 관리부(210)는 대화자의 표정으로부터 특정되는 감정 상태 및 대화자의 대화 내용으로부터 특정되는 감정 상태 각각에 부여되는 소정의 가중치에 기초하여 해당 대화자의 감정 상태를 추정할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 광고 콘텐츠 관리부(210)는 대화자의 감정 상태를 추정하기 위하여, 대화자의 표정으로부터 특정되는 감정 상태와 대화자의 대화 내용으로부터 특정되는 감정 상태는 서로 상보적인 관계로서 참조할 수 있다. 또한, 본 발명의 일 실시예에 따른 광고 콘텐츠 관리부(210)는, 위의 추정되는 감정 상태와 연관되는 광고 콘텐츠를 결정하기 위하여, 적어도 하나의 감정 상태와 적어도 하나의 광고 콘텐츠가 매칭되어 있는 룩업 테이블을 참조할 수 있다.
한편, 본 발명의 일 실시예에 따른 광고 콘텐츠 관리부(210)는, 영상 채팅에 참여 중인 적어도 한 명의 대화자에게 광고 콘텐츠를 제공함에 있어서, 대화자의 인적 사항, 대화자와 연관된 소셜 네트워크 서비스(SNS; Social Network Service), 대화자 디바이스에 저장된 정보(예를 들면, 통화 내역, 메시지, 일정, 인터넷 쿠키(cookie) 정보) 중 적어도 하나를 참조할 수도 있다.
또한, 본 발명의 일 실시예에 따른 광고 콘텐츠 관리부(210)는, 적어도 한 명의 대화자에게 동일한 시점에 광고 콘텐츠를 제공할 수 있고, 이 경우, 그 적어도 한 명의 대화자에게 제공되는 광고 콘텐츠는 모두 동일한 콘텐츠일 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 광고 콘텐츠 관리부(210)는 영상 채팅에 참여 중인 적어도 한 명의 대화자에게 동일한 광고 콘텐츠를 동일 시점에 제공할 수 있고, 이를 통해, 영상 채팅에 참여 중인 대화자들 사이에서 광고 콘텐츠에 관한 내용이 공통의 대화 소재가 되도록 함으로써, 대화자들이 해당 광고 콘텐츠에 대하여 가지는 생각(즉, 감정이 포함된 대화)을 자연스럽게 나눌 수 있게 한다.
다음으로, 본 발명의 일 실시예에 따른 감정 추정부(220)는 적어도 한 명의 대화자의 표정 및 대화 내용 중 적어도 하나를 참조하여 그 적어도 한 명의 대화자가 광고 콘텐츠에 대하여 가지는 감정을 추정하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따르면, 광고 콘텐츠에 대하여 가지는 감정은, 긍정 또는 부정의 2분법, 긍정, 부정, 중립 또는 객관의 4분법 등 기설정된 기준에 따라 다양하게 분류될 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 감정 추정부(220)는 적어도 한 명의 대화자에게 광고 콘텐츠가 제공되는 동안 또는 적어도 한 명의 대화자에게 광고 콘텐츠가 제공된 후 소정 시간 이내에, 적어도 한 명의 대화자의 표정으로부터 특정되는 감정 및 적어도 한 명의 대화자의 대화 내용으로부터 특정되는 감정 중 적어도 하나를 참조하여 그 적어도 한 명의 대화자가 해당 광고 콘텐츠에 대하여 가지는 감정을 추정할 수 있다.
한편, 본 발명의 일 실시예에 따른 감정 추정부(220)는 대화자의 표정 및 대화 내용으로부터 대화자의 감정을 특정하기 위하여 감정 패턴 인식 알고리즘, 자연어 분석 알고리즘 등의 공지의 다양한 감정 분석 알고리즘을 이용할 수 있다. 또한, 본 발명의 일 실시예에 따른 감정 추정부(220)는 대화자의 감정을 보다 정확하게 특정하기 위하여 공지의 머신 러닝(machine learning) 또는 딥 러닝(deep learning) 알고리즘을 이용할 수도 있다.
또한, 본 발명의 일 실시예에 따른 감정 추정부(220)는 적어도 한 명의 대화자가 광고 콘텐츠에 대하여 가지는 감정을 추정함에 있어서, 해당 광고 콘텐츠의 재생 구간 또는 재생 프레임에 기초하여 대화자의 감정을 추정할 수도 있다.
예를 들어, 본 발명의 일 실시예에 따르면, 광고 콘텐츠가 재생되는 동안에 대화자는 각 재생 구간 마다 또는 각 재생 프레임마다 다른 감정 상태를 가질 수 있으므로, 감정 추정부(220)는 광고 콘텐츠의 소정의 재생 구간(예를 들면, 5초 마다)별 또는 재생 프레임별 대화자의 감정을 추정할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 감정 검증부(230)는 적어도 한 명의 대화자의 시선 정보를 참조하여 감정 추정부(220)에 의해 추정되는 감정이 광고 콘텐츠와 연관된 것인지 여부를 검증할 수 있다.
구체적으로는, 본 발명의 일 실시예에 따른 감정 검증부(230)는 대화자가 광고 콘텐츠를 응시하는 시간, 광고 콘텐츠의 표시 영역 내에서 대화자에 의해 응시되는 영역 및 광고 콘텐츠의 재생 구간 내에서 대화자에 의해 응시되는 구간 중 적어도 하나를 참조하여 위의 추정되는 감정이 해당 광고 콘텐츠와 연관된 것인지 여부를 검증할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 감정 검증부(230)는 대화자가 광고 콘텐츠를 응시한 시간이 소정 시간 이상(예를 들면, 5초 이상)이거나 광고 콘텐츠의 재생 시간 중 대화자가 응시한 시간 비율이 소정 비율 이상(예를 들면, 10% 이상)인 경우에, 해당 대화자의 추정된 감정이 해당 광고 콘텐츠와 연관된 것으로 판단할 수 있다.
다른 예를 들면, 본 발명의 일 실시예에 따른 감정 검증부(230)는 대화자 디바이스(300)의 화면 내에서 광고 콘텐츠가 표시되는 영역 중 대화자로부터 감정이 추정되는 시점(또는 해당 시점 전후)에 해당 대화자에 의해 응시되는 영역을 특정하고, 그 특정되는 영역에 포함되는 대상물과 해당 대화자의 추정된 감정을 비교하여 분석함으로써, 대화자의 추정된 감정이 광고 콘텐츠와 연관된 것인지 여부를 판단할 수 있다.
또 다른 예를 들면, 본 발명의 일 실시예에 따른 감정 검증부(230)는 광고 콘텐츠가 재생되는 구간 중 대화자로부터 감정이 추정된 구간을 특정하고, 그 특정되는 구간에 포함되는 대상물(또는 행위)과 해당 대화자의 추정된 감정을 비교하여 분석함으로써, 대화자의 추정된 감정이 광고 콘텐츠와 연관된 것인지 여부를 판단할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 광고 영향력 산출부(240)는 감정 검증부(230)에 의한 검증 결과를 참조하여 광고 콘텐츠가 적어도 한 명의 대화자에 대하여 미치는 광고 영향력 정보를 산출할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 광고 영향력 정보는 광고 콘텐츠에 대한 집중도 및 광고 콘텐츠의 재생 구간별(또는 화면 영역별) 감정 발생 요소 중 적어도 하나에 관한 정보를 참조하여 산출되는 것일 수 있다.
본 발명의 일 실시예에 따르면, 광고 콘텐츠에 대한 집중도는, 광고 콘텐츠를 대화자가 응시한 시간, 광고 콘텐츠에 대한 대화자들의 평균 응시 시간 및 광고 콘텐츠의 재생 구간(또는 화면 영역) 내에서 대화자가 응시를 멈추거나 응시를 시작한 구간(또는 영역) 중 적어도 하나를 포함하는 개념일 수 있다. 또한, 본 발명의 일 실시예에 따르면, 광고 콘텐츠의 재생 구간별(또는 화면 영역별) 감정 발생 요소는, 광고 콘텐츠 내에서 대화자의 추정된 감정이 광고 콘텐츠의 재생 구간 중 어느 구간에 매칭되는지 또는 광고 콘텐츠의 화면 영역 중 어느 영역에 매칭되는지에 관한 정보를 포함하는 개념일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(250)는 광고 콘텐츠 관리부(210), 감정 추정부(220), 감정 검증부(230) 및 광고 영향력 산출부(240)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(260)는 광고 콘텐츠 관리부(210), 감정 추정부(220), 감정 검증부(230), 광고 영향력 산출부(240) 및 통신부(250) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(260)는 감정 추정 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 감정 추정 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 광고 콘텐츠 관리부(210), 감정 추정부(220), 감정 검증부(230), 광고 영향력 산출부(240) 및 통신부(250)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 채팅에 기반하여 채팅 참여자의 광고 콘텐츠에 대한 감정이 추정되는 상황을 예시적으로 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 감정 추정 시스템(200)이 본 발명에 따른 영상 채팅 서비스 제공 시스템(400)에 포함되는 경우를 가정해볼 수 있다.
도 4 내지 도 5는 본 발명의 일 실시예에 따른 대화자 디바이스(300)에게 제공되는 사용자 인터페이스를 예시적으로 나타내는 도면이다.
본 발명의 일 실시예에 따르면, 영상 채팅 서비스 제공 시스템(400)을 통해 대화자 디바이스(310, 320, 330, 340)에게 영상 채팅 서비스가 제공될 수 있고, 이러한 영상 채팅 서비스는 영상, 음성 및 문자 중 적어도 하나를 이용하여 적어도 한 명의 대화자 간 대화를 주고 받도록 하는 서비스일 수 있다.
예를 들어, 본 발명의 일 실시예에 따르면, 영상 채팅 서비스는, 대화자의 설정에 따라 음성 없이 영상 및 문자만으로 제공될 수 있고(410), 영상 및 음성만으로 제공될 수도 있다(430). 또한, 본 발명의 일 실시예에 따르면, 영상 채팅 서비스는 대화자의 설정에 따라 다른 대화자에게 제공되는 영상이 온/오프(on/off)될 수 있다(420).
한편, 본 발명의 일 실시예에 따르면, 영상 채팅 서비스 참여자 수에 기초하여 각 대화자 디바이스(310, 320, 330, 340)에서 제공되는 화면이 대칭 또는 비대칭으로 분할되어 표시될 수 있다(440).
먼저, 본 발명의 일 실시예에 따른 영상 채팅 서비스 제공 시스템(400)은 4명의 대화자(제1 대화자: 510, 제2 대화자: 520, 제3 대화자: 530, 제4 대화자: 540)의 표정 및 대화 내용을 참조하여, 그 4명의 대화자(510, 520, 530, 540)의 감정 상태가 모두 '즐거움' 상태이며 피부 보습을 주제로 대화를 나누는 것으로 판단할 수 있고, 해당 감정 상태 및 해당 대화 내용에 대응하는 광고 콘텐츠(550)를 결정할 수 있다.
그 다음에, 본 발명의 일 실시예에 따르면, 위의 4명의 대화자(510, 520, 530, 540)에게 위의 결정된 광고 콘텐츠(550)가 동일한 시점에 제공될 수 있다. 한편, 이러한 광고 콘텐츠(500)가 각 대화자 디바이스(310, 320, 330, 340)의 화면 상에서 배치되는 위치, 크기 또는 배열은 채팅 참여자의 수 등에 따라 동적으로 변경될 수 있다.
그 다음에, 본 발명의 일 실시예에 따르면, 위의 4명의 대화자(510, 520, 530, 540)의 표정 및 대화 내용 중 적어도 하나를 참조하여 위의 4명의 대화자(510, 520, 530, 540)가 위의 광고 콘텐츠(550)에 대하여 가지는 각각의 감정이 추정될 수 있다. 본 발명의 일 실시예에 따르면, 이러한 각각의 감정(예를 들면, 이 경우, 광고에 대한 감정은 긍정과 부정으로 구분될 수 있다.)는 제1 대화자(510)는 '긍정', 제2 대화자(520)는 '부정', 제3 대화자(530)는 '부정' 및 제4 대화자(540)는 '긍정'일 수 있다.
그 다음에, 본 발명의 일 실시예에 따르면, 위의 4명의 대화자(510, 520, 530, 540)의 시선 정보에 기초하여 위의 추정되는 감정이 위의 광고 콘텐츠(550)와 연관된 것인지 여부가 검증될 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 각 대화자(510, 520, 530, 540)가 광고 콘텐츠(550)를 응시하는 시간, 광고 콘텐츠(550)의 표시 영역 내에서 각 대화자(510, 520, 530, 540)에 의해 응시되는 영역 및 광고 콘텐츠(550)의 재생 구간 내에서 각 대화자(510, 520, 530, 540)에 의해 응시되는 구간 중 적어도 하나에 기초하여 위의 추정되는 감정(즉, 제1 대화자(510)는 '긍정', 제2 대화자(520)는 '부정', 제3 대화자(530)는 '부정' 및 제4 대화자(540)는 '긍정')이 해당 광고 콘텐츠(550)와 연관된 것인지 여부가 검증될 수 있다.
즉, 본 발명의 일 실시예에 따르면, 제1 대화자(510)가 광고 콘텐츠(550)를 응시한 시간이 소정 시간 이상이면, 제1 대화자(510)의 감정(즉, '긍정')이 해당 광고 콘텐츠(550)와 연관되어 있고, 해당 광고 콘텐츠(550)에 대하여 가지는 제1 대화자(510)의 감정이 '긍정'인 것이 검증될 수 있고, 광고 콘텐츠(550)의 표시 영역 중 제2 대화자(520)로부터 위의 감정(즉, '부정')이 추정되는 시점(또는 해당 시점 전후)에 제2 대화자(520)에 의해 응시되는 영역이 광고 대상 상품(610)이면, 제2 대화자(520)의 감정(즉, '부정')이 해당 광고 콘텐츠(550)와 연관되어 있고, 해당 광고 콘텐츠(550)에 대하여 가지는 제2 대화자(520)의 감정이 '부정'인 것이 검증될 수 있고, 광고 콘텐츠의 재생 구간 중 제3 대화자(530)로부터 위의 감정(즉, '부정')이 추정된 구간이 광고 모델이 광고 대상 상품(610)을 사용하는 구간이면, 제3 대화자(530)의 감정(즉, '부정')이 해당 광고 콘텐츠(550)와 연관되어 있고, 해당 광고 콘텐츠(550)에 대하여 가지는 제3 대화자(530)의 감정이 '긍정'인 것이 검증될 수 있고, 광고 콘텐츠(550)의 표시 영역 중 제4 대화자(540)로부터 감정(즉, '긍정')이 추정되는 시점(또는 해당 시점 전후)에 제4 대화자(540)에 의해 응시되는 영역이 광고 대상 상품(610)이 아닌 리본(620)이거나 광고 콘텐츠(550) 표시 영역 밖(미도시됨)인 경우에, 제4 대화자(540)의 감정(즉, '긍정')과 해당 광고 콘텐츠(550)와는 연관되지 않은 것이 검증될 수 있다.
그 다음에, 본 발명의 일 실시예에 따른 영상 채팅 서비스 제공 시스템(400)는 위의 검증 결과를 참조하여 광고 콘텐츠가 적어도 한 명의 대화자에 대하여 미치는 광고 영향력 정보를 산출할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 통신망
200: 감정 추정 시스템
210: 광고 콘텐츠 관리부
220: 감정 추정부
230: 감정 검증부
240: 광고 영향력 산출부
250: 통신부
260: 제어부
300: 대화자 디바이스
200: 감정 추정 시스템
210: 광고 콘텐츠 관리부
220: 감정 추정부
230: 감정 검증부
240: 광고 영향력 산출부
250: 통신부
260: 제어부
300: 대화자 디바이스
Claims (6)
- 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하기 위한 감정 추정 시스템에서 구현되는 방법으로서 - 상기 감정 추정 시스템은 콘텐츠 관리부, 감정 추정부 및 감정 검증부를 포함함 - ,
상기 콘텐츠 관리부가, 영상 채팅에 참여 중인 적어도 한 명의 대화자에게 광고 콘텐츠를 제공하는 단계,
상기 감정 추정부가, 상기 적어도 한 명의 대화자의 표정 및 대화 내용 중 적어도 하나를 참조하여 상기 적어도 한 명의 대화자가 상기 광고 콘텐츠에 대하여 가지는 감정을 추정하는 단계, 및
상기 감정 검증부가, 상기 적어도 한 명의 대화자의 시선 정보를 참조하여 상기 추정되는 감정이 상기 광고 콘텐츠와 연관된 것인지 여부를 검증하는 단계를 포함하고,
상기 검증 단계에서, 상기 감정 검증부는,
상기 적어도 한 명의 대화자의 디바이스의 화면 내에서 상기 광고 콘텐츠가 표시되는 영역 중 상기 적어도 한 명의 대화자로부터 감정이 추정되는 시점에 해당 대화자에 의해 응시되는 영역을 특정하는 단계, 및
상기 특정되는 영역에 포함되는 대상물과 상기 적어도 한 명의 대화자로부터 추정되는 감정을 비교하여 분석함으로써, 상기 적어도 한 명의 대화자로부터 추정되는 감정이 상기 광고 콘텐츠와 연관된 것인지 여부를 판단하는 단계를 포함하고,
상기 영상 채팅에 참여하는 대화자의 수에 기초하여 상기 적어도 한 명의 대화자의 디바이스 상에 배치되는 상기 광고 콘텐츠의 위치, 크기 및 배열 중 적어도 하나가 동적으로 결정되는
방법. - 제1항에 있어서,
상기 제공 단계에서, 상기 광고 콘텐츠는 상기 적어도 한 명의 대화자에게 동일한 시점에 제공되고, 상기 적어도 한 명의 대화자에게 제공되는 광고 콘텐츠는 모두 동일한 콘텐츠인
방법. - 제1항에 있어서,
상기 제공 단계에서, 상기 광고 콘텐츠는 상기 적어도 한 명의 대화자의 표정 및 대화 내용 중 적어도 하나를 참조하여 결정되는
방법. - 제1항에 있어서,
상기 검증 단계에서, 상기 감정 검증부는, 상기 대화자가 상기 광고 콘텐츠를 응시하는 시간, 상기 광고 콘텐츠의 표시 영역 내에서 상기 대화자에 의해 응시되는 영역 및 상기 광고 콘텐츠의 재생 구간 내에서 상기 대화자에 의해 응시되는 구간 중 적어도 하나를 참조하여 상기 추정되는 감정이 상기 광고 콘텐츠와 연관된 것인지 여부를 검증하는
방법. - 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
- 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 시스템으로서,
영상 채팅에 참여 중인 적어도 한 명의 대화자에게 광고 콘텐츠를 제공하는 광고 콘텐츠 관리부,
상기 광고 콘텐츠를 제공 받은 적어도 한 명의 대화자의 표정 및 대화 내용 중 적어도 하나를 참조하여 상기 적어도 한 명의 대화자가 상기 광고 콘텐츠에 대하여 가지는 감정을 추정하는 감정 추정부, 및
상기 적어도 한 명의 대화자의 시선 정보를 참조하여 상기 추정되는 감정이 상기 광고 콘텐츠와 연관된 것인지 여부를 검증하는 감정 검증부를 포함하고,
상기 감정 검증부는, 상기 적어도 한 명의 대화자의 디바이스의 화면 내에서 상기 광고 콘텐츠가 표시되는 영역 중 상기 적어도 한 명의 대화자로부터 감정이 추정되는 시점에 해당 대화자에 의해 응시되는 영역을 특정하고, 상기 특정되는 영역에 포함되는 대상물과 상기 적어도 한 명의 대화자로부터 추정되는 감정을 비교하여 분석함으로써, 상기 적어도 한 명의 대화자로부터 추정되는 감정이 상기 광고 콘텐츠와 연관된 것인지 여부를 판단하고,
상기 영상 채팅에 참여하는 대화자의 수에 기초하여 상기 적어도 한 명의 대화자의 디바이스 상에 배치되는 상기 광고 콘텐츠의 위치, 크기 및 배열 중 적어도 하나가 동적으로 결정되는
시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/081,715 US20200265464A1 (en) | 2017-09-14 | 2018-08-24 | Method, system and non-transitory computer-readable recording medium for estimating emotion for advertising contents based on video chat |
| PCT/KR2018/009837 WO2019093633A1 (ko) | 2017-09-14 | 2018-08-24 | 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170118061 | 2017-09-14 | ||
| KR20170118061 | 2017-09-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190030542A KR20190030542A (ko) | 2019-03-22 |
| KR101996630B1 true KR101996630B1 (ko) | 2019-07-04 |
Family
ID=65949259
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170148816A KR101996630B1 (ko) | 2017-09-14 | 2017-11-09 | 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
| KR1020170183010A KR102088410B1 (ko) | 2017-09-14 | 2017-12-28 | 영상 채팅에 기반하여 광고 콘텐츠의 흐름을 제어하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170183010A KR102088410B1 (ko) | 2017-09-14 | 2017-12-28 | 영상 채팅에 기반하여 광고 콘텐츠의 흐름을 제어하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US20200265464A1 (ko) |
| KR (2) | KR101996630B1 (ko) |
| WO (2) | WO2019132158A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020202314A1 (ja) * | 2019-03-29 | 2020-10-08 | 株式会社Ａｉｌｌ | コミュニケーション支援サーバ、コミュニケーション支援システム、コミュニケーション支援方法、及びコミュニケーション支援プログラム |
| US11393462B1 (en) * | 2020-05-13 | 2022-07-19 | Amazon Technologies, Inc. | System to characterize vocal presentation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012141965A (ja) * | 2011-01-05 | 2012-07-26 | Primesense Ltd | 非触覚ユーザインタフェース用場面プロファイル |
| WO2015127361A1 (en) | 2014-02-23 | 2015-08-27 | Interdigital Patent Holdings, Inc. | Cognitive and affective human machine interface |
| JP2016535347A (ja) * | 2013-08-15 | 2016-11-10 | リアルアイズ・オーウー | コンピュータユーザデータの対話型収集を含む、動画印象解析のサポートにおける方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080053692A (ko) * | 2006-12-11 | 2008-06-16 | 주식회사 다츠커뮤니케이션 | 배너 광고 시스템 및 그 광고 방법 |
| US8484081B2 (en) * | 2007-03-29 | 2013-07-09 | The Nielsen Company (Us), Llc | Analysis of marketing and entertainment effectiveness using central nervous system, autonomic nervous system, and effector data |
| US7889073B2 (en) * | 2008-01-31 | 2011-02-15 | Sony Computer Entertainment America Llc | Laugh detector and system and method for tracking an emotional response to a media presentation |
| KR20100056352A (ko) * | 2008-11-19 | 2010-05-27 | 주식회사 케이티 | 영상 통화 서비스시 광고 제공 시스템 및 방법 |
| KR20100021702A (ko) * | 2008-08-18 | 2010-02-26 | 이필규 | 효율적인 모바일/온라인 광고효과 측정을 위하여 시선추적,다중센서 정보를 이용하는 방법, 단말기 및 시스템 |
| KR20100039706A (ko) * | 2008-10-08 | 2010-04-16 | 삼성전자주식회사 | 사용자의 반응 분석을 이용한 컨텐츠의 동적 서비스 방법 및 그 장치 |
| KR101850101B1 (ko) * | 2012-01-31 | 2018-04-19 | 한국전자통신연구원 | 시선 추적을 이용한 광고 제공 방법 |
| KR20160095464A (ko) * | 2015-02-03 | 2016-08-11 | 한국전자통신연구원 | 얼굴 감정 인식 방법을 적용한 사이니지용 콘텐츠 추천 장치 및 그 동작 방법 |
-
2017
- 2017-11-09 KR KR1020170148816A patent/KR101996630B1/ko active IP Right Grant
- 2017-12-28 KR KR1020170183010A patent/KR102088410B1/ko active IP Right Grant
-
2018
- 2018-08-24 US US16/081,715 patent/US20200265464A1/en not_active Abandoned
- 2018-08-24 US US16/081,731 patent/US20210019782A1/en not_active Abandoned
- 2018-08-24 WO PCT/KR2018/009838 patent/WO2019132158A1/ko active Application Filing
- 2018-08-24 WO PCT/KR2018/009837 patent/WO2019093633A1/ko active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012141965A (ja) * | 2011-01-05 | 2012-07-26 | Primesense Ltd | 非触覚ユーザインタフェース用場面プロファイル |
| JP2016535347A (ja) * | 2013-08-15 | 2016-11-10 | リアルアイズ・オーウー | コンピュータユーザデータの対話型収集を含む、動画印象解析のサポートにおける方法 |
| WO2015127361A1 (en) | 2014-02-23 | 2015-08-27 | Interdigital Patent Holdings, Inc. | Cognitive and affective human machine interface |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210019782A1 (en) | 2021-01-21 |
| WO2019132158A1 (ko) | 2019-07-04 |
| KR102088410B1 (ko) | 2020-03-12 |
| KR20190030549A (ko) | 2019-03-22 |
| KR20190030542A (ko) | 2019-03-22 |
| US20200265464A1 (en) | 2020-08-20 |
| WO2019093633A1 (ko) | 2019-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9843768B1 (en) | Audience engagement feedback systems and techniques | |
| US10311619B1 (en) | Video stream customization using graphics | |
| Lee | Effectiveness of politicians' soft campaign on Twitter versus TV: Cognitive and experiential routes | |
| US20180308114A1 (en) | Method, device and system for evaluating product recommendation degree | |
| Endrass et al. | Planning small talk behavior with cultural influences for multiagent systems | |
| TW201327449A (zh) | 用以將虛擬的社交網路帶入至真實生活中之社交系統及方法 | |
| Batrinca et al. | Multimodal personality recognition in collaborative goal-oriented tasks | |
| US11443554B2 (en) | Determining and presenting user emotion | |
| JP2020113197A (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
| US20230410815A1 (en) | Transcription generation technique selection | |
| KR101996630B1 (ko) | 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
| US11195619B2 (en) | Real time sensor attribute detection and analysis | |
| Kumano et al. | Analyzing empathetic interactions based on the probabilistic modeling of the co-occurrence patterns of facial expressions in group meetings | |
| JP2016012216A (ja) | 会議分析装置、方法及びプログラム | |
| US11164341B2 (en) | Identifying objects of interest in augmented reality | |
| US10719696B2 (en) | Generation of interrelationships among participants and topics in a videoconferencing system | |
| US11405484B2 (en) | Variable-intensity immersion for extended reality media | |
| Chiba et al. | Estimation of user’s willingness to talk about the topic: Analysis of interviews between humans | |
| Muralidhar et al. | How may I help you? behavior and impressions in hospitality service encounters | |
| US20220261927A1 (en) | Speed Dating Platform with Dating Cycles and Artificial Intelligence | |
| JP7152453B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム | |
| Ishii et al. | Analyzing gaze behavior during turn-taking for estimating empathy skill level | |
| DK180951B1 (en) | System with post-conversation representation, electronic device, and related methods | |
| JP7015291B2 (ja) | 情報処理装置 | |
| CN113301352A (zh) | 在视频播放期间进行自动聊天 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |