KR20190049555A - 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법 - Google Patents

인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법 Download PDF

Info

Publication number
KR20190049555A
KR20190049555A KR1020180130748A KR20180130748A KR20190049555A KR 20190049555 A KR20190049555 A KR 20190049555A KR 1020180130748 A KR1020180130748 A KR 1020180130748A KR 20180130748 A KR20180130748 A KR 20180130748A KR 20190049555 A KR20190049555 A KR 20190049555A
Authority
KR
South Korea
Prior art keywords
advertisement
user
information
display device
concentration
Prior art date
Application number
KR1020180130748A
Other languages
English (en)
Inventor
한정석
이현수
유준상
Original Assignee
코오롱인더스트리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코오롱인더스트리 주식회사 filed Critical 코오롱인더스트리 주식회사
Priority to JP2020510083A priority Critical patent/JP2020531987A/ja
Priority to US16/639,237 priority patent/US20200219135A1/en
Priority to PCT/KR2018/013020 priority patent/WO2019088661A1/ko
Publication of KR20190049555A publication Critical patent/KR20190049555A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0254—Targeted advertisements based on statistics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00268—
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/322—Aspects of commerce using mobile devices [M-devices]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0244—Optimization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0253—During e-commerce, i.e. online transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0267—Wireless devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

광고 시스템이 제공된다. 상기 광고 시스템은, 카메라의 영상으로부터, 사용자의 성별, 나이, 및 눈 추적(eye tracking) 중 적어도 하나에 관한 제1 사용자 정보를 분석하고 사용자의 표정 및 눈 추적에 관한 제2 사용자 정보를 분석하는 정보 분석부; 및 상기 제1 사용자 정보에 기초해 상기 사용자를 위한 화제 정보를 판단하고, 상기 화제 정보에 관련된 제1 광고를 디스플레이 장치를 통해 디스플레이하는 광고 제공부를 포함한다.

Description

인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법{APPARATUS, SYSTEM, AND METHOD FOR PROVIDING SERVICE FOR ADVERTISING AND MERCHANDISE PURCHASING USING ARTIFICIAL INTELLIGENCE TECHNOLOGY}
본 발명은 표정, 행동, 성별, 나이 등에 관한 인식 및 추정 데이터를 활용하여 개인 맞춤형 광고 및 상품 구매 서비스를 제공하는 장치, 시스템, 및 방법에 관한 것이다.
인간의 뇌 기능을 모사한 지능을 가진 기계를 만드는 것은, IT(information technology)의 태동 이후부터 계속된 과제였다. 1950년대 태동한 기호적 인공지능(symbolic AI(artificial intelligence))의 시도가 시작되었다. 뇌의 기본적인 계산 단위로 여겨진 신경 세포를 모사한 인공 신경망(neural network)에 기반한 정보처리 기계의 발전으로 인해, 글자 인식, 간단한 물체 인식 등의 처리가 가능하게 되었다.
하지만 실제 세계의 복잡한 정보(예, 웹상의 자연 이미지, 음성, 텍스트, 유튜브 동영상, 사람의 얼굴, 표정, 자세, 행동 등)를 처리하기에는 한계가 있다. 이러한 문제를 해결하는 방법에는 딥러닝 기술이 있다. 예를 들어, 130만장의 이미지 라벨링 데이터에 기반한 물체인식 경진대회(예, 2012년 Large Scale Visual Recognition Challenge)에서 딥러닝(deep learning) 기술을 이용한 그룹이 기존의 hand-crafted 특징을 이용한 컴퓨터 시각 기술(예, SIFT(scale invariant feature transform), HOG(histogram of oriented gradient) 등)보다 월등히 높은 성능을 보이면서 주목을 받게 되었다.
한국특허공개 제10-2014-0129569(공개일: 2014.11.07) 한국특허공개 제10-2010-0063865호(공개일: 2010.06.14)
본 발명이 해결하고자 하는 과제는, 인공지능 기술을 이용해 사용자 맞춤형 제품, 서비스, 및 광고 등을 제공하고 이에 대한 구매 서비스를 제공하는 방법, 장치, 및 시스템을 제공하는 것이다.
본 발명의 실시예에 따르면, 광고 시스템이 제공된다. 상기 광고 시스템은, 카메라의 영상으로부터, 사용자의 성별, 나이, 및 눈 추적(eye tracking) 중 적어도 하나에 관한 제1 사용자 정보를 분석하고 사용자의 표정 및 눈 추적에 관한 제2 사용자 정보를 분석하는 정보 분석부; 및 상기 제1 사용자 정보에 기초해 상기 사용자를 위한 화제 정보를 판단하고, 상기 화제 정보에 관련된 제1 광고를 디스플레이 장치를 통해 디스플레이하는 광고 제공보를 포함할 수 있다.
상기 광고 제공부는, 상기 사용자가 상기 제1 광고에 집중하는 정도를 나타내는 제1 집중도를 상기 제2 사용자 정보에 기초해 판단하고, 상기 제1 집중도에 기초해 상기 제1 광고 보다 더 많은 정보를 포함하는 제2 광고를 상기 디스플레이 장치를 통해 디스플레이할 수 있다.
상기 광고 시스템은, 상기 제1 광고 또는 상기 제2 광고에 관련된 상품에 대한 주문 정보가 입력되는 경우에, 상기 상품에 대한 결제 처리를 수행하는 구매 처리부를 더 포함할 수 있다.
상기 광고 제공부는, 상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 경우에, 상기 사용자의 눈동자에 대한 눈 추적(eye tracking)을 통해 상기 제1 집중도를 계산하고, 상기 제1 광고에 대한 사용자 표정 및 상기 제1 집중도에 기초해 상기 제2 광고의 디스플레이 여부를 결정할 수 있다.
상기 광고 제공부는, 상기 사용자가 상기 제2 광고에 집중하는 정도를 나타내는 제2 집중도 및 상기 제2 광고에 대한 사용자 표정에 기초해, 상기 제2 광고를 계속적으로 상기 디스플레이 장치를 통해 디스플레이할 지 여부를 결정할 수 있다.
상기 구매 처리부는, 상기 상품에 대한 주문 정보가 입력되는 경우에, 상기 주문 정보를 결제 처리 기능을 가지는 이동 단말에 무선으로 전송할 수 있다.
상기 디스플레이 장치는 사람을 운송하는 운송 수단 내 고객 좌석에 설치될 수 있다.
상기 디스플레이 장치의 제1 스크린 영역에는 상기 제1 광고 및 상기 제2 광고가 디스플레이되고, 상기 디스플레이 장치의 제2 스크린 영역에는 상기 상품이 디스플레이될 수 있다.
상기 정보 분석부는, 물체 추적 알고리즘, 표정 인식 알고리즘, 성별 추정 알고리즘, 및 나이 추정 알고리즘을 포함하는 인공지능 알고리즘을 이용해, 상기 영상으로부터 상기 사용자를 추적하고 상기 사용자의 표정을 인식하고 상기 사용자의 성별을 추정하고 상기 사용자의 나이를 추정할 수 있다.
상기 광고 제공부는, 상기 사용자의 행동 및 기 정의된 행동 패턴 간의 매칭 결과를 이용해 광고 제공을 변경할 수 있다.
상기 눈 추적은, 상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 경우에, 상기 사용자의 눈 초점이 상기 디스플레이 장치의 스크린 영역을 벗어나는지 여부, 그리고 상기 눈 초점이 상기 스크린 영역을 얼마나 오랫동안 벗어나는지를 추적하는 것을 포함할 수 있다.
상기 광고 제공부는, 상기 제1 사용자 정보의 눈 추적 정보에 기초해 상기 사용자의 눈 초점이 상기 디스플레이 장치의 스크린 영역을 향하고 있는 것으로 판단되는 경우에, 상기 제1 광고를 디스플레이 장치를 통해 디스플레이할 수 있다.
상기 사용자 행동은, 상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 동안에, 상기 사용자가 고개 또는 몸을 돌리는 행동, 손을 흔드는 행동, 및 상기 디스플레이 장치에 다가가는 행동 중 적어도 하나를 포함할 수 있다.
또한 본 발명의 다른 실시예에 따르면, 광고 시스템이 광고 및 상품 구매에 관한 서비스를 제공하는 방법이 제공된다. 상기 서비스 제공 방법은, 카메라의 영상으로부터 사용자의 성별 및 나이에 관한 제1 사용자 정보, 그리고 사용자의 표정 및 눈 추적(eye tracking)에 관한 제2 사용자 정보를 분석하는 단계; 상기 제1 사용자 정보에 기초해, 상기 사용자를 위한 화제 정보를 판단하는 단계; 상기 화제 정보에 관련된 제1 광고를 디스플레이 장치를 통해 디스플레이하는 단계; 상기 사용자가 상기 제1 광고에 집중하는 정도를 나타내는 제1 집중도를 상기 제2 사용자 정보에 기초해 판단하는 단계; 및 상기 제1 집중도 및 상기 제1 광고에 대한 사용자 표정에 기초해, 상기 제1 광고 보다 더 많은 정보를 포함하는 제2 광고를 상기 디스플레이 장치를 통해 디스플레이하는 단계를 포함할 수 있다.
상기 분석하는 단계는, 상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 동안에 상기 사용자가 취하는 행동에 관한 제3 사용자 정보를 분석하는 단계를 포함할 수 있다.
상기 디스플레이하는 단계는, 상기 제3 사용자 정보에 기초해, 상기 제2 광고의 제공 여부 또는 상기 제1 광고에 관련된 추가 상품 정보의 제공 여부를 결정하는 단계를 포함할 수 있다.
상기 서비스 제공 방법은 상기 제1 광고 또는 상기 제2 광고에 관련된 상품에 대한 주문 정보가 입력되는 경우에, 상기 상품에 대한 결제 처리를 수행하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 사용자의 다양한 정보(예, 사용자 표정, 나이, 행동, 및 움직임 등)를 인식하여 사용자 맞춤형 제품, 서비스, 및 광고 등을 제공하고 이에 대한 구매 서비스를 제공하는 방법, 장치, 및 시스템이 제공될 수 있다.
또한 본 발명의 실시예에 따르면, 디스플레이 장치(또는 플랫폼)가 설치된 항공기, 열차 등에서 광고 및 상품 판매 매출이 향상될 수 있다.
또한 본 발명의 실시예에 따르면, 특정 개인이 앉는 자리에 맞는 광고가 특정 개인에게 노출되기 때문에, 효과 및 의미를 가지는 광고가 사용자에게 효율적으로 제공될 수 있다.
또한 본 발명의 실시예에 따르면, 사용자 반응이 사용자의 표정을 통해 인식되고 이를 통해 모아진 데이터(예, 호감 또는 비호감 등)와 실시간 데이터(예, 실시간 눈 추적 데이터, 실시간으로 인식하고 추정한 표정 및 행동 데이터 등)를 기반으로 사용자 별 광고 및 상품 판매 서비스가 제공되기 때문에, 광고 및 상품 판매의 만족도가 향상될 수 있다.
또한 본 발명의 실시예에 따르면, 종이 책자로 발행되던 면세품 판매가 디스플레이 장치를 통해 제공될 수 있기 때문에, 더 많은 상품 군이 구비될 수 있고, 종이 책자의 제작 비용이 절감될 수 있다.
도 1은 본 발명의 실시예에 따른, 광고 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른, 개인별 맞춤 광고와 개인별 맞춤 상품 구매에 관한 서비스를 제공하는 방법을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른, 디스플레이 장치를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른, 정보 분석 장치가 카메라 영상으로부터 사람의 나이, 성별, 표정, 및 행동 등을 인식하는 방법을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른, 얼굴 인식 결과 및 행동 인식 결과를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른, 광고 시스템(1000)이 항공기에 적용되는 경우의 서비스 제공 방법을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
이하에서는, 인공지능 알고리즘(예, 딥러닝 알고리즘)에 기반한 정보 처리를 통해 사용자 맞춤형 제품, 서비스, 및 광고 등을 제공하고 이에 대한 구매 서비스를 제공하는 장치, 방법, 및 시스템에 대하여 설명한다. 여기서, 인공지능 알고리즘(예, 딥러닝 알고리즘)은 사용자의 다양한 정보(예, 사용자 표정, 나이, 행동, 성별, 또는 움직임 등)를 인식하여, 개인의 상황에 따른 특성을 구분할 수 있다. 본 명세서에서는 설명의 편의를 위해, 인공지능 기술이 딥러닝 기술인 경우를 예로 들어 본 발명의 실시예를 설명한다. 다만 이는 예시일 뿐이며, 딥러닝 기술과 다른 인공지능 기술이 사용되는 경우에는 본 발명이 적용될 수 있다.
구체적으로, 디스플레이 장치에 설치(또는 부착)된 카메라를 통해 사용자가 감지 및 추적된다. 추적되는 사용자의 행동, 감정, 나이, 또는 성별 등이 추정되고, 이를 통해 그 사용자의 연령대, 성별, 및 기분이 분석된다. 이러한 분석 결과에 기초해, 콘텐츠, 상품, 및 서비스가 그 사용자에게 노출되고, 디스플레이 장치를 통해 상품에 대한 결제가 진행된다. 결제가 완료되면, 해당 상품이 그 사용자에게 전달된다.
즉, 본 발명의 실시예에 따른, 고객의 표정, 행동, 성별, 또는 나이 등에 관한 추정 데이터를 활용하여 개인 맞춤형 광고와 구매 서비스를 제공하는 시스템(이하 '광고 시스템')은, 카메라 또는 영상을 통해 사람과 물체를 자동으로 구분할 수 있고, 추적된 사람에 대한 감정, 나이, 및 성별 등을 추정할 수 있다. 그리고 광고 시스템은 상기 추정 결과를 이용해, 각 고객에게 특화된 광고, 상품, 및 서비스를 추천할 수 있다.
기존의 컴퓨터 비전(computer vision) 기술은 특정한 태스크(task)에 맞춰진 특징들을 가공하여 사용한다. 하지만 본 발명의 실시예에 따른 광고 시스템에 적용되는 딥러닝 모델은, 스스로 대량의 데이터를 입력 받아 그 데이터의 통계적 특성을 잘 표현하는 레프리젠테이션(representation)을 학습한다. 이를 통해, 본 발명은 다양한 인지 기술 분야에서 뛰어난 성능을 가질 수 있다.
도 1은 본 발명의 실시예에 따른, 광고 시스템을 나타내는 도면이다.
광고 시스템(1000)은 표정 인식 데이터, 나이 추정 데이터, 성별 추정 데이터, 및 행동 인식 데이터 중 적어도 하나를 이용하여, 개인별 맞춤 광고와 개인별 맞춤 상품 구매 서비스를 제공할 수 있다. 즉, 광고 시스템(1000)은 고객의 표정, 나이, 성별, 또는 행동 등을 인식 및 분석하여, 고객에 특화된 광고 및 상품 구매 서비스를 제공할 수 있다.
광고 시스템(1000)은 사용자의 다양한 정보(예, 표정, 나이, 성별, 또는 행동 등)를 인식하여 사용자의 상황에 따른 특성을 구분할 수 있는 딥러닝 알고리즘을 사용할 수 있다. 광고 시스템(1000)에 적용되는 딥러닝 알고리즘은 사용자의 감정, 성별, 및 나이를 추정하고 그리고/또는 사용자의 행동을 인식할 수 있다.
이하에서는, 설명의 편의를 위해서 광고 시스템(1000)이 항공기 환경에 적용된 경우를 예로 들어 설명한다. 하지만 이는 예시일 뿐이며, 광고 시스템(1000)은 디스플레이 장치가 설치된 환경(예, 사람을 운송하는 항공기, 열차 등)에 적용될 수 있다. 예를 들어, 본 발명은 디스플레이 장치가 사용자 각각을 위해 개별적으로(예, 1:1 인식) 설치되는 운송 수단에 적용될 수 있다.
구체적으로, 광고 시스템(1000)은 정보 분석부(IA10), 광고 제공부(400), 및 구매 처리부(500)를 포함할 수 있다.
정보 분석부(IA10)는 카메라의 영상으로부터, 사용자의 나이, 표정, 성별, 또는 행동에 관한 사용자 정보를 분석할 수 있다. 예를 들어, 정보 분석부(IA10)는 물체 추적 알고리즘, 표정 인식 알고리즘, 성별 추정 알고리즘, 및 나이 추정 알고리즘을 포함하는 딥러닝(deep learning) 알고리즘을 이용해, 카메라 영상으로부터 사용자를 추적하고 사용자의 표정을 인식하고 사용자의 성별을 추정하고 사용자의 나이를 추정할 수 있다. 다른 예를 들어, 정보 분석부(IA10)는 행동 인식 알고리즘을 포함하는 딥러닝 알고리즘을 이용해, 사용자의 행동을 인식할 수 있다.
구체적으로, 정보 분석부(IA10)는 사람 검출부(110), 사람 추적부(120), 얼굴 검출부(130), 행동 인식부(210), 행동 기반 사용자 정보 분석부(220), 표정 인식부(310), 나이 추정부(320), 성별 추정부(321), 및 얼굴 기반 사용자 정보 분석부(330)를 포함할 수 있다.
사람 검출부(110)는 카메라의 영상으로부터 사람을 검출할 수 있다.
사람 추적부(120)는 사람 검출부(110)에 의해 검출된 사람을 영상 내에서 추적(track)할 수 있다. 구체적으로, 사람 추적부(120)는 물체 추적 알고리즘을 사용할 수 있다. 예를 들어, 사람 추적부(120)의 물체 추적 알고리즘은 물체가 어떤 위치로 갈지 예측하고, 상기 예측된 물체 위치와 실제로 검출된 위치를 비교할 수 있다. 그리고 사람 추적부(120)의 물체 추적 알고리즘은 위치 비교를 통해, 다음 위치의 예측 정확도를 향상시키고, 추적 안정성을 향상시키는 과정을 반복할 수 있다.
얼굴 검출부(130)는 사람 검출부(110)에 의해 검출된 사람으로부터, 얼굴 영역을 검출할 수 있다.
행동 인식부(210)는 행동 인식 알고리즘을 통해, 사람의 행동(예, 걷기, 서있기, 앉아있기, 점프, 팔흔들기 등)을 인식할 수 있다. 구체적으로, 행동 인식부(210)의 행동 인식 알고리즘은 RGB(red, green, blue) 영상과 광학 흐름(optical flow)을 이용하는 2 스트림 CNN(convolutional neural network) 구조를 기본으로, 여러 조건(예, 행동 클래스, 인식 속도, 인식 정확도, 모델 작동 환경 등)을 만족하는 CNN 모델을 설계 및 고도화할 수 있다. 행동 인식부(210)의 행동 인식 알고리즘은 여러 환경(예, 영상 시점, 밝기, 다른 물체에 의한 가려짐 등)에서의 정확도 향상을 위해서, 데이터세트 추가 학습을 수행할 수 있다.
행동 기반 사용자 정보 분석부(220)는 행동 인식부(210)의 행동 인식 결과를 이용해, 행동 기반 사용자 정보를 분석할 수 있다.
표정 인식부(310)는 표정 인식 알고리즘을 이용해, 사람의 표정(예, 화남, 두려움, 슬픔, 행복, 놀람, 역겨움, 중립 등)을 인식할 수 있다. 표정 인식부(310)의 표정 인식 알고리즘은 약 100만 장 이상의 이미지로 구성된 이미지넷(ImageNet)을 이용하여 CNN 모델을 학습시킬 수 있고, 얼굴 표정 인식에 대한 딥(deep) CNN 모델을 획득할 수 있다. 표정 인식부(310)의 표정 인식 알고리즘은 획득된 딥 CNN 모델의 미세 조정(fine-tuning)을 진행할 수 있고, 딥 CNN 모델의 성능을 향상시킬 수 있다.
나이 추정부(320)는 사람의 얼굴에 기반한 나이 추정 알고리즘을 이용해, 사람의 나이를 추정할 수 있다. 구체적으로, 나이 추정부(320)의 나이 추정 알고리즘은 얼굴 각도를 변화시키며 얼굴을 검출하는 방법을 사용하여, 나이 추정의 정확도를 향상시킬 수 있다. 나이 추정부(320)의 나이 추정 알고리즘은 이미지넷을 통해 딥 CNN 모델을 학습시킬 수 있고, 이에 대한 전이 학습(transfer learning)을 데이터세트를 통해 수행하여 나이 추정을 위한 모델을 획득할 수 있다. 나이 추정부(320)에 의해 추정되는 나이는 사람의 현재 감정을 추정하는데 이용될 수 있다.
성별 추정부(321)는 성별 추정 알고리즘을 이용해, 사람의 성별을 추정할 수 있다.
얼굴 기반 사용자 정보 분석부(330)는 표정 인식부(310)의 표정 인식 결과, 나이 추정부(320)의 나이 추정 결과, 및 성별 추정부(321)의 성별 추정 결과를 이용해, 얼굴 기반 사용자 정보를 분석할 수 있다.
광고 제공부(400)는 정보 분석부(IA10)에 의해 분석된 사용자 정보에 기초해, 사용자를 위한 약식 광고(예, 티저 광고)를 디스플레이 장치를 통해 디스플레이할 수 있다. 그리고 광고 제공부(400)는 사용자가 약식 광고에 집중하는 정도를 나타내는 집중도에 기초해, 약식 광고 보다 더 많은 정보를 포함하는 정식 광고(또는 자세한 광고)를 디스플레이 장치를 통해 디스플레이할 수 있다.
구체적으로, 광고 제공부(400)는 행동 기반 사용자 정보 분석부(220)의 분석 결과 및 얼굴 기반 사용자 정보 분석부(330)의 분석 결과 중 적어도 하나를 이용해, 사용자에게 맞는 광고와 상품을 결정할 수 있다. 예를 들어, 광고 제공부(400)는 행동 기반 사용자 정보 분석부(220)의 분석 결과를 기 정의된 행동 패턴에 매칭하고, 상기 매칭 결과에 따라 광고(또는 상품)의 제공을 제어(예, 디스플레이 시작, 디스플레이 중단, 디스플레이 광고 변경, 디스플레이 크기 변경, 상세한 상품 정보 제공 등)할 수 있다. 만약 광고(또는 상품) 시청을 명시적으로 또는 암묵적으로 부정하는 사용자 행동이 분석되는 경우에, 광고 제공부(400)는 분석 결과에 맞게 광고(또는 상품)의 디스플레이를 변경하거나 중단할 수 있다. 광고 제공부(400)가 얼굴 기반 사용자 정보 분석부(330)의 분석 결과를 이용해 사용자에게 적합한 광고(또는 상품)를 결정하는 방법에 대해서는, 도 2를 참고하여 후술한다.
광고 제공부(400)는 사용자에게 맞는 광고와 상품을 광고 시스템(1000)에 포함된 디스플레이 장치를 통해 디스플레이할 수 있다.
예를 들어, 광고 제공부(400)는 약식 광고가 디스플레이 장치를 통해 디스플레이되는 경우에, 사용자의 눈동자에 대한 눈 추적(eye tracking)을 통해 약식 광고에 대한 집중도를 계산할 수 있고, 약식 광고에 대한 집중도 및 사용자 표정에 기초해 정식 광고의 디스플레이 여부를 결정할 수 있다. 그리고 광고 제공부(400)는 사용자가 정식 광고에 집중하는 정도를 나타내는 집중도 및 정식 광고에 대한 사용자 표정에 기초해, 정식 광고를 계속적으로 디스플레이 장치를 통해 디스플레이할 지 여부를 결정할 수 있다.
구매 처리부(500)는 사용자에 의해 선택된 상품에 대한 구매 처리를 수행할 수 있다. 구체적으로, 구매 처리부(500)는 광고(예, 약식 광고, 정식 광고)에 관련된 상품에 대한 주문 정보가 입력되는 경우에, 상품에 대한 결제 처리를 다양한 방식으로 수행할 수 있다. 예를 들어, 구매 처리부(500)는 디스플레이 장치의 터치 스크린을 통해 상품 주문 정보가 입력되는 경우에, 상품 주문 정보를 결제 처리 기능을 가지는 이동 단말(예, 승무원의 보유 단말)에 무선으로 전송할 수 있다. 다른 예를 들어, 구매 처리부(500)는 내장된 결제 모듈을 통해 결제 처리를 진행하거나 승무원의 보유 단말을 통해 결제 처리를 진행할 수 있다.
한편, 구매 처리부(500)는 행동 기반 사용자 정보 분석부(220)의 분석 결과를 기 정의된 행동 패턴에 매칭하고, 상기 매칭 결과에 따라 구매 처리를 제어할 수 있다. 만약 광고에 관련된 상품의 구매를 긍정하는 사용자 행동이 분석되는 경우에, 구매 처리부(500)는 분석 결과에 맞게 해당 상품에 대한 구매 절차를 진행할 수 있다.
도 2는 본 발명의 실시예에 따른, 개인별 맞춤 광고와 개인별 맞춤 상품 구매에 관한 서비스를 제공하는 방법을 나타내는 도면이다. 그리고 도 3은 본 발명의 실시예에 따른, 디스플레이 장치를 나타내는 도면이다.
광고 시스템(1000)은 얼굴 검출, 표정 인식, 나이 추정, 성별 추정, 또는 행동 인식 등을 통해, 승객의 표정, 나이, 성별, 또는 행동 등을 분석할 수 있다(S100). 구체적으로, 광고 시스템(1000)은 카메라 또는 영상을 통해, 얼굴 인식, 표정, 성별, 나이(연령대), 또는 행동 등을 분석할 수 있다. 기내(예, 기내 앞쪽, 고객 좌석 등)에 디스플레이(예, IFEC(inflight entertainment and connectivity)) 카메라가 설치될 수 있다.
광고 시스템(1000)은 분석된 감정 정보, 나이 정보, 또는 성별 정보 등을 이용해, 화제 정보를 추출할 수 있다(S110). 구체적으로, 광고 시스템(1000)은 승객의 나이, 성별, 및 감정 상태 중 적어도 하나를 분석한 데이터를 이용해, 데이터베이스 정보 검색을 위한 화제 정보(예, class data)를 추출할 수 있다.
광고 시스템(1000)은 추출된 화제 정보에 관련된 광고 및 상품을 검색할 수 있다(S120). 구체적으로, 광고 시스템(1000)은 화제 정보에 따른 분류와 화제 정보에 관련된 데이터를 데이터베이스에서 검색할 수 있다. 광고 시스템(1000)은 검색된 데이터에 관련하여 추출된 광고 및 상품 정보를 확인할 수 있다.
광고 시스템(1000)은 검색된 광고 및 상품을 디스플레이 장치를 통해 디스플레이할 수 있다(S130). 여기서, 광고 시스템(1000)의 디스플레이 장치는 도 3에 예시된 바와 같이, 항공기 내 고객 좌석에 설치된 디스플레이 장치(DS10)일 수 있다. 디스플레이 장치(DS10)의 스크린은 상품 노출 영역(R10)과 광고 노출 영역(R20)을 포함할 수 있다. 상품 노출 영역(R10)에는 상품이 디스플레이되고, 광고 노출 영역(R20)에는 광고가 디스플레이된다. 상품 노출 영역(R10) 또는 광고 노출 영역(R20)은 사용자 입력 등에 의해 디스플레이 장치(DS10)의 전체 스크린을 차지할 수도 있다. 디스플레이 장치(DS10)의 상단에는 본 명세서에서 기술된 인식 및 추정 동작을 위한 카메라(CAM1)가 포함될 수 있다.
구체적으로, 광고 시스템(1000)은 디스플레이 장치(DS10)를 통해, 화제 정보에 적합한 광고 및 상품(예, 기내 명세 상품)을 간략한 형태(또는 약식 형태)로 디스플레이할 수 있다(이하 'S131 과정'). 예를 들어, 광고 시스템(1000)은 아래의 표 1(상품 및 광고 구분) 및 표 2(상품 및 광고의 노출 대상 구분)를 참고하여, 분석된 고객의 성별 및 연령에 따라, 상품 및 광고를 간략하게 노출(예, 디스플레이 장치를 통해 디스플레이)할 수 있다. 고객에게 적합한 상품(또는 광고)이 복수인 경우에, 광고 시스템(1000)은 복수의 상품(또는 광고)을 순차적으로 디스플레이할 수 있다.
상품/광고 구분 상품/광고 종류
A 남성 스킨케어
A1 여성 스킨케어
B 남성 메이크업
B1 여성 메이크업
C 남성 바디/헤어
C1 여성 바디/헤어
D 남성 향수
D1 여성 향수
E 남성 가방/지갑
E1 여성 가방/지갑
F 남성 시계/주얼리
F1 여성 시계/주얼리
G 남성 패션/잡화
G1 여성 패션/잡화
H 디지털/리빙
I 식품
J 유아, 아동
K 스포츠
성별/
연령		 10대 이하 10~20대 30대 40대 50대 60대 이상
남자 I, J A, B, C, D, E, F, G A, B, C, D, E, F, G, H, J, K A, B, C, D, E, F, G, H, I, K D, E, F, G, H, I, K D, E, F, G, H, I, K
여자 I, J A1, B1, C1, D1, E1, F1, G1 A1, B1, C1, D1, E1, F1, G1, H, I, J A1, B1, C1, D1, E1, F1, G1, H, I, K D1, E1, F1, G1, H, I, K D1, E1, F1, G1, H, I, K
예를 들어, 광고 시스템(1000)이 분석한 고객의 성별이 남자이고 고객의 연령이 20대인 경우에, 광고 시스템(1000)은 디스플레이 장치를 통해, 남성 스킨케어(A), 남성 메이크업(B), 남성 바디/헤어(C), 남성 향수(D), 남성 가방/지갑(E), 남성 시계/주얼리(F), 및 남성 패션/잡화(G)에 속하는 상품들(또는 광고들)을 순차적으로 디스플레이할 수 있다.
광고 시스템(1000)은 S131 과정에서 약식 형태로 노출된 광고(또는 상품 콘텐츠)에 대한 집중도(예, 눈 추적(eye tracking)을 통해 눈동자가 디스플레이 장치의 스크린을 주시한 시간을 계산) 및 표정(예, 표정 인식 알고리즘에 기반한 표정 인식)을 분석할 수 있다. 광고 시스템(1000)은 분석된 집중도 및 표정에 기초해, 자세한 광고(또는 자세한 상품 정보)를 노출(예, 디스플레이 장치를 통해 디스플레이)할 지 여부를 결정할 수 있다(이하 'S132 과정'). 예를 들어, 남성 스킨케어(A)의 약식 광고에 대한 고객 집중도가 임계값 보다 크고(예, 고객이 약식 광고를 시청한 시간이 5초 이상인 경우) 분석된 해당 고객의 표정이 행복 표정인 경우에, 광고 시스템(1000)은 남성 스킨케어(A)의 자세한 광고(또는 자세한 상품 정보)를 디스플레이 장치를 통해 디스플레이할 수 있다.
광고 시스템(1000)은 S132 과정에서 노출된 자세한 광고(또는 상품)에 대해 집중도와 표정(예, 표정 인식 알고리즘에 기반한 표정 인식)을 통해 해당 광고(또는 상품)에 대한 관심도를 판단할 수 있다. 예를 들어, 남성 스킨케어(A)의 광고(또는 상품)에 대한 고객 관심도가 임계값 보다 큰 경우에, 광고 시스템(1000)은 남성 스킨케어(A)의 광고(또는 상품)를 지속적으로 노출(예, 디스플레이 장치를 통해 디스플레이)할 수 있다. 광고 시스템(1000)은 기 설정된 최대 노출 횟수(예, 3회) 및 최대 노출 시간(예, 3분)에 기초해, 광고 또는 상품을 고객에게 노출할 수 있다. 예를 들어, 남성 스킨케어(A)의 광고(또는 상품)에 대한 고객 관심도가 임계값 보다 큰 경우에, 광고 시스템(1000)은 남성 스킨케어(A)의 광고(또는 상품)를 최대 3회 그리고 최대 3분 동안에 반복적으로 디스플레이할 수 있다.
광고 시스템(1000)은 고객의 스마트폰과 연동할 수 있다. 구체적으로, 광고 시스템(1000)은 광고 또는 상품에 대한 정보를 스마트폰에 전송할 수 있다. 예를 들어, 광고 시스템(1000)은 광고에 대한 상세 내용을 확인할 수 있는 URL(uniform resource locator)을 고객의 스마트폰에 전송할 수 있다. 다른 예를 들어, 광고 시스템(1000)은 상품에 대한 상세 내용을 확인할 수 있는 URL을 고객의 스마트폰에 전송할 수 있다.
광고 시스템(1000)은 상품 주문을 위해 필수적으로 필요한 정보를 입력 받은 경우에, 결제 처리를 수행할 수 있다(S140). 구체적으로, 노출된 상품에 대한 주문자 정보(예, 고객 성명, 고객 여권번호, 비행기 편명(예, 자동으로 입력 가능) 등)가 입력되는 경우에, 광고 시스템(1000)은 승무원의 보유 단말에 상품 주문 정보(예, 상품 정보, 주문자 정보 등)를 전송할 수 있다. 예를 들어, 남성 스킨케어(A)의 상품에 대한 주문자 정보가 디스플레이 장치의 터치 스크린을 통해 입력되는 경우에, 광고 시스템(1000)은 남성 스킨케어(A)의 상품에 대한 상품 주문 정보를 승무원의 보유 단말에 전송할 수 있다. 승무원의 보유 단말은 상품 주문 정보를 확인할 수 있다.
주문된 상품이 고객에게 전달되면, 주문된 상품에 대한 결제 처리(예, 카드 결제 처리 등)가 승무원의 보유 단말을 통해 진행될 수 있다.
광고 시스템(1000)은 상품을 구매한 고객에 대한 분석 정보(예, 패턴 데이터, 광고(또는 상품)에 대한 집중도에 따른 구매 결정 정도 등)를 데이터베이스에 저장할 수 있다. 광고 시스템(1000)은 데이터베이스에 저장된 정보를 이용해 딥러닝을 수행할 수 있다. 구체적으로, 광고 시스템(1000)은 상품 구매 고객에 대한 패턴 데이터 그리고 고객에 의해 선택된 상품(또는 콘텐츠)를 포함하는 객체 관련 데이터를 수집할 수 있다. 광고 시스템(1000)은 수집된 패턴 데이터 및 객체 관련 데이터에 기반한 지속 학습을 통해, 고객에 대한 패턴 분석을 수행할 수 있다. 광고 시스템(1000)은 승객 속성 및 광고 속성 간의 관계를 설정할 수 있고, 유사한 승객에게 데이터베이스로부터 추출된 광고 정보 또는 상품 정보를 디스플레이할 수 있다. 광고 시스템(1000)은 데이터베이스에서 추출된 광고 정보 또는 상품 정보에 대한 반응을 피드백 받을 수 있고, 이를 이용해 광고, 상품, 또는 고객에 대한 적합성 여부를 판단할 수 있다.
도 4는 본 발명의 실시예에 따른, 정보 분석 장치가 카메라 영상으로부터 사람의 나이, 성별, 표정, 및 행동 등을 인식하는 방법을 나타내는 도면이다.
광고 시스템(1000)에서, 딥러닝 기술을 통해 데이터를 학습한 정보 분석 장치(600)가 카메라에 비춰진 영상으로부터 사람을 검출하고, 검출된 사람의 나이, 성별, 및 행동 등을 인식(또는 추정)하고, 인식 결과를 피드백할 수 있다. 구체적으로, 정보 분석 장치(600)은 정보 분석부(IA10)를 포함할 수 있다.
정보 분석 장치(600)는 딥러닝 알고리즘을 이용해, 카메라의 영상으로부터 사람을 검출하고, 검출된 사람으로부터 몸통을 검출할 수 있다. 정보 분석 장치(600)는 검출된 몸통으로부터 행동을 인식할 수 있다. 예를 들어, 정보 분석 장치(600)는 걷기, 서있기, 앉아있기, 점프, 팔 흔들기 등의 행동을 인식할 수 있고, 행동 인식 결과를 출력할 수 있다.
정보 분석 장치(600)는 검출된 사람으로부터, 얼굴을 검출할 수 있다. 정보 분석 장치(600)는 검출된 얼굴로부터, 표정을 인식할 수 있고 나이 및 성별을 추정할 수 있다. 예를 들어, 정보 분석 장치(600)는 화남, 두려움, 슬픔, 행복, 놀람, 역겨움, 중립 등의 표정을 인식할 수 있고, 얼굴 인식(또는 추정) 결과를 출력할 수 있다.
도 4에 예시된 바와 같이, 카메라 영상(IMG1)이 정보 분석 장치(600)에 입력되는 경우에, 정보 분석 장치(600)는 '서있는', '웃고 있는', '20대 초반', 및 '여성' 등과 같은 얼굴 인식 결과 및 행동 인식 결과를 사용자 정보로써 피드백할 수 있다.
도 5는 본 발명의 실시예에 따른, 얼굴 인식 결과 및 행동 인식 결과를 나타내는 도면이다.
정보 분석 장치(600)는 카메라 영상(IMG2)으로부터 눈, 코, 입, 및 미간 등의 움직이는 각도를 산출하고, 산출된 각도에 따라 표정을 인식(또는 추정)할 수 있다. 예를 들어, 카메라 영상(IMG3a)이 입력되는 경우에, 정보 분석 장치(600)는 눈, 입, 및 미간의 움직이는 각도에 기초해, 두려움 표정을 인식할 수 있다. 다른 예를 들어, 카메라 영상(IMG3b)이 입력되는 경우에, 정보 분석 장치(600)는 눈, 코, 입, 및 미간의 움직이는 각도에 기초해, 화남 표정을 인식할 수 있다. 또 다른 예를 들어, 카메라 영상(IMG3c)이 입력되는 경우에, 정보 분석 장치(600)는 눈 및 코의 움직이는 각도에 기초해, 슬픔 표정을 인식할 수 있다. 또 다른 예를 들어, 카메라 영상(IMG3d)이 입력되는 경우에, 정보 분석 장치(600)는 눈, 코, 및 입의 움직이는 각도에 기초해, 기쁨 표정을 인식할 수 있다. 또 다른 예를 들어, 카메라 영상(IMG3e)이 입력되는 경우에, 정보 분석 장치(600)는 눈, 코, 및 미간의 움직이는 각도에 기초해, 역겨움 표정을 인식할 수 있다. 또 다른 예를 들어, 카메라 영상(IMG3f)이 입력되는 경우에, 정보 분석 장치(600)는 눈, 코, 및 입의 움직이는 각도에 기초해, 놀람 표정을 인식할 수 있다.
정보 분석 장치(600)는 머리를 기준으로 사지의 움직임 및 손가락의 움직임 등을 카메라 영상(IMG4)으로부터 산출하고, 산출된 움직임에 따라 행동을 인식(또는 추정)할 수 있다. 예를 들어, 카메라 영상(IMG5a)이 입력되는 경우에, 정보 분석 장치(600)는 다리의 각도 및 움직임에 기초해, 앉음 행동을 인식할 수 있다. 다른 예를 들어, 카메라 영상(IMG5b)이 입력되는 경우에, 정보 분석 장치(600)는 다리의 각도 및 움직임에 기초해, 일어남 행동을 인식할 수 있다. 또 다른 예를 들어, 카메라 영상(IMG5c)이 입력되는 경우에, 정보 분석 장치(600)는 머리의 각도 변화 및 움직임에 기초해, 고개 또는 몸 돌리기 행동을 인식할 수 있다. 또 다른 예를 들어, 카메라 영상(IMG5d)이 입력되는 경우에, 정보 분석 장치(600)는 복수의 객체들의 겹침 및 움직임에 기초해, 가까이 가기 행동을 인식할 수 있다.
도 6은 본 발명의 실시예에 따른, 광고 시스템(1000)이 항공기에 적용되는 경우의 서비스 제공 방법을 나타내는 도면이다. 항공기 내 고객 좌석에는 디스플레이 장치(DS10)가 설치될 수 있다.
광고 시스템(1000)은 카메라를 통해, 카메라 영상 내 사람(사용자)을 인식할 수 있다(S210). 예를 들어, 광고 시스템(1000)은 중립적인 표정 또는 두려움 표정을 가지면서 좌석에 앉아있는 사용자를 인식할 수 있다. 이 경우에, 광고 시스템(1000)은 광고 또는 상품정보의 게시를 준비할 수 있다.
광고 시스템(1000)은 인식된 사용자의 나이 및 성별을 추정할 수 있다(S220).
광고 시스템(1000)은 추정된 나이, 성별, 또는 감정을 종합적으로 고려하여, 이에 맞는 추천 광고를 제공할 수 있다(S230).
광고 시스템(1000)은 추천 광고에 대하여, 사용자의 눈동자 움직임, 감정(표정), 및 행동을 추정할 수 있다(S240).
광고 시스템(1000)은 S240 단계에서 추정된 결과를 종합적(또는 복합적)으로 고려하여, 연장 광고를 제공하거나 다른 광고를 제공할 수 있다(S251, S252). 구체적으로, S240 단계의 추정 결과가 S230 단계의 추천 광고에 대한 사용자 관심도가 기준값 이상인 것을 나타내는 경우에, 광고 시스템(1000)은 연장 광고를 제공할 수 있다. S240 단계의 추정 결과가 S230 단계의 추천 광고에 대한 사용자 관심도가 기준값 미만인 것을 나타내는 경우에, 광고 시스템(1000)은 다른 광고를 제공할 수 있다.
광고 시스템(1000)은 사용자 행동에 기반하여, 제공 광고에 관련된 상품의 상세 정보를 노출할 수 있다(S260).
예를 들어, 광고가 제공되는 동안에 사용자 표정이 화남 표정인 경우에, 광고 시스템(1000)은 광고(또는 상품)에 대한 사용자 관심도가 기준값 미만(예, 관심 없음)이라고 판단할 수 있다.
다른 예를 들어, 광고가 제공되는 동안에 사용자 표정이 놀람 표정 또는 기쁨 표정인 경우에, 광고 시스템(1000)은 광고(또는 상품)에 대한 사용자 관심도가 기준값 이상(예, 관심 있음)이라고 판단할 수 있다.
또 다른 예를 들어, 광고가 제공되는 동안에 사용자 표정이 중립 표정 또는 두려움 표정인 경우에, 광고 시스템(1000)은 광고(또는 상품)에 대한 사용자 관심도가 기준값 미만(예, 관심 없음)이라고 판단할 수 있다.
또 다른 예를 들어, 광고가 제공되는 동안에 사용자가 고개를 돌리거나 고개를 젖히거나 몸을 돌리는 행동을 하는 경우에, 광고 시스템(1000)은 사용자가 추가 상품 정보를 희망하지 않는 것으로 판단하여 다른 광고를 제공할 수 있다.
또 다른 예를 들어, 광고가 제공되는 동안에 사용자가 디스플레이 장치(DS10)에 가까이 다가가는 행동을 하는 경우에, 광고 시스템(1000)은 사용자가 추가 상품 정보를 희망하는 것으로 판단하여 상품의 추가 정보를 제공할 수 있다.
광고 시스템(1000)은 사용자에 의해 상품이 선택되거나 상품 구매를 긍정하는 사용자 행동이 분석되는 경우에, 상품에 대한 구매 절차를 수행할 수 있다(S270).
광고 시스템(1000)은 도 6에 예시된 각 단계의 데이터를 딥러닝 기반 학습 데이터로써 축적할 수 있고, 이를 이용해 딥러닝 모델을 업그레이드할 수 있다.
한편, 본 발명의 다른 실시예에 따른 광고 시스템(1000)의 서비스 제공 방법은 다음과 같다.
광고 시스템(1000)의 정보 분석부(IA10)는 카메라의 영상으로부터, 사용자의 성별, 나이, 및 눈 추적(eye tracking) 중 적어도 하나에 관한 사용자 정보(예, 제1 사용자 정보)를 분석하고 사용자의 표정 및 눈 추적에 관한 사용자 정보(예, 제2 사용자 정보)를 통해 분석할 수 있다.
광고 시스템(1000)의 광고 제공부(400)는 제1 사용자 정보에 기초해, 사용자를 위한 화제 정보를 판단할 수 있다.
광고 시스템(1000)의 광고 제공부(400)는 화제 정보에 관련된 제1 광고(예, 약식 광고)를 디스플레이 장치(DS10)를 통해 디스플레이할 수 있다. 구체적으로, 광고 시스템(1000)의 광고 제공부(400)는 제1 사용자 정보의 눈 추적 정보에 기초해 사용자의 눈 초점이 디스플레이 장치(DS10)의 스크린 영역을 향하고 있는 것(보고 있는 것)으로 판단되는 경우에, 제1 광고를 디스플레이 장치(DS10)를 통해 디스플레이할 수 있다.
광고 시스템(1000)의 광고 제공부(400)는 사용자가 제1 광고에 집중하는 정도를 나타내는 집중도(예, 제1 집중도)를 제2 사용자 정보(예, 눈 움직임 추적, 사용자 표정 등)에 기초해 판단할 수 있다.
광고 시스템(1000)의 광고 제공부(400)는 제1 집중도에 기초해, 제1 광고 보다 더 많은 정보를 포함하는 제2 광고(예, 정식 광고)를 디스플레이 장치(DS10)를 통해 디스플레이할 수 있다. 구체적으로, 광고 시스템(1000)의 광고 제공부(400)는, 제1 광고가 디스플레이 장치(DS10)를 통해 디스플레이되는 경우에, 사용자의 눈동자에 대한 눈 추적을 통해 제1 집중도를 계산할 수 있다. 광고 시스템(1000)의 광고 제공부(400)는, 제1 광고에 대한 사용자 표정 및 제1 집중도에 기초해, 제2 광고의 디스플레이 여부를 결정할 수 있다. 눈 추적은, 광고가 디스플레이 장치(DS10)를 통해 디스플레이되는 경우에, 사용자의 눈 초점이 디스플레이 장치(DS10)의 스크린 영역을 벗어나는지 여부, 그리고 눈 초점이 스크린 영역을 얼마나 오랫동안 벗어나는지를 추적하는 것을 포함할 수 있다. 사용자 표정은, 미간(두 눈썹 사이의 거리)의 변화 정도, 입 모양의 변화 정도, 입 꼬리(입의 양쪽 구석)의 변화 정도 등을 포함할 수 있다.
광고 시스템(1000)의 광고 제공부(400)는, 사용자가 제2 광고에 집중하는 정도를 나타내는 제2 집중도 및 제2 광고에 대한 사용자 표정에 기초해, 제2 광고를 계속적으로 디스플레이 장치(DS10)를 통해 디스플레이할 지 여부를 결정할 수 있다.
광고 시스템(1000)의 정보 분석부(IA10)는 광고(예, 약식 광고 또는 정식 광고)가 디스플레이 장치(DS10)를 통해 디스플레이되는 동안에 사용자가 취하는 행동에 관한 사용자 정보(예, 제3 사용자 정보)를 분석할 수 있다. 사용자 행동은, 몸이나 고개를 돌리는 행동 및 그 정도, 손을 흔드는 행동 및 그 정도, 손 동작, 디스플레이 장치(DS10)와 사용자 얼굴 간의 거리 변화 정도, 디스플레이 장치(DS10)를 인터페이스하는 행동(예, 디스플레이 장치(DS10)를 터치하는 행동) 및 그 정도, 고개를 움직이는 행동 및 그 정도 등을 포함할 수 있다.
광고 시스템(1000)의 광고 제공부(400)는 제3 사용자 정보에 기초해, 광고의 제공 여부(예, 정식 광고 제공 여부 등) 또는 광고에 관련된 추가 상품 정보의 제공 여부를 결정할 수 있다.
도 7은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 7의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 광고 시스템(1000)에 적용되는 장치 등) 일 수 있다. 예를 들어, 컴퓨팅 장치(TN100)는 정보 분석 장치(600)일 수 있다. 다른 예를 들어, 컴퓨팅 장치(TN100)는 광고 제공부(400)를 포함하는 광고 제공 장치일 수 있다. 또 다른 예를 들어, 컴퓨팅 장치(TN100)는 구매 처리부(500)를 포함하는 구매 처리 장치일 수 있다.
도 7의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 통신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
통신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 통신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 명세서에서 기술된 본 발명의 실시예들은 다양한 방식으로 결합(또는 혼합, 조합, 병합)될 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (15)

  1. 카메라의 영상으로부터, 사용자의 성별, 나이, 및 눈 추적(eye tracking) 중 적어도 하나에 관한 제1 사용자 정보를 분석하고 사용자의 표정 및 눈 추적에 관한 제2 사용자 정보를 분석하는 정보 분석부; 및
    상기 제1 사용자 정보에 기초해 상기 사용자를 위한 화제 정보를 판단하고, 상기 화제 정보에 관련된 제1 광고를 디스플레이 장치를 통해 디스플레이하는 광고 제공부를 포함하고,
    상기 광고 제공부는,
    상기 사용자가 상기 제1 광고에 집중하는 정도를 나타내는 제1 집중도를 상기 제2 사용자 정보에 기초해 판단하고, 상기 제1 집중도에 기초해 상기 제1 광고 보다 더 많은 정보를 포함하는 제2 광고를 상기 디스플레이 장치를 통해 디스플레이하는
    광고 시스템.
  2. 제1항에 있어서,
    상기 광고 제공부는,
    상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 경우에, 상기 사용자의 눈동자에 대한 눈 추적(eye tracking)을 통해 상기 제1 집중도를 계산하고, 상기 제1 광고에 대한 사용자 표정 및 상기 제1 집중도에 기초해 상기 제2 광고의 디스플레이 여부를 결정하는
    광고 시스템.
  3. 제2항에 있어서,
    상기 광고 제공부는,
    상기 사용자가 상기 제2 광고에 집중하는 정도를 나타내는 제2 집중도 및 상기 제2 광고에 대한 사용자 표정에 기초해, 상기 제2 광고를 계속적으로 상기 디스플레이 장치를 통해 디스플레이할 지 여부를 결정하는
    광고 시스템.
  4. 제1항에 있어서,
    상기 제1 광고 또는 상기 제2 광고에 관련된 상품에 대한 주문 정보가 입력되는 경우에, 상기 상품에 대한 결제 처리를 수행하는 구매 처리부
    를 더 포함하는 광고 시스템.
  5. 제4항에 있어서,
    상기 구매 처리부는,
    상기 상품에 대한 주문 정보가 입력되는 경우에, 상기 주문 정보를 결제 처리 기능을 가지는 이동 단말에 무선으로 전송하는
    광고 시스템.
  6. 제1항에 있어서,
    상기 디스플레이 장치는 사람을 운송하는 운송 수단 내 고객 좌석에 설치되고,
    상기 디스플레이 장치의 제1 스크린 영역에는 상기 제1 광고 및 상기 제2 광고가 디스플레이되고, 상기 디스플레이 장치의 제2 스크린 영역에는 상기 상품이 디스플레이되는
    광고 시스템.
  7. 제1항에 있어서,
    상기 정보 분석부는,
    물체 추적 알고리즘, 표정 인식 알고리즘, 성별 추정 알고리즘, 및 나이 추정 알고리즘을 포함하는 인공지능 알고리즘을 이용해, 상기 영상으로부터 상기 사용자를 추적하고 상기 사용자의 표정을 인식하고 상기 사용자의 성별을 추정하고 상기 사용자의 나이를 추정하는
    광고 시스템.
  8. 제6항에 있어서,
    상기 광고 제공부는,
    상기 사용자의 행동 및 기 정의된 행동 패턴 간의 매칭 결과를 이용해 광고 제공을 변경하는
    광고 시스템.
  9. 제1항에 있어서,
    상기 눈 추적은,
    상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 경우에, 상기 사용자의 눈 초점이 상기 디스플레이 장치의 스크린 영역을 벗어나는지 여부, 그리고 상기 눈 초점이 상기 스크린 영역을 얼마나 오랫동안 벗어나는지를 추적하는 것을 포함하는
    광고 시스템.
  10. 제1항에 있어서,
    상기 광고 제공부는,
    상기 제1 사용자 정보의 눈 추적 정보에 기초해 상기 사용자의 눈 초점이 상기 디스플레이 장치의 스크린 영역을 향하는 것으로 판단되는 경우에, 상기 제1 광고를 상기 디스플레이 장치를 통해 디스플레이하는
    광고 시스템.
  11. 제8항에 있어서,
    상기 사용자 행동은,
    상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 동안에, 상기 사용자가 고개 또는 몸을 돌리는 행동, 손을 흔드는 행동, 및 상기 디스플레이 장치에 다가가는 행동 중 적어도 하나를 포함하는
    광고 시스템.
  12. 광고 시스템이 광고 및 상품 구매에 관한 서비스를 제공하는 방법으로서,
    카메라의 영상으로부터, 사용자의 성별, 나이, 및 눈 추적(eye tracking) 중 적어도 하나에 관한 제1 사용자 정보, 그리고 사용자의 표정 및 눈 추적에 관한 제2 사용자 정보를 분석하는 단계;
    상기 제1 사용자 정보에 기초해, 상기 사용자를 위한 화제 정보를 판단하는 단계;
    상기 화제 정보에 관련된 제1 광고를 디스플레이 장치를 통해 디스플레이하는 단계;
    상기 사용자가 상기 제1 광고에 집중하는 정도를 나타내는 제1 집중도를 상기 제2 사용자 정보에 기초해 판단하는 단계; 및
    상기 제1 집중도 및 상기 제1 광고에 대한 사용자 표정에 기초해, 상기 제1 광고 보다 더 많은 정보를 포함하는 제2 광고를 상기 디스플레이 장치를 통해 디스플레이하는 단계
    를 포함하는 서비스 제공 방법.
  13. 제12항에 있어서,
    상기 눈 추적은,
    상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 경우에, 상기 사용자의 눈 초점이 상기 디스플레이 장치의 스크린 영역을 벗어나는지 여부, 그리고 상기 눈 초점이 상기 스크린 영역을 얼마나 오랫동안 벗어나는지를 추적하는 것을 포함하는
    서비스 제공 방법.
  14. 제12항에 있어서,
    상기 분석하는 단계는,
    상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 동안에 상기 사용자가 취하는 행동에 관한 제3 사용자 정보를 분석하는 단계를 포함하고,
    상기 디스플레이하는 단계는,
    상기 제3 사용자 정보에 기초해, 상기 제2 광고의 제공 여부 또는 상기 제1 광고에 관련된 추가 상품 정보의 제공 여부를 결정하는 단계를 포함하는
    서비스 제공 방법.
  15. 제12항에 있어서,
    상기 제1 광고 또는 상기 제2 광고에 관련된 상품에 대한 주문 정보가 입력되는 경우에, 상기 상품에 대한 결제 처리를 수행하는 단계
    를 더 포함하는 서비스 제공 방법.
KR1020180130748A 2017-10-30 2018-10-30 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법 KR20190049555A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020510083A JP2020531987A (ja) 2017-10-30 2018-10-30 人工知能技術を利用して広告及び商品購買に関するサービスを提供する装置、システム、及び方法
US16/639,237 US20200219135A1 (en) 2017-10-30 2018-10-30 Device, system and method for providing service relating to advertising and product purchase by using artificial-intelligence technology
PCT/KR2018/013020 WO2019088661A1 (ko) 2017-10-30 2018-10-30 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170142512 2017-10-30
KR1020170142512 2017-10-30

Publications (1)

Publication Number Publication Date
KR20190049555A true KR20190049555A (ko) 2019-05-09

Family

ID=66546127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180130748A KR20190049555A (ko) 2017-10-30 2018-10-30 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법

Country Status (5)

Country Link
US (1) US20200219135A1 (ko)
EP (1) EP3651103A4 (ko)
JP (1) JP2020531987A (ko)
KR (1) KR20190049555A (ko)
CN (1) CN111279377A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102202730B1 (ko) * 2020-06-24 2021-01-13 주식회사 제너럴이노베이션즈 학습자 행동 분석에 기반한 학습 관리 시스템
KR102295776B1 (ko) 2021-03-18 2021-08-31 주식회사 스누아이랩 광고서비스장치 및 그 장치의 구동방법
KR102400172B1 (ko) * 2021-09-06 2022-05-19 주식회사 라씨엔블루 시선추적에 기초하여 상품을 추천하기 위한 방법 및 시스템
KR20220145472A (ko) * 2021-04-22 2022-10-31 퍼시픽솔루션 주식회사 영상광고 중계 서비스 시스템
KR20220170143A (ko) * 2021-06-22 2022-12-29 주식회사 비주얼캠프 시선 추적 기반의 쇼핑 콘텐츠 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
US11587358B2 (en) 2020-03-26 2023-02-21 Panasonic Avionics Corporation Managing content on in-flight entertainment platforms

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11900928B2 (en) * 2017-12-23 2024-02-13 Soundhound Ai Ip, Llc System and method for adapted interactive experiences
WO2021003378A1 (en) * 2019-07-02 2021-01-07 Insurance Services Office, Inc. Computer vision systems and methods for blind localization of image forgery
TWI714318B (zh) * 2019-10-25 2020-12-21 緯創資通股份有限公司 人臉辨識方法及裝置
JP7398854B1 (ja) 2023-06-30 2023-12-15 ヴィアゲート株式会社 ウェブページ閲覧解析システム、ウェブページ閲覧解析方法およびウェブページ閲覧解析プログラム
JP7398853B1 (ja) 2023-06-30 2023-12-15 ヴィアゲート株式会社 動画視聴解析システム、動画視聴解析方法および動画視聴解析プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100063865A (ko) 2008-12-04 2010-06-14 (주)트로스 아이엔디 디지털 광고판을 이용한 면세품 구매 서비스 시스템 및 방법
KR20140129569A (ko) 2013-04-30 2014-11-07 주식회사 임팩시스 빅데이터를 활용한 사용자 위치기반 광고제공장치 및 광고제공방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198452A (ja) * 2002-12-16 2004-07-15 Seiko Epson Corp 情報提示システム、広告提示システム及び情報提示プログラム、並びに情報提示方法
US7945934B2 (en) * 2004-06-15 2011-05-17 Panasonic Avionics Corporation Portable media device and method for presenting viewing content during travel
US20110150283A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Apparatus and method for providing advertising content
JP5542469B2 (ja) * 2010-02-10 2014-07-09 日本電信電話株式会社 情報提示装置及び方法及びプログラム
JP2012022538A (ja) * 2010-07-15 2012-02-02 Hitachi Ltd 注目位置推定方法、画像表示方法、注目コンテンツ表示方法、注目位置推定装置および画像表示装置
JP2012205112A (ja) * 2011-03-25 2012-10-22 Olympus Imaging Corp 音声・映像データ報知システム及びその制御方法
US9077458B2 (en) * 2011-06-17 2015-07-07 Microsoft Technology Licensing, Llc Selection of advertisements via viewer feedback
KR20140064412A (ko) * 2012-11-20 2014-05-28 한국전자통신연구원 실시간 시청자 정보 기반 광고 제공 장치 및 방법
CN103279882B (zh) * 2013-06-19 2016-08-31 成都智元汇数码科技有限公司 一种交互式信息发布物联网终端实现广告交互的方法
JP6184354B2 (ja) * 2014-03-20 2017-08-23 ヤフー株式会社 移動制御装置、移動制御方法及び移動制御システム
EP3138068A1 (en) * 2014-04-28 2017-03-08 Tobii AB Determination of attention towards stimuli based on gaze information
WO2017051577A1 (ja) * 2015-09-25 2017-03-30 ソニー株式会社 感情誘導システム、および感情誘導方法
KR20170046354A (ko) * 2015-10-21 2017-05-02 김영선 모바일 광고플랫폼

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100063865A (ko) 2008-12-04 2010-06-14 (주)트로스 아이엔디 디지털 광고판을 이용한 면세품 구매 서비스 시스템 및 방법
KR20140129569A (ko) 2013-04-30 2014-11-07 주식회사 임팩시스 빅데이터를 활용한 사용자 위치기반 광고제공장치 및 광고제공방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11587358B2 (en) 2020-03-26 2023-02-21 Panasonic Avionics Corporation Managing content on in-flight entertainment platforms
KR102202730B1 (ko) * 2020-06-24 2021-01-13 주식회사 제너럴이노베이션즈 학습자 행동 분석에 기반한 학습 관리 시스템
KR102295776B1 (ko) 2021-03-18 2021-08-31 주식회사 스누아이랩 광고서비스장치 및 그 장치의 구동방법
KR20220145472A (ko) * 2021-04-22 2022-10-31 퍼시픽솔루션 주식회사 영상광고 중계 서비스 시스템
KR20220170143A (ko) * 2021-06-22 2022-12-29 주식회사 비주얼캠프 시선 추적 기반의 쇼핑 콘텐츠 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102400172B1 (ko) * 2021-09-06 2022-05-19 주식회사 라씨엔블루 시선추적에 기초하여 상품을 추천하기 위한 방법 및 시스템

Also Published As

Publication number Publication date
CN111279377A (zh) 2020-06-12
EP3651103A1 (en) 2020-05-13
US20200219135A1 (en) 2020-07-09
JP2020531987A (ja) 2020-11-05
EP3651103A4 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
KR20190049555A (ko) 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법
US11188965B2 (en) Method and apparatus for recommending customer item based on visual information
KR102664008B1 (ko) 시각 정보에 기초한 고객 아이템 추천 방법 및 장치
US8723796B2 (en) Multi-user interactive display system
US9349131B2 (en) Interactive digital advertising system
US10559102B2 (en) Makeup simulation assistance apparatus, makeup simulation assistance method, and non-transitory computer-readable recording medium storing makeup simulation assistance program
US20130201105A1 (en) Method for controlling interactive display system
DE102015113931A1 (de) Berechnung von Nachwirkung aus affektiven Reaktionen
KR102316723B1 (ko) 인공지능을 이용한 신체 맞춤형 코디 시스템
US20150186912A1 (en) Analysis in response to mental state expression requests
Patwardhan et al. Multimodal affect analysis for product feedback assessment
US11978242B2 (en) Systems and methods for improved facial attribute classification and use thereof
De Carolis et al. Recognizing users feedback from non-verbal communicative acts in conversational recommender systems
WO2019088661A1 (ko) 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법
JP2019109843A (ja) 分類装置、分類方法、属性認識装置、及び機械学習装置
Shergill et al. Computerized sales assistants: the application of computer technology to measure consumer interest-a conceptual framework
CN108596646A (zh) 一种融合人脸属性分析的服装搭配推荐方法
JP6724090B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP2020038336A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP7259370B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP6757983B2 (ja) 評価装置、及び評価システム
JP7378743B2 (ja) 情報処理システム、情報処理方法およびプログラム
CN110458647A (zh) 产品推送方法、装置、计算机设备及存储介质
WO2019220751A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
KR20230053744A (ko) 챗봇 기반의 xr 몰입형 뷰티 서비스 제공 방법 및 이러한 방법을 수행하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
E601 Decision to refuse application
E801 Decision on dismissal of amendment