KR20190028015A - 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법 - Google Patents

딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20190028015A
KR20190028015A KR1020170114887A KR20170114887A KR20190028015A KR 20190028015 A KR20190028015 A KR 20190028015A KR 1020170114887 A KR1020170114887 A KR 1020170114887A KR 20170114887 A KR20170114887 A KR 20170114887A KR 20190028015 A KR20190028015 A KR 20190028015A
Authority
KR
South Korea
Prior art keywords
augmented reality
advertisement
user
mission
game
Prior art date
Application number
KR1020170114887A
Other languages
English (en)
Inventor
이상호
김영재
김한솔
가오빈빈
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020170114887A priority Critical patent/KR20190028015A/ko
Publication of KR20190028015A publication Critical patent/KR20190028015A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0209—Incentive being awarded or redeemed in connection with the playing of a video game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법에 관한 것으로서, 사용자의 시작 버튼 조작 또는 광고주에 의해 증강 현실 게임이 시작되는 것을 인식하는 통신 인터페이스 모듈, 광고하고자 하는 제품에 대한 증강 현실 게임 광고를 생성하고, 상기 증강 현실 게임 광고를 재생하며, 상기 증강 현실 게임 광고 내에 미션을 제공하는 증강 현실 광고 모듈 및 상기 사용자가 조작한 또는 상기 사용자가 촬영한 영상을 처리하여 주어진 상기 미션이 성공적으로 수행되었는지 확인하고, 미션 성공 시, 상기 사용자에게 미션 성공에 대한 적절한 보상을 제공하는 미션 성공 확인 모듈을 포함함으로써, 사용자로부터 수신된 위치 정보를 기준으로 삼는 기존 발명과 달리 사용자의 지리적 위치에 구애받지 않고, 증강 현실에 기반한 게임 광고를 이용하고, 사용자가 촬영한 영상을 인식하여 이를 분류하고 결과값을 처리하는 과정에서 딥 러닝을 이용하여 스스로 학습하는 과정을 통해 측정한 영상의 분류의 정확성을 높일 수 있다.

Description

딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING AUGMENTED REALITY ADVERTISEMENT USING DEEP LEARNING BASED IMAGE PROCESSING}
본 발명은 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법에 관한 것으로, 더욱 상세하게는 사용자의 지리적 위치에 관계없이 증강 현실 기반 광고를 제공하고 사용자가 촬영한 영상을 인식하여 이를 분류하고 결과값을 처리하는 과정에서 딥 러닝을 이용하는 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법에 관한 것이다.
현재 나와 있는 광고들은 대부분 홈페이지에 배너와 같은 형태로 위치되어 있거나 동영상 또는 스트리밍 플랫폼에서 약 15초 내지 30초 내외의 광고 영상을 스트리밍 영상 도입부 또는 중간 광고의 형태로 사용자에게 강제 시청하게 하는 방식으로 이루어져 있다. 실제로 방송통신위원회의“모바일광고 산업 통계 및 이용자행태 조사”에 따르면 “모바일 광고 유형별 클릭한 이유”에 대한 통계에서 In-App 광고 부분 1367명이 응답한 결과 ‘실수로 잘못 클릭’이 38%로 1순위였다. 또한 텍스트 광고 와 VOD 광고 부분에서도 각 각 약 1200명 정도를 설문조사 한 결과 2순위로 ‘실수로 잘못 클릭’이 23%, ‘동영상 시청 시 필수 과정이라는 의무감’이 20.9%를 이루며 사용자가 몰입하는 형태의 광고가 이루어지지 않고 있다. 이를 통해 현재 광고주들은 광고를 위해 많은 돈을 투자하면서도 시청자는 광고에 집중하기 보다는 원하는 작업을 하던 중 해당 광고가 상영되면 싫증을 내는 경우가 발생하는 상황에 이르렀다.
증강 현실 기술을 활용한 광고에 관련한 특허로 출원번호 제10-2010-0132992호의 "증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기" 등 다수가 출원된 상태이다.
상기 발명은 수신된 위치 정보를 기준으로 검색 범위를 설정하고 상기 검색 범위에 포함되는 후보(Candidate) 데이터를 선별하며, 수신된 영상 정보에서 특징 점을 추출한 후 상기 후보 데이터 중 상기 특징 점과 일치하는 지역 정보를 추출하여 전송하는 영상 인식 매칭 장치; 상기 특징 점에 해당하는 광고 정보가 있는 경우, 상기 광고 정보를 전송하는 광고 제공 장치; 및 상기 위치 정보 및 획득한 상기 영상 정보를 전송하고, 그에 대응하는 상기 지역 정보 및 상기 광고 정보를 수신한 후 상기 특징 점에 상기 지역 정보 및 상기 광고 정보 중 적어도 하나 이상의 정보 오버레이(Overlay)되어 나타나도록 하는 단말기를 포함하는 것을 특징으로 하는 증강 현실을 이용한 광고 제공 시스템을 제공한다.
그러나 상기 발명은 사용자가 원하는 광고만을 제공하고 있기 때문에 사용자들이 관심 있는 분야가 아닌 광고들은 검색 빈도와 선택의 수가 줄어 자연스럽게 소외되어 광고의 효율이 낮아지고 주목을 받는 광고들만이 광고 노출의 주를 이루는 형태로 이루어지게 된다. 따라서 여러 광고주 입장에서 형평성 문제가 제기 될 수 있고 사용자가 원하는 광고라 하더라도, 기존의 흔한 방법인 사진과 글을 통해 수동적인 단순 시청 광고를 제공하므로 인상에 남을만한 다양한 광고를 내비치기가 어렵다. 이는 상기 특허가 광고주가 원하는 자신의 광고를 상영할 수 없고, 특정 지역에서 사용자가 직접 촬영한 영상 속의 광고만 선별하여 내보내는 구조를 이루고 있기 때문이다.
또한 광고의 목적은 정보를 얻고자 하는 사람에게 필요한 정보를 제공한다는 목적도 있지만 해당 광고의 제품, 정보를 접해보지 못한 사람에게도 관심과 흥미를 유발하는 데에 있는데, 해당 특허는 이미 해당 제품과 정보를 어느 정도 알고 있는 수준에서 관심을 갖는 대상에 대한 정보를 부가적으로 더 얻고자 하는 이들을 목표로 하고 있기 때문에 관심을 받지 못하여 사용자가 보려고 시도하지 않는 광고는 기회 조차 주어지지 않는 것이고 결과적으로 폭넓은 광고의 노출이 적용되지 않은 시스템이다. 그리고 사용자에게 주어지는 것은 단순 시청각 정보이기 때문에 흥미를 유도하기에도 어렵고 사용자의 기억에 남기가 어렵다.
마지막으로 기존의 영상 인식 매칭 장치를 통해 영상 정보인 이미지를 분석하는 과정은 먼저 영상 정보를 구성하고 있는 특정 오브젝트에 대한 색상 정보, 에지 정보, 외곽선 정보, 텍스쳐 정보, 텍스트 정보 및 특정 각도에 따른 외곽 형태 정보 중 적어도 하나 이상의 정보를 특징 벡터로 변환하고, 특징 벡터와 후보 데이터의 영상 매칭을 수행하여 유사도 가장 높은 데이터를 선별한 후 선별된 데이터들의 상관관계에 근거한 분석을 진행한다. 이 과정 중 이미지를 분석하고 매칭 하여 유사도가 가장 높은 데이터를 선별하는 부분에서 최악의 경우 위에서 나열한 특정 오브젝트에 대한 특징 중 하나의 특징만으로 구분 짓는 경우도 있으며, 단순히 벡터를 통해 변환하여 이를 비교하는 경우, 해당 기준이나 가중치 값이 적절하지 못하여 옳지 않게 분석할 가능성이 있다. 따라서 기존의 영상 인식 장치 시스템의 측정 및 분류 정확도를 보완하기 위해서는 수차례 반복된 결과를 통해 분석하고 연구결과를 통해 기준을 도출해야 하므로 이에 대한 불편함이 있었다.
대한민국 공개특허공보 제10-2010-0132992호(2012.07.03)
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 사용자로부터 수신된 위치 정보를 기준으로 삼는 기존 발명과 달리 사용자의 지리적 위치에 구애받지 않고, 증강 현실에 기반한 게임 광고를 이용하고, 사용자가 촬영한 영상을 인식하여 이를 분류하고 결과값을 처리하는 과정에서 딥 러닝을 이용하여 스스로 학습하는 과정을 통해 측정한 영상의 분류의 정확성을 높일 수 있는 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템은, 사용자의 시작 버튼 조작 또는 광고주에 의해 증강 현실 게임이 시작되는 것을 인식하는 통신 인터페이스 모듈, 광고하고자 하는 제품에 대한 증강 현실 게임 광고를 생성하고, 상기 증강 현실 게임 광고를 재생하며, 상기 증강 현실 게임 광고 내에 미션을 제공하는 증강 현실 광고 모듈 및 상기 사용자가 조작한 또는 상기 사용자가 촬영한 영상을 처리하여 주어진 상기 미션이 성공적으로 수행되었는지 확인하고, 미션 성공 시, 상기 사용자에게 미션 성공에 대한 적절한 보상을 제공하는 미션 성공 확인 모듈을 포함한다.
한편, 본 발명의 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법은, 사용자의 시작 버튼 조작 또는 광고주에 의해 증강 현실 게임이 시작되는 것을 인식하는 단계, 광고하고자 하는 제품에 대한 증강 현실 게임 광고를 생성하는 단계, 상기 증강 현실 게임 광고를 재생하고 상기 증강 현실 게임 광고 내에 미션을 제공하는 단계, 상기 사용자가 조작한 또는 상기 사용자가 촬영한 영상을 처리하여 주어진 상기 미션이 성공적으로 수행되었는지 확인하는 단계 및 확인 결과 미션 성공 시, 상기 사용자에게 미션 성공에 대한 적절한 보상을 제공하는 단계를 포함한다.
상술한 바와 같이, 본 발명에 의한 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법은 다음과 같은 효과를 제공한다.
사용자가 광고 내용에 대해 좀 더 관심을 가지고 주의 깊게 살필 수 있으며, 원하지 않는 내용의 광고라도 비교적 거부감이 덜 할 수 있다. 또한 현재 인기를 얻고 있는 증강 현실 방식의 게임을 플레이하며 흥미를 느끼게 할 수 있고, 증강 현실의 캐릭터가 광고와 관련된 행동을 하며 소비자로 하여금 일방적인 시청방식의 광고와 다른 깊은 인상을 남길 수 있다. 실제로 영상 처리 기술을 이용한 미션 또는 일반적인 진행 방식의 미션을 사용자가 직접 수행하며 수동적인 시청 방식의 광고에서 벗어날 수 있으며, 광고 게임의 마지막에 추가 광고 시청 여부를 사용자에게 결정하게 함으로써 사용자에게 광고 시청의 선택권을 준다는 느낌을 부여해, 기존의 사용자가 느끼는 영상 시청에 대한 부담 또한 줄일 수 있다. 이를 통해 광고주는 광고의 내용이나 장르에 구애받지 않고 좀 더 다양한 광고를 비교적 자유롭게 사용자에게 전달할 수 있다.
도 1은 본 발명의 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법이 적용되는 네트워크 환경을 나타내는 전체 구성도이다.
도 2는 증강 현실 광고 제공 시스템 서버가 본 발명의 바람직한 실시 예에 따라 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 방법을 수행하는 과정을 나타내는 흐름도이다.
도 3 내지 도 6은 일반 진행형 증강 현실 게임 광고 및 미션의 경우를 예로 들어 증강 현실 게임 광고 재생 및 사용자 미션 수행 과정을 사용자 디바이스의 화면을 통해 설명하는 도면이다.
도 7은 사용자가 증강 현실 게임 광고의 미션을 성공시켰을 때를 설명하는 화면이다.
도 8은 사용자가 추가 광고 시청을 선택한 후의 결과를 설명하는 화면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
이하 본 발명의 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법이 적용되는 네트워크 환경을 나타내는 전체 구성도이다.
도 1에 도시된 바와 같이, 이하에서 제시된 본 발명에 의한 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법은 통신 네트워크(200)를 통해 적합한 애플리케이션으로부터 다운로드되는 실행 가능한 패키지 설치 파일과 같은 하나 이상의 다운로드된 파일로 설치되어 실행되는 본 발명과 관련된 증강 현실 광고 제공 애플리케이션을 내장하여 데이터를 송수신할 수 있도록 지원되는 외부 사용자 디바이스(100)가 유선 또는 무선 통신 네트워크(200)를 통해 증강 현실 광고 제공 시스템 서버(300)에 연결되고, 본 발명의 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법에 관한 프로그램을 탑재한 증강 현실 광고 제공 시스템 서버(300)가 상기 통신 네트워크 및 중계 서버(200)에 연결된 상태에서의 네트워크 시스템을 바탕으로 하는 경우를 바람직한 실시예로서 제안한다.
사용자 디바이스(100)는 통신 가능한 장치로서 영상 취득을 위한 카메라 등의 영상 수단, 사용자의 조작을 입력받을 입력 수단, 본 발명과 관련된 증강 현실을 기반으로 한 게임 광고(이하, 증강 현실 게임 광고)를 사용자에게 제시하기 위한 디스플레이 수단 및 통신 네트워크를 이용할 수 있는 랜 카드 등의 통신 인터페이스를 탑재하는, 데스크탑 컴퓨터, 노트북 컴퓨터와 같은 개인용 컴퓨터 뿐만 아니라 스마트 기기와 같은 휴대용 컴퓨터 등을 포함하여 유선 또는 무선 인터넷 통신이 가능한 디바이스를 나타낸다.
통신 네트워크(200)는 일반적으로 사용자 디바이스(100)가 인터넷 등에 연결하기 위해 사용하는 네트워크로 3G 나 LTE, Wifi 등이 있다.
계속해서 도 1을 참조하여, 증강 현실 광고 제공 시스템 서버(300)는 통신 인터페이스 모듈(310), 증강 현실 광고 모듈(320), 미션 수행 판단 모듈(330) 및 DB 모듈(340)을 포함하여 본 발명의 바람직한 실시 예에 따른 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템에 관한 프로그램을 탑재한다.
통신 인터페이스 모듈(310)은 사용자 디바이스(100)에서 본 발명에 따른 증강 현실 게임 광고 제공 어플리케이션이 실행되거나 사용자 디바이스(100) 상에 증강 현실 게임 광고가 로딩되었으나 시작되기 전, 사용자 디바이스(100)가 시스템 서버(300)에 정상적으로 접속되었는지 그리고 사용자 디바이스(100) 및 시스템 서버(300)가 통신 네트워크(200)를 통해 정상적으로 연동되었는지 확인하고, 둘째, 사용자 디바이스(100)를 이용하는 사용자의 신원을 확인한다. 또한, 통신 인터페이스 모듈(310)은 사용자의 시작 버튼 조작에 의해 증강 현실 게임 광고가 시작되거나 특정한 영상 재생 전, 특정한 게임 실행 전 또는 특정한 어플 실행 후 광고주에 의해 증강 현실 게임 광고가 시작되는 것을 인식한다.
증강 현실 광고 모듈(320)은 광고하고자 하는 제품 이미지를 증강 현실 캐릭터에 적용하는 등 증강 현실 게임 광고를 생성하고, 사용자에게 생성된 증강 현실 게임 광고를 재생하고 미션을 제공한다. 이때, 증강 현실 광고에 대한 구체적인 설명 아래 도 2 내지 도 6에 대해 보다 상세하게 설명될 것이다.
또한, 증강 현실 광고 모듈(320)은 사용자가 제공된 미션을 완료한 후 추가 광고 보기를 선택했을 때 해당 광고를 또한 증강 현실에 기반하여 제공할 수도 있다.
미션 성공 판단 모듈(330)은 증강 현실 광고 및 미션을 진행하며 사용자 조작 입력을 통해 그리고 사용자가 촬영한 영상을 처리하여 주어진 미션이 성공적으로 수행되었는지 확인한다. 이때, 미션 성공 판단 모듈(330)은 미션 성공 여부 판단 단계(S40)는 일반 진행형의 경우 사용자 조작 입력을 통해 그리고 영상 처리 수행형의 경우 사용자가 촬영한 영상을 처리하여 주어진 미션이 성공적으로 수행되었는지 확인한다. 이때, 증강 현실 광고 제공 시스템 서버(300)는 사용자가 촬영한 영상을 딥 러닝을 이용하여 스스로 학습하는 과정을 통해 기계 학습 알고리즘 등 여러 알고리즘을 기반으로 각 레이어들을 통해 영상을 좀 더 효율적이고 정확하게 분류하고 기준과 가중치 값을 설정하는 과정을 역 전파 알고리즘을 통해 스스로 보완하며 측정한 영상의 분류의 정확성을 높인다.
보다 구체적으로, 미션 성공 판단 모듈(330)은 먼저 Convolution layer, Maxpooling layer, fully Connected layer, Softmax layer의 각 층으로 구성된 회선 신경망 기술(Convolutional Neural Network, CNN)과 같은 딥 러닝 기술과 여러 이미지 인식 관련 기법 또는 알고리즘을 함께 이용하여 사용자 디바이스(100)의 영상 수단을 통해 취득된 이미지 내의 객체가 어떤 객체인지 이미지를 분류한다. 그리고 분류된 결과를 바탕으로 증강 현실 광고 모듈(320)을 통해 미션으로 주어진 조건에 맞는지에 대한 결과값을 처리한다. 이때, 미션 성공 판단 모듈(330)은 분석된 물체를 증강 현실 기술을 적용하여 화면상에 3D로 나타내고 증강 현실 광고 게임을 모바일 단말기(100) 화면에 띄워줄 수 있다.
DB 모듈(340)은 광고 게임을 진행하거나, 광고 게임을 완료했을 때 보상받을 각 사용자 디바이스(100)를 구별할 수 있는 사용자 정보 DB(341), 사용자 디바이스(100)의 화면에 띄울 증강 현실 광고 게임에 대한 정보나 각 미션을 모아 놓은 증강 현실 DB(342), 증강 현실 캐릭터에 적용될 광고에 대한 행동 및 패턴이나 정보 또는 사용자가 증강 현실 미션을 완료 하였을 때 사용자 디바이스(100)의 화면에 띄워줄 광고를 모아 놓은 광고 관련 DB(343)로 세분화되어 구성될 수 있다.
도 2는 증강 현실 광고 제공 시스템 서버가 본 발명의 바람직한 실시 예에 따라 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 방법을 수행하는 과정을 나타내는 흐름도이다.
도 2를 참조하면, 본 발명의 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법은 대기 단계(S10), 증강 현실 게임 광고 시작 인식 단계(S20), 증강 현실 게임 광고 및 미션 진행 단계(S30), 미션 성공 여부 판단 단계(S40), 보상 부여 단계(S50) 및 임의로, 추가 광고 재생 단계(S60)를 포함한다.
대기 단계(S10)는 사용자 디바이스(100)에서 본 발명에 따른 증강 현실 게임 광고 제공 어플리케이션이 실행되거나 사용자 디바이스(100) 상에 증강 현실 게임 광고가 로딩되었으나 시작되기 전 단계를 나타낸다. 해당 단계(S10)에서 증강 현실 광고 제공 시스템 서버(300)는 첫째, 사용자 디바이스(100)가 시스템 서버(300)에 정상적으로 접속되었는지 그리고 사용자 디바이스(100) 및 시스템 서버(300)가 통신 네트워크(200)를 통해 정상적으로 연동되었는지 확인하고, 또한 둘째, 사용자 디바이스(100)를 이용하는 사용자의 신원을 확인한다. 해당 단계(S10)에서 상기한 두 가지 조건을 만족하지 못한다면 에러 메시지 출력할 수 있다.
증강 현실 게임 광고 시작 인식 단계(S20)는 증강 현실 광고 제공 시스템 서버(300)가 사용자의 시작 버튼 조작에 의해 증강 현실 게임 광고가 시작되거나 특정한 영상 재생 전, 특정한 게임 실행 전 또는 특정한 어플 실행 후 광고주에 의해 증강 현실 게임 광고가 시작되는 것을 인식하는 단계이다. 해당 단계(S20)에서 증강 현실 게임 광고 시작이 인식되면 시스템 서버(300)는 통신 네트워크(200)를 통해 증강 현실 게임 광고를 시작하기 위한 초기화 작업 기본적인 게임 환경 구성할 수 있다.
증강 현실 게임 광고 및 미션 진행 단계(S30)는 증강 현실 게임 광고 생성 단계(S31) 및 증강 현실 게임 광고 재생 및 미션 제공 단계(S32)를 포함한다.
증강 현실 게임 광고 생성 단계(S31)는 광고하고자 하는 제품 이미지를 증강 현실 캐릭터에 적용하는 등 증강 현실 게임 광고를 생성하는 단계이다. 이때 증강 현실로 만들어진 게임 광고 내용, 게임 광고 내에 등장하는 개체 및 캐릭터는 대체로 광고와 관련된 것으로서 이미 광고의 성격을 띠고 있을 수 있다.
증강 현실 게임 광고 재생 및 미션 제공 단계(S32)는 증강 현실 게임 광고 생성 단계(S31)에서 생성된 증강 현실 게임 광고를 재생하고 미션을 제공하는 단계이다. 이때 증강 현실 게임 광고는 일반 진행형, 영상 처리 수행형 등을 포함할 수 있다.
일반 진행형 증강 현실 게임 광고는 도 3 내지 도 6과 같이 사용자 디바이스(100)의 화면 터치 등 사용자 조작으로 간단히 수행할 수 있는 미션을 나타낸다. 보다 구체적으로, 일반 진행형 증강 현실 게임 광고는 사용자가 게임 아이템을 무료로 얻기를 원하거나 게임 아이템을 구매할 수 있는 재화를 무료로 얻기 위해 본 발명의 증강 현실 게임 광고를 이용하려는 경우로서 먼저 도 3과 같이 초기 화면이 제시된다. 다음 도 4는 사용자가 원하는 게임 아이템을 보상으로 선택한 후 증간 현실 게임 광고의 게임 및 미션을 시작하려는 모습을 나타내는 화면이다. 도 5는 사용자에게 일반 진행형 미션을 제공하고 사용자가 주어진 미션을 어떤 방식으로 수행해 나갈 수 있는지를 설명하는 화면이다. 화면 오른쪽 하단과 같이 사용자가 증강 현실 광고 게임의 미션을 성공시키면 얻을 수 있는 아이템이나 재화를 표시해 줄 수 있다. 도 6은 일반 진행형 증강 현실 게임이 어떻게 진행되는지와 광고 요소에 어떤 것들이 있는지 설명하는 화면이다. 사용자 디바이스 상단에 사용자가 취해야 할 액션이 주어지고 게임에 등장하는 모든 요소는 3D 증강 현실에 기반할 수 있다. 그 중 임의의 또는 모든 요소는 광고를 맡긴 광고주의 특징을 나타내는 간접 광고 모델이 될 수도 있다. 따라서, 사용자는 미션을 진행하면서 사용자는 자연스럽게 해당 제품에 관한 광고를 접하게 된다.
다음으로, 영상 처리 수행형 증강 현실 게임 광고는 사용자 디바이스(100)에 부착되어 있는 영상 수단, 이를테면 카메라를 통해 매번 다양한 모델을 촬영하라는 미션 등 카메라를 통해 획득된 영상을 통해 수행할 수 있는 미션을 나타낸다. 이러한 영상 처리 수행형 증강 현실 게임 광고는 종래 발명과 달리 사용자의 위치 정보를 기준으로 삼지 않고 즉, 사용자의 지리적 위치에 구애받지 않고 사용자에게 광고하고자 하는 제품의 광고를 제공할 수 있고, 사용자가 주변 어디에나 흔히 있을 자연, 구조물 또는 기타 모델(예를 들어, 로고, 표식 등)을 이용하여 미션을 수행하게 함으로써 사용자에게 광고하고자 하는 제품의 광고 효과를 높일 수 있다.
미션 성공 여부 판단 단계(S40)는 일반 진행형의 경우 사용자 조작 입력을 통해 그리고 영상 처리 수행형의 경우 사용자가 촬영한 영상을 처리하여 주어진 미션이 성공적으로 수행되었는지 확인한다. 이때, 증강 현실 광고 제공 시스템 서버(300)는 사용자가 촬영한 영상을 딥 러닝을 이용하여 스스로 학습하는 과정을 통해 기계 학습 알고리즘 등 여러 알고리즘을 기반으로 각 레이어들을 통해 영상을 좀 더 효율적이고 정확하게 분류하고 기준과 가중치 값을 설정하는 과정을 역 전파 알고리즘을 통해 스스로 보완하며 측정한 영상의 분류의 정확성을 높인다. 이렇게 촬영한 영상을 처리하는 것에 대한 보다 구체적인 설명은 도 1에 대한 설명과 같다.
단계 S40 결과 미션 성공 시, 보상 부여 단계(S50)가 진행된다. 이때, 보상 부여 단계(S50)는 사용자들에게 미션을 성공한 것에 대한 적절한 보상으로서, 예를 들어, 영상 재생 또는 영상 재생 가능한 포인트, 게임 아이템 또는 게임 아이템을 구매할 수 있는 재화 또는 어플 추가 기능 실행 가능한 권한을 부여할 수 있다.
단계 S40 결과 미션 실패 시, 임의로, 미션 재도전 확인 단계(S60)가 진행된다. 사용자가 미션 재도전 시, 상기 단계(S30)로 복귀하고, 미션 재도전 거부 시, 본 방법은 종료된다.
그리고, 임의로, 추가 광고 재생 단계(S70)가 진행될 수 있다. 해당 단계(S70)에서는 사용자가 수행한 미션에 해당하는 추가 광고를 재생할 수 있고, 또한 임의로, 광고 재생 완료 후 보상 부여 단계(S80)가 진행될 수 있다.
도 7은 사용자가 증강 현실 게임 광고의 미션을 성공시켰을 때를 설명하는 화면이다. 사용자가 주어진 광고 게임을 성공시켜, 광고 게임 시작 전 선택한 보상이 주어질 것임을 사용자에게 안내하고 추가 광고 시청을 안내 및 유도한 후 사용자에게 여부를 선택하게 한다. 추가 광고 시청을 선택하면 사용자는 추가 광고 시청을 한 뒤 추가 보상을 얻을 수 있고, 추가 광고 시청을 포기하면 사용자는 광고 게임을 종료하고 본 영상, 게임 또는 어플리케이션으로 돌아가게 된다.
도 8은 사용자가 추가 광고 시청을 선택한 후의 결과를 설명하는 화면이다. 사용자가 추가 광고 시청을 선택하여 광고 시청을 모두 끝마치면, 앞서 광고 게임에서 획득한 보상과 추가 광고 시청에 따른 추가 보상이 주어졌음을 사용자에게 알리고 모든 상황을 종료하고 본 영상, 게임 또는 어플리케이션으로 돌아가게 된다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
100 : 사용자 디바이스
200 : 통신 네트워크
300 : 증강 현실 광고 제공 시스템 서버
310 : 통신 인터페이스 모듈
320 : 증강 현실 광고 모듈
330 : 미션 성공 판단 모듈
340 : DB 모듈
341 : 사용자 정보 DB
342 : 증강 현실 DB
343 : 광고 관련 DB

Claims (4)

  1. 사용자의 시작 버튼 조작 또는 광고주에 의해 증강 현실 게임이 시작되는 것을 인식하는 통신 인터페이스 모듈,
    광고하고자 하는 제품에 대한 증강 현실 게임 광고를 생성하고, 상기 증강 현실 게임 광고를 재생하며, 상기 증강 현실 게임 광고 내에 미션을 제공하는 증강 현실 광고 모듈 및
    상기 사용자가 조작한 또는 상기 사용자가 촬영한 영상을 처리하여 주어진 상기 미션이 성공적으로 수행되었는지 확인하고, 미션 성공 시, 상기 사용자에게 미션 성공에 대한 적절한 보상을 제공하는 미션 성공 확인 모듈을 포함하는, 증강 현실 광고 제공 시스템.
  2. 청구항 1에서,
    상기 미션 성공 확인 모듈은 상기 사용자가 조작한 또는 상기 사용자가 촬영한 영상 내 객체를 딥 러닝 기술을 이용하여 분류하고 분류된 결과를 바탕으로 상기 증강 현실 광고 모듈을 통해 미션으로 주어진 조건에 맞는지에 대한 결과값을 처리하는, 증강 현실 광고 제공 시스템.
  3. 사용자의 시작 버튼 조작 또는 광고주에 의해 증강 현실 게임이 시작되는 것을 인식하는 단계,
    광고하고자 하는 제품에 대한 증강 현실 게임 광고를 생성하는 단계,
    상기 증강 현실 게임 광고를 재생하고 상기 증강 현실 게임 광고 내에 미션을 제공하는 단계,
    상기 사용자가 조작한 또는 상기 사용자가 촬영한 영상을 처리하여 주어진 상기 미션이 성공적으로 수행되었는지 확인하는 단계 및
    확인 결과 미션 성공 시, 상기 사용자에게 미션 성공에 대한 적절한 보상을 제공하는 단계를 포함하는, 증강 현실 광고 제공 방법.
  4. 청구항 3에서,
    상기 미션이 성공적으로 수행되었는지 확인하는 단계는 상기 사용자가 조작한 또는 상기 사용자가 촬영한 영상 내 객체를 딥 러닝 기술을 이용하여 분류하고 분류된 결과를 바탕으로 상기 증강 현실 광고를 통해 미션으로 주어진 조건에 맞는지에 대한 결과값을 처리하는 단계를 포함하는, 증강 현실 광고 제공 방법.
KR1020170114887A 2017-09-08 2017-09-08 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법 KR20190028015A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170114887A KR20190028015A (ko) 2017-09-08 2017-09-08 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170114887A KR20190028015A (ko) 2017-09-08 2017-09-08 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20190028015A true KR20190028015A (ko) 2019-03-18

Family

ID=65948929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170114887A KR20190028015A (ko) 2017-09-08 2017-09-08 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20190028015A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210060970A (ko) * 2019-11-19 2021-05-27 주식회사 코이노 인공지능 기반 온오프라인 연결 사용자 인터랙션을 제공하는 사이니지 통합 관리 시스템 및 그 방법
CN115099866A (zh) * 2022-07-07 2022-09-23 悦诚智慧(厦门)科技有限公司 一种基于ai眼镜的广告投放系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100132992A (ko) 2008-03-31 2010-12-20 퀄컴 인코포레이티드 스위치 모드 전력 공급기의 동적 주파수 스케일링

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100132992A (ko) 2008-03-31 2010-12-20 퀄컴 인코포레이티드 스위치 모드 전력 공급기의 동적 주파수 스케일링

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210060970A (ko) * 2019-11-19 2021-05-27 주식회사 코이노 인공지능 기반 온오프라인 연결 사용자 인터랙션을 제공하는 사이니지 통합 관리 시스템 및 그 방법
CN115099866A (zh) * 2022-07-07 2022-09-23 悦诚智慧(厦门)科技有限公司 一种基于ai眼镜的广告投放系统

Similar Documents

Publication Publication Date Title
CN107977834B (zh) 一种虚拟现实/增强现实空间环境中的数据对象交互方法及装置
US10133951B1 (en) Fusion of bounding regions
US11551424B2 (en) Interaction analysis systems and methods
CN102722517B (zh) 用于观看者选择的视频对象的增强信息
US8209240B2 (en) Method, apparatus, and computer readable recording medium for acquiring information on products attached to person in image data
CN103760968B (zh) 数字标牌显示内容选择方法和装置
US11670055B1 (en) Facial expression tracking during augmented and virtual reality sessions
CN102165404B (zh) 物体检测与用户设置
US20140079281A1 (en) Augmented reality creation and consumption
US10373348B2 (en) Image processing apparatus, image processing system, and program
US20140078174A1 (en) Augmented reality creation and consumption
KR20130136557A (ko) 개인화된 광고 선택 시스템 및 방법
KR20130136574A (ko) 개인 맞춤형 프로그램 선택 시스템 및 방법
US10672055B2 (en) Method and system for presenting personalized products based on digital signage for electronic commerce
US10635280B2 (en) Interactive interfaces for generating annotation information
US9589296B1 (en) Managing information for items referenced in media content
EP3285222A1 (en) Facilitating television based interaction with social networking tools
US10939143B2 (en) System and method for dynamically creating and inserting immersive promotional content in a multimedia
US11468571B2 (en) Apparatus and method for generating image
US20110153431A1 (en) Apparatus and method for targeted advertising based on image of passerby
KR20190028015A (ko) 딥 러닝 기반 영상 처리를 이용한 증강 현실 광고 제공 시스템 및 방법
KR20170078771A (ko) 어플리케이션에 대한 이미지들의 자동 선택
KR20210083551A (ko) 실시간 적응형 동영상 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램
KR102497411B1 (ko) 네일아트 서비스 제공 방법 및 네일아트 서비스 제공 시스템
Wang et al. Photo stand-out: Photography with virtual character

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application
E801 Decision on dismissal of amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment