KR102057227B1 - 증강현실 기반 자동 이미지 분할, ｇｐｓ 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템 및 방법 - Google Patents

Abstract

증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템이 제공되며, 적어도 하나의 광고주 단말로부터 실시간 리워드 광고에 이용될 AR 이미지를 등록받고, AR 이벤트가 발생할 지역의 범위, 참여자수, 기간 및 제한시간을 설정받고, AR 이벤트에 당첨된 경우 지급될 상품의 이미지 및 수량을 등록받는 광고 관리 서버, 광고 관리 서버로부터 수신된 AR 이벤트 및 AR 이미지와, AR 이벤트가 발생할 지역의 범위를 GPS 좌표로 변환하여 업로드하는 업로드부, 사용자 단말로부터 선택된 AR 이벤트 및 위치를 수집하는 수집부, 수집된 AR 이벤트 및 위치에 대응하도록 AR 이미지를 자동분할하는 분할부, 자동분할된 AR 이미지를 AR 이벤트가 발생할 지역인 지정 구간 내에 랜덤하게 배포하는 배포부, 사용자 단말로 분할된 AR 이미지의 위치 및 식별자를 전송하는 전송부, 사용자 단말로부터 분할된 AR 이미지의 GPS 좌표값이 리턴되는 경우 유효성 검사 후 분할된 AR 이미지의 GPS 좌표값, 식별자 및 사용자 단말을 로그로 저장하는 저장부, 사용자 단말에서 분할된 AR 이미지를 모두 획득한 경우 당첨자로 선정하는 선정부를 포함하는 실시간 리워드 광고 서비스 제공 서버를 포함한다.

Description

증강현실 기반 자동 이미지 분할, ＧＰＳ 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING AUGMENTED REALITY BASED REAL-TIME REWARD COMMERCIAL SERVICE USING AUTO IMAGE SEGMENTATION, GPS AND BEACON}

본 발명은 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법에 관한 것으로, 영역분할 또는 객체분할된 AR 이미지를 랜덤분산시키고 분할된 AR 이미지 위치를 AR 레이더로 안내하며 모든 AR 이미지를 수집한 경우 광고영상을 출력하며 상품을 제공하는 방법을 제공한다.

가상현실(Virtual Reality) 실용화 원년으로 기대를 모았던 2016년은 알파고와 포케몬고를 통해 인공지능과 증강현실(Augmented Reality)이 부활한 첫 해로, 특히 7월 초에 발표한 포케몬고는 불과 2주만에 이용시간 기준 트위터, 인스타그램, 페이스북 등 대표적인 소셜미디어 서비스를 앞서는 신기록을 세우며 전 세대가 함께 즐기는 위치기반 AR 게임으로 자리매김하였다. 최근의 시장전망 보고서들은 2020년을 증강현실 확산의 해로 예상하고 있으며, 가상과 현실의 벽을 허무는 증강현실은 사물인터넷, 빅데이터, 인공지능 등의 관련 기술과 함께 4차 산업혁명을 주도할 핵심기술이자 새로운 미디어로 떠오를 것으로 기대하고 있다.

이때, 증강현실과 광고가 결합된 방법이 연구 및 개발되었는데, 이와 관련하여 선행기술인 한국공개특허 제2012-0071444호(2012년07월03일 공개)에는, 수신된 위치 정보를 기준으로 검색 범위를 설정하고 검색 범위에 포함되는 후보 데이터를 선별하며, 수신된 영상 정보에서 특징점을 추출한 후 후보 데이터 중 특징점과 일치하는 지역 정보를 추출하여 전송하는 영상 인식 매칭 장치, 특징점에 해당하는 광고 정보가 있는 경우 광고 정보를 전송하는 광고 제공 장치, 및 위치 정보 및 획득한 영상 정보를 전송하고, 이에 대응하는 지역 정보 및 광고 정보를 수신한 후 특징점에 지역 정보 및 광고 정보 중 적어도 하나 이상의 정보 오버레이되어 나타나도록 하는 단말기의 구성을 개시한다.

다만, 상술한 방법은 전술된 포켓몬고 및 특징점 추출과 동일한 공지기술일 뿐, 새로운 증강현실 광고 방법이 아니다. 특징점이나 GPS 좌표를 증강현실 콘텐츠의 출력기준으로 설정하는 경우, 선행 게이머의 소셜 피드 등으로 증강현실 콘텐츠가 출몰하는 장소가 노출되어 모험요소 및 펀(Fun) 요소가 반감될 수 밖에는 없다. 또한, 일정한 위치에서 광고를 단순히 출력하는 것 뿐만 아니라, 광고를 찾아 상품을 획득하는 보물찾기와 같은 흥미요소를 제공하고, 하나의 보물찾기로 종료되는 것이 아니라 각 조각을 맞추어 하나의 이미지를 완성해나갈 수 있는 퀘스트 기반 리워드 광고는 전무한 것이 현 실정이다.

본 발명의 일 실시예는, AR 이미지를 객체분리 또는 영역분할을 통해 자동분할하고, 분할된 AR 이미지를 기 설정된 위치에 랜덤하게 배포하되 GPS 좌표값을 기 설정된 주기 또는 시각에 변경하여 선행 사용자가 위치를 알더라도 분할된 AR 이미지의 위치가 노출되지 않도록 하며, 분할된 AR 이미지의 위치, 거리, 및 방향을 레이더 표시처럼 출력하되, 분할된 AR 이미지에 근접하는 경우 분할된 AR 이미지가 영상으로 전환되어 디스플레이되고, 분할된 AR 이미지를 모두 수집하는 경우 자동으로 광고 영상이 재생되고 재생이 완료된 경우 상품을 획득하도록 하며, 실내에서는 비콘의 수신신호를 이용하여 사용자 단말의 위치, 이동경로 및 장소에 머문 시간 등을 수집하여 빅데이터를 구축함으로써 리마케팅에 이용하도록 하는, 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 적어도 하나의 광고주 단말로부터 실시간 리워드 광고에 이용될 AR 이미지를 등록받고, AR 이벤트가 발생할 지역의 범위, 참여자수, 기간 및 제한시간을 설정받고, AR 이벤트에 당첨된 경우 지급될 상품의 이미지 및 수량을 등록받는 광고 관리 서버, 광고 관리 서버로부터 수신된 AR 이벤트 및 AR 이미지와, AR 이벤트가 발생할 지역의 범위를 GPS 좌표로 변환하여 업로드하는 업로드부, 사용자 단말로부터 선택된 AR 이벤트 및 위치를 수집하는 수집부, 수집된 AR 이벤트 및 위치에 대응하도록 AR 이미지를 자동분할하는 분할부, 자동분할된 AR 이미지를 AR 이벤트가 발생할 지역인 지정 구간 내에 랜덤하게 배포하는 배포부, 사용자 단말로 분할된 AR 이미지의 위치 및 식별자를 전송하는 전송부, 사용자 단말로부터 분할된 AR 이미지의 GPS 좌표값이 리턴되는 경우 유효성 검사 후 분할된 AR 이미지의 GPS 좌표값, 식별자 및 사용자 단말을 로그로 저장하는 저장부, 사용자 단말에서 분할된 AR 이미지를 모두 획득한 경우 당첨자로 선정하는 선정부를 포함하는 실시간 리워드 광고 서비스 제공 서버를 포함한다.

본 발명의 또 다른 실시예는, 적어도 하나의 광고주 단말로부터 실시간 리워드 광고에 이용될 AR 이미지를 등록받고, AR 이벤트가 발생할 지역의 범위, 참여자수, 기간 및 제한시간을 설정받는 단계, AR 이벤트 및 AR 이미지와, AR 이벤트가 발생할 지역의 범위를 GPS 좌표로 변환하여 업로드하는 단계, 사용자 단말로부터 선택된 AR 이벤트 및 위치를 수집하고, AR 이벤트 및 위치에 대응하도록 AR 이미지를 자동분할하여 AR 이벤트가 발생할 지역인 지정 구간 내에 랜덤하게 배포하는 단계, 사용자 단말로 분할된 AR 이미지의 위치 및 식별자를 전송하고, 사용자 단말로부터 분할된 AR 이미지의 GPS 좌표값이 리턴되는 경우 유효성 검사 후 분할된 AR 이미지의 GPS 좌표값, 식별자 및 사용자 단말을 로그로 저장하는 단계, 및 사용자 단말에서 분할된 AR 이미지를 모두 획득한 경우 당첨자로 선정하는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, AR 이미지를 객체분리 또는 영역분할을 통해 자동분할하고, 분할된 AR 이미지를 기 설정된 위치에 랜덤하게 배포하되 GPS 좌표값을 기 설정된 주기 또는 시각에 변경하여 선행 사용자가 위치를 알더라도 분할된 AR 이미지의 위치가 노출되지 않도록 하며, 분할된 AR 이미지의 위치, 거리, 및 방향을 레이더 표시처럼 출력하되, 분할된 AR 이미지에 근접하는 경우 분할된 AR 이미지가 영상으로 전환되어 디스플레이되고, 분할된 AR 이미지를 모두 수집하는 경우 자동으로 광고 영상이 재생되고 재생이 완료된 경우 상품을 획득하도록 하며, 실내에서는 비콘의 수신신호를 이용하여 사용자 단말의 위치, 이동경로 및 장소에 머문 시간 등을 수집하여 빅데이터를 구축함으로써 리마케팅에 이용하도록 한다.

도 1은 본 발명의 일 실시예에 따른 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 실시간 리워드 광고 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스가 실외에서 GPS로 구현된 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스가 실내에서 비콘으로 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 도 1의 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 실시간 리워드 광고 서비스 제공 서버(300), 적어도 하나의 광고주 단말(400), 적어도 하나의 광고 관리 서버(500), 비콘(600), 및 관리자 단말(미도시)을 포함할 수 있다. 다만, 이러한 도 1의 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 실시간 리워드 광고 서비스 제공 서버(300) 및 비콘(600)과 연결될 수 있다. 그리고, 실시간 리워드 광고 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 광고주 단말(400), 적어도 하나의 광고 관리 서버(500), 및 관리자 단말과 연결될 수 있다. 또한, 적어도 하나의 광고주 단말(400)은, 네트워크(200)를 통하여 실시간 리워드 광고 서비스 제공 서버(300) 또는 광고 관리 서버(500)와 연결될 수 있다. 그리고, 적어도 하나의 광고 관리 서버(500)는, 네트워크(200)를 통하여 실시간 리워드 광고 서비스 제공 서버(300) 및 적어도 하나의 광고주 단말(400)과 연결될 수 있다. 비콘(600)은, 적어도 하나의 사용자 단말(100)과 네트워크(200)를 통하여 연결될 수 있다. 마지막으로, 관리자 단말은, 네트워크(200)를 통하여 사용자 단말(100), 광고주 단말(400), 실시간 리워드 광고 서비스 제공 서버(300), 적어도 하나의 광고 관리 서버(500)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5th Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 AR 이벤트를 선택하고, 분할된 AR 이미지를 수집하여 AR 광고 콘텐츠를 AR, VR 또는 동영상 등으로 출력하는 단말일 수 있다. 그리고, 적어도 하나의 사용자 단말(100)은, 분할된 AR 이미지를 수집할 때 AR 레이더 인터페이스를 이용하여 자신의 위치를 중심으로 원형으로 형성된 레이더망 내에 분할된 AR 이미지의 방향 및 위치를 출력하는 단말일 수 있다. 또한, 적어도 하나의 사용자 단말(100)은, 분할된 AR 이미지와 기 설정된 거리 내에 위치하는 경우, 등록된 AR 이미지가 기 등록된 AR 영상 또는 이미지로 자동전환되어 디스플레이되는 단말일 수 있다. 그리고, 적어도 하나의 사용자 단말(100)은, 분할된 AR 이미지를 모두 모은 경우, AR 이벤트를 등록한 광고주의 광고 콘텐츠를 디스플레이하는 단말일 수 있고, 분할된 AR 이미지를 모두 모은 시각 또는 분할된 AR 이미지에 매핑된 점수가 높은 순서대로 순위가 부여되어 상품을 획득하는 단말일 수 있다. 이를 위하여, 적어도 하나의 사용자 단말(100)은 AR 이벤트가 실외 이벤트인 경우 GPS 좌표를 실시간 리워드 광고 서비스 제공 서버(300)와 공유하거나, 비콘(600)으로부터 출력된 신호를 실시간 리워드 광고 서비스 제공 서버(300)로 공유하는 단말일 수 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

실시간 리워드 광고 서비스 제공 서버(300)는, 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 실시간 리워드 광고 서비스 제공 서버(300)는, 광고 관리 서버(500)와 일체로 형성될 수도 있으나 분리되는 것을 배제하는 것은 아니다. 이때, 실시간 리워드 광고 서비스 제공 서버(300)는, 광고 관리 서버(500)로부터 광고주 단말(400)의 AR 이벤트 신청 데이터, 예를 들어, AR 이미지, 지역, 참여자수, 기간, 제한시간, 상품수량, 종류 및 이미지 등의 데이터를 수신하고 이를 관리자 단말에서 검수하도록 하는 서버일 수 있다. 그리고, 실시간 리워드 광고 서비스 제공 서버(300)는, 광고주 단말(400)에서 등록한 GPS 좌표를 실제 GPS 좌표와 대조하고, 검증을 수행한 후 검수 및 검증이 완료되면 AR 이벤트를 업로드하여 일반 사용자가 이용할 수 있도록 하는 서버일 수 있다. 그리고, 실시간 리워드 광고 서비스 제공 서버(300)는, 사용자 단말(100)에서 AR 이벤트의 종류를 선택하고, 자신의 위치를 GPS 또는 비콘으로 공유하는 경우, 선택된 AR 이벤트에 포함된 AR 이미지 내의 적어도 하나의 피사체인 객체를 분리 및 분할하여 기 설정된 구간 내에 랜덤으로 배포하는 서버일 수 있다. 또한, 실시간 리워드 광고 서비스 제공 서버(300)는, 참여제한시간을 활성화하여 카운팅을 시작하고 기 설정된 주기 또는 시각에 분할된 AR 이미지의 GPS 좌표를 변경하는 서버일 수 잇다. 그리고, 실시간 리워드 광고 서비스 제공 서버(300)는, 분할된 AR 이미지의 좌표 및 식별자(ID)를 사용자 단말(100)로 전송하고, 사용자 단말(100)에서 AR 레이더 인터페이스를 통하여 분할된 AR 이미지의 방향, 위치 및 거리를 출력하도록 하는 서버일 수 있다. 또한, 실시간 리워드 광고 서비스 제공 서버(300)는, 사용자 단말(100)에서 분할된 AR 이미지의 GPS 좌표값에 도달한 경우, AR 이미지를 증강현실 카메라를 구동시켜 디스플레이되도록 제어하는 서버일 수 있고, 사용자 단말(100)에서 분할된 AR 이미지를 찾은 경우, GPS 좌표값 및 식별자를 이용하여 유효성 검사를 실시한 후 로그를 저장하는 서버일 수 있다. 그리고, 실시간 리워드 광고 서비스 제공 서버(300)는, 사용자 단말(100)에서 모든 분할된 AR 이미지를 찾아서 전체 AR 이미지를 완성한 경우, 완성한 시간순 또는 AR 이미지에 매핑되어 저장된 점수가 높은 것을 먼저 찾은 순 등으로 참여자의 순위를 정렬하고 사용자 단말(100)의 순위를 사용자 단말(100) 및 광고 관리 서버(500)로 전송하는 서버일 수 있다.

여기서, 실시간 리워드 광고 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 광고주 단말(400)은, 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 광고주의 단말일 수 있다. 이때, 적어도 하나의 광고주 단말(400)은 AR 이벤트가 발생될 위치, 참여자수, 제한시간, 이벤트 상품 종류, 이미지 및 수량 등의 정보를 입력하는 방식으로 AR 이벤트를 광고 관리 서버(500)로 등록하는 단말일 수 있다. 이때, 적어도 하나의 광고주 단말(400)은 AR 이미지를 등록할 때, 어떻게 분할이 될 것인지, 즉 하나의 AR 이미지 내에 포함된 적어도 하나의 피사체를 AR 이미지로부터 분리되는 방식으로 분할을 할 것인지, 퍼즐맞추기와 같이 AR 이미지 자체를 분할할 것인지 등을 선택하는 단말일 수 있다. 그리고, 적어도 하나의 광고주 단말(400)은, 전자의 경우를 선택한 경우 어떠한 피사체인 객체를 AR 이미지로부터 분리할 것인지를 선택하는 단말일 수 있다. 또한, 적어도 하나의 광고주 단말(400)은, AR 이벤트가 종료된 후 그 결과를 보고서로 수신하는 단말일 수 있고, 실내에서 AR 이벤트가 열린 경우 사용자 단말(100)의 이동경로 및 머문 장소와 시간 등을 통하여 분석된 빅데이터를 실시간 리워드 광고 서비스 제공 서버(300)로부터 수신하는 단말일 수 있다.

여기서, 적어도 하나의 광고주 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 광고주 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 광고주 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

적어도 하나의 광고 관리 서버(500)는, 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 적어도 하나의 광고주 단말(400)과 실시간 리워드 광고 서비스 제공 서버(300)를 연결하여 주는 역할을 수행하는 서버일 수 있다. 다만, 상술한 바와 같이 적어도 하나의 광고 관리 서버(500)는, 실시간 리워드 광고 서비스 제공 서버(300)와 일체로 구현되는 경우 삭제가능하다. 여기서, 적어도 하나의 광고 관리 서버(500)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

비콘(Beacon, 600)은, 근거리에 존재하는 스마트 기기, 예를 들어 사용자 단말(100)을 자동으로 인식하여 GPS가 수신되지 않는 구역에서, 스마트 기기의 위치 데이터를 스마트 기기로 전송하기 위하여 구비되는 무선통신장치일 수 있다. 여기서, 사용자의 위치를 찾기 위한 방법은 삼변측량(Trilateration), 삼각측량(Triangulation), 핑거프린팅(Fingerprinting), 확장칼만필터(Extended Kalman Filter)의 방법 등이 이용될 수 있으나 이에 한정되지는 않는다. 여기서, 삼변측량이란 삼각망에서 변의 길이를 관측하여 삼각점의 위치를 구하는 측량법이고, 삼각측량은 변의 길이 대신 한 변의 길이와 두 각의 정보를 이용해 삼각점의 위치를 측량하는 방법이다. 핑거프린팅은 경험적인 데이터에 기반 한 방법으로써 먼저 위치를 측정하고자 하는 지역을 셀 형태로 나누어 각 셀에 대한 신호 값을 조사하여 저장해 놓은 다음 실제 측위 시 저장된 값과 비교하여 위치를 결정하는 방법이다. 칼만 필터는 최소자승법을 이용해서 실시간으로 잡음 운동 방정식을 가진 시간에 따른 방향을 추적하는 효율적인 재귀 계산법인데, 구조가 정해진 실내에서는 선형보간법을 이용해 사람들의 동선을 추측하여 보여주는 방법이 이용될 수도 있다. 선형보간법(linear interpolation)은 끝점의 값이 주어졌을 때 그 사이에 위치한 값을 추정하기 위하여 직선거리에 따라 선형적으로 계산하는 방법으로 두 비콘(600) 사이의 위치정보를 파악한 후 사용자의 위치를 시간단위로 추측하는 방법이다. 상술한 방법 이외에도, 비콘(600)으로 사용자의 위치를 정확하게 파악할 수 있도록, RSSI(Received Signal Strength Indicator)를 높일 수 있는 방법이 더 이용될 수 있으며 상술한 방법에 한정되는 것은 아니다.

관리자 단말은, 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 적어도 하나의 광고주 단말(400)에서 등록한 AR 이벤트 내의 AR 이미지, GPS 좌표값 등을 검수하는 단말일 수 있다. 그리고, 관리자 단말은, 검수 및 검증이 완료된 경우 이를 실시간 리워드 광고 서비스 제공 서버(300)에 업로드하는 단말일 수 있다. 여기서, AR 이벤트가 업로드되는 서버는, 실시간 리워드 광고 서비스 제공 서버(300)와 별개로 구현될 수 있으나, 통합되어 구현되는 것을 배제하는 것은 아니다.

여기서, 관리자 단말은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 관리자 단말은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 관리자 단말은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 실시간 리워드 광고 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스가 실외에서 GPS로 구현된 일 실시예를 설명하기 위한 도면이고, 도 4는 본 발명의 일 실시예에 따른 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스가 실내에서 비콘으로 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 실시간 리워드 광고 서비스 제공 서버(300)는, 업로드부(310), 수집부(320), 분할부(330), 배포부(340), 전송부(350), 저장부(360), 선정부(370), 변경부(380), 결과보고부(390), 대체부(391), 빅데이터화부(393)를 포함할 수 있다.

본 발명의 일 실시예에 따른 실시간 리워드 광고 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100), 적어도 하나의 광고주 단말(400), 및 적어도 하나의 광고 관리 서버(500)로 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100), 적어도 하나의 광고주 단말(400), 및 적어도 하나의 광고 관리 서버(500)는, 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100), 적어도 하나의 광고주 단말(400), 및 적어도 하나의 광고 관리 서버(500)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.

도 2를 참조하면, 업로드부(310)는, 광고 관리 서버(500)로부터 수신된 AR 이벤트 및 AR 이미지와, AR 이벤트가 발생할 지역의 범위를 GPS 좌표로 변환하여 업로드할 수 있다. 이를 위해, 광고 관리 서버(500)는, 적어도 하나의 광고주 단말(400)로부터 실시간 리워드 광고에 이용될 AR 이미지를 등록받고, AR 이벤트가 발생할 지역의 범위, 참여자수, 기간 및 제한시간을 설정받고, AR 이벤트에 당첨된 경우 지급될 상품의 이미지 및 수량을 등록받으며, 이를 업로드부(310)로 리턴하게 된다. 여기서, 상술한 바와 같이, 광고 관리 서버(500)가 실시간 리워드 광고 서비스 제공 서버(300)와 일체로 형성되는 경우, 광고 관리 서버(500)에서 수행되는 구성들은 실시간 리워드 광고 서비스 제공 서버(300)에서 수행될 수 있음은 상술한 바와 같다. 또한, 업로드부(310)는, AR 이벤트를 업로드하기 이전에 광고주 단말(400)에서 지정한 위치나 GPS 좌표 등이 해당 위치의 GPS 좌표와 일치하는지 등의 검수를 관리자 단말에서 실시한 후 업로드하도록 할 수 있다. 또한, 업로드부(310)는, AR 이미지가 어떻게 분할될 것인지, 분할된 후 AR 이미지는 어떠한 식별자(ID)를 부여할 것인지 등을 미리 매핑하여 저장한 후 업로드할 수 있고, 이는 이후에 사용자 단말(100)에서 어떠한 AR 이미지를 찾았는지를 확인할 때 사용될 수 있다.

수집부(320)는, 사용자 단말(100)로부터 선택된 AR 이벤트 및 위치를 수집할 수 있다. 사용자 단말(100)에서는 AR 이벤트의 종류를 선택할 수 있다. 예를 들어, 스타벅스, 이마트, 롯데월드, 본죽 등이 이벤트를 하고 있다면, 이 중에 어느 하나, 예를 들어 스타벅스를 선택할 수 있다. 여기서, 위치를 수집하는 이유는 어느 특정 장소에서만 AR 이벤트가 열리고 있기 때문이다. 따라서, 사용자 단말(100)에서 출력되는 AR 이벤트의 종류는, 사용자 단말(100)의 위치에서 실행가능한 AR 이벤트일 수 있다. 예를 들어, 사용자가 잠실에 위치하고, 잠실에서 스타벅스, 이마트, 롯데월드, 본죽 등이 AR 이벤트의 위치로 설정되었다고 가정하면, 사용자가 선택할 수 있는 AR 이벤트는, 스타벅스, 이마트, 롯데월드, 본죽일 것이다. 본 발명의 명세서에서 컴퓨터에서 키 스트로크 등으로 발생하는 이벤트와, 행사 등을 지칭하는 이벤트는 별개의 단어로 정의하기로 하며, 상술한 AR 이벤트의 의미는 후자의 의미이다.

분할부(330)는, 수집된 AR 이벤트 및 위치에 대응하도록 AR 이미지를 자동분할할 수 있다. 여기서, 자동분할은 각 이미지를 조각으로 분리하는 분할과, 이미지 내의 피사체를 이미지로부터 추출하는 분할이 존재할 수 있다. 전자의 경우는 퍼즐과 같이 이미지 자체가 조각으로 분리되는 것이고, 후자의 경우는 객체를 배경으로부터 분리하는 것이다. 여기서, 객체는 광고주 단말(400)에서 지정한 객체일 수도 있고, 자동으로 객체를 감지하여 배경으로부터 분리를 하는 것일 수도 있다. 후자의 경우를 예로 들면, A 이미지 내에 B,C,D,E가 피사체로 촬영되었다고 가정하면, 자동분할은 B,C,D,E를 A 이미지로부터 분리하는 것을 의미한다.

배포부(340)는, 자동분할된 AR 이미지를 AR 이벤트가 발생할 지역인 지정 구간 내에 랜덤하게 배포할 수 있다. 예를 들어, A 지역 내에 배포를 해야한다면, A 지역에 분할된 AR 이미지의 수를 일정 간격으로 랜덤하게 배치할 수도 있고, 어느 한 좌표에 몰리도록 배치할 수도 있다. 이때, 배포부(340)는, 분할된 AR 이미지의 식별자(ID)와 GPS 좌표값을 저장하여 이후 사용자 단말(100)에서 분할된 AR 이미지를 검색할 때 위치, 거리, 방향 등을 안내하는 기초값을 제공하도록 한다.

전송부(350)는, 사용자 단말(100)로 분할된 AR 이미지의 위치 및 식별자를 전송할 수 있다. 상술한 배포부(340)에서 랜덤하게 배포하여 저장한 식별자와 위치를 사용자 단말(100)로 전송함으로써, 사용자 단말(100)은 AR 레이더라는 인터페이스에서 어느 방향에 분할된 AR 이미지가 존재하는지를 파악할 수 있도록 한다. 여기서, 사용자 단말(100)은, 전송부(350)로부터 분할된 AR 이미지의 위치 및 식별자가 전송되는 경우, GPS 기반 AR 레이더를 디스플레이할 수 있다. 그리고, GPS 기반 AR 레이더는, 사용자 단말(100)의 위치를 중심점으로 기 설정된 거리 간격으로 원주가 형성되어 분할된 AR 이미지와 사용자 단말(100)의 위치 간의 거리 및 방향이 표시되는 인터페이스일 수 있다. 사용자 단말(100)이 분할된 AR 이미지에 기 설정된 거리 이내로 근접한 경우, 카메라가 활성화되어 분할된 AR 이미지가 증강현실 인터페이스로 디스플레이될 수 있다. 여기서, 카메라는 360도 카메라의 기능을 가지는 애플리케이션으로 활성화된 카메라일 수 있다.

저장부(360)는, 사용자 단말(100)로부터 분할된 AR 이미지의 GPS 좌표값이 리턴되는 경우 유효성 검사 후 분할된 AR 이미지의 GPS 좌표값, 식별자 및 사용자 단말(100)을 로그로 저장할 수 있다. 이때, 유효성 검사는 해당 좌표에서 얻은 AR 이미지가 맞는지, 해당 이미지가 맞다면 해당 GPS 좌표값이 유효한지 등을 검사하는 것이다. 여기서, GPS 좌표값은 후술될 변경부(380)에서 기 설정된 주기 또는 기 설정된 시각에 변경하므로 계속 바뀔 수 있고, 이에 따라 저장부(360)는, 해당 GPS 좌표값이 새로 변경된 좌표값이 맞는지를 확인할 수 있다.

선정부(370)는, 사용자 단말(100)에서 분할된 AR 이미지를 모두 획득한 경우 당첨자로 선정할 수 있다. 이때, 당첨자로 선정되었다고 1 등은 아니다. 즉, 모든 AR 이미지를 모은 사람이 사용자 단말(100) 이전에 존재한다면, 사용자 단말(100)의 순위는 그 이전에 존재한 당첨자의 수 + 1이 된다. 여기서, 당첨자는 먼저 모은 순, 즉 선착순일 수도 있고, 분할된 AR 이미지별로 점수가 다르게 부여되어 있다면, 점수가 큰 것을 먼저 모은 사람이 동점자를 가를 때 우선순위로 올라가도록 설정될 수도 있으며, 실시예는 다양할 수 있다. 전자의 경우에는, 선정부(370)는, 사용자 단말(100)에서 분할된 AR 이미지를 모두 획득한 경우, 참여자 내 순위를 분할된 AR 이미지를 모두 획득한 순서에 대응되도록 설정할 수 있다.

변경부(380)는, 자동분할된 AR 이미지의 GPS 좌표를 기 설정된 주기에 따라 실시간으로 변경할 수 있다. 예를 들어, AR 이벤트가 3일이고 분할된 AR 이미지의 좌표가 소셜미디어를 통하여 모두 다 밝혀졌다고 가정하면, 이후에 수행하는 사람들은 이전에 수행하는 사람들보다는 더 빨리 AR 이미지를 획득할 수 있게 된다. 이러한 경우, 모험요소 및 펀(Fun) 요소가 반감될 수 있으므로 이를 기 설정된 주기 또는 기 설정된 시각에 분할된 AR 이미지의 GPS 좌표를 변경할 수 있다. 이에 따라, 전술한 바와 같이 저장부(360)에서 해당 위치값의 유효성 검사를 하게 되는 이유가 제공된다.

결과보고부(390)는, AR 이벤트의 결과 보고서를 광고 관리 서버(500)로 업로드할 수 있다. 예를 들어, AR 이벤트의 참여자 수, 참여 후에 광고가 플레이된 수, 당첨자 수 등일 수 있으나 이에 한정되지는 않는다.

대체부(391)는, AR 이벤트가 실내에서 발생되는 경우, 기 설정된 간격으로 설치된 적어도 하나의 비콘(600)의 신호로 GPS를 대체할 수 있다. 그리고, 비콘(600)의 신호의 RSSI(Received Signal Strength Indicator)를 증가시키기 위하여 삼변측량, 맵 매칭 및 사용자 단말(100)의 적어도 하나의 센서를 이용할 수 있으나, 이에 한정되지는 않고 실시예에 따라 다양한 센서, 신호 및 알고리즘이 이용될 수 있다. 예를 들어, GPS는 실내에서 정확하지 않을 수 있으므로 비콘(600)을 기 설정된 간격으로 배치하고, 비콘(600)에서 자신의 식별코드를 송출하는 경우 사용자 단말(100)은 이를 수신하여 실시간 리워드 광고 서비스 제공 서버(300)로 토스하고, 실시간 리워드 광고 서비스 제공 서버(300)는 기 저장된 식별코드와 이에 매핑되어 저장된 좌표값을 리딩하여 다시 사용자 단말(100)로 토스하는 방식으로 사용자 단말(100)의 위치를 파악할 수 있다. 또는, 비콘(600)에서 자신의 식별코드를 송출하는 경우, 사용자 단말(100)은 식별코드 자체 또는 식별코드와 매핑되어 저장된 위치값을 읽어들이고, 자체적으로 사용자 단말(100)의 위치를 파악함으로써 실시간 리워드 광고 서비스 제공 서버(300)로 토스 및 공유하는 방식으로 진행될 수도 있다.

빅데이터화부(393)는, 사용자 단말(100)의 이동경로 및 적어도 하나의 지점에 머무른 시간을 수집하여 빅데이터를 분석하고, 분석 데이터를 기반으로 마케팅 데이터를 생성할 수 있다. 이때, 빅데이터화부(393)는, 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시할 수 있고, 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시할 수 있다. 그리고, 빅데이터화부(393)는, 분석된 데이터를 시각화하여 출력할 수 있다. 이때, 데이터 마이닝은, 전처리된 데이터 간의 내재된 관계를 탐색하여 클래스가 알려진 훈련 데이터 셋을 학습시켜 새로운 데이터의 클래스를 예측하는 분류(Classification) 또는 클래스 정보 없이 유사성을 기준으로 데이터를 그룹짓는 군집화(Clustering)를 수행할 수 있다. 물론, 이외에도 다양한 마이닝 방법이 존재할 수 있으며, 수집 및 저장되는 빅데이터의 종류나 이후에 요청될 질의(Query)의 종류에 따라 다르게 마이닝될 수도 있다. 이렇게 구축된 빅데이터는, 인공신경망 딥러닝이나 기계학습 등으로 검증과정을 거칠 수도 있다.

이때, 인공 신경망은 CNN(Convolutional neural network) 구조가 이용될 수 있는데, CNN은 컨볼루션 층을 이용한 네트워크 구조로 이미지 처리에 적합하며, 이미지 데이터를 입력으로 하여 이미지 내의 특징을 기반으로 이미지를 분류할 수 있기 때문이다. 또한, 텍스트 마이닝(Text Mining)은 비/반정형 텍스트 데이터에서 자연어처리 기술에 기반하여 유용한 정보를 추출, 가공하는 것을 목적으로 하는 기술이다. 텍스트 마이닝 기술을 통해 방대한 텍스트 뭉치에서 의미 있는 정보를 추출해 내고, 다른 정보와의 연계성을 파악하며, 텍스트가 가진 카테고리를 찾아내거나 단순한 정보 검색 그 이상의 결과를 얻어낼 수 있다. 이를 이용하여, 본 발명의 일 실시예에 따른 실시간 리워드 광고 서비스에서는, 질의로 입력되는 식별자나 자연어를 분석하고, 그 안에 숨겨진 정보를 발굴해 내기 위해 대용량 언어자원과 통계적, 규칙적 알고리즘이 사용될 수 있다. 또한, 클러스터 분석(Cluster Analysis)은, 비슷한 특성을 가진 객체를 합쳐가면서 최종적으로 유사 특성의 그룹을 발굴하는데 사용될 수 있다.

이하, 상술한 도 2의 실시간 리워드 광고 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3a를 참조하면, 사용자 단말(100)은 회원가입을 하고 자신의 위치에서 가능한 AR 이벤트 중 CASS 맥주 이벤트에 참여하여 분할된 AR 이미지를 찾기 위하여 AR 레이더 인터페이스를 출력한다. 이때, AR 레이더 인터페이스는, 화살표로 어느 방향으로 가야하는지를 사용자에게 알려줄 수 있으며, 분할된 AR 이미지(적색원)과 거리가 기 설정된 거리, 예를 들어 50cm 내이면 자동으로 등록된 AR 이미지가 영상으로 전환되어 출력되도록 하는 인터페이스이다.

이때, 도 3b와 같이 AR 이미지가 증강현실로, 즉 카메라가 구동된 상태에서 AR 이미지가 기 설정된 위치에 사용자 단말(100)의 화면에 출력되고, 분할된 모든 AR 이미지를 사용자 단말(100)에서 획득한 경우, 기 저장된 광고 영상이 사용자 단말(100)에서 출력된다. 이때, 광고 영상의 플레이가 종료되면 사용자는 당첨자에 선정되고, 도 3c와 같이 보물찾기(AR 이벤트)의 결과로 사용자 단말(100)에서는 상품 이미지가 출력되고, 보물을 찾기 위해서 걸은 걸음의 수, 소모된 칼로리, 시간 등을 그래프 및 텍스트로 출력할 수 있다.

상술한 방법은 실외에서 AR 이벤트가 진행되는 경우였다면, 실내에서 AR 이벤트가 진행될 때에는 GPS 대신 비콘(600)을 이용할 수 있다. 즉, 도 4a 및 도 4b를 참조하면, 블루투스 4.0 비콘을 이용하여 실내 측위 기술로 사용자의 동선, 머문 장소 및 위치, 머문 시간 등의 사용자 데이터 분석을 위한 로우 데이터를 수집할 수 있다. 이때, 도 4c와 같이 삼변측량 기술 기반 위치측위 알고리즘을 이용할 수도 있고, 도 4d와 같이 방문자의 이동 경로 뿐만 아니라, 어느 지점에서 머물렀는지, 머문 시간은 어느 정도인지 등의 정보를 사용자의 연령, 성별 등과 함께 수집함으로써 빅데이터를 구축하고, 분석한 데이터를 토대로 리마케팅에 이용하도록 할 수 있다. 또한, 도 4e와 같이 실내 공간 내 기 설정된 특정 위치에서 움직이는 AR 영상을 도입하되, 원근법 모듈을 탑재하여 현실감있는 AR 이미지 또는 영상을 제공할 수도 있다.

이와 같은 도 2 내지 도 4의 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시예에 따른 도 1의 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 5를 참조하면, 광고 관리 서버(500)는 광고주 단말(400)에서 회원가입을 하고(S5100), AR 이벤트를 등록하는 경우, AR 이벤트에 사용될 AR 이미지, 지역, 참여자수, 기간, 제한시간, 상품이미지, 수량 등을 등록받고(S5200), 실시간 리워드 광고 서비스 제공 서버(300)로 리턴한다(S5300). 이때, 실시간 리워드 광고 서비스 제공 서버(300)는, AR 이벤트를 관리자 단말로 전송하여 검수하도록 하고(S5400), GPS 좌표검증, AR 이미지 등의 검증이 완료된 경우(S5410), AR 이벤트를 서비스 페이지에 업로드한다(S5420).

한편, 실시간 리워드 광고 서비스 제공 서버(300)는, 사용자 단말(100)에서 회원가입을 하면(S5500), 사용자 단말(100)의 위치를 기준으로 등록된 AR 이벤트를 사용자 단말(100)로 전송하고(S5510), 사용자 단말(100)에서 어느 하나 또는 복수의 AR 이벤트를 선택하도록 하며(S5600), 이를 사용자 단말(100)의 위치와 함께 수신한다(S5610). 이때, 실시간 리워드 광고 서비스 제공 서버(300)는, AR 이미지를 자동분할한 후 랜덤하게 배포하고(S5700), 제한시간을 카운팅하기 시작하며(S5710), 분할된 AR 이미지의 GPS 좌표값(실내에서는 비콘의 좌표값)이 실시간 또는 주기적으로 변경되도록 설정한다(S5720). 그리고, 실시간 리워드 광고 서비스 제공 서버(300)는, 분할된 AR 이미지의 위치 및 ID를 사용자 단말(100)로 전송함으로써(S5730), 사용자 단말(100)에서 분할된 AR 이미지 및 위치가 AR 레이더에 레이더에 물체가 감지되는 디스플레이처럼 출력되도록 한다(S5800).

이때, 실시간 리워드 광고 서비스 제공 서버(300)는, 사용자 단말(100)에서 분할된 AR 이미지에 접근한 경우, 360도 카메라를 활성화시키고 AR 이미지를 노출시키며(S5810), 해당 AR 이미지를 사용자 단말(100)에서 획득한 것으로 처리한다(S5830). 이때, 실시간 리워드 광고 서비스 제공 서버(300)는 사용자 단말(100)에서 획득한 AR 이미지가 유효한 것인지를 검사한 후 로그를 저장할 수 있다(S5820~S5830).

그리고, 실시간 리워드 광고 서비스 제공 서버(300)는, 사용자 단말(100)에서 분산 및 분할된 모든 AR 이미지를 획득한 경우(S5900), 상품수령을 위해 사용자의 정보를 요청하여 수신하고(S5910), 다시 유효성 검사 후 로그를 저장하며(S5920), AR 이벤트가 종료된 후 광고주 단말(400)로 이벤트 참여 로그 및 순위정보와 함께 이벤트 결과 보고서를 전송한다(S5930~S5940).

상술한 단계들(S5100~S5940)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5940)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 5의 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 6은 본 발명의 일 실시예에 따른 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법을 설명하기 위한 동작 흐름도이다. 도 6을 참조하면, 실시간 리워드 광고 서비스 제공 서버는, 적어도 하나의 광고주 단말로부터 실시간 리워드 광고에 이용될 AR 이미지를 등록받고, AR 이벤트가 발생할 지역의 범위, 참여자수, 기간 및 제한시간을 설정받는다(S6100).

그리고, 실시간 리워드 광고 서비스 제공 서버는, AR 이벤트 및 AR 이미지와, AR 이벤트가 발생할 지역의 범위를 GPS 좌표로 변환하여 업로드하고(S6200), 사용자 단말로부터 선택된 AR 이벤트 및 위치를 수집하고, AR 이벤트 및 위치에 대응하도록 AR 이미지를 자동분할하여 AR 이벤트가 발생할 지역인 지정 구간 내에 랜덤하게 배포한다(S6300).

또한, 실시간 리워드 광고 서비스 제공 서버는, 사용자 단말로 분할된 AR 이미지의 위치 및 식별자를 전송하고, 사용자 단말로부터 분할된 AR 이미지의 GPS 좌표값이 리턴되는 경우 유효성 검사 후 분할된 AR 이미지의 GPS 좌표값, 식별자 및 사용자 단말을 로그로 저장하고(S6400), 및 사용자 단말에서 분할된 AR 이미지를 모두 획득한 경우 당첨자로 선정한다(S6500).

이와 같은 도 6의 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 5를 통해 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 6을 통해 설명된 일 실시예에 따른 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

1. 적어도 하나의 광고주 단말로부터 실시간 리워드 광고에 이용될 AR 이미지를 등록받고, AR 이벤트가 발생할 지역의 범위, 참여자수, 기간 및 제한시간을 설정받고, 상기 AR 이벤트에 당첨된 경우 지급될 상품의 이미지 및 수량을 등록받는 광고 관리 서버;
   상기 광고 관리 서버로부터 수신된 AR 이벤트 및 AR 이미지와, 상기 AR 이벤트가 발생할 지역의 범위를 GPS 좌표로 변환하여 업로드하는 업로드부, 사용자 단말로부터 선택된 AR 이벤트 및 위치를 수집하는 수집부, 상기 수집된 AR 이벤트 및 위치에 대응하도록 AR 이미지를 자동분할하는 분할부, 상기 자동분할된 AR 이미지를 상기 AR 이벤트가 발생할 지역인 지정 구간 내에 랜덤하게 배포하는 배포부, 상기 사용자 단말로 상기 분할된 AR 이미지의 위치 및 식별자를 전송하는 전송부, 상기 사용자 단말로부터 상기 분할된 AR 이미지의 GPS 좌표값이 리턴되는 경우 유효성 검사 후 상기 분할된 AR 이미지의 GPS 좌표값, 식별자 및 상기 사용자 단말을 로그로 저장하는 저장부, 상기 사용자 단말에서 상기 분할된 AR 이미지를 모두 획득한 경우 당첨자로 선정하는 선정부, 상기 자동분할된 AR 이미지의 GPS 좌표를 기 설정된 주기에 따라 실시간으로 변경하는 변경부를 포함하는 실시간 리워드 광고 서비스 제공 서버;
   를 포함하고,
   상기 사용자 단말은, 상기 전송부로부터 상기 분할된 AR 이미지의 위치 및 식별자가 전송되는 경우, GPS 기반 AR 레이더를 디스플레이하고, 상기 GPS 기반 AR 레이더는, 상기 사용자 단말의 위치를 중심점으로 기 설정된 거리 간격으로 원주가 형성되어 상기 분할된 AR 이미지와 상기 사용자 단말의 위치 간의 거리 및 방향이 표시되는 인터페이스이고, 상기 사용자 단말이 상기 분할된 AR 이미지에 기 설정된 거리 이내로 근접한 경우, 카메라가 활성화되어 상기 분할된 AR 이미지가 증강현실 인터페이스로 디스플레이되는 것을 특징으로 하는 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템.
   
2. 삭제
3. 제 1 항에 있어서,
   상기 선정부는,
   상기 사용자 단말에서 상기 분할된 AR 이미지를 모두 획득한 경우, 참여자 내 순위를 상기 분할된 AR 이미지를 모두 획득한 순서에 대응되도록 설정하는 것을 특징으로 하는 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템.
   
4. 삭제
5. 제 1 항에 있어서,
   상기 실시간 리워드 광고 서비스 제공 서버는,
   상기 AR 이벤트의 결과 보고서를 상기 광고 관리 서버로 업로드하는 결과보고부;
   를 더 포함하는 것을 특징으로 하는 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템.
   
6. 제 1 항에 있어서,
   상기 실시간 리워드 광고 서비스 제공 서버는,
   상기 AR 이벤트가 실내에서 발생되는 경우, 기 설정된 간격으로 설치된 적어도 하나의 비콘의 신호로 상기 GPS를 대체하는 대체부;
   를 더 포함하는 것을 특징으로 하는 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템.
   
7. 제 6 항에 있어서,
   상기 비콘의 신호의 RSSI(Received Signal Strength Indicator)를 증가시키기 위하여 삼변측량, 맵 매칭 및 상기 사용자 단말의 적어도 하나의 센서를 이용하는 것을 특징으로 하는 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템.
   
8. 제 6 항에 있어서,
   상기 실시간 리워드 광고 서비스 제공 서버는,
   상기 사용자 단말의 이동경로 및 적어도 하나의 지점에 머무른 시간을 수집하여 빅데이터를 분석하고, 상기 분석된 분석 데이터를 기반으로 마케팅 데이터를 생성하는 빅데이터화부;
   를 더 포함하는 것을 특징으로 하는 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 시스템.
   
9. 실시간 리워드 광고 서비스 제공 서버에서 실행되는 실시간 리워드 광고 서비스 제공 방법에 있어서,
   적어도 하나의 광고주 단말로부터 실시간 리워드 광고에 이용될 AR 이미지를 등록받고, AR 이벤트가 발생할 지역의 범위, 참여자수, 기간 및 제한시간을 설정받는 단계;
   상기 AR 이벤트 및 AR 이미지와, 상기 AR 이벤트가 발생할 지역의 범위를 GPS 좌표로 변환하여 업로드하는 단계;
   사용자 단말로부터 선택된 AR 이벤트 및 위치를 수집하고, 상기 AR 이벤트 및 위치에 대응하도록 AR 이미지를 자동분할하여 상기 AR 이벤트가 발생할 지역인 지정 구간 내에 랜덤하게 배포하는 단계;
   상기 사용자 단말로 상기 자동분할된 AR 이미지의 위치 및 식별자를 전송하고, 상기 사용자 단말로부터 상기 자동분할된 AR 이미지의 GPS 좌표값이 리턴되는 경우 유효성 검사 후 상기 자동분할된 AR 이미지의 GPS 좌표값, 식별자 및 상기 사용자 단말을 로그로 저장하는 단계; 및
   상기 사용자 단말에서 상기 자동분할된 AR 이미지를 모두 획득한 경우 당첨자로 선정하는 단계;
   를 포함하고,
   상기 자동분할된 AR 이미지의 GPS 좌표는 기 설정된 주기에 따라 실시간으로 변경되고,
   상기 사용자 단말은, 상기 자동분할된 AR 이미지의 위치 및 식별자가 전송되는 경우, GPS 기반 AR 레이더를 디스플레이하고, 상기 GPS 기반 AR 레이더는, 상기 사용자 단말의 위치를 중심점으로 기 설정된 거리 간격으로 원주가 형성되어 상기 분할된 AR 이미지와 상기 사용자 단말의 위치 간의 거리 및 방향이 표시되는 인터페이스이고, 상기 사용자 단말이 상기 자동분할된 AR 이미지에 기 설정된 거리 이내로 근접한 경우, 카메라가 활성화되어 상기 자동분할된 AR 이미지가 증강현실 인터페이스로 디스플레이되는 것을 특징으로 하는 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법.
   
10. 제 9 항에 있어서,
    상기 사용자 단말로부터 선택된 AR 이벤트 및 위치를 수집하고, 상기 AR 이벤트 및 위치에 대응하도록 AR 이미지를 자동분할하여 상기 AR 이벤트가 발생할 지역인 지정 구간 내에 랜덤하게 배포하는 단계는,
    상기 AR 이미지 내에 포함된 적어도 하나의 피사체를 식별하는 단계;
    상기 식별된 적어도 하나의 피사체를 상기 AR 이미지로부터 분리되도록 분할하는 단계;
    를 수행하여 실행되는 것을 특징으로 하는 증강현실 기반 자동 이미지 분할, GPS 및 비콘을 이용한 실시간 리워드 광고 서비스 제공 방법.

Images