KR102214292B1 - 모바일 마케팅 어플리케이션 통합 시스템 - Google Patents

모바일 마케팅 어플리케이션 통합 시스템 Download PDF

Info

Publication number
KR102214292B1
KR102214292B1 KR1020130088054A KR20130088054A KR102214292B1 KR 102214292 B1 KR102214292 B1 KR 102214292B1 KR 1020130088054 A KR1020130088054 A KR 1020130088054A KR 20130088054 A KR20130088054 A KR 20130088054A KR 102214292 B1 KR102214292 B1 KR 102214292B1
Authority
KR
South Korea
Prior art keywords
image
information
code
smartphone
mobile
Prior art date
Application number
KR1020130088054A
Other languages
English (en)
Other versions
KR20150013372A (ko
Inventor
이승훈
Original Assignee
라인플러스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라인플러스 주식회사 filed Critical 라인플러스 주식회사
Priority to KR1020130088054A priority Critical patent/KR102214292B1/ko
Publication of KR20150013372A publication Critical patent/KR20150013372A/ko
Application granted granted Critical
Publication of KR102214292B1 publication Critical patent/KR102214292B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

모바일 마케팅 어플리케이션 통합 시스템은 모바일 마케팅 어플리케이션 통합 서버, 오픈 API를 통해 모바일 마케팅 어플리케이션 통합 서버에 연결되어 SNS 서비스 또는 LBS 서비스를 제공하는 외부 서버, 오픈 API를 통해 모바일 마케팅 어플리케이션 통합 서버에 연결된 스마트폰을 포함한다. 모바일 마케팅 어플리케이션 통합 서버는 외부 서버와 오픈 API를 통해 연결된 서버 소프트웨어, 및 스마트폰과 오픈 API를 통해 연결된 서버 플랫폼 소프트웨어를 포함하고, GPS와 센서 데이터를 이용하는 비광학적 방식 증강현실 서비스와, 마커와 이미지를 이용하는 광학적 트래킹 방식 증강현실 서비스와, 텍스트 및 이미지 위주의 콘텐츠를 3D 콘텐츠로 변환하여 증강현실 서비스를 제공한다.

Description

모바일 마케팅 어플리케이션 통합 시스템{MOBILE MARKETING APPLICATION INTEGRATED SYSTEM}
본 발명은 모바일 마케팅 어플리케이션 통합 시스템에 관한 것으로, 보다 상세하게는 사용자에게 다양한 마케팅툴이 통합된 플랫폼을 제공하여 사용자가 원하는 서비스를 선택적으로 제공받을 수 있는 모바일 마케팅 어플리케이션 통합 시스템에 관한 것이다.
기업마다 개별적으로 활용하고 있는 마케팅 앱들을 하나의 통합된 플랫폼 형태로 개발하여 고객 정보를 통합 관리하고, 사용자가 보다 빠르고 쉽게 마케팅에 활용할 수 있는 기술 개발이 필요하다.
기존의 방식에서 벗어나 발전하고 있는 IT기술을 생활의 변화에 수용할 수 있는 새로운 서비스 플랫폼의 개발이 요구된다. 해외에서는 Open API를 이용하여 만든 매쉬업을 통해 다양한 비즈니스 모델을 창출하고 있으며, 차세대 웹의 핵심기술로 평가하여 투자를 아끼지 않는 반면, 국내에서는 최근 들어 Open API에 대한 열기가 고조되는 상황으로 새로운 시대에 유연하게 대처하기 위해서는 좀 더 표준을 지키는 기술이 필요하다.
LBS는 국내 시장에서도 중요한 수익모델이 될 가능성이 높아지고 있고 현재 전세계 이동통신 시장에서 가장 활발하게 논의되고 있는 차세대 기술 분야 중 하나로서 국내에서는 세계 최고수준의 IT인프라를 기반으로 다양한 응용서비스가 개발되어 새로운 킬러 애플리케이션으로 부각되고 있다.
최근에는 컴퓨터나 개인용 모바일 기기들이 기본적으로 카메라를 포함하고 있어 증강현실을 체험할 수 있는 기회가 많아지고 있으며, 스마트폰의 보급이 늘어나면서 모바일 증강현실이 차세대 디스플레이 기술로 주목받고 있다. 스마트폰의 등장과 함께 빠르게 확산되고 있는 QR 코드 기술에 증강현실의 트래킹 기술과 3D 렌더링 기술을 추가하여 사용자에게 보다 흥미롭고 현실감 및 몰입감있는 서비스를 제공할 수 있는 기술 개발이 필요하다.
모바일 기반 서비스는 개인, 기업, 정부 모두에게 효율성 향상의 핵심 키워드로 부각되므로 효율적이고 사용자가 체감할 수 있는 서비스 적용 및 확산 방안 제시가 필요하다.
한편, Open API에 개발자들의 아이디어가 더해지면서 다양한 매쉬업 서비스들이 세상에 등장하고 있고, 서비스들은 기존에 생각지 못했던 일들을 가능하게 하거나, 다른 서비스 사업자의 서비스들을 활용하고 거기에 독창성을 더하여 큰 수익을 창출하고 있다.
LBS는 국내 시장에서도 중요한 수익모델이 될 가능성이 높아지고 있고, 현재 전세계 이동통신 시장에서 가장 활발하게 논의되고 있는 차세대 기술 분야 중 하나로서 국내에서는 세계 최고 수준의 IT인프라를 기반으로 다양한 응용서비스가 개발되어 새로운 킬러 애플리케이션으로 부각 중이다. LBS 기반 소셜 서비스가 급부상 중이고, SNS가 스마트폰의 킬러서비스로 자리매김하고 있으며, 증강현실이 스마트폰의 또 다른 혁명을 이끌고 있는 상황으로 LBS, SNS, AR이 스마트폰의 3대 킬러 앱으로 급부상 중이다.
스마트폰 마케팅의 도입 초기인 2011년 초만 해도 주로 자사 제품과 브랜드를 알리는 앱을 제공하는데 주력했던 기업들이 최근에는 앱 사용빈도를 높이는 한편, AR/QR 코드 등 새로운 서비스와 접목을 통해 차별화가 추구되고 있다.
카메라로 주위 환경을 비추면 화면 속의 유적지, 커피숍, 공원, 식당 등의 정보가 화면에 나타나며, 목적지를 클릭하면 구글 지도와 연동하여 지도 및 거리까지 알려주는 레이어는 50만건 이상의 다운로드 수를 기록하였고 Sekai Camera는 2009년 9월 공개 후 4일 만에 다운로드 수가 10만건을 돌파하였다.
위치정보를 활용하는 서비스는 필연적으로 좀 더 많은 방문자를 확보하려는 지역 및 상점들의 마케팅툴로써도 활용가치를 인정받고 있고, 1년 밖에 안된 포스퀘어는 벌써 수많은 마케팅 사례를 양산해내고 있으며 동네 구멍가게부터 글로벌 브랜드까지 위치정보란 소재로 다양한 마케팅을 시도할 수 있는 길을 제공하고 있다.
증강현실이나 위치기반서비스를 이용한 스마트폰 마케팅은 대기업보다는 중소기업이나 소상공인이 지역을 기반으로 다양하게 활용할 수 있다는 특징이 있고, 특히 위치기반서비스를 활용한 스마트폰 마케팅은 적은 예산으로도 실행 가능하기 때문에 중소기업이 활용하기에 더욱 쉽다고 할 수 있습니다. 또 기존의 신문 광고나 전단지 등 보다 마케팅 효과가 높고, 최신 IT트렌드를 기업의 마케팅 기법으로 활용함으로써 긍정적인 기업 이미지 상승 효과도 기대된다.
소비자에게 어떻게든 상품 정보를 주려고 하는 기업들과 스마트폰으로 새로운 경험을 해보고 싶은 소비자들이 만나 QR 코드 마케팅 시장은 폭발적으로 성장하고 있다.
KT는 스마트폰을 활용한 마케팅ㆍ광고 플랫폼인 <올레 캐치캐치(olleh catchcatch)>와 <올레 애드(olleh ad)>를 출시하고, U+ AD는 개방형 플랫폼으로서 개인 및 중소규모 IT 기업 누구나 참여가 가능할 뿐 아니라 스마트폰, 태블릿PC, IPTV 등 다양한 채널에서 소셜 네트워크 서비스(SNS), 증강현실(AR), 모바일 바코드(QR) 등에 기반한 광고 서비스를 제공할 예정이다.
이에 본 발명의 기술적 과제는 이러한 점에 착안한 것으로, 본 발명의 목적은 보다 체계적이고 효율적으로 모바일 마케팅을 수행할 수 있고, 사용자에게 위치기반 증간현실 서비스, QR 코드 기반 증강현실 서비스, 비전 기반 증강현실 서비스를 통합적으로 제공할 수 있는 모바일 마케팅 어플리케이션 통합 시스템을 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위하여 일실시예에 따른 모바일 마케팅 어플리케이션 통합 시스템은, 모바일 마케팅 어플리케이션 통합 서버; 오픈 API를 통해 상기 모바일 마케팅 어플리케이션 통합 서버에 연결되어 SNS 서비스 또는 LBS 서비스를 제공하는 외부 서버; 및 오픈 API를 통해 상기 모바일 마케팅 어플리케이션 통합 서버에 연결된 스마트폰을 포함하고, 상기 모바일 마케팅 어플리케이션 통합 서버는, 상기 외부 서버와 오픈 API를 통해 연결된 서버 소프트웨어; 및 상기 스마트폰과 오픈 API를 통해 연결된 서버 플랫폼 소프트웨어를 포함하고, GPS와 센서 데이터를 이용하는 비광학적 방식 증강현실 서비스와, 마커와 이미지를 이용하는 광학적 트래킹 방식 증강현실 서비스와, 텍스트 및 이미지 위주의 콘텐츠를 3D 콘텐츠로 변환하여 증강현실 서비스를 제공한다.
일실시예에서, 상기 스마트폰에는 광학적 트래킹 기반의 모바일 증강현실 애플리케이션이 탑재되고, 상기 모바일 증강현실 애플리케이션은, 학습된 마커의 패턴 데이터와 대상 이미지를 분석하여 얻은 자연점들의 데이터를 특정한 패턴과 자료구조를 저장하는 데이터베이스와, 이미지 센서를 사용하여 실제세계의 영상 이미지를 획득하는 카메라와, 동기화 모듈, 트래킹 모듈 및 렌더링 모듈을 포함하여 마커 또는 오브젝트의 특징을 인식하는 모듈부를 포함할 수 있다. 상기 트래킹 모듈은 획득한 실제세계의 영상 이미지로부터 인식한 마커나 대상 이미지의 정보와 미리 정의해놓은 정보를 이용하여 6자유도(6DOF; Six degrees of freedom)를 계산하여 추적하는 기능을 수행할 수 있다.
일실시예에서, 상기 스마트폰에는 상기 서버 플랫폼 소프트웨어와 연동이 가능한 광학적 증강현실, QR 코드, SNS 서비스를 위한 앱 라이브러리가 구축될 수 있다.
일실시예에서, 상기 스마트폰은 QR 코드를 인식하기 위해, 컬러 이미지를 그레이 스케일로 변환하고, 배경으로부터 QR 코드 영역을 구분하기 위해 외곽선을 검출하고, QR 코드 영역이 검출되면 검출된 영역을 호모그래피(Homography)를 이용하여 정방화하고, QR 코드의 포맷 및 버전을 분석하고, 상기 추출된 QR 코드의 포맷 및 버전 정보를 활용하여 QR 코드를 디코딩한다.
일실시예에서, 상기 스마트폰은 컬러 값(RGB)을 gray scale로 변환할 때, gray = 0.299red + 0.587green + 0.114blue 의 식을 이용할 수 있다.
이러한 모바일 마케팅 어플리케이션 통합 시스템에 의하면, LBS, QR 코드, AR, SNS 등과 같은 마케팅툴, 레거시 시스템, 그리고 외부 LBS나 SNS와 같은 외부시스템과 연동할 수 있는 통합 서버 플랫폼을 통해 보다 체계적이고 효율적으로 모바일 마케팅을 수행할 수 있다. 또한, 모바일 증강현실 서비스를 GPS와 센서 데이터를 이용하는 비광학적 방식 서비스와 마커와 이미지를 이용하는 광학적 트래킹 방식 서비스를 같이 제공하고, 기존의 텍스트와 이미지 위주의 콘텐츠를 3D 콘텐츠로 제공하여 사용자에게 높은 몰입감과 현실감있는 증강현실 서비스를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 모바일 마케팅 어플리케이션 통합 시스템을 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 모바일 증강현실 애플리케이션을 설명하기 위한 블럭도이다.
도 3은 도 2에 도시된 광학적 트래킹 기반의 모바일 증강현실 서비스를 위한 아이폰 애플리케이션을 설명하기 위한 블록도이다.
도 4는 도 3에 도시된 아이폰 애플리케이션의 동작을 설명하기 위한 흐름도이다.
도 5는 도 2에 도시된 광학적 트래킹 기반의 모바일 증강현실 서비스를 위한 안드로이드 애플리케이션을 설명하기 위한 블록도이다.
도 6은 도 5에 도시된 안드로이드 애플리케이션의 동작을 설명하기 위한 흐름도이다.
도 7은 컴퓨터 비젼 기술을 이용하는 QR 코드 인식 방법을 설명하기 위한 흐름도이다.
도 8a 내지 도 8g는 도 7에 도시된 QR 코드 인식 방법을 설명하기 위한 도면들이다.
도 9는 본 발명의 다른 실시예에 따른 모바일 마케팅 어플리케이션 통합 시스템을 설명하기 위한 구성도이다.
도 10은 도 9에 도시된 모바일 증강현실 애플리케이션을 설명하기 위한 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명을 보다 상세하게 설명하고자 한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일실시예에 따른 모바일 마케팅 어플리케이션 통합 시스템을 설명하기 위한 구성도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 모바일 마케팅 어플리케이션 통합 시스템은 모바일 마케팅 어플리케이션 통합 서버(100), 오픈 API(open application programmer interface 또는 공개 API)를 통해 상기 모바일 마케팅 어플리케이션 통합 서버(100)에 연결되어 트위터, 페이스북, 미투데이 등과 같은 SNS 서비스, 4스퀘어와 같은 LBS 서비스를 제공하는 외부 서버(200), 오픈 API를 통해 상기 모바일 마케팅 어플리케이션 통합 서버(100)에 연결된 스마트폰(300)을 포함한다. 일반적으로, 플랫폼이란 컴퓨터 시스템의 기반이 되는 하드웨어나 소프트웨어을 칭하는 용어이다. 컴퓨터는 맨 아래 레이어인 집적 회로(IC) 칩 수준의 하드웨어 레이어, 그 다음 레이어인 펌웨어와 운영 체계(OS) 레이어, 맨 위 레이어인 응용 프로그램 레이어로 구성되는 계층화된 장치인데, 이 장치의 맨 아래 레이어만을 흔히 플랫폼이라고 한다. 그러나 응용 프로그램의 설계자들은 하드웨어와 소프트웨어를 모두 플랫폼이라고 한다. 그 이유는 하드웨어와 소프트웨어가 응용에 대한 지원을 제공하기 때문이다.
또한, 오픈 API는 인터넷 이용자가 일방적으로 웹 검색 결과 및 사용자인터페이스(UI) 등을 제공받는 데 그치지 않고 직접 응용 프로그램과 서비스를 개발할 수 있도록 공개된 API를 말한다. 지도 서비스 및 다양한 서비스에서 시도되고 있으며 누구나 접근하여 사용할 수 있다는 장점이 있다.
상기 외부 서버(200)는 상기 모바일 마케팅 어플리케이션 통합 서버(100)에 트위터, 페이스북, 미투데이 등과 같은 SNS 서비스나 4스퀘어와 같은 위치기반서비스(location based service; 이하 LBS 서비스)와 같은 특정 서비스를 요청하고, 상기 모바일 마케팅 어플리케이션 통합 서버(100)에서 제공되는 해당 서비스를 제공받는다.
상기 모바일 마케팅 어플리케이션 통합 서버(100)은 통계 DB(110), SNS DB(120), 외부 연동 DB(130), QR 코드 DB(140)와 같은 각종 서비스 DB 및 사용자 DB(150)를 포함한다. 상기 모바일 마케팅 어플리케이션 통합 서버(100)은 각종 서비스 DB들(110, 120, 130, 140)과 사용자 DB(150)의 관리를 위한 DBMS(160), 서버 플랫폼 소프트웨어(170), 서버 소프트웨어(180) 등이 탑재되어 운용된다.
상기 서버 플랫폼 소프트웨어(170)는 오픈 API를 통해 사용자에게 증강현실 서비스를 제공하는 스마트폰에 연결된다.
상기 서버 소프트웨어(180)는 오픈 API를 통해 SNS 서비스 또는 LBS 서비스를 제공하는 외부 서버에 연결된다.
상기 스마트폰(300)에는 모바일 마케팅 어플리케이션 통합 서버(100)과 연동이 가능한 광학적 증강현실(augmented reality; AR), QR 코드, SNS 서비스를 위해 개발된 앱 라이브러리(310)가 구축되어 있다. 상기한 앱 라이브러리(310)는 상기 모바일 마케팅 어플리케이션 통합 서버(100)과의 트랙잭션 처리를 위해 마련된 공통 라이브러리로서, SNS 서비스용 라이브러리(312), QR 코드용 라이브러리(314), 광학적 트래킹 AR 서비스용 라이브러리(316)를 포함할 수 있고, 아이폰 OS 버전 또는 안드로이드 OS 버전으로 개발될 수 있다. 상기 스마트폰은 상기 모바일 마케팅 어플리케이션 통합 시스템에 특정 서비스를 요청하고, 그의 응답에 따라 제공되는 특정 서비스를 제공받는다.
따라서, 보다 체계적이고 효율적으로 모바일 마케팅을 수행할 수 있도록 사용자에게 다양한 마케팅툴이 통합된 플랫폼을 제공하므로써, 사용자는 원하는 서비스를 선택적으로 제공받을 수 있다. 즉, 사용자에게 위치기반 증간현실 서비스, QR 코드 기반 증강현실 서비스, 비전 기반 증강현실 서비스를 통합적으로 제공할 수 있다.
또한, 모바일 마케팅 어플리케이션 통합 시스템은 LBS, QR 코드, 광학적 AR, SNS 등과 같은 마케팅툴, 그리고 외부 LBS나 SNS와 같은 외부시스템과 연동할 수 있으므로, 보다 체계적이고 효율적으로 모바일 마케팅을 수행할 수 있다.
또한, 서버와 연동이 가능한 LBS, AR, QR 코드, SNS 서비스를 위한 앱 라이브러리가 아이폰 버전이나 안드로이드 버전으로 개발되어 다양한 버전의 스마트폰에 모바일 서비스를 제공할 수 있다.
도 2는 도 1에 도시된 모바일 증강현실 애플리케이션을 설명하기 위한 블럭도이다. 특히, 광학적 트래킹 기반의 모바일 증강현실 애플리케이션의 구성도가 도시된다.
도 2를 참조하면, 광학적 트래킹 기반의 모바일 증강현실 애플리케이션(400)은 윈도우 플랫폼 상에 데이터베이스(410), 카메라(420), 모듈부(430), 하이레벨 API(440) 및 애플리케이션 레이어(450)로 구성된다.
상기 데이터베이스(410)에는 학습된 마커의 패턴 데이터와 대상 이미지를 분석하여 얻은 자연점들의 데이터를 특정한 패턴과 자료구조를 통해서 파일 등으로 저장된다.
상기 카메라(420)는 이미지 센서를 사용하여 실제세계의 영상 이미지를 획득하여 상기 모듈부(430)에 제공한다. 또한, 상기 카메라(420)는 렌즈로 인한 이미지 굴곡 현상 등을 보정하여 상기 모듈부(430)에 제공할 수 있다.
상기 모듈부는 캡쳐링 모듈(432), 동기화 모듈(434), 트래킹 모듈(436) 및 렌더링 모듈(438)을 포함하여 마커나 오브젝트의 특징을 인식한다. 마커의 경우, 획득한 실제세계의 영상 이미지로부터 미리 정의해 놓은 위치, 형태 등이 인식될 수 있다. 오브젝트의 특징의 경우, 특정 대상 이미지의 자연점들에 대한 정보가 획득되어, 이를 획득한 실제세계의 영상 이미지와 비교하여 미리 정의해놓은 특정 대상 이미지의 위치, 형태 등이 인식될 수 있다.
상기 트래킹 모듈(436)은 획득한 실제세계의 영상 이미지로부터 인식한 마커나 대상 이미지의 정보와 미리 정의해놓은 정보를 이용하여 6자유도(6DOF; Six degrees of freedom)를 계산하여 추적하는 기능을 수행한다. 여기서, 6자유도는 로보틱스나 가상 현실 시스템에서 사용되는 모든 동작 요소이다. 즉, 6자유도는 X(수평), Y(수직), Z(깊이), 피치(pitch), 요(yaw), 롤(roll)을 말한다. 한편, 3자유도(3DOF)는 X, Y, Z만을 말한다.
상기 하이레벨 API(440)는 개발자들이 프로그래밍 중 기능 호출을 할 수 있는 소프트웨어 개발 키트(software development kit; SDK)의 기능 섹션이다. 일반적으로 SDK는 소프트웨어 기술자가 특정한 소프트웨어 꾸러미, 소프트웨어 프레임워크, 하드웨어 플랫폼, 컴퓨터 시스템, 게임기, 운영 체제 등을 위한 응용 프로그램을 만들 수 있게 하는 개발 도구의 집합이다. 특정한 프로그래밍 언어에 접속하거나 특정한 임베디드 시스템과 통신하는 복잡한 하드웨어를 포함하기 위한 어떠한 파일들의 측면에서는 응용 프로그램 프로그래밍 인터페이스(API) 등으로 단순하게 표기할 수 있다. 공통 도구에는 디버깅 보조 프로그램과 다른 유틸리티를 통합 개발 환경(IDE)의 형태로 포함하고 있다. 소프트웨어 개발 키트(SDK)는 또한 샘플 코드를 포함하여 기술 참고나 지원 문서를 지원함으로써 사용자에게 명확한 요점을 제공한다. 통상적으로 소프트웨어 엔지니어는 해당 시스템의 개발자로부터 소프트웨어 개발 키트(SDK)를 받는다. 종종 인터넷으로 다운로드받는다. 많은 경우 해당 시스템이나 언어를 사용하는 것을 장려하기 위해서 무료로 제공된다.
상기 애플리케이션 레이어(450)는 일반 사용자들이 사용을 용이하게 하기 위해 기본적인 사용자 인터페이스(user interface; UI)기반으로 사용할 수 있는 섹션이다.
도 3은 도 2에 도시된 광학적 트래킹 기반의 모바일 증강현실 서비스를 위한 아이폰 애플리케이션을 설명하기 위한 블록도이다.
도 3을 참조하면, 아이폰 애플리케이션(500)은 아이폰 SDK(510), 아이폰 OS 유니파이(Unifeye) SDK 모바일 엔진(520) 및 디스플레이 모듈(530)을 포함하고, 마커나 QR 코드와 같은 특정 이미지를 인식하여 공간을 인식하고 3D 데이터를 스크린상에 보여준다.
상기 아이폰 SDK(510)는 카메라 모듈(512) 및 캡쳐링 모듈(514)을 포함하고, 카메라를 기동시켜 UI 스크린을 캡쳐한 후 상기 아이폰 OS Unifeye SDK 모바일 엔진(520)에 제공한다.
상기 아이폰 OS Unifeye SDK 모바일 엔진(520)은 캡쳐 콤포넌트(522), 트래킹 콤포넌트(524) 및 렌더링 모듈(526)을 포함하고, 카메라 렌즈에 의해 캡쳐링되는 이미지를 촬상하고, 트래킹 데이터를 구성 및 설정하고, 컨텐츠를 로딩한다. 이때, 상기 아이폰 OS Unifeye SDK 모바일 엔진(520)은 컨텐츠의 이동 스케일, 이동 변환, 이동 회전 등과 같은 조정값을 설정한 후, 카메라에 의해 촬상된 영상 위에 콘텐츠를 바인딩시켜 표시한다. 상기 렌더링 모듈(526)은 가시화 모듈 및 동기화 모듈을 포함한다.
본 실시예에서, 상기한 아이폰 OS 유니파이 SDK 모바일 엔진은 광학적 트래킹 AR 엔진을 사용하여 특정 이미지를 인식하여 공간을 인식하고 3D 데이터를 보여준다.
도 4는 도 3에 도시된 아이폰 애플리케이션의 동작을 설명하기 위한 흐름도이다.
도 3 및 도 4를 참조하면, 이미지 트래킹 기반 AR 애플리케이션(500)은 아이폰 SDK(510)의 카메라 모듈(512)에 의해 카메라가 기동된다(단계 S110).
이어, 아이폰 SDK(510)의 캡쳐링 모듈(514)에 의해 UI 스크린이 캡쳐된다(단계 S120).
이어, 아이폰 OS Unifeye SDK 모바일 엔진(520)의 캡쳐 콤포넌트(522)에 의해 카메라가 활성화되어 카메라 렌즈에 의해 캡쳐링되는 이미지를 촬상한다(단계 S130).
이어, 아이폰 OS Unifeye SDK 모바일 엔진(520)의 트래킹 콤포넌트(524)에 의해 트래킹 데이터가 구성된다(단계 S140).
이어, 아이폰 OS Unifeye SDK 모바일 엔진(520)의 트래킹 콤포넌트(524)에 의해 트래킹 데이터가 설정된다(단계 S150).
이어, 아이폰 OS Unifeye SDK 모바일 엔진(520)의 렌더링 콤포넌트(526)에 의해 컨텐츠가 로딩된다(단계 S160). 상기 컨텐츠의 로딩은 상기 렌더링 콤포넌트(526)에 구비되는 가시화 모듈(미도시)에 수행될 수 있다.
이어, 아이폰 OS Unifeye SDK 모바일 엔진(520)의 렌더링 콤포넌트(526)에 구비되는 가시화 모듈에 의해 이동 스케일, 이동 변환, 이동 회전 등과 같은 조정값이 설정된다(단계 S170). 이에 따라, 증강시켜 보여줄 3D 데이터를 다운로드 받아 화면에 보여질 최적의 크기와 위치를 조정할 수 있다.
이어, 아이폰 OS Unifeye SDK 모바일 엔진(520)의 렌더링 콤포넌트(526)에 의해 카메라에 의해 촬상된 영상 위에 콘텐츠가 바인딩되어 표시된다(단계 S180). 상기 콘텐츠의 바인딩 및 표시는 상기 렌더링 콤포넌트(526)에 구비되는 동기화 모듈(미도시)에 수행될 수 있다.
도 5는 도 2에 도시된 광학적 트래킹 기반의 모바일 증강현실 서비스를 위한 안드로이드 애플리케이션을 설명하기 위한 블록도이다.
도 5를 참조하면, 안드로이드 애플리케이션(1500)은 안드로이드 SDK(1510), 안드로이드 OS 유니파이(Unifeye) SDK 모바일 엔진(1520) 및 디스플레이 모듈(1530)을 포함하고, 특정 이미지를 인식하여 공간을 인식하고 3D 데이터를 보여준다.
상기 안드로이드 SDK(1510)는 카메라 모듈(1512)을 포함한다.
상기 안드로이드 OS Unifeye SDK 모바일 엔진(1520)은 캡쳐 콤포넌트(1522), 트래킹 콤포넌트(1524) 및 렌더링 모듈(1526)을 포함하고, 카메라를 기동시켜 카메라 렌즈를 통해 영상을 획득하고, 트래킹 데이터를 구성 및 설정한다. 상기 이미지 트래킹 기반 AR 애플리케이션은 컨텐츠를 로딩하고, 해당 컨텐츠의 이동 스케일, 이동 변환, 이동 회전 등과 같은 조정값을 설정한 후 촬상된 영상 위에 콘텐츠를 바인딩시켜 표시한다. 상기 렌더링 모듈(1526)은 가시화 모듈 및 동기화 모듈을 포함한다.
본 실시예에서, 상기한 안드로이드 OS 유니파이 SDK 모바일 엔진(1520)은 광학적 트래킹 AR 엔진을 사용하여 특정 이미지를 인식하여 공간을 인식하고 3D 데이터를 보여준다.
도 6은 도 5에 도시된 안드로이드 애플리케이션의 동작을 설명하기 위한 흐름도이다.
도 5 및 도 6을 참조하면, 이미지 트래킹 기반 AR 애플리케이션은 안드로이드 SDK(1510)의 카메라 모듈(1512)에 의해 카메라가 기동된다(단계 S210).
이어, 안드로이드 OS Unifeye SDK 모바일 엔진(1520)의 캡쳐 콤포넌트(1522)에 의해 카메라가 활성화되어 카메라 렌즈에 의해 캡쳐링되는 이미지를 촬상한다(단계 S220).
이어, 안드로이드 OS Unifeye SDK 모바일 엔진(1520)의 트래킹 콤포넌트(1524)에 의해 트래킹 데이터가 구성된다(단계 S230).
이어, 안드로이드 OS Unifeye SDK 모바일 엔진(1520)의 트래킹 콤포넌트(1524)에 의해 트래킹 데이터가 설정된다(단계 S240).
이어, 안드로이드 OS Unifeye SDK 모바일 엔진(1520)의 렌더링 콤포넌트(1526)에 구비되는 가시화 모듈에 의해 컨텐츠가 로딩된다(단계 S250).
이어, 안드로이드 OS Unifeye SDK 모바일 엔진(1520)의 렌더링 콤포넌트(1526)에 구비되는 가시화 모듈에 의해 이동 스케일, 이동 변환, 이동 회전 등과 같은 조정값이 설정된다(단계 S260).
이어, 안드로이드 OS Unifeye SDK 모바일 엔진(1520)의 렌더링 콤포넌트(1526)에 구비되는 동기화 모듈에 의해 카메라에 의해 촬상된 영상 위에 콘텐츠가 바인딩되어 표시된다(단계 S270).
도 7은 컴퓨터 비젼(Computer Vision) 기술을 이용하는 QR 코드 인식 방법을 설명하기 위한 흐름도이다. 도 8a 내지 도 8g는 도 7에 도시된 QR 코드 인식 방법을 설명하기 위한 도면들이다.
도 7을 참조하면, 컬러 이미지를 그레이 스케일로 변환한다(단계 S310). 즉, 대부분의 QR 코드는 흑백으로 인쇄된다. 컬러 값 그대로 사용하면서 인식하려면 그 만큼 계산이 많아진다. 따라서 컬러 값(RGB)을 gray scale로 변환하며 이때 다음과 같은 수식 1을 사용할 수 있다.
[수식 1]
Gray = 0.299red + 0.587green + 0.114blue
이어, 그레이 스케일로 변환된 이미지의 외곽선을 검출한다(단계 S320). 즉, 외곽선은 배경으로부터 QR 코드 영역을 구분하고, 또한 QR 코드 영역 중에서 코드 부분을 인식하기 위해서 유용하게 사용된다. 도 8a 및 도 8b에 도시된 그림은 외곽선 검출의 결과 영상이다. 도 8a에 도시된 영상은 배경을 포함한 원본 영상이며 도 8b에 도시된 영상은 일정한 그림 코드가 포함된 영역이다. 이 방법을 QR 코드에 적용하여 QR 코드 영역을 검출할 수 있다.
이어, QR 코드를 정방화한다(단계 S330). 즉, 단계 S320에 의해 QR 코드 영역이 검출되면 그 영역을 호모그래피(Homography)를 이용하여 정방화한다. 호모그래피는 하나의 프로젝션 평면에서 다른 프로젝션 평면으로 좌표 변환하는 사형기하학 이론으로 도 8c에 도시된 바와 같이 임의의 시점에서의 영상을 정면에서 본 영상으로 변환할 수 있다.
QR 코드도 정사각형 형상을 하고 있으므로 호모그래피를 사용하여 변환하면 정방화할 수 있다.
이어, QR 모드 포맷 및 버전을 분석한다(단계 S340). 즉, QR 코드 영역을 정방화 하면 QR 코드를 분석할 수 있는 정규화된 영상을 얻을 수 있다. QR 코드는 도 8d 및 도 8e에서와 같이 세 꼭지점 영역에 흰색 바탕의 검은색 정사각형 모형의 패턴이 위치한다. 이러한 패턴은 QR 코드의 방향을 결정하는데 사용이 되며, 후에는 트래킹에도 사용될 수 있는 근거가 된다. 방향 결정을 위한 패턴뿐 아니라 정렬을 위한 패턴도 중간 중간에 위치하게 된다. QR 코드를 분석하기 위해서는 먼저 QR 코드의 포맷 정보 및 버전 정보를 추출한다.
이어, QR 코드를 디코딩한다(단계 S350). 즉, 단계 S340에서 추출한 포맷 및 버전 정보를 활용하여 QR 코드를 디코딩한다. 이를 위해서는 도 8f에 도시된 바와 같이 정렬 패턴을 활용하여 데이터 코어 영역을 구분한 후, 명암의 차이를 기반으로 각 영역의 온/오프 여부를 판단한다. 필요한 경우에는 이미지 마스크를 활용하여 디코딩을 수행한다.
QR 코드의 인식보다 더 중요할 수 있는 부분은 애플리케이션 프로그램과의 인터페이스이다. 본 발명에서는 사용이 간편하고 재사용이 쉬우며, 프로그램 모듈화 및 암호화(encryption)을 보장하도록 객체지향 접근방법을 사용하고자 한다. API가 명확하게 정의된 객체지향 프로그램의 경우 애플리케이션 프로그래머들은 API만 이해하면 모든 기능을 사용할 수 있고 콤포넌트의 개발내용이 바뀌어도 프로그램 인터페이스에는 영향을 미치지 않게 된다. 다음은 QR 코드 제공을 위한 클래스의 일부이다.
Figure 112013067394221-pat00001
도 9는 본 발명의 다른 실시예에 따른 모바일 마케팅 어플리케이션 통합 시스템을 설명하기 위한 구성도이다.
도 9를 참조하면, 본 발명의 다른 실시예에 따른 모바일 마케팅 어플리케이션 통합 시스템은 모바일 마케팅 어플리케이션 통합 서버(600), 오픈 API를 통해 상기 모바일 마케팅 어플리케이션 통합 서버(600)에 연결된 레거시 시스템이나 외부 LBS 시스템과 같은 외부 서버(700), 오픈 API를 통해 상기 상기 모바일 마케팅 어플리케이션 통합 서버(600)에 연결된 아이폰 OS에 의해 동작되는 스마트폰(800)이나 안드로이드 OS에 의해 동작되는 스마트폰(800)을 포함한다.
상기 외부 서버(700)는 상기 모바일 마케팅 어플리케이션 통합 서버(600)에 LBS 서비스와 같은 특정 서비스를 요청하고, 상기 모바일 마케팅 어플리케이션 통합 서버(600)에서 제공되는 해당 서비스를 제공받는다.
상기 통합 플랫폼 지원용 모바일 마케팅 어플리케이션 통합 시스템은(600) 통계 DB(610), SNS DB(620), 외부 연동 DB(630), QR 코드 DB(640)와 같은 각종 서비스 DB 및 사용자 DB(650)를 포함한다. 상기 모바일 마케팅 어플리케이션 통합 서버(600)은 각종 서비스 DB(610, 620, 630, 640)와 사용자 DB(650)의 관리를 위한 DBMS(660), 서버 플랫폼 소프트웨어(670), 서버 소프트웨어(680) 등이 탑재되어 운용된다.
상기 스마트폰(800)에는 모바일 마케팅 어플리케이션 통합 서버(600)과 연동이 가능한 비광학적 AR, LBS 서비스를 위해 개발된 앱 라이브러리(810)가 구축되어 있다. 상기한 앱 라이브러리(810)는 상기 모바일 마케팅 어플리케이션 통합 서버(600)과의 트랙잭션 처리를 위해 마련된 공통 라이브러리로서, LBS 서비스용 라이브러리(816), 비광학적 트래킹 AR 서비스용 라이브러리(814)를 포함할 수 있고, 아이폰 OS 버전 또는 안드로이드 OS 버전으로 개발되어 있다. 상기 스마트폰(800)은 상기 모바일 마케팅 어플리케이션 통합 서버(600)에 특정 서비스를 요청하고, 그의 응답에 따라 제공되는 특정 서비스를 제공받는다.
본 실시예에서, LBS 서비스를 제공하는 아이폰 애플리케이션은 모바일 마케팅 어플리케이션 통합 서버(600)과 통신하여 주변 정보를 보여주는 기능을 수행한다. 이를 위해, 아래와 같이 GPS/WPS를 이용하는 CLLocationManager 클래스를 사용하여 최적화된 현재 위치 추적한다. LBS 서버 서비스를 사용하여, 측위된 현재 위치를 통합 서버에 전송한다. 수신한 주변 정보들을 파싱하여, 구조체에 저장하고 유아이뷰(UIView)를 통해 스마트폰 화면에 보여준다.
Figure 112013067394221-pat00002
본 실시예에서, GPS AR 서비스를 제공하는 아이폰 애플리케이션은 모바일 마케팅 어플리케이션 통합 서버(600)과 통신하여 주변 정보들을 AR로 보여주는 기능을 수행한다. 이를 위해, AVFoundation.framework를 통하여 카메라를 동작시킨다. CLLocationManager를 통해 Location, Heading 값을 실시간으로 전달받는다. UIAccelerometer를 통하여 가속도값을 전달받는다. 사용자와 정보들과의 거리 및 방향을 계산하고, 보여줄 위치를 계산하여 카메라 영상 위에 오버레이하여 정보를 보여준다.
Figure 112013067394221-pat00003
Figure 112013067394221-pat00004
본 실시예에서, LBS 서비스를 제공하는 안드로이드 애플리케이션은 모바일 마케팅 어플리케이션 통합 서버(600)과 통신하여 주변 정보를 보여주는 기능을 수행한다. 이를 위해, 아래와 같이 GPS/Google Location Service를 이용하는 LocationManager 클래스를 사용하여 최적화된 현재 위치 추적한다. LBS 서버 서비스를 사용하여, 측위된 현재 위치를 서버로 전송한다. 수신한 주변 정보들을 파싱하여, 구조체에 저장하고 뷰(View)를 통해 스마트폰 화면에 보여준다.
Figure 112013067394221-pat00005
본 실시예에서, GPS AR 서비스를 제공하는 안드로이드 애플리케이션은 모바일 마케팅 어플리케이션 통합 서버(600)과 통신하여 주변 정보들을 AR로 보여주는 기능을 수행한다. 이를 위해, Camera 클래스를 통하여 카메라를 동작시킨다. LocationManager 클래스를 통해 Location, Heading 값을 실시간으로 전달받는다. SensorManager의 SENSOR_ACCELEROMETER 속성을 통하여 가속도값을 전달받는다. 사용자와 정보들과의 거리 및 방향을 계산하고, 보여줄 위치를 계산하여 카메라 영상 위에 오버레이하여 정보를 보여준다.
Figure 112013067394221-pat00006
Figure 112013067394221-pat00007
본 실시예에서, 상기 비광학적 트래킹 AR 서비스용 라이브러리(814) 및 이에 대응하는 애플리케이션은 주변 정보들을 AR로 보여주는 기능을 수행한다. 예를들어, AVFoundation.framework를 통하여 카메라를 동작시키도록 구현되고, CLLocationManager를 통해 Location, Heading 값을 실시간으로 전달받는 모듈이 구현되며, UIAccelerometer를 통하여 가속도값을 전달받는 모듈이 구현될 수 있다. 또한, 사용자와 정보들과의 거리 및 방향을 계산하고, 보여줄 위치를 계산하여 카메라 영상위에 오버레이하여 정보를 보여줌으로써, 주변 정도들을 AR로 보여주는 기능을 수행한다. 부가하여, 카메라 영상 위에 보여줄 UI가 개발될 수 있다.
따라서, 모바일 마케팅 어플리케이션 통합 서버(600)은 LBS, 비광학적 AR 등과 같은 마케팅툴, 레거시 시스템, 그리고 외부 LBS와 같은 외부시스템과 연동할 수 있으므로, 보다 체계적이고 효율적으로 모바일 마케팅을 수행할 수 있다.
또한, 서버와 연동이 가능한 LBS, 비광학적 AR 서비스를 위한 앱 라이브러리가 아이폰 버전이나 안드로이드 버전으로 개발되어 다양한 버전의 스마트폰에 모바일 서비스를 제공할 수 있다.
도 10은 도 9에 도시된 모바일 증강현실 애플리케이션을 설명하기 위한 블록도이다. 특히, 비광학적 트래킹 기반의 모바일 증강현실 애플리케이션의 구성도가 도시된다.
도 10을 참조하면, 비광학적 트래킹 기반의 모바일 증강현실 애플리케이션(900)은 센서병합부(910), 위치인지부(920), 프레임 그립부(930), 랜드마크 인식부(940), 정보 중첩부(950), 사용자인터페이스(960)를 포함한다.
상기 센서병합부(910)는 GPS 시스템, 디지털 콤파스 및 가속도 센서로부터 위치 인지를 위한 데이터를 제공받아 상기 위치인지부(920)에 제공한다.
상기 위치인지부(920)는 상기 센서병합부(910)에서 위치 인지를 위한 데이터가 제공됨에 따라 외부의 맵 DB에 저장된 위치정보를 근거로 해당 스마트폰의 위치를 연산하여 랜드마크 인식부(940)에 제공한다.
상기 프레임 그립부(930)는 카메라에서 제공되는 영상의 프레임을 획득하여 랜드마크 인식부(940)에 제공한다.
상기 랜드마크 인식부(940)는 상기 프레임 그립부(930)에서 제공되는 영상 프레임과 상기 위치인지부(920)에서 제공되는 위치정보를 근거로 해당 영상의 랜드마크를 인식하여 상기 정보 중첩부(950)에 제공한다. 상기 랜드마크 인식부(940)나 상기 정보 중첩부(950)에는 정보 DB에 저장된 정보가 제공될 수 있다.
동작시, 비광학적 트래킹 기반의 모바일 증강현실 애플리케이션(900)은 GPS 데이터와 디지털 콤파스 및 가속도(Accelerometer) 센서 데이터를 활용하고, 맵 데이터를 종합하여 사용자의 위치를 인식한다.
이어, 비광학적 트래킹 기반의 모바일 증강현실 애플리케이션(900)은 인식된 위치를 기준으로 카메라에서 얻어진 영상에서 랜드마크를 인식한다.
이어, 비광학적 트래킹 기반의 모바일 증강현실 애플리케이션(900)은 인식된 랜드마크와 사용자가 입력한 정보를 종합하여 카메라에서 얻어진 영상위에 필요한 정보를 정합한다.
이어, 비광학적 트래킹 기반의 모바일 증강현실 애플리케이션(900)은 모바일 폰의 움직임을 내장된 센서 데이터 값으로 트래킹한다.
이상에서는 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
이상에서 설명한 바와 같이, 본 발명의 실시예에 따르면, 스마트폰에 내장된 GPS와 각종 센서를 이용하여 각종 매장의 위치와 이벤트를 홍보하고 소셜 네트워크와 연동하여 다수의 참여자를 유도하는 광고 서비스 모바일 폰에 내장된 카메라에 비친 현실정보에 다양한 부가정보가 결합되고, SNS 서비스와 연동되는 형태의 모바일 광고 서비스를 구현할 수 있다.
또한, QR 코드 및 다양한 이미지를 스마트폰으로 비추면 내장된 정보를 3D 컨텐츠로 보여 주고 트래킹 기능을 적용하여 다양한 사용자 참여형 광고 서비스를 구현할 수 있다.
또한, 모바일 폰의 카메라로 제품에 인쇄된 마커나 이미지를 비추면 관련된 광고 영상이나 3D 컨텐츠가 제품과 합성된 영상을 디스플레이하여 제품 광고 서비스를 구현할 수 있다.
또한, 관광지의 위치정보 데이터를 활용하는 관광지 안내서비스와 관광지별 다양한 이벤트 홍보 서비스와 트래킹 기능과 3D로 정보를 제공하는 흥미로운 QR 코드 서비스 및 다양한 홍보물을 활용하는 증강현실 서비스가 합쳐진 서비스를 구현할 수 뿐만 아니라, 여행객 또는 방문객에게 소셜 네트워크 서비스를 제공하여 관광객 유치 및 재방문을 유도할 수 있다.
또한, 위치정보를 활용하여 매장별 위치 안내와 이벤트 안내, QR 코드를 활용한 제품 판매, 증강현실을 이용한 제품 홍보 등의 서비스를 SNS와 연동하여 이용객 증가에 따른 매출을 높일 수 있다.
또한, 위치정보를 활용하여 테마 건물의 위치 안내와 이벤트 안내, QR 코드를 활용한 테마파크 안내, 증강현실을 이용한 테마파크 홍보 등의 서비스를 SNS와 연동하여 이용객 증가에 따른 매출을 높일 수 있다.
또한, 위치 정보를 활용하여 지자체의 속한 주요 건물 안내, 관광지 안내, 행사 안내를 서비스하고, QR 코드를 활용하여 사용자에게 보다 자세한 정보를 제공하며 증강현실을 이용하여 다양하고 흥미로운 현실 참여형 서비스로 지자체 홍보 서비스를 구현할 수 있다.
100, 600 : 증강현실 서비스 서버 200, 700 : 외부 서버
110, 610 : 통계 DB 120, 620 : SNS DB
130, 630 : 외부 연동 DB 140, 640 : QR 코드 DB
150, 650 : 사용자 DB 160, 660 : DBMS
170, 670 : 서버 플랫폼 소프트웨어
180, 680 : 서버 소프트웨어 300 : 스마트폰
310, 810 : 앱 라이브러리 312 : SNS 서비스용 라이브러리
314 : QR 코드용 라이브러리
316 : 광학적 트래킹 AR 서비스용 라이브러리
400 : 광학적 트래킹 기반의 모바일 증강현실 애플리케이션
410 : 윈도우 플랫폼 상에 데이터베이스
420 : 카메라 430 : 모듈부
440 : 하이레벨 API 450 : 애플리케이션 레이어
500 : 아이폰 애플리케이션 510 : 아이폰 SDK
520 : 아이폰 OS 유니파이 SDK 모바일 엔진
530 : 디스플레이 모듈 512, 1512 : 카메라 모듈
514 : 캡쳐링 모듈 522 : 캡쳐 콤포넌트
524 : 트래킹 콤포넌트 526 : 렌더링 모듈
1500 : 안드로이드 애플리케이션 1510 : 안드로이드 SDK
1520 : 안드로이드 OS 유니파이 SDK 모바일 엔진
1530 : 디스플레이 모듈 1522 : 캡쳐 콤포넌트
1524 : 트래킹 콤포넌트 1526 : 렌더링 모듈
810 : 앱 라이브러리 816 : LBS 서비스용 라이브러리
814 : 비광학적 트래킹 AR 서비스용 라이브러리
900 : 비광학적 트래킹 기반의 모바일 증강현실 애플리케이션
910 : 센서병합부 920 : 위치인지부
930 : 프레임 그립부 940 : 랜드마크 인식부
950 : 정보 중첩부 960 : 사용자인터페이스

Claims (5)

  1. 스마트폰에 의해 실행되는 정보 통합 방법으로서,
    위치 인지를 위한 데이터를 수집하는 제1 단계;
    상기 수집된 데이터를 기초로 상기 스마트폰의 위치 정보를 결정하는 제2 단계;
    상기 스마트폰에 포함되거나 상기 스마트폰과 연결된 카메라에 의해 촬영되는 영상의 프레임을 획득하는 제3 단계;
    상기 결정된 위치 정보 및 상기 획득된 프레임을 기초로 랜드마크를 인식하는 제4 단계;
    상기 인식된 랜드마크와 연관된 정보를 상기 영상과 결합하는 제5 단계; 및
    상기 스마트 폰의 움직임을 트래킹하여 상기 스마트폰의 화면 상에 상기 인식된 랜드마크와 연관된 정보를 표시할 위치를 계산하는 제6 단계
    를 포함하고,
    상기 정보 통합 방법은 이미지 트래킹 기반 AR 애플리케이션을 통해 수행되고,
    상기 제3 단계와 연관하여, 상기 스마트폰의 OS의 모바일 엔진의 캡쳐 콤포넌트에 의해 상기 카메라가 활성화되어, 상기 카메라의 렌즈에 의해 상기 영상이 촬영됨으로써 상기 프레임이 획득되고,
    상기 제6 단계와 연관하여, 상기 모바일 엔진의 트래킹 콤포넌트에 의해 상기 움직임을 트래킹하기 위한 트래킹 데이터가 구성 및 설정되고,
    상기 제5 단계 및 상기 제6 단계와 연관하여, 상기 모바일 엔진의 렌더링 콤포넌트에 의해 상기 스마트폰의 사용자에 의해 입력된 정보를 기초로 상기 랜드마크와 연관된 정보로서 컨텐츠가 로딩되고, 상기 렌더링 콤포넌트에 의해 상기 랜드마크와 연관된 정보를 표시할 위치로서 상기 컨텐츠의 이동 스케일 값, 상기 컨텐츠의 이동 변환 값 및 상기 컨텐츠의 이동 회전 값을 포함하는 조정 값이 계산 및 설정됨으로써 상기 스마트폰의 화면 상에서 상기 랜드마크와 연관된 정보를 표시할 위치가 최적화되고,
    상기 렌더링 콤포넌트에 의해, 상기 영상 상에 상기 랜드마크와 연관된 정보가 바인딩되어 표시되는, 정보 통합 방법.
  2. 제1항에 있어서,
    상기 인식된 랜드마크와 연관된 정보를 상기 영상과 결합하는 제5 단계는,
    상기 결정된 위치 정보를, 상기 이미지 트래킹 기반 AR 애플리케이션을 통해, 상기 스마트폰과 오픈 API를 통해 연결된 서버로 전송하는 단계; 및
    상기 이미지 트래킹 기반 AR 애플리케이션을 통해, 상기 서버로부터 상기 인식된 랜드마크와 연관된 정보를 수신하는 단계
    를 포함하는, 정보 통합 방법.
  3. 제1항에 있어서,
    상기 랜드마크를 인식하는 제4 단계는,
    QR 코드를 인식하는 단계
    를 포함하고,
    상기 QR 코드를 인식하는 단계는,
    상기 영상의 프레임에 해당하는 컬러 이미지를 그레이 스케일로 변환하는 단계;
    상기 영상의 프레임에서의 배경으로부터 상기 QR 코드의 영역을 구분하기 위해 외곽선을 검출하는 단계;
    상기 외곽선의 검출에 의해 상기 QR 코드의 영역이 검출되면 검출된 영역을 호모그래피(Homography)를 이용하여 정방화함으로써, 상기 QR 코드를 분석하기 위한 정규화된 영상을 획득하는 단계;
    상기 정규화된 영상에 기반하여 상기 QR 코드의 포맷 및 버전 정보를 분석하는 단계; 및
    상기 QR 코드의 포맷 및 버전 정보를 활용하여 상기 QR 코드를 디코딩하는 단계
    를 포함하는, 정보 통합 방법.
  4. 제1항에 있어서,
    상기 정보 통합 방법은,
    학습된 마커의 패턴 데이터와 상기 카메라로부터 획득한 이미지를 분석하여 자연점들의 데이터를 획득하는 단계; 및
    상기 획득된 자연점들의 데이터를 특정하는 패턴을 저장하는 단계
    를 더 포함하고,
    상기 스마트폰의 화면 상에 상기 인식된 랜드마크와 연관된 정보를 표시할 위치를 계산하는 제6 단계는,
    상기 저장된 패턴을 이용하여 상기 랜드마크의 6자유도(6DOF; Six degrees of freedom)를 계산하는 단계
    를 포함하는, 정보 통합 방법.
  5. 상기 스마트폰과 결합하여 제1항 내지 제4항 중 어느 한 항의 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체.
KR1020130088054A 2013-07-25 2013-07-25 모바일 마케팅 어플리케이션 통합 시스템 KR102214292B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130088054A KR102214292B1 (ko) 2013-07-25 2013-07-25 모바일 마케팅 어플리케이션 통합 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130088054A KR102214292B1 (ko) 2013-07-25 2013-07-25 모바일 마케팅 어플리케이션 통합 시스템

Publications (2)

Publication Number Publication Date
KR20150013372A KR20150013372A (ko) 2015-02-05
KR102214292B1 true KR102214292B1 (ko) 2021-02-09

Family

ID=52570878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130088054A KR102214292B1 (ko) 2013-07-25 2013-07-25 모바일 마케팅 어플리케이션 통합 시스템

Country Status (1)

Country Link
KR (1) KR102214292B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101587985B1 (ko) * 2015-07-13 2016-01-27 한상선 다양한 추가기능이 탑재된 제품증강현실 애플리케이션시스템
KR101581802B1 (ko) * 2015-09-30 2016-01-12 한상선 현시된 컨텐츠 활용기능탑재의 제품증강현실 애플리케이션시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101158275B1 (ko) * 2011-07-21 2012-06-19 주식회사 엠터치 큐알코드 자동 인식 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101659089B1 (ko) * 2010-08-11 2016-09-22 주식회사 엘지유플러스 위치 정보를 이용한 증강 현실 장치
KR20120100433A (ko) * 2011-03-04 2012-09-12 삼성에스디에스 주식회사 사용자 정보와 3차원 지아이에스 데이터를 활용한 모바일정보 제공 시스템
KR101334049B1 (ko) * 2011-03-16 2013-11-28 성준형 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101158275B1 (ko) * 2011-07-21 2012-06-19 주식회사 엠터치 큐알코드 자동 인식 장치 및 방법

Also Published As

Publication number Publication date
KR20150013372A (ko) 2015-02-05

Similar Documents

Publication Publication Date Title
JP6572468B2 (ja) スマートフォンベースの方法、スマートフォン及びコンピュータ可読媒体
US10262356B2 (en) Methods and arrangements including data migration among computing platforms, e.g. through use of steganographic screen encoding
US9830950B2 (en) Smartphone-based methods and systems
US10650264B2 (en) Image recognition apparatus, processing method thereof, and program
Schmalstieg et al. Augmented Reality 2.0
CN101743541A (zh) 用于将基于代码的和光学字符识别技术集成到移动可视搜索中的方法、设备和计算机程序产品
KR101545138B1 (ko) 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
JP2016508644A (ja) 個人情報コミュニケータ
Khan et al. Rebirth of augmented reality-enhancing reality via smartphones
US20120050316A1 (en) Methods and apparatuses for enhancing wallpaper display
CN104102732A (zh) 图像展现方法及装置
KR102214292B1 (ko) 모바일 마케팅 어플리케이션 통합 시스템
US20200265614A1 (en) Method of providing augmented reality contents and elecronic device therefor
Luley et al. Mobile augmented reality for tourists–MARFT
Ortman et al. Guidelines for user interactions in mobile augmented reality
Trivedi et al. A Systematic Review of Tools Available in the Field of Augmented Reality
KR101907885B1 (ko) 단말 및 그의 제어 방법
US20210158595A1 (en) Information processing apparatus, information processing method, and information processing system
JP7396326B2 (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム
WO2018094289A1 (en) Remote placement of digital content to facilitate augmented reality system
KR20160038193A (ko) 명함 또는 브로슈어를 통해 제공되는 증강 현실 컨텐츠를 이용한 기업 소개 방법 및 프로그램
Fan Mobile Room Schedule Viewer Using Augmented Reality
KR20190043001A (ko) 단말 및 그의 제어 방법
Hui Master of Science Programme Photogrammetry and Geoinformatics Master Thesis Winter Term 2020/2021

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant