KR101773885B1 - 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버 - Google Patents

이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버 Download PDF

Info

Publication number
KR101773885B1
KR101773885B1 KR1020160136074A KR20160136074A KR101773885B1 KR 101773885 B1 KR101773885 B1 KR 101773885B1 KR 1020160136074 A KR1020160136074 A KR 1020160136074A KR 20160136074 A KR20160136074 A KR 20160136074A KR 101773885 B1 KR101773885 B1 KR 101773885B1
Authority
KR
South Korea
Prior art keywords
image
mobile terminal
real
augmented reality
user
Prior art date
Application number
KR1020160136074A
Other languages
English (en)
Inventor
천솔지
김영욱
Original Assignee
(주)잼투고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)잼투고 filed Critical (주)잼투고
Priority to KR1020160136074A priority Critical patent/KR101773885B1/ko
Application granted granted Critical
Publication of KR101773885B1 publication Critical patent/KR101773885B1/ko
Priority to US16/343,173 priority patent/US11023572B2/en
Priority to PCT/KR2017/011616 priority patent/WO2018074870A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G06F17/30061—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H04L29/06034—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality

Abstract

본 발명은 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버에 관한 것으로, 보다 자세하게는 제1 모바일 단말기가 촬영한 제1 실세계 영상과 입력 메시지를 이용하여 증강현실 객체를 등록하고, 수신인 정보에 해당하는 제2 모바일 단말기로 증강현실 객체의 등록에 따른 알림 메시지를 전송함으로써, 제2 모바일 단말기가 촬영한 제2 실세계 영상 내에 등록된 증강현실 객체를 출력하여 제2 모바일 단말기의 제2 사용자가 증강현실을 체험할 수 있도록 하기 위한 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버에 관한 것이다.

Description

이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버{A method and server for providing augmented reality objects using image authentication}
본 발명은 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버에 관한 것으로, 보다 자세하게는 제1 모바일 단말기가 촬영한 제1 실세계 영상과 입력 메시지를 이용하여 증강현실 객체를 등록하고, 수신인 정보에 해당하는 제2 모바일 단말기로 증강현실 객체의 등록에 따른 알림 메시지를 전송함으로써, 제2 모바일 단말기가 촬영한 제2 실세계 영상 내에 등록된 증강현실 객체를 출력하여 제2 모바일 단말기의 제2 사용자가 증강현실을 체험할 수 있도록 하기 위한 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버에 관한 것이다.
보편적인 모바일 단말기(mobile device)의 사용환경에서 사용자는 소유한 모바일 단말기를 통해 다른 모바일 단말기의 사용자에게 정보의 전달 또는 정보의 등록이 용이하게 되었다. 특히, 모바일 단말기를 이용하는 단문 문자메시지(SMS, Simple Message Service)는 모바일 단말기가 개발된 이후부터 현재까지도 모바일 단말기의 주요한 정보 전달 수단(application)으로 사용되고 있다.
또한, 단순한 텍스트(text)를 전송하던 단문 문자 메시지(SMS) 이외에 모바일 단말기 간에 전송되는 멀티미디어 문자메시지(MMS, Multimedia Message Service)는 다양한 멀티미디어 데이터를 전송할 수 있는 특징이 있어 다수의 사용자로부터 많이 애용되었다.
이후, 스마트폰(smart phone)이 모바일 단말기의 사용자들에게 폭 넓게 보급되면서, 모바일 단말기의 사용자들 간의 사회적 관계에 기반한 소셜 네트워킹 서비스(SNS, Social Networking Service)가 다양한 정보의 전달 및 정보를 등록하는 수단으로 이용되고 있다.
소셜 네트워킹 서비스(SNS)는 전세계적으로 애용되는 서비스가 있으며, 특정 국가 또는 집단에서 애용되는 서비스도 있다. 예를 들어, 페이스북(facebook), 트위터(twitter), 인스타그램(instagram), 구글플러스(google+) 등은 전세계 사용자들에 의해 사용되고 있으며, 카카오톡(kakaotalk)은 한국의 사용자들에 의해 주로 사용되고 있으며, 라인(line)은 일본의 사용자들이 주로 사용하고 있다.
이와 같이 정보를 제공하거나 등록할 수 있는 서비스는 다양하게 개발되어 모바일 단말기를 통해 사용되고 있으며, 게시되는 정보도 텍스트를 비롯하여 다양한 멀티미디어 데이터로 확장되었다. 즉, 사회가 발전함에 따라 다양한 정보 및 정보 제공 서비스에 대한 사용자들의 새로운 요구가 발생하고, 이에 따라 다양한 형태의 정보 및 정보 제공 서비스가 개발되었다.
종래기술 1인 Xybernaut의 미국등록특허 US6,681,107호(2004.01.20. 등록) “System and method of accessing and recording messages at coordinate way points”는 사용자가 단지 특정한 위치에서 버튼을 눌러 위치를 저장할 수 있도록 하며, 이후에 ‘음성 녹음’을 통해 저장된 위치에 대한 설명을 함께 저장할 수 있는 기술을 공개하고 있다.
즉, 종래기술 1은 이러한 사용자들의 다양한 요구에 따라 기존의 텍스트, 멀티미디어 데이터 이외에 위치 정보를 메시지로 제공할 수 있는 특징이 있다. 그러나 위치 정보를 메시지로 제공하는 기술은 단순히 생성된 정보를 본인 또는 다른 사용자들에게 전달할 뿐이며, 기존의 텍스트, 멀티미디어 데이터 등과 정보의 형태 및 종류가 다를 뿐이며, 동일한 형태의 메시지 전송방법 또는 제공방법을 사용하고 있다.
또한, 최근에는 실세계 영상에 다양한 데이터를 결합한 정보를 제공하는 증강현실 서비스가 개발되어 모바일 단말기를 통해 증강현실 정보를 제공하고 있다.
종래기술 2인 Qualcomm의 미국등록특허 US9,179,278호(2015.11.03 등록) “Systems and methods involving augmented menu using mobile device”는 모바일 단말기의 사용자가 레스토랑 등의 위치에서 모바일 단말기를 사용하여 실세계 영상(위치 정보 포함)을 증강현실 서버로 전송하면, 증강현실 서버는 실세계 영상에서 텍스트를 파싱하고, 인식된 위치와 텍스트에 대응하는 증강현실 데이터를 모바일 단말기에 전송함으로써, 모바일 단말기에서 증강현실 정보를 출력할 수 있도록 하는 기술이다.
종래기술 2의 모바일 단말기에 증강현실 정보를 제공하는 증강현실 서버는 이미 다양한 증강현실 정보를 증강현실 서버 내에 저장하고, 모바일 단말기로부터 전송된 위치 정보와 실세계 영상에 기반하여 매칭하는 증강현실 정보를 모바일 단말기에 전송함으로써, 모바일 단말기는 수신된 증강현실 정보를 실세계 영상에 결합하여 출력하여 사용자에게 새로운 형태의 정보를 제공할 수 있는 특징이 있다.
그러나 종래기술 2의 새로운 형태의 정보인 증강현실 정보는 증강현실 서버에 저장되어 있으며, 특정 조건(위치 정보, 실세계 영상)에 매칭하는 정보를 추출하여 모바일 단말기에 제공하는 것으로써, 사용자는 규격화된 정보만을 제공받을 수 있으며, 사용자가 모바일 단말기를 사용하여 정보를 생성하거나 편집, 삭제 등의 사용자 중심의 정보 가공 및 가공된 정보의 제공을 하지 못하는 문제점이 있다.
이에 따라, 종래기술 3인 엘지전자의 대한민국등록특허 KR677502호 “이동통신 단말기에서의 증강현실기반의 메시지 작성 방법 및 그 이동통신 단말기”는 사용자의 모바일 단말기를 통해 마커를 포함하는 실사 영상을 촬영하고, 촬영된 마커 인식을 통해 대응하는 가상 오브젝트를 실사 영상에 증강하여 출력하고, 필요에 따라 실사 영상에 사용자 메시지를 추가한 후 다른 사용자에게 전달하는 기술이 기재되어 있다.
종래기술 3은 마커 인식을 통해 가상 오브젝트를 실사 영상에 증강하여 출력하되, 사용자 메시지도 함께 출력하도록 하고, 이를 타 사용자의 모바일 단말기에 메시지로 전송하는 메시징 서비스를 함께 제공하고 있다.
그러나 종래기술 3은 가상 오브젝트가 증강된 실사 영상과 실사 영상에 추가된 사용자 메시지를 타 사용자에게 전송함으로써, 타 사용자가 전송된 실사 영상, 가상 오브젝트 및 메시지를 확인함으로써 증강현실을 간접적으로 체험할 뿐이며, 직접 가상 오브젝트가 실사 영상에 증강되어 출력되는 직접적인 증강현실을 체험할 수 없는 문제점이 있다.
즉, 사용자들 사이에서 증강현실 정보를 이용한 상호 작용(interaction)이 이루어지지 않으며, 상호 간에 증강현실 정보에 대한 재미나 호감이 증대되지 못하는 문제점이 있다.
미국등록특허 US6,681,107호(2004.01.20. 등록) 미국등록특허 US9,179,278호(2015.11.03. 등록) 대한민국등록특허 KR10-0677502(2007.01.26. 등록)
본 발명은 상기의 문제점을 해결하기 위한 것으로, 본 발명에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는 제1 사용자가 특정한 위치에서 제1 모바일 단말기를 이용하여 제1 실세계 영상을 촬영함에 따라 제1 사용자에 의해 선택된 사용자 설정 이미지에 대응하여, 증강현실 객체를 생성하고, 생성된 증강현실 객체를 증강현실 객체 제공 서버에 저장하면, 증강현실 객체 제공 서버는 특정 조건이 충족되는 경우에 제2 사용자의 제2 모바일 단말기로 해당 증강현실 객체를 전송하기 위한 목적이 있다.
또한, 본 발명에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는 제1 사용자에 의해 생성된 증강현실 객체를 증강현실 객체 제공 서버에 등록하면, 증강현실 객체 제공 서버는 제2 사용자의 제2 모바일 단말기로 해당 증강현실 객체를 전송하기 이전에 증강현실 객체의 등록을 알리는 알림 메시지를 제2 사용자의 제2 모바일 단말기로 전송함으로써, 제2 사용자가 능동적으로 증강현실 객체를 확인할 수 있도록 하기 위한 다른 목적이 있다.
또한, 본 발명에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는 제1 사용자에 의해 제1 실세계 영상 내의 사용자 설정 이미지에 대응하여 생성된 증강현실 객체가 증강현실 객체 제공 서버에 등록된 이후에 등록된 증강현실 객체를 제2 사용자가 확인하기 위해서는 제2 모바일 단말기를 통해 제2 실세계 영상을 촬영하고, 촬영된 제2 실세계 영상 내에 해당 사용자 설정 이미지와 동일한 이미지가 존재하는 경우에 증강현실 객체를 제공하기 위한 또 다른 목적이 있다.
또한, 본 발명에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는 제2 사용자에 의해 특정 위치에서 촬영된 제1 실세계 영상을 이용하여 생성된 증강현실 객체가 증강현실 객체 제공 서버에 등록된 이후에 등록된 증강현실 객체를 제2 사용자가 확인하기 위해서는 제2 모바일 단말기를 통해 제2 실세계 영상을 촬영하여야 하는데, 제2 실세계 영상을 촬영한 위치가 특정 위치로부터 설정된 임계 범위 이내인 경우에 증강현실 객체를 제공하기 위한 또 다른 목적이 있다.
또한, 본 발명에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는 증강현실 객체를 등록한 제1 사용자에 의해 설정된 수신인만이 해당 증강현실 객체를 제공받을 수 있도록 함으로써, 제1 실세계 영상의 촬영 위치에서 증강현실 객체에 대응하는 사용자 설정 이미지와 동일한 이미지가 포함된 제2 실세계 영상을 촬영하더라도 생성된 증강현실 객체가 전송되지 않도록 하기 위한 또 다른 목적이 있다.
또한, 본 발명에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는 제1 사용자가 특정한 위치에서 촬영한 제1 실세계 영상을 이용하여 생성한 증강현실 객체를 증강현실 객체 제공 서버에 등록함에 따라 생성되는 알림 메시지를 제2 사용자의 제2 모바일 단말기가 해당 특정한 위치로부터 설정된 임계 범위 이내에 위치하는 경우에 제2 모바일 단말기로 전송함으로써, 증강현실 객체의 확인을 통해 이벤트를 제공할 수 있는 또 다른 목적이 있다.
또한, 본 발명에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는 증강현실 객체에 다양한 이벤트(할인, 사은품 등)를 포함시켜서 증강현실 객체 제공 서버에 등록하고, 이에 대한 알림 메시지를 고객들에게 제공하는 경우, 고객들은 매장에 방문하여 이벤트가 포함된 증강현실 객체를 확인해야 하기 때문에 고객들에게 매장 방문을 유도할 수 있는 또 다른 목적이 있다.
또한, 본 발명에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는 제1 사용자에 의해 생성된 증강현실 객체를 제2 사용자에게 제공함에 있어서, 직접적으로 전달하지 않고 알림 메시지를 통해 증강현실 객체의 등록을 제2 사용자에게 전달함에 따라 제2 사용자가 증강현실 객체를 확인하기 위해서는 제1 실세계 영상이 촬영된 촬영 위치 및 촬영된 제1 실세계 영상 내의 사용자 설정 이미지 등의 특정한 조건을 만족하도록 함으로써, 증강현실 객체 전달에 다른 궁금증 유발 및 재미 등을 제공하기 위한 또 다른 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법은 제1 모바일 단말기로부터 촬영된 제1 실세게 영상, 상기 제1 실세계 영상 내에서 선택된 사용자 설정 이미지 정보, 입력 메시지 및 하나 이상의 수신인 정보를 수신하는 제1 단계;와 상기 사용자 설정 이미지 정보를 이용하여 상기 제1 실세계 영상 내에 포함된 사용자 설정 이미지를 제1 이미지로 설정하는 제2 단계;와 상기 제1 모바일 단말기의 제1 사용자에 의해 입력된 상기 입력 메시지를 상기 제1 이미지에 대한 증강현실 객체로 등록하는 제3 단계;와 상기 증강현실 객체의 등록에 따라 알림 메시지를 생성하고, 상기 알림 메시지를 상기 수신인 정보에 대응하는 제2 모바일 단말기에 전송하는 제4 단계;와 상기 알림 메시지를 수신한 상기 제2 모바일 단말기로부터 촬영된 제2 실세계 영상이 수신되는 경우, 상기 제2 모바일 단말기의 제2 사용자와 상기 수신인 정보에 해당하는 수신인이 동일한지의 여부를 판단하는 제5 단계;와 상기 제2 사용자와 상기 수신인이 동일한 경우, 상기 제1 실세계 영상을 촬영한 제1 위치 정보와 상기 제2 실세계 영상을 촬영한 위치 정보가 설정된 임계 범위 이내인지 판단하는 제6 단계;와 상기 제2 위치 정보가 상기 제1 위치 정보와 상기 임계 범위 이내인 경우, 상기 제2 실세계 영상 내에서 상기 제1 이미지에 대응하는 제2 이미지가 존재하는지의 여부를 판단하는 제7 단계;와 상기 제2 실세계 영상 내에서 상기 제2 이미지가 존재하는 경우, 상기 제2 모바일 단말기의 상기 제2 실세계 영상 내에 상기 증강현실 객체가 출력될 수 있도록 상기 제1 이미지에 대응하는 상기 증강현실 객체를 상기 제2 모바일 단말기로 전송하는 제8 단계;를 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법에 있어서, 상기 제6 단계에서, 상기 제1 위치 정보 및 상기 제2 위치 정보는 상기 제1 실세계 영상 및 상기 제2 실세계 영상의 각 속성정보에 포함되어 있는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법에 있어서, 상기 제1 단계에서, 상기 사용자 설정 이미지 정보는 상기 사용자 설정 이미지의 명칭, 상기 사용자 설정 이미지의 위치, 상기 사용자 설정 이미지의 최외곽 경계선(edge), 상기 사용자 설정 이미지의 위치, 상기 사용자 설정 이미지 중 적으로 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법에 있어서, 상기 제1 단계에서, 상기 입력 메시지는 상기 제1 모바일 단말기에 입력되거나 저장된 데이터이며, 텍스트, 영상, 애니메이션, 음향(음성 포함) 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법에 있어서, 상기 제1 단계에서, 상기 알림 메시지는 상기 제1 실세계 영상을 촬영한 제1 위치 정보, 상기 사용자 설정 이미지 정보 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법에 있어서, 상기 제1 단계에서, 상기 수신인 정보는 상기 제1 모바일 단말기에 설치된 어플리케이션 중 적어도 어느 하나의 어플리케이션에 포함된 수신인 정보인 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법에 있어서, 상기 제4 단계에서, 상기 알림 메시지는 상기 수신인 정보에 대응하는 어플리케이션의 어플리케이션 서버를 통해 전송되는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법에 있어서, 상기 제4 단계에서, 상기 제2 모바일 단말기로부터 수신된 제2 위치 정보가 상기 제1 실세계 영상을 촬영한 제1 위치 정보로부터 설정된 임계 영역 이내인 경우, 상기 알림 메시지를 상기 제2 모바일 단말기로 전송하는 것을 특징으로 한다.
본 발명에 따른 이미지 인증을 이용한 증강현실 객체 제공 서버는 제1 모바일 단말기에서 전송되는 제1 실세계 영상, 상기 제1 실세계 영상 내에서 선택된 사용자 설정 이미지 정보, 입력 메시지 및 하나 이상의 수신인 정보를 저장하는 저장 모듈;과 상기 사용자 설정 이미지 정보를 이용하여 상기 제1 실세계 영상 내에 포함된 사용자 설정 이미지를 제1 이미지로 설정하고, 상기 제1 모바일 단말기의 제1 사용자에 의해 입력된 상기 입력 메시지를 상기 제1 이미지에 대한 증강현실 객체로 등록하는 제어 모듈;과 상기 증강현실 객체의 등록에 따라 상기 증강현실 객체에 대한 알림 메시지를 생성하는 알림 메시지 생성 모듈;과 상기 수신인 정보에 대응하는 제2 모바일 단말기에 상기 알림 메시지가 전송되도록 하는 메시지 전송 모듈;과 상기 알림 메시지를 수신한 상기 제2 모바일 단말기로부터 촬영된 제2 실세계 영상이 수신되는 경우, 상기 제2 모바일 단말기의 제2 사용자와 상기 수신인 정보에 해당하는 수신인이 동일한지의 여부를 판단하기 위한 사용자 인증 모듈;과 상기 제1 실세계 영상을 촬영한 제1 위치 정보와 상기 제2 실세계 영상을 촬영한 제2 위치 정보가 설정된 임계 범위 이내인지 판단하는 위치 비교 모듈; 및 상기 제2 실세계 영상 내에서 상기 제1 이미지에 대응하는 제2 이미지가 존재하는지의 여부를 판단하는 이미지 비교 모듈;을 포함하여 구성하되, 상기 메시지 전송 모듈은 상기 제2 실세계 영상 내에 상기 제2 이미지가 존재하는 경우, 상기 제2 모바일 단말기의 상기 제2 실세계 영상 내에 상기 증강현실 객체가 출력될 수 있도록 상기 제1 이미지에 대응하는 상기 증강현실 객체를 상기 제2 모바일 단말기로 전송하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 서버에 있어서, 상기 제1 위치 정보 및 상기 제2 위치 정보는 상기 제1 실세계 영상 및 상기 제2 실세계 영상의 각 속정정보에 포함되어 있는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 서버에 있어서, 상기 사용자 설정 이미지 정보는, 상기 사용자 설정 이미지의 명칭, 상기 사용자 설정 이미지의 위치, 상기 사용자 설정 이미지의 최외곽 경계선(edge), 상기 사용자 설정 이미지의 위치, 상기 사용자 설정 이미지 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 서버에 있어서, 상기 입력 메시지는, 상기 제1 모바일 단말기에 입력되거나 저장된 데이터이며, 텍스트, 영상 애니메이션, 음향(음성 포함) 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 서버에 있어서, 상기 알림 메시지는, 상기 제1 실세계 영상을 촬영한 제1 위치 정보, 상기 사용자 설정 이미지 정보 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 서버에 있어서, 상기 수신인 정보는, 상기 제1 모바일 단말기에 설치된 어플리케이션 중 적어도 어느 하나 이상의 어플리케이션에 포함된 수신인 정보인 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 서버에 있어서, 상기 메시지 전송 모듈은, 상기 수신인 정보에 대응하는 어플리케이션의 어플리케이션 서버를 통해 상기 알림 메시지를 전송하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 서버에 있어서, 상기 메시지 전송 모듈은, 상기 제2 모바일 단말기로부터 수신된 제2 위치 정보가 상기 제1 실세계 영상을 촬영한 제1 위치 정보로부터 설정된 임계 영역 이내인 경우, 상기 알림 메시지를 제2 보바일 단말기로 전송하는 것을 특징으로 한다.
본 발명의 상기의 구성을 통해, 본 발명에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는, 제1 사용자가 특정한 위치에서 제1 모바일 단말기를 이용하여 제1 실세계 영상을 촬영함에 따라 선택된 사용자 설정 이미지에 대응하여, 증강현실 객체를 생성하고, 생성된 증강현실 객체를 증강현실 객체 제공 서버에 저장하면, 증강현실 객체 제공 서버는 특정 조건이 충족되는 경우에 제2 사용자의 제2 모바일 단말기로 해당 증강현실 객체를 전송하므로, 제1 사용자 및 제2 사용자 모두 증강현실을 체험할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는, 제1 사용자에 의해 생성된 증강현실 객체를 증강현실 객체 제공 서버에 등록하면, 증강현실 객체 제공 서버는 제2 사용자의 제2 모바일 단말기로 해당 증강현실 객체를 전송하기 이전에 증강현실 객체의 등록을 알리는 알림 메시지를 제2 사용자의 제2 모바일 단말기로 전송함으로써, 제2 사용자는 알림 메시지를 통해 증강현실 객체의 등록을 인지하고, 능동적으로 증강현실 객체를 확인할 수 있는 다른 효과가 있다.
또한, 본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는, 제1 사용자에 의해 제1 실세계 영상 내의 사용자 설정 이미지에 대응하여 생성된 증강현실 객체가 증강현실 객체 제공 서버에 등록된 이후에 등록된 증강현실 객체를 제2 사용자가 확인하기 위해서는 제2 모바일 단말기를 통해 제2 실세계 영상을 촬영하고, 촬영된 제2 실세계 영상 내에 해당 사용자 설정 이미지와 동일한 이미지가 존재하는 경우에 증강현실 객체를 제공함으로써, 제1 사용자의 경험을 제2 사용자에게 유도하고 이를 통해 경험을 공유할 수 있는 또 다른 효과가 있다.
또한, 본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는, 제2 사용자에 의해 특정 위치에서 촬영된 제1 실세계 영상을 이용하여 생성된 증강현실 객체가 증강현실 객체 제공 서버에 등록된 이후에 등록된 증강현실 객체를 제2 사용자가 확인하기 위해서는 제2 모바일 단말기를 통해 제2 실세계 영상을 촬영하여야 하는데, 제2 실세계 영상을 촬영한 위치가 특정 위치로부터 설정된 임계 범위 이내인 경우에 증강현실 객체를 제공함으로써, 제1 사용자가 경험한 실세계 위치를 제2 사용자가 공유하도록 할 수 있는 또 다른 효과가 있다.
또한, 본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는, 증강현실 객체를 등록한 제1 사용자에 의해 설정된 수신인만이 해당 증강현실 객체를 제공받을 수 있도록 함으로써, 제1 실세계 영상의 촬영 위치에서 증강현실 객체에 대응하는 사용자 설정 이미지와 동일한 이미지가 포함된 제2 실세계 영상을 촬영하더라도 생성된 증강현실 객체가 전송되지 않도록 함으로써, 임의의 사용자에게 증강현실 객체가 유출되는 것을 방지하여 데이터 보안을 유지할 수 있는 또 다른 효과가 있다.
또한, 본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는, 증강현실 객체에 다양한 이벤트(할인, 사은품 등)를 포함시켜 증강현실 객체 제공 서버에 등록하고, 이에 대한 알림 메시지를 고객들에게 제공하는 경우, 고객들은 매장에 방문하여 이벤트가 포함된 증강현실 객체를 확인해야 하기 때문에 고객들에게 매장 방문을 유도할 수 있는 또 다른 효과가 있다.
또한, 본 발명의 실시예에 따른 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버는, 제1 사용자에 의해 생성된 증강현실 객체를 제2 사용자에게 제공함에 있어서, 직접적으로 전달하지 않고 알림 메시지를 통해 증강현실 객체의 등록을 제2 사용자에게 전달함에 따라 제2 사용자가 증강현실 객체를 확인하기 위해서는 제1 실세계 영상이 촬영된 촬영 위치 및 촬영된 제1 실세계 영상 내의 사용자 설정 이미지 등의 특정한 조건을 만족하도록 함으로써, 증강현실 객체 전달에 다른 궁금증 유발 및 재미 등을 제공할 수 있는 또 다른 효과가 있다.
도 1은 본 발명에 따른 증강현실 객체 제공 서버를 나타내기 위한 구성도,
도 2는 본 발명에 따른 증강현실 객체 제공 방법을 나타내기 위한 순서도,
도 3은 본 발명의 일구현예에 따라 증강현실 객체 제공 서버에서 증강현실 객체를 전송하기 위한 방법을 나타내기 위한 흐름도,
도 4는 본 발명의 일구현예에 따라 메시지 서버에서 증강현실 객체를 전송하기 위한 방법을 나타내기 위한 흐름도,
도 5는 본 발명의 일구현예에 따라 알림 메시지 및 증강현실 객체를 각각 전송하기 위한 방법을 나타내기 위한 흐름도,
도 6은 본 발명의 일구현예에 따라 제1 모바일 단말기에서 생성되는 정보를 나타내기 위한 예시도,
도 7은 본 발명의 일구현예에 따라 증강현실 객체 제공 서버가 제1 모바일 단말기로부터 수신한 정보를 가공하는 것을 나타내기 위한 예시도,
도 8은 본 발명의 일구현예에 따라 증강현실 객체 제공 서버에서 생성된 알림 메시지가 제2 모바일 단말기에 출력되는 것을 나타내기 위한 예시도,
도 9는 본 발명의 일구현예에 따라 제2 모바일 단말기에서 제2 실세계 영상을 촬영한 화면을 나타내기 위한 예시도,
도 10은 본 발명의 일구현예에 따라 증강현실 객체 제공 서버에서 증강현실 객체와 제2 실세계 영상을 비교하는 것을 나타내기 위한 예시도,
도 11은 본 발명의 일구현예에 따라 제2 모바일 단말기에 증강현실 객체가 출력되는 것을 나타내기 위한 예시도이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되어서는 안되며, 발명자는 자신의 발명을 최선의 방법으로 설명하기 위해 용어와 개념을 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 해당하며, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로 해당 구성은 본 발명의 출원시점에서 이를 대체할 다양한 균등물과 변형 예가 있을 수 있다.
명세서 전반에서 어떠한 부분이 어떤 구성요소를 “포함”한다는 기재는, 이에 대한 특별한 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 명세서에 기재된 “..모듈”, “..부”, “..서버”, “..시스템” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있으며, 하나의 장치 또는 각각 다른 장치에 포함될 수 있다.
이하에서는 도면을 참조하여 본 발명에 따른 증강현실 객체 제공 서버를 이용한 증강현실 객체 제공 방법을 설명한다.
도 1은 본 발명에 따른 증강현실 객체 제공 서버를 나타내기 위한 구성도이다. 도 1에 도시된 바와 같이, 증강현실 객체 제공 서버(100)는 제1 모바일 단말기(200)에서 전송되는 제1 실세계 영상, 제1 실세계 영상 내에서 선택된 사용자 설정 이미지 정보, 입력 메시지 및 하나 이상의 수신인 정보를 저장하는 저장 모듈(120)과 사용자 설정 이미지 정보를 이용하여 제1 실세계 영상 내에 포함된 사용자 설정 이미지를 제1 이미지로 설정하고, 제1 모바일 단말기(200)의 제1 사용자에 의해 입력된 입력 메시지를 제1 이미지에 대한 증강현실 객체로 등록하는 제어 모듈(110)과 증강현실 객체의 등록에 따라 증강현실 객체에 대한 알림 메시지를 생성하는 알림 메시지 생성 모듈(130)과 수신인 정보에 대응하는 제2 모바일 단말기(300)에 알림 메시지가 전송되도록 하는 메시지 전송 모듈(140)과 알림 메시지를 수신한 제2 모바일 단말기(300)로부터 촬영된 제2 실세계 영상이 수신되는 경우, 제2 모바일 단말기(300)의 제2 사용자와 수신인 정보에 해당하는 수신인이 동일한지의 여부를 판단하기 위한 사용자 인증 모듈(150) 및 제2 사용자와 수신인이 동일한 경우, 제2 실세계 영상 내에서 제1 이미지에 대응하는 제2 이미지가 존재하는지의 여부를 판단하는 이미지 비교 모듈(160)을 포함하여 구성하되, 메시지 전송 모듈(140)은 제2 실세계 영상 내에 제2 이미지가 존재하는 경우, 제2 모바일 단말기(300)의 제2 실세계 영상 내에 증강현실 객체가 출력될 수 있도록 제1 이미지에 대응하는 증강현실 객체를 제2 모바일 단말기(300)로 전송하는 것을 특징으로 한다.
또한, 제2 사용자와 수신인이 동일한 경우, 제1 실세계 영상을 촬영한 제1 위치 정보와 제2 실세계 영상을 촬영한 제2 위치 정보가 설정된 임계 범위 이내인지 판단하는 위치 비교 모듈(170)을 더 포함하되, 제1 위치 정보 및 제2 위치 정보는 제1 실세계 영상 및 제2 실세계 영상의 각 속성정보에 포함되어 있다.
저장 모듈(120)은 제1 모바일 단말기(200)로부터 전송되는 제1 실세계 영상, 사용자 설정 이미지 정보, 입력 메시지, 수신인 정보를 저장하며, 제2 모바일 단말기(300)로부터 전송되는 제2 실세계 영상을 수신하여 저장한다.
이때, 저장 모듈(120)에 저장된 사용자 설정 이미지 정보는 사용자 설정 이미지의 명칭, 사용자 설정 이미지의 최외곽 경계선(edge), 사용자 설정 이미지의 위치, 사용자 설정 이미지 중 적어도 어느 하나 이상을 포함하고, 입력 메시지는 제1 모바일 단말기(200)에 입력되거나 저장된 데이터이며, 텍스트, 영상 애니메이션, 음향(음성 포함) 등의 다양한 멀티미디어 데이터 중 적어도 어느 하나 이상을 포함한다.
또한, 제어 모듈(110)이 사용자 설정 이미지 정보를 이용하여 제1 실세계 영상 내에 포함된 사용자 설정 이미지를 제1 이미지로 설정하면, 저장 모듈(120)은 설정된 제1 이미지를 저장한다.
또한, 제어 모듈(110)이 제1 모바일 단말기(200)로부터 전송된 입력 메시지를 제1 이미지에 대한 증강현실 객체로 등록하면, 저장 모듈(120)은 등록된 증강현실 객체를 저장한다.
또한, 알림 메시지 생성 모듈(130)에서 증강현실 객체의 등록에 따라 증강현실 객체에 대한 일림 메시지를 생성하면, 저장 모듈(120)은 생성된 알림 메시지를 저장한다.
또한, 저장 모듈(120)에 저장되는 수신인 정보는 제1 모바일 단말기(200)에 설치된 SNS 어플리케이션 중 적어도 어느 하나 이상의 SNS 어플리케이션에 포함된 수신인 정보이며, 이에 따라 수신인 정보에는 해당 어플리케이션의 종류 등에 관한 정보가 더 포함되어 있다. 제 모바일 단말기(200)에 설치된 SNS 어플리케이션은 메시지 등의 데이터 전송이 가능한 것이 바람직하다.
제어 모듈(110)은 증강현실 객체 제공 서버(100) 내의 각 구성요소를 제어하며, 특히 제1 모바일 단말기(200)로부터 수신된 사용자 설정 이미지 정보를 이용하여 제1 실세계 영상 내에 포함된 사용자 설정 이미지를 제1 이미지로 설정한다.
즉, 제어 모듈(110)은 제1 실세계 영상 내에서 제1 모바일 단말기(200)의 사용자인 제1 사용자에 의해 선택된 사용자 설정 이미지를 추출하기 위한 사용자 설정 이미지 정보를 이용하여 사용자 설정 이미지를 추출할 수 있으며, 제1 실세계 영상에서 추출된 사용자 설정 이미지를 제1 이미지로 설정한다.
이에 따라 설정되는 제1 이미지는 증강현실 객체를 제2 모바일 단말기(300)로 전송하기 위해 이미지 비교에 사용되는 이미지로써, 제2 모바일 단말기(300)로부터 전송되는 제2 실세계 영상에 설정된 제1 이미지에 대응하는 제2 이미지가 존재하는 경우에 대응하는 증강현실 객체가 제2 모바일 단말기(300)에 출력될 수 있도록 증강현실 객체를 제2 모바일 단말기(300)로 전송한다.
도 6의 (c)에서와 같이, 제1 모바일 단말기(200)가 촬영한 제1 실세계 영상(510)에서 제1 사용자에 의해 사용자 설정 이미지 정보(530)가 생성되어 증강현실 객체 제공 서버(100)로 전송되면, 도 7의 (a) 및 (b)에서와 같이 제어 모듈(110)은 제1 실세계 영상(510) 내에서 사용자 설정 이미지 정보(530)를 이용하여 사용자 설정 이미지(에펠탑)를 추출하고, 추출된 사용자 설정 이미지를 제1 이미지(630)로 설정할 수 있다.
결과적으로, 설정된 제1 이미지(630)는 제1 실세계 영상(510) 내에서 일부의 사용자 설정 이미지를 추출하여 단독으로 저장하게 되는 이미지이며, 제1 이미지(630)로 설정되는 사용자 설정 이미지는 제1 사용자에 의해 입력되는 사용자 설정 이미지 정보(530)를 이용하여 추출된다.
이때, 사용자 설정 이미지 정보는 제1 사용자에 의해 선택된 사용자 설정 이미지의 최외곽 경계선(edge), 사용자 설정 이미지의 위치, 사용자 설정 이미지 중 적어도 어느 하나 이상을 포함할 수 있으며, 이외에도 제1 실세계 영상 내에서 특정 이미지를 추출하기 위한 정보인 경우라면 어떠한 정보를 사용하여도 무방하다. 도 6의 (c)에서 사용자 설정 이미지 정보(530)는 사용자 설정 이미지의 최외곽 경계선(edge)에 해당하는 예시이다.
또한, 사용자 설정 이미지의 최외곽 경계선(edge)은 제1 모바일 단말기(200)의 화면에 출력된 제1 실세계 영상에서 추출하고자 하는 이미지의 경계선을 드래그(drag)를 통해 연속된 영상 좌표값을 입력함으로써 생성한다. 제어 모듈(110)은 해당 드래그(drag) 입력 정보(영상에서의 연속된 좌표값)인 사용자 설정 이미지 정보를 이용하여 사용자 설정 이미지를 추출할 수 있다.
사용자 설정 이미지의 위치는 제1 모바일 단말기(200)의 화면에 출력된 제1 실세계 영상에서 추출하고자 하는 특정 이미지의 터치(touch) 또는 선택(입력 인터페이스 이용)을 통해 이미지의 특정 좌표값을 입력함으로써 생성한다. 제어 모듈(110)은 해당 터치(touch) 입력 정보(특정 좌표값)인 사용자 설정 이미지 정보를 이용하여 사용자 설정 이미지를 추출할 수 있다.
이때, 사용자 설정 이미지의 추출은 터치(touch) 입력 정보인 좌표값에 위치하는 이미지를 추출하는 것으로, 예를 들어, 하나의 추출 방법으로 제1 실세계 영상 내에서 터치(touch) 입력 정보인 좌표값의 위치로부터 주변 픽셀(pixel)을 분석하여 유사 픽셀들을 그룹으로 지정하고, 해당 그룹에 속하는 픽셀(pixel)을 사용자 설정 이미지로 추출할 수 있다.
다른 하나의 추출 방법으로 제1 실세계 영상 내에서 터치(touch) 입력 정보인 좌표값의 위치로부터 윤곽선 검출(Edge Detection) 알고리즘을 통해 좌표값에 해당하는 이미지의 윤곽선을 검출하여, 검출된 윤곽선을 갖는 사용자 설정 이미지를 추출할 수 있다.
또 다른 하나의 추출 방법으로 제1 실세계 영상 내에서 터치(touch) 입력 정보인 좌표값의 위치로부터 설정된 임계 픽셀(pixel) 거리 이내의 픽셀들의 집합을 그룹으로 지정하고, 해당 그룹에 속하는 픽셀(pixel)을 사용자 설정 이미지로 추출할 수 있다.
마지막으로 사용자 설정 이미지 정보 중 사용자 설정 이미지는 제1 모바일 단말기(200)에서 제1 사용자에 의해 제1 실세계 영상을 편집하여 추출된 사용자 설정 이미지 자체를 사용자 설정 이미지 정보로 생성할 수 있다. 생성된 사용자 설정 이미지 정보를 수신한 증강현실 객체 제공 서버(100)의 제어 모듈(110)은 사용자 설정 이미지 정보에 대한 가공 없이 사용자 설정 이미지 정보인 사용자 설정 이미지를 바로 제1 이미지로 설정한다.
제어 모듈(110)은 제1 모바일 단말기(200)로부터 수신된 입력 메시지를 제1 이미지에 연계된 증강현실 객체로 등록할 수 있다. 증강현실 객체는 제2 모바일 단말기(300)로 전송되어 제2 실세계 영상에 출력된다. 증강현실 객체는 텍스트, 영상, 애니메이션, 음향(음성 포함) 등의 다양한 멀티미디어 데이터 중 적어도 어느 하나 이상으로 이루어질 수 있다.
입력 메시지는 제1 모바일 단말기(200)에서 제1 사용자에 의해 입력되거나 저장된 데이터가 될 수 있으며, 제1 사용자에 의해 입력 메시지의 종류 및 개수가 설정되어 증강현실 객체 제공 서버(100)로 전송된다.
제어 모듈(110)은 제1 모바일 단말기(200)로부터 전송되는 입력 메시지를 저장 모듈(120)에 저장하게 되며, 저장하기 이전 또는 저장한 이후에 필요에 따라 입력 메시지를 편집할 수 있다.
편집은 예를 들어, 제1 모바일 단말기(200)로부터 전송된 입력 메시지가 정지 이미지, 동영상 또는 음향 등인 경우에 제2 모바일 단말기(300)에 출력될 수 있도록 영상의 해상도, 영상의 사이즈, 영상의 압축 방식을 변경하거나, 데이터 크기 등을 감소시킬 수 있다.
제어 모듈(110)은 입력 메시지를 증강현실 객체로 등록한 이후에 알림 메시지 생성 모듈(130)에게 알림 메시지의 생성을 요청한다. 알림 메시지에는 제1 실세계 영상을 촬영한 제1 위치 정보 또는 사용자 설정 이미지 정보 중 적어도 어느 하나 이상을 포함한다. 이에 따라 제어 모듈(110)은 알림 메시지에 포함될 제1 위치 정보 또는 사용자 설정 이미지 정보 중 적어도 어느 하나 이상을 알림 메시지 생성 모듈(130)에 제공할 수 있다. 또는, 알림 메시지를 생성하는 알림 메시지 생성 모듈(130)이 제1 위치 정보 또는 사용자 설정 이미지 정보 중 적어도 어느 하나 이상을 저장 모듈(120)로부터 제공 받을 수 있다.
제어 모듈(110)은 제2 모바일 단말기(300)로부터 제2 실세계 영상을 수신하는 경우, 제2 모바일 단말기(300)의 제2 사용자가 제1 모바일 단말기(200)로부터 전송된 수신인 정보에 해당하는 수신인지를 확인하기 위해 사용자 인증 모듈(150)에 사용자 인증을 요청한다.
제어 모듈(110)은 사용자 인증 모듈(150)로부터 제2 실세계 영상을 전송한 제2 모바일 단말기(300)의 제2 사용자가 정당한 사용자로 인증된 경우, 제1 실세계 영상을 촬영한 제1 위치 정보와 제2 실세계 영상을 촬영한 제2 위치 정보가 설정된 임계 범위 이내인지를 확인하기 위해 위치 비교 모듈(170)에 각 위치의 비교를 요청한다.
설정된 임계 범위는 제1 사용자가 촬영한 제1 실세계 영상의 제1 위치 정보에 따른 실제 위치와 제2 사용자가 촬영한 제2 실세계 영상의 제2 위치 정보에 따른 위치가 동일 지역임을 인증하기 위한 수단이다. 제1 위치 정보 또는 제2 위치 정보를 생성하기 위한 GPS 신호 등은 일정한 수준의 허용 오차가 발생하게 되는데, 이러한 오차 범위에 따른 위치 인식 오류를 해소하기 위해 제1 위치 정보에 따른 위치로부터 임계 범위 이내의 위치까지는 동일 지역으로 판단하기 위함이다.
제어 모듈(110)은 위치 비교 모듈(170)로부터 제1 실세계 영상을 촬영한 제1 위치 정보와 제2 실세계 영상을 촬영한 제2 위치 정보가 설정된 임계 범위 이내에 위치하는 것으로 판단된 경우, 제2 모바일 단말기(300)가 전송한 제2 실세계 영상 내에서 제1 이미지에 대응하는 제2 이미지가 존재하는지의 여부를 확인하기 위해 이미지 비교 모듈(160)에 제2 실세계 영상과 제1 이미지의 비교를 요청한다.
이때, 위치 비교 모듈(170)에서의 위치 비교와 이미지 비교 모듈(160)에서의 이미지 비교를 제2 모바일 단말기(300)로부터 전송된 데이터에 따라 적어도 어느 하나 이상을 수행한다. 예를 들어, 알림 메시지에 제1 위치 정보와 제1 이미지가 모두 포함된 경우에는 제2 모바일 단말기(300)에서 전송된 데이터 중에서 두 가지 모두를 비교한다.
그러나 알림 메시지에 제1 위치 정보 또는 제1 이미지 중 어느 하나만이 포함된 경우에는 제2 모바일 단말기(300)에서 전송된 제2 실세계 영상 중 알림 메시지에 대응하는 제1 위치 정보 또는 제1 이미지 중 알림 메시지에 포함된 것을 비교한다.
결국, 제2 모바일 단말기(300)로 전송된 알림 메시지에 포함된 정보에 따라서 제2 모바일 단말기(300)로부터 제2 실세계 영상이 수신되면, 포함된 정보에 대응하여 위치 비교 모듈(170) 또는 이미지 비교 모듈(160) 중 어느 하나 이상에서 관련된 비교를 수행할 수 있다.
제어 모듈(110)은 이미지 비교 모듈(160)로부터 제2 실세계 영상 내에 제1 이미지에 대응하는 제2 이미지가 존재하는 경우, 제1 모바일 단말기(200)에서 전송되어 등록된 증강현실 객체를 제2 모바일 단말기(300)의 화면에 출력된 제2 실세계 영상에 중첩되어 출력될 수 있도록 메시지 전송 모듈(140)에 증강현실 객체의 전송을 요청한다.
제어 모듈(110)은 메시지 전송 모듈(140)에서 제2 모바일 단말기(300)로 증강현실 객체의 전송이 완료된 이후, 증강현실 객체 전송이 완료되었다는 완료 메시지가 제1 모바일 단말기(200)에게 전송될 수 있도록 메시지 전송 모듈(140)을 제어한다.
완료 메시지는 제어 모듈(110)에서 생성하고, 메시지 전송 모듈(140)로 전달되어 제1 모바일 단말기(200)로 전송되거나, 제어 모듈(110)이 메시지 전송 모듈(140)에게 완료 메시지의 전송을 요청하면, 메시지 전송 모듈(140)은 제어 모듈(110)의 요청에 따라 완료 메시지를 생성하여 제1 모바일 단말기(200)로 전송한다.
알림 메시지 생성 모듈(130)은 제어 모듈(110)에서 알림 메시지의 생성을 요청하는 경우, 제2 모바일 단말기(300)로 전송될 알림 메시지를 생성한다. 알림 메시지에는 저장 모듈(120)에 저장된 제1 위치 정보 또는 사용자 설정 이미지 정보 중 적어도 하나 이상을 포함되는 것이 바람직하며, 필요에 따라 제1 사용자의 정보 또는 사용자 설정 이미지 등의 데이터를 더 포함하여 생성할 수 있다.
알림 메시지는 증강현실 객체가 등록된 이후, 최초 1회에 한하여 생성될 수 있으나, 필요에 따라 복수로 생성되어 제2 모바일 단말기(300)로 전송될 수 있다. 즉, 최초의 알림 메시지가 제2 모바일 단말기로 전송된 이후, 일정 기간 내에 제2 모바일 단말기(300)로부터 제2 실세계 영상이 전송되지 않는 경우에 하나 이상의 추가적인 알림 메시지가 전송될 수 있다.
도 8은 본 발명의 일 구현예에 따라 증강현실 객체 제공 서버에서 생성된 알림 메시지가 제2 모바일 단말기에 출력되는 것을 나타내기 위한 예시도이다. 도 8에 도시된 바와 같이, 알림 메시지(710)는 제1 모바일 단말기(200)에서 전송된 제1 실세계 영상을 이용하여 증강현실 데이터가 등록되었음을 제2 모바일 단말기(300)의 제2 사용자에게 알려주기 위해 증강현실 객체 제공 서버(100)에서 제2 모바일 단말기(300)로 전송되는 메시지로써, 텍스트의 형태로 알림 메시지(710)가 생성될 수 있으며, 제1 실세계 영상에서 추출된 사용자 설정 이미지를 이용하여 설정된 제1 이미지(720)를 더 포함하여 생성될 수 있다.
제어 모듈(110)은 입력 메시지를 증강현실 객체로 등록한 이후에 알림 메시지 생성 모듈(130)에 알림 메시지의 생성을 요청한다. 알림 메시지에는 제1 실세계 영상을 촬영한 제1 위치 정보 또는 사용자 설정 이미지 정보 중 적어도 어느 하나 이상을 포함한다. 이에 따라 제어 모듈(110)은 저장 모듈(120)에 저장된 제1 위치 정보 또는 사용자 설정 이미지 정보 중 알림 메시지에 포함될 적어도 어느 하나 이상을 알림 메시지 생성 모듈(130)에 제공할 수 있다. 또는, 알림 메시지를 생성하는 알림 메시지 생성 모듈(130)이 제1 위치 정보 또는 사용자 설정 이미지 정보 중 적어도 어느 하나 이상을 저장 모듈(120)로부터 제공 받을 수 있다.
메시지 전송 모듈(140)은 제어 모듈(110)의 제어에 따라 알림 메시지를 제1 모바일 단말기(200)로부터 전송된 수신인 정보에 대응하는 제2 모바일 단말기(300)로 전송한다. 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)은 알림 메시지를 직접 제2 모바일 단말기(300)로 전송할 수 있으며, 필요에 따라 외부에 위치하는 메시지 서버(400)에 수신인 정보와 알림 메시지를 제공하여 전송을 요청할 수 있다.
또한, 메시지 전송 모듈(140)은 제어 모듈(110)의 제어에 따라 증강현실 객체를 제2 실세계 영상을 전송한 제2 모바일 단말기(300)로 전송한다. 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)은 증강현실 객체를 직접 제2 모바일 단말기(300)로 전송할 수 있으며, 필요에 따라 외부에 위치하는 메시지 서버(400)에 수신인 정보와 증강현실 객체를 제공하여 전송을 요청할 수 있다.
즉, 제1 모바일 단말기(200)로부터 전송된 수신자 정보에 대응하는 어플리케이션이 증강현실 객체 제공 서버(100)에서 제공하는 어플리케이션인 경우에는 메시지 전송 모듈(140)이 직접 알림 메시지 또는 증강현실 객체를 제2 모바일 단말기(300)로 전송할 수 있다.
그러나, 제1 모바일 단말기(200)로부터 전송된 수신자 정보에 대응하는 어플리케이션이 증강현실 객체 제공 서버(100)에서 제공하는 어플리케이션이 아닌, 다른 어플리케이션인 경우, 메시지 전송 모듈(140)은 해당 어플리케이션에서 제공하는 메시지 서버(400)를 통해 각각의 메시지를 전송할 수 있다.
예를 들어, 제1 모바일 단말기(200)에서 페이스북(facebook) 어플리케이션에 저장된 수신자 정보를 전송하는 경우, 메시지 전송 모듈(140)은 알림 메시지 또는 증강현실 객체를 제2 모바일 단말기(300)로 전송하기 위해 페이스북(facebook)에 속한 메시지 서버(400)에게 알림 메시지 또는 증강현실 객체의 전송을 요청한다.
이에 따라 페이스북(facebook)에 속한 메시지 서버(400)는 수신한 알림 메시지 또는 증강현실 객체를 제2 모바일 단말기(300)에게 전송한다.
또한, 제1 모바일 단말기(200)에서 트위터(twitter) 어플리케이션에 저장된 수신자 정보를 전송하는 경우, 메시지 전송 모듈(140)은 알림 메시지 또는 증강현실 객체를 제2 모바일 단말기(300)로 전송하기 위해 트위터(twitter)에 속한 메시지 서버(400)에게 알림 메시지 또는 증강현실 객체의 전송을 요청한다. 이에 따라 트위터(twitter)에 속한 메시지 서버(400)는 알림 메시지 또는 증강현실 객체를 제2 모바일 단말기(300)에게 전송한다.
이와 같이, 메시지 전송 모듈(140)은 수신자 정보에 대응하는 어플리케이션에 따라 외부의 메시지 서버(400)를 통해 알림 메시지 또는 증강현실 객체를 전송할 수 있다. 또한, 메시지 전송 모듈(140)은 알림 메시지 또는 증강현실 객체 중 적어도 어느 하나만을 수신자 정보에 대응하는 어플리케이션의 메시지 서버(400)를 통해 전송하거나, 외부의 메시지 서버(140)를 이용하지 않고, 메시지 전송 모듈(140)에서 알림 메시지 및 증강현실 객체를 제2 모바일 단말기(300)에 전송할 수 있다.
이때, 외부의 메시지 서버(140)는 가입들 회원들에게 메시지를 전송하거나, 회원들 간에 메시지를 전송할 수 있는 서버이며, 외부의 메시지 서버(140)는 해당 어플리케이션을 이용하여 가입된 회원들에게 메시지 전송 서비스를 제공한다.
한편, 메시지 전송 모듈(140)은 메시지 전송 모듈(140)에서 제2 모바일 단말기(300)로 증강현실 객체를 전송한 이후, 제어 모듈(110)의 제어에 따라 증강현실 객체의 전송을 완료한 완료 메시지를 제1 모바일 단말기(200)로 전송한다.
완료 메시지의 생성은 제어 모듈(110) 또는 메시지 전송 모듈(140) 중 적어도 어느 하나에서 생성할 수 있다. 일구현예에 따라, 제어 모듈(110)은 완료 메시지를 생성하고, 생성된 완료 메시지를 제1 모바일 단말기(200)로 전송하는 것을 메시지 전송 모듈(140)에 요청할 수 있다. 다른 일구현예에 따라, 제어 모듈(110)이 완료 메시지를 제1 모바일 단말기(200)에게 전송되도록 메시지 전송 모듈(140)에게 요청하면, 메시지 전송 모듈(140)은 완료 메시지를 생성하여 제1 모바일 단말기(200)로 전송할 수 있다.
사용자 인증 모듈(150)은 증강현실 객체 제공 서버(100)가 제2 모바일 단말기(300)로부터 제2 실세계 영상을 수신하는 경우에 제어 모듈(110)의 제어에 따라 제2 모바일 단말기(300)의 제2 사용자가 제1 모바일 단말기(200)에서 전송된 수신 정보에 해당하는 수신인에 해당하는지에 대한 사용자 인증을 수행한다.
즉, 사용자 인증은 수신인 정보와 제2 모바일 단말기(300)로부터 전송된 정보를 이용하여 수행될 수 있다. 예를 들어, 제2 모바일 단말기(300)로부터 전송되어 사용자 인증을 수행하기 위한 정보들은 제2 모바일 단말기(300)에 부여된 휴대폰 번호, 제2 모바일 단말기(300)의 제조번호, 제2 모바일 단말기(300)의 MAC 주소(Medium Access Control Address), 메시지 전송을 위한 어플리케이션의 아이디(ID)/패스워드(Password) 등으로 이루어질 수 있다.
사용자 인증 모듈(150)은 제2 실세계 영상을 전송한 제2 모바일 단말기(300)의 제2 사용자를 인증한 사용자 인증 결과를 제어 모듈(110)에 전송한다.
이미지 비교 모듈(160)은 제2 실세계 영상을 촬영하여 전송한 제2 모바일 단말기(300)의 제2 사용자가 수신인 정보에 대응하는 수신인에 해당하여, 제2 사용자의 사용자 인증이 완료된 경우에 제2 실세계 영상에 제1 이미지에 대응하는 이미지가 포함되어 있는지 판단하는 이미지 비교를 수행한다.
즉, 이미지 비교 모듈(160)은 수신된 제2 실세계 영상 내에서 저장 모듈(120)에 저장된 제1 이미지에 대응하는 이미지가 포함되어 있는지를 판단할 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 제2 모바일 단말기(300)가 촬영한 제2 실세계 영상(730)을 증강현실 객체 제공 서버(100)로 전송하면, 도 10에 도시된 바와 같이, 이미지 비교 모듈(160)은 수신된 제2 실세계 영상(730)과 제1 이미지(630)를 상호 비교하여, 제1 이미지(630)에 대응하는 제2 이미지가 수신된 제2 실세계 영상 내에 포함되어 있는지를 판단할 수 있다.
이미지 비교 모듈(160)은 제2 실세계 영상(730) 내에 제1 이미지(630)에 대응하는 제2 이미지가 존재하는지의 비교 결과를 제어 모듈(110)에 전송한다.
본 발명의 다른 구현예에 따르면, 이미지 비교 모듈(160)이 증강현실 객체 제공 서버(100) 내에 구비되지 않고, 제2 모바일 단말기(300) 내에 구비될 수 있다. 이미지 비교 모듈(160)이 제2 모바일 단말기(300) 내에 구비되는 경우, 이미지 비교 모듈(160)은 알림 메시지에 포함되어 전송된 제1 이미지와 제2 모바일 단말기(300)에서 촬영된 제2 실세계 영상을 상호 비교한다.
이때, 제2 모바일 단말기(300)는 촬영한 제2 실세계 영상을 증강현실 객체 제공 서버(100)로 전송하지 않고, 이미지 비교 모듈(160)이 제2 실세계 영상에 제1 이미지에 대응하는 제2 이미지가 포함되어 있는지를 판단하는 이미지 비교를 수행한다.
즉, 제2 모바일 단말기(300)에 이미지 비교 모듈(160)이 구비되고, 알림 메시지를 통해 제1 이미지가 제2 모바일 단말기(300)로 전송된 경우, 제2 모바일 단말기(300)는 촬영한 제2 실세계 영상을 증강현실 객체 제공 서버(100)로 전송하지 않고, 제2 모바일 단말기(300)에 구비된 이미지 비교 모듈(160)을 통해 알림 메시지를 통해 수신한 제1 이미지와 비교하여, 제2 실세계 영상 내에 제1 이미지에 대응하는 제2 이미지가 포함되어 있는지를 판단한다.
제2 모바일 단말기(300)는 구비된 이미지 비교 모듈(160)에서 수행한 제2 실세계 영상 내에 제1 이미지에 대응하는 제2 이미지가 존재하는지의 비교 결과를 증강현실 객체 제공 서버(100)의 제어 모듈(110)에 전송한다.
본 발명의 다른 구현예에 따라 이미지 비교 모듈(160)이 제2 모바일 단말기(300)에 구비되는 경우에는 제2 모바일 단말기(300)에서 이미지 비교가 완료된 이후, 증강현실 객체 제공 서버(100)의 사용자 인증 모듈(150) 및 위치 비교 모듈(170)을 통해 사용자 인증과 위치 비교를 수행한다. 이에 따라 제2 모바일 단말기(300)는 관련 정보를 증강현실 객체 제공 서버(100)에 전송한다.
이미지 비교가 완료된 이후, 제2 모바일 단말기(300)에서 증강현실 객체 제공 서버(100)로 전송되는 관련 정보는 사용자 인증을 위한 정보와 위치 비교를 수행하기 위한 정보를 포함한다.
위치 비교 모듈(170)은 사용자 인증 모듈(150)로부터 제2 실세계 영상을 전송한 제2 모바일 단말기(300)의 제2 사용자에 대하여 사용자 인증이 완료된 경우, 제1 모바일 단말기(200)에서 제1 실세계 영상을 촬영한 제1 위치 정보와 제2 모바일 단말기(300)에서 제2 실세계 영상을 촬영한 제2 위치 정보가 상호 설정된 임계 범위 이내의 위치인지 확인하기 위한 위치 비교를 수행한다.
즉, 위치 비교 모듈(170)은 필요에 따라 각각의 제1 실세계 영상과 제2 실세계 영상을 촬영한 위치를 상호 비교함으로써, 동일한 장소에서 촬영된 실세계 영상인지를 판단할 수 있다. 이때, 제1 실세계 영상과 제2 실세계 영상에서 각각의 제1 위치 정보와 제2 위치 정보는 영상의 속성 정보에 포함된 위치 정보를 사용하는 것이 바람직하다. 그러나 각 실세계 영상의 속성 정보에 위치 정보가 포함되지 않은 경우라면, 각 제1 모바일 단말기(200) 또는 제2 모바일 단말기(300) 내에 구비된 위치 인식 모듈을 사용하여 측정된 위치 정보를 수신하여 제1 위치 정보 또는 제2 위치 정보 중 어느 하나 이상을 대체하여 사용할 수 있다.
위치 비교 모듈(170)은 제1 위치 정보와 제2 위치 정보가 상호 설정된 임계 범위 이내에 위치하는 것을 판단한 비교 결과를 제어 모듈(110)에 전송한다.
본 발명의 일구현예에서 제1 모바일 단말기(200)는 증강현실 객체를 생성하는 단말기로 설명되고, 제1 사용자가 사용하며, 증강현실 객체 제공 서버(100)에 제1 실세계 영상 등의 정보를 전송하기 위한 어플리케이션이 설치되어 있는 것이 바람직하다.
필요에 따라 제1 모바일 단말기(200)는 인터넷을 통해 증강현실 객체 제공 서버(100)가 제공하는 웹페이지(web page)에 접속하여 제1 실세계 영상 등의 정보를 전송할 수 있다.
제1 모바일 단말기(200)에는 제1 실세계 영상을 촬영할 수 있는 카메라 모듈을 포함하는 것이 바람직하며, 촬영한 제1 실세계 영상의 속성정보에 포함되는 제1 위치 정보를 생성시킬 수 있는 위치 인식 모듈(GPS 수신기 등)을 포함할 수 있다.
제1 모바일 단말기(200)는 증강현실 객체 제공 서버(100)에 제1 실세계 영상 등을 전송함에 있어서, 유선 또는 무선 통신 매체를 사용할 수 있다.
제1 모바일 단말기(200)는 증강현실 객체 제공 서버(100)에서 제공되는 어플리케이션을 통해 제1 실세계 영상 등을 증강현실 객체 제공 서버(100)로 전송할 수 있으며, 해당 어플리케이션은 촬영된 제1 실세계 영상 내에서 사용자 설정 이미지를 추출할 수 있는 영상 편집 모듈(미도시)을 더 포함하여 구비된다.
영상 편집 모듈은 제1 실세계 영상에서 제1 모바일 단말기(200)를 사용하는 제1 사용자에 의해 사용자 설정 이미지를 선택받을 수 있다. 즉, 사용자 설정 이미지 정보를 생성함으로써 사용자 설정 이미지를 선택받을 수 있는데, 사용자 설정 이미지의 최외곽 경계선(edge), 사용자 설정 이미지의 위치, 사용자 설정 이미지 중 적어도 어느 하나 이상을 이용하여 선택할 수 있으며, 이외에도 제1 실세계 영상 내에서 특정 이미지를 추출하기 위한 정보인 경우라면 어떠한 정보를 사용하여도 무방하다.
사용자 설정 이미지의 최외곽 경계선(edge)은 제1 모바일 단말기(200)의 화면에 출력된 제1 실세계 영상에서 추출하고자 하는 이미지의 경계선을 드래그(drag)를 통해 영상에서의 연속된 좌표값을 입력함으로써 생성한다.
사용자 설정 이미지의 위치는 제1 모바일 단말기(200)의 화면에 출력된 제1 실세계 영상에서 추출하고자 하는 특정 이미지의 터치(touch)를 통해 이미지의 특정 좌표값을 입력함으로써 생성한다.
사용자 설정 이미지의 최외곽 경계선(edge)과 사용자 설정 이미지의 위치는 영상 편집 모듈과 상관없이 생성할 수 있지만, 사용자 설정 이미지는 영상 편집 모듈을 사용하여 제1 실세계 영상을 편집하고, 이를 통해 사용자 설정 이미지를 직접 추출할 수 있다.
제1 모바일 단말기(300)는 영상 편집 모듈을 이용하여 추출한 사용자 설정 이미지를 사용자 설정 이미지 정보로 설정하고, 설정된 사용자 설정 이미지 정보를 증강현실 객체 제공 서버(100)로 전송할 수 있다.
본 발명의 일구현예에서 제2 모바일 단말기(300)는 증강현실 객체 제공 서버(100)에서 증강현실 객체의 등록에 따라 생성하여 전송하는 알림 메시지를 수신한다. 알림 메시지는 제1 모바일 단말기(200)에서 선택한 수신자 정보에 대응하는 어플리케이션으로 전송되며, 제2 모바일 단말기(300)는 해당 어플리케이션을 이용하여 알림 메시지를 수신할 수 있다.
가장 바람직하게는 증강현실 객체 제공 서버(100)에서 제공한 어플리케이션을 이용하여 알림 메시지를 수신할 수 있으나, 필요에 따라서는 페이스북(facebook), 트위터(twitter), 인스타그램(instagram), 구글플러스(google+), 카카오톡(kakaotalk), 라인(line) 등의 메시지 전송을 수행할 수 있는 다양한 SNS 어플리케이션을 이용하여 알림 메시지를 수신할 수 있다. 이때, 증강현실 객체 제공 서버(100)는 생성한 알림 메시지를 메시지 전송 모듈(140)을 통해 외부의 SNS 어플리케이션에 속한 메시지 서버(400)를 이용하여 제2 모바일 단말기(300)에 알림 메시지를 전송할 수 있다.
제2 모바일 단말기(300)는 구비된 카메라 모듈을 이용하여 촬영된 제2 실세계 영상을 생성하고, 생성된 제2 실세계 영상을 증강현실 객체 제공 서버(100)에 전송할 수 있다. 이때, 제2 모바일 단말기(300)는 제2 사용자에 의해 사용되며, 증강현실 객체 제공 서버(100)로 전송하는 제2 실세게 영상은 증강현실 객체 제공 서버(100)에서 제공되어, 제2 모바일 단말기(300)에 설치된 어플리케이션으로 수행되는 것이 바람직하다.
필요에 따라 제2 모바일 단말기(300)는 인터넷을 통해 증강현실 객체 제공 서버(100)가 제공하는 웹페이지(web page)에 접속하여 제2 실세계 영상을 전송할 수 있다.
메시지 서버(400)는 증강현실 객체 제공 서버(100)의 외부에 위치하여 제2 모바일 단말기(300)에 메시지를 전송할 수 있다. 이때, 메시지 서버(400)는 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)로부터 전송될 메시지와 수신인 정보를 수신하고, 수신인 정보에 대응하는 제2 모바일 단말기(300)에 메시지를 전달할 수 있다.
메시지 서버(400)는 필요에 따라 메시지 전송 모듈(140)의 요청에 의해 알림 메시지 또는 증강현실 객체 중 적어도 어느 하나 이상을 제2 모바일 단말기(300)에 메시지를 전송할 수 있다.
즉, 도 3에 도시된 바와 같이, 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)이 알림 메시지 및 증강현실 객체를 직접 제2 모바일 단말기(300)에 전송하는 경우, 메시지 서버(400)가 필요치 않다.
반면, 도 4에 도시된 바와 같이, 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)이 알림 메시지 및 증강현실 객체를 제2 모바일 단말기(300)로의 전송을 요청하는 경우에 메시지 서버(400)는 메시지 전송 모듈(140)로부터 알림 메시지 및 증강현실 객체를 각각 전달받아 제2 모바일 단말기(300)로 전송할 수 있다.
또한, 도 5에 도시된 바와 같이, 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)이 알림 메시지를 제2 모바일 단말기(400)로의 전송을 요청하는 경우에 메시지 서버(400)는 메시지 전송 모듈(140)로부터 알림 메시지를 전달받아, 함께 전송받은 수신인 정보에 대응하는 제2 모바일 단말기(300)로 전송할 수 있다.
결국, 제2 모바일 단말기(300)를 특정할 수 있는 수신인 정보가 증강현실 객체 제공 서버(100)에서 제공되는 어플리케이션에 저장된 수신인 정보인 경우에는 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)에서 직접 제2 모바일 단말기(300)로 알림 메시지 또는 증강현실 객체 중 적어도 어느 하나 이상을 전송한다.
그러나 제2 모바일 단말기(300)를 특정할 수 있는 수신인 정보가 다른 어플리케이션에 저장된 수신인 정보인 경우에는 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)이 다른 어플리케이션에 해당하는 메시지 서버(400)를 통해 제2 모바일 단말기(300)로 알림 메시지 또는 증강현실 객체 중 적어도 어느 하나 이상을 전송한다.
이때, 다른 어플리케이션은 알림 메시지 또는 증강현실 객체 중 적어도 어느 하나 이상의 데이터를 전송할 수 있는 어플리케이션에 해당하며, 예를 들어, 페이스북(facebook), 트위터(twitter), 인스타그램(instagram), 구글플러스(google+), 카카오톡(kakaotalk), 라인(line) 등의 다양한 SNS 어플리케이션이 해당된다. 이외에도 제1 모바일 단말기(200) 및 제2 모바일 단말기(300)에 설치되며, 알림 메시지 또는 증강현실 객체를 전송할 수 있는 어플리케이션인 경우에는 어떠한 어플리케이션을 사용하여도 무방하다.
도 2는 본 발명에 따른 증강현실 객체 제공 방법을 나타내기 위한 순서도, 도 3은 본 발명의 일 구현예에 따라 증강현실 객체 제공 서버에서 증강현실 객체를 전송하기 위한 방법을 나타내기 위한 흐름도, 도 4는 본 발명의 일 구현예에 따라 메시지 서버에서 증강현실 객체를 전송하기 위한 방법을 나타내기 위한 흐름도 및 도 5는 본 발명의 일 구현예에 따라 알림 메시지 및 증강현실 객체를 각각 전송하기 위한 방법을 나타내기 위한 흐름도이다. 도 2 내지 도 5에 도시된 바와 같이, 제1 모바일 단말기(200)는 구비된 카메라 모듈을 사용하여 제1 실세계 영상을 촬영한다(S105). 제1 모바일 단말기(200)는 제1 실세계 영상 내에서 선택된 사용자 설정 이미지의 사용자 설정 이미지 정보, 입력 메시지 및 수신인 정보를 제1 사용자의 입력에 의해 생성한다(S110).
제1 모바일 단말기(200)는 촬영된 제1 실세계 영상과 생성된 사용자 설정 이미지 정보, 입력 메시지 및 수신인 정보를 증강현실 객체 제공 서버(100)에 전송한다(S115). 이때, 각각의 정보는 제1 모바일 단말기(200)에서 증강현실 객체 제공 서버(100)로 일시에 전송되거나, 각각의 정보가 개별적으로 또는 둘 이상으로 묶여서 전송될 수 있다.
도 6은 본 발명의 일 구현예에 따라 제1 모바일 단말기에서 생성되는 정보를 나타내기 위한 예시도이다. 도 6의 (a)에 도시된 바와 같이, 제1 모바일 단말기(200)는 구비된 카메라 모듈을 이용하여 제1 실세계 영상(510)을 촬영할 수 있으며, 도 6의 (b)에서와 같이, 제1 모바일 단말기(200)의 사용자인 제1 사용자에 의해 입력 메시지(520)를 입력받을 수 있다.
도 6의 (b)는 본 발명의 일구현예에 따른 입력 메시지의 예시이며, 입력 메시지는 제1 모바일 단말기(200)에 입력되거나 저장된 데이터이며, 텍스트, 영상, 애니메이션, 음향(음성 포함) 중 적어도 어느 하나 이상을 포함한다.
또한, 제1 모바일 단말기(200)는 도 6의 (c)에서와 같이 제1 사용자에 의해 사용자 설정 이미지 정보(530)를 입력받는다. (c)에 도시된 사용자 설정 이미지 정보는 제1 사용자에 의해 선택된 사용자 설정 이미지의 최외곽 경계선(edge)을 입력받는 일구현예를 나타내고 있다.
도 6에 도시되지 않았으나, 제1 모바일 단말기(200)는 제1 사용자에 의해 수신자 정보를 입력받는다. 또는, 복수의 수신자 정보 중 하나 이상의 수신자 정보를 선택 받을 수 있다.
증강현실 객체 제공 서버(100)는 제1 모바일 단말기(200)에서 전송한 제1 실세계 영상, 사용자 설정 이미지 정보, 입력 메시지 및 수신인 정보를 수신하여 저장 모듈(120)에 저장한다(S120).
증강현실 객체 제공 서버(100)의 제어 모듈(110)은 수신되어 저장 모듈(120)에 저장된 제1 실세계 영상과 사용자 설정 이미지 정보를 이용하여 제1 이미지를 설정한다(S125).
이후, 제어 모듈(110)은 수신되어 저장된 입력 메시지를 증강현실 객체로 등록한다(S130).
도 7은 본 발명의 일 구현예에 따라 증강현실 객체 제공 서버가 제1 모바일 단말기로부터 수신한 정보를 가공하는 것을 나타내기 위한 예시도이다. 도 7에 도시된 바와 같이, 증강현실 객체 제공 서버(200)는 수신된 제1 실세계 영상(510), 입력 메시지(520) 및 사용자 설정 이미지 정보(530) 중에서 사용자 설정 이미지 정보(530)를 이용하여 제1 실세계 영상(510) 내에서의 사용자 설정 이미지를 제1 이미지(630)로 설정하고, 입력 메시지(520)를 증강현실 객체(620)로 등록한다.
이때, 설정된 제1 이미지(630)와 증강현실 객체(620)는 서로 연계되며, 각각 제2 모바일 단말기(300)로 전송된다.
제어 모듈(110)이 증강현실 객체가 등록된 이후에 알림 메시지 생성 모듈(130)에게 알림 메시지의 생성을 요청하면, 알림 메시지 생성 모듈(130)은 설정된 제1 이미지 또는 사용자 설정 이미지 정보를 이용하여 알림 메시지를 생성한다(S135).
도 8은 본 발명의 일 구현예에 따라 증강현실 객체 제공 서버에서 생성된 알림 메시지가 제2 모바일 단말기에 출력되는 것을 나타내기 위한 예시도이다. 도 8에 도시된 바와 같이, 알림 메시지(710)는 텍스트 형태의 정보가 포함되어 있을 수 있으며, 증강현실 객체 제공 서버(100)에서 설정된 제1 이미지(720)가 포함되어 있을 수 있다.
이때, 알림 메시지(710)는 텍스트뿐만 아니라 영상, 애니메이션, 음향(음성 포함) 등 다양한 멀티미디어 데이터로 이루어질 수 있다.
한편, 알림 메시지(710)는 제1 모바일 단말기(200)의 사용자가 증강현실 객체를 등록하였다는 내용뿐만 아니라 함께 전송되는 제1 이미지(720)를 촬영한 제2 실세계 영상을 요청하는 내용이 포함되어 있을 수 있다.
이후, 증강현실 객체 제공 서버(100)는 생성된 알림 메시지를 수신인 정보에 대응하는 제2 모바일 단말기(200)로 전송한다. 이때, 알림 메시지가 전송되는 방법은 두 가지 방법으로 수행될 수 있다.
첫 번째로, 도 3에 도시된 바와 같이, 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)이 알림 메시지를 수신인 정보에 대응하는 제2 모바일 단말기(200)로 전송한다(S140).
두 번째로, 도 4 및 도 5에 도시된 바와 같이, 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)은 증강현실 객체 제공 서버(100)에서 제공되는 어플리케이션의 수신인 정보가 아닌 다른 다양한 SNS 어플리케이션의 수신인 정보인 경우에는 알림 메시지를 수신인 정보에 대응하는 SNS 어플리케이션의 메시지 서버(400)에게 해당 수신인 정보에 해당하는 제2 모바일 단말기(300)로의 전송을 요청한다(S145).
이에 따라, 메시지 서버(400)는 메시지 전송 모듈(140)로부터 알림 메시지 및 수신인 정보를 수신하고, 수신인 정보에 대응하는 제2 모바일 단말기(300)에게 수신된 알림 메시지를 전송한다(S146).
S140 단계 또는 S145 단계와 S146 단계를 통해 알림 메시지를 수신한 제2 모바일 단말기(300)는 알림 메시지에 대응하는 어플리케이션을 이용하여 수신한 알림 메시지를 확인할 수 있다(S150).
즉, S140 단계를 통해 알림 메시지를 수신한 경우라면, 제2 모바일 단말기(300)는 증강현실 객체 제공 서버(100)에서 제공한 어플리케이션을 통해 알림 메시지를 확인할 수 있다.
또한, S145 단계와 S146 단계를 통해 알림 메시지를 수신한 경우라면, 제2 모바일 단말기(300)는 수신인 정보에 대응하는 어플리케이션(즉, 메시지 서버(400)에 대응하는 어플리케이션)을 통해 알림 메시지를 확인할 수 있다.
한편, 도 3 내지 도 5에 도시되지 않았으나, 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)은 S140 단계 또는 S145 단계와 S146 단계를 통해 제2 모바일 단말기(300)로 알림 메시지의 전송이 완료되는 경우, 알림 메시지 전송 완료 메시지를 생성하여 제1 모바일 단말기(200)로 전송할 수 있다.
제2 모바일 단말기(300)는 S150 단계에서 알림 메시지를 확인한 이후, 제2 모바일 단말기(300)에 구비된 카메라 모듈을 이용하여 제2 실세계 영상을 촬영한다(S155).
제2 모바일 단말기(300)에서 촬영하는 제2 실세계 영상은 알림 메시지에 포함된 제1 이미지에 대한 실물을 촬영한 것이다.
도 9는 본 발명의 일 구현예에 따라 제2 모바일 단말기에서 제2 실세계 영상을 촬영한 화면을 나타내기 위한 예시도이다. 도 9에 도시된 바와 같이, 제2 모바일 단말기(300)는 도 8에서와 같이 전송된 제1 이미지(720)에 대응하는 실세계 사물을 촬영하여 제2 실세계 영상(730)을 생성할 수 있다.
이후, 제2 모바일 단말기(300)는 생성한 제2 실세계 영상을 증강현실 객체 제공 서버(100)로 전송하면, 증강현실 객체 제공 서버(100)는 제2 모바일 단말기(300)로부터 제2 실세계 영상(730)을 수신하고, 저장 모듈(120)에 저장한다(S160).
증강현실 객체 제공 서버(100)의 사용자 인증 모듈(150)은 제어 모듈(110)의 제어에 따라 제2 실세계 영상을 전송한 제2 모바일 단말기(300)의 제2 사용자가 수신인 정보에 대응하는지를 판단하는 사용자 인증을 수행한다(S165).
만약, 제2 사용자가 수신인 정보에 해당하는 사용자인 경우에는 S170 단계를 수행하고, 사용자 인증에 실패한 경우에는 사용자 인증에 실패하였다는 통지를 메시지 전송 모듈(140)을 이용하여 제2 모바일 단말기(300)로 전송한다.
사용자 인증을 수행하여 제2 사용자가 수신인 정보에 해당하는 사용자로 판단된 경우, 증강현실 객체 제공 서버(100)의 위치 비교 모듈(150)은 제어 모듈(110)의 제어에 따라 제2 실세계 영상을 촬영한 위치가 제1 실세계 영상을 촬영한 위치로부터 설정된 임계 범위 내에 있는지를 판단하는 위치 비교를 수행한다(S170).
제1 실세계 영상에 대한 제1 위치 정보와 제2 실세계 영상에 대한 제2 위치 정보는 제1 실세계 영상 및 제2 실세계 영상 내의 각 속성정보에 포함되어 있을 수 있으며, 그렇지 않은 경우에는 각각의 제1 모바일 단말기(200) 및 제2 모바일 단말기(300)에서 측정된 각각의 위치 정보를 수신하여 사용할 수 있다.
만약, 제2 실세계 영상을 촬영한 위치가 제1 실세계 영상을 촬영한 위치로부터 설정된 임계 범위 이내에 포함되지 않는 경우에는 증강현실 객체 제공 서버(100)가 제1 실세계 영상을 촬영한 위치와 상이하여 위치 비교에 실패하였다는 통지를 메시지 전송 모듈(140)을 이용하여 제2 모바일 단말기(300)로 전송한다.
각 위치 정보의 비교를 수행하여 제2 실세계 영상의 촬영 위치가 제1 실세계 영상의 촬영 위치로부터 설정된 임계 거리 이내에 위치하는 것으로 판단된 경우, 증강현실 객체 제공 서버(100)의 이미지 비교 모듈(160)은 제어 모듈(110)의 제어에 따라 제2 실세계 영상 내에서 제1 이미지에 대응하는 제2 이미지가 존재하는지에 대한 비교를 수행한다(S175).
만약, 제2 실세계 영상 내에서 제1 이미지에 대응하는 제2 이미지가 존재하지 않는 경우에는 증강현실 객체 제공 서버(100)가 제2 실세계 영상이 제1 이미지와 매칭하지 않는다는 통지를 메시지 전송 모듈(140)을 이용하여 제2 모바일 단말기(300)로 전송한다.
도 10은 본 발명의 일 구현예에 따라 증강현실 객체 제공 서버에서 증강현실 객체와 제2 실세계 영상을 비교하는 것을 나타내기 위한 예시도이다. 이미지 비교 모듈(160)은 제2 모바일 단말기(300)로부터 수신된 제2 실세계 영상(730) 내에서 제1 실세계 영상으로부터 설정된 제1 이미지(630)에 대응하는 제2 이미지가 존재하는지를 판단할 수 있다.
이때, 도 10의 (a)에 도시된 바와 같이, 제2 실세계 영상(730) 내에서 제1 이미지(630)에 대응하는 이미지가 존재하는 경우, 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)은 제어 모듈(110)의 제어에 따라 저장 모듈(120)에 저장된 증강현실 객체(620)를 제2 모바일 단말기(300)로 전송한다.
메시지 전송 모듈(140)에서 제2 모바일 단말기(300)로 증강현실 객체(620)를 전송하는 방법은 두 가지로 수행될 수 있다.
첫 번째로, 도 3 및 도 5에 도시된 바와 같이, 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)이 수신인 정보에 대응하는 제2 실세계 영상을 전송한 제2 모바일 단말기(300)로 증강현실 객체를 전송한다(S180).
두 번째로, 도 4에 도시된 바와 같이, 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)은 증강현실 객체 제공 서버(100)에서 제공되는 어플리케이션의 수신인 정보가 아닌 다른 다양한 SNS 어플리케이션 중 어느 하나의 어플리케이션 수신인 정보인 경우에는 증강현실 객체를 수신인 정보에 대응하는 SNS 어플리케이션의 메시지 서버(400)에게 해당 수신인 정보에 해당하는 제2 모바일 단말기(300)로의 전송을 요청한다(S185).
이에 따라, 메시지 서버(400)는 메시지 전송 모듈(140)로부터 증강현실 객체 및 수신인 정보를 수신하고, 수신인 정보에 대응하는 제2 모바일 단말기(300)에게 수신된 증강현실 객체를 전송한다(S186).
도 11은 본 발명의 일 구현예에 따라 제2 모바일 단말기에 증강현실 객체가 출력되는 것을 나타내기 위한 예시도이다. 도 11에 도시된 바와 같이, 증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140) 또는 메시지 서버(400)로부터 증강현실 객체를 수신한 제2 모바일 단말기(300)는 촬영한 제2 실세계 영상(730)과 증강현실 객체(620)를 함께 출력함으로써, 제1 모바일 단말기(200)의 제1 사용자에 의해 증강현실 객체로 등록된 입력 메시지를 증강현실 방법으로 확인할 수 있다.
증강현실 객체 제공 서버(100)의 메시지 전송 모듈(140)은 제어 모듈(110)의 제어에 따라 S180 단계 또는 S185 단계와 S186 단계를 통해 제2 모바일 단말기(300)로 증강현실 객체의 전송이 완료되는 경우, 증강현실 객체 전송 완료 메시지를 생성하고, 여 제1 모바일 단말기(200)로 전송한다(S190).
본 명세서에서의 발명의 설명은 바람직한 실시예를 설명하는 것으로, 본 발명은 이러한 실시예에 한정되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 벗어나지 않는 범위 내에 서 이상의 실시예에 대한 다양한 변경과 수정이 가능하고, 본 발명의 기술적 사상은 이러한 다양한 변경과 수정을 모두 포함한다.
100 : 증강현실 객체 제공 서버 110 : 제어 모듈
120 : 저장 모듈 130 : 메시지 생성 모듈
140 : 메시지 전송 모듈 150 : 사용자 인증 모듈
160 : 객체 비교 모듈 170 : 위치 비교 모듈
200 : 제1 모바일 단말기 300 : 제2 모바일 단말기
400 : 메시지 서버 510 : 제1 실세계 영상
520 : 입력 메시지 530 : 객체
620 : 증강현실 객체 630, 720 : 증강현실 객체
710 : 알림 메시지 730 : 제2 실세계 영상

Claims (16)

  1. 제1 모바일 단말기로부터 촬영된 제1 실세계 영상, 상기 제1 실세계 영상 내에서 선택된 사용자 설정 이미지 정보, 입력 메시지 및 하나 이상의 수신인 정보를 수신하는 제1 단계;
    상기 사용자 설정 이미지 정보를 이용하여 상기 제1 실세계 영상 내에 포함된 사용자 설정 이미지를 제1 이미지로 설정하는 제2 단계;
    상기 제1 모바일 단말기의 제1 사용자에 의해 입력된 상기 입력 메시지를 상기 제1 이미지에 대한 증강현실 객체로 등록하는 제3 단계;
    상기 증강현실 객체의 등록에 따라 알림 메시지를 생성하고, 상기 알림 메시지를 상기 수신인 정보에 대응하는 제2 모바일 단말기에 전송하는 제4 단계;
    상기 알림 메시지를 수신한 상기 제2 모바일 단말기로부터 촬영된 제2 실세계 영상이 수신되는 경우, 상기 제2 모바일 단말기의 제2 사용자와 상기 수신인 정보에 해당하는 수신인이 동일한지의 여부를 판단하는 제5 단계;
    상기 제2 사용자와 상기 수신인이 동일한 경우, 상기 제1 실세계 영상을 촬영한 제1 위치 정보와 상기 제2 실세계 영상을 촬영한 제2 위치 정보가 설정된 임계 범위 이내인지 판단하는 제6 단계;
    상기 제2 위치 정보가 상기 제1 위치 정보와 상기 임계 범위 이내인 경우, 상기 제2 실세계 영상 내에서 상기 제1 이미지에 대응하는 제2 이미지가 존재하는지의 여부를 판단하는 제7 단계; 및
    상기 제2 실세계 영상 내에서 상기 제2 이미지가 존재하는 경우, 상기 제2 모바일 단말기의 상기 제2 실세계 영상 내에 상기 증강현실 객체가 출력될 수 있도록 상기 제1 이미지에 대응하는 상기 증강현실 객체를 상기 제2 모바일 단말기로 전송하는 제8 단계;를 포함하여 이루어지는 이미지 인증을 이용한 증강현실 객체 제공 방법.
  2. 제 1 항에 있어서, 상기 제6 단계에서,
    상기 제1 위치정보 및 상기 제2 위치 정보는 상기 제1 실세계 영상 및 상기 제2 실세계 영상의 각 속성정보에 포함되어 있는 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 방법.
  3. 제 1 항에 있어서, 상기 제1 단계에서,
    상기 사용자 설정 이미지 정보는 상기 사용자 설정 이미지의 명칭, 상기 사용자 설정 이미지의 위치, 상기 사용자 설정 이미지의 최외곽 경계선(edge), 상기 사용자 설정 이미지 중 적으로 어느 하나 이상을 포함하는 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 방법.
  4. 제 1 항에 있어서, 상기 제1 단계에서,
    상기 입력 메시지는 상기 제1 모바일 단말기에 입력되거나 저장된 데이터이며, 텍스트, 영상, 애니메이션, 음향(음성 포함) 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 방법.
  5. 제 1 항에 있어서, 상기 제1 단계에서,
    상기 알림 메시지는 상기 제1 실세계 영상을 촬영한 제1 위치 정보, 상기 사용자 설정 이미지 정보 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 방법.
  6. 제 1 항에 있어서, 상기 제1 단계에서,
    상기 수신인 정보는 상기 제1 모바일 단말기에 설치된 어플리케이션 중 적어도 어느 하나의 어플리케이션에 포함된 수신인 정보인 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 방법.
  7. 제 6 항에 있어서, 상기 제4 단계에서,
    상기 알림 메시지는 상기 수신인 정보에 대응하는 어플리케이션의 어플리케이션 서버를 통해 전송되는 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 방법.
  8. 제 1 항에 있어서, 상기 제4 단계에서,
    상기 제2 모바일 단말기로부터 수신된 제2 위치 정보가 상기 제1 실세계 영상을 촬영한 제1 위치 정보와 비교하여 설정된 임계 영역 이내인 경우, 상기 알림 메시지를 상기 제2 모바일 단말기로 전송하는 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 방법.
  9. 제1 모바일 단말기에서 전송되는 제1 실세계 영상, 상기 제1 실세계 영상 내에서 선택된 사용자 설정 이미지 정보, 입력 메시지 및 하나 이상의 수신인 정보를 저장하는 저장 모듈;
    상기 사용자 설정 이미지 정보를 이용하여 상기 제1 실세계 영상 내에 포함된 사용자 설정 이미지를 제1 이미지로 설정하고, 상기 제1 모바일 단말기의 제1 사용자에 의해 입력된 상기 입력 메시지를 상기 제1 이미지에 대한 증강현실 객체로 등록하는 제어 모듈;
    상기 증강현실 객체의 등록에 따라 상기 증강현실 객체에 대한 알림 메시지를 생성하는 알림 메시지 생성 모듈;
    상기 수신인 정보에 대응하는 제2 모바일 단말기에 상기 알림 메시지가 전송되도록 하는 메시지 전송 모듈;
    상기 알림 메시지를 수신한 상기 제2 모바일 단말기로부터 촬영된 제2 실세계 영상이 수신되는 경우, 상기 제2 모바일 단말기의 제2 사용자와 상기 수신인 정보에 해당하는 수신인이 동일한지의 여부를 판단하기 위한 사용자 인증 모듈;
    상기 제1 실세계 영상을 촬영한 제1 위치 정보와 상기 제2 실세계 영상을 촬영한 제2 위치 정보가 설정된 임계 범위 이내인지 판단하는 위치 비교 모듈; 및
    상기 제2 실세계 영상 내에서 상기 제1 이미지에 대응하는 제2 이미지가 존재하는지의 여부를 판단하는 이미지 비교 모듈;을 포함하여 구성하되,
    상기 메시지 전송 모듈은 상기 제2 실세계 영상 내에 상기 제2 이미지가 존재하는 경우, 상기 제2 모바일 단말기의 상기 제2 실세계 영상 내에 상기 증강현실 객체가 출력될 수 있도록 상기 제1 이미지에 대응하는 상기 증강현실 객체를 상기 제2 모바일 단말기로 전송하는 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 서버.
  10. 제 9 항에 있어서, 상기 제1 위치 정보 및 상기 제2 위치 정보는,
    상기 제1 실세계 영상 및 상기 제2 실세계 영상의 각 속성정보에 포함되어 있는 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 서버.
  11. 제 9 항에 있어서, 상기 사용자 설정 이미지 정보는,
    상기 사용자 설정 이미지의 명칭, 상기 사용자 설정 이미지의 위치, 상기 사용자 설정 이미지의 최외곽 경계선(edge), 상기 사용자 설정 이미지 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 서버.
  12. 제 9 항에 있어서, 상기 입력 메시지는,
    상기 제1 모바일 단말기에 입력되거나 저장된 데이터이며, 텍스트, 영상 애니메이션, 음향(음성 포함) 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 서버.
  13. 제 9 항에 있어서, 상기 알림 메시지는,
    상기 제1 실세계 영상을 촬영한 제1 위치 정보, 상기 사용자 설정 이미지 정보 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 서버.
  14. 제 9 항에 있어서, 상기 수신인 정보는,
    상기 제1 모바일 단말기에 설치된 어플리케이션 중 적어도 어느 하나 이상의 어플리케이션에 포함된 수신인 정보인 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 서버.
  15. 제 14 항에 있어서, 상기 메시지 전송 모듈은,
    상기 수신인 정보에 대응하는 어플리케이션의 어플리케이션 서버를 통해 상기 알림 메시지를 전송하는 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 서버.
  16. 제 9 항에 있어서, 상기 메시지 전송 모듈은,
    상기 제2 모바일 단말기로부터 수신된 제2 위치 정보가 상기 제1 실세계 영상을 촬영한 제1 위치 정보로부터 설정된 임계 영역 이내인 경우, 상기 알림 메시지를 제2 모바일 단말기로 전송하는 것을 특징으로 하는 이미지 인증을 이용한 증강현실 객체 제공 서버.
KR1020160136074A 2016-10-19 2016-10-19 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버 KR101773885B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160136074A KR101773885B1 (ko) 2016-10-19 2016-10-19 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버
US16/343,173 US11023572B2 (en) 2016-10-19 2017-10-19 Augmented reality object providing method and server using image authentication
PCT/KR2017/011616 WO2018074870A1 (ko) 2016-10-19 2017-10-19 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160136074A KR101773885B1 (ko) 2016-10-19 2016-10-19 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버

Publications (1)

Publication Number Publication Date
KR101773885B1 true KR101773885B1 (ko) 2017-09-01

Family

ID=59924005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160136074A KR101773885B1 (ko) 2016-10-19 2016-10-19 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버

Country Status (3)

Country Link
US (1) US11023572B2 (ko)
KR (1) KR101773885B1 (ko)
WO (1) WO2018074870A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019053589A1 (en) * 2017-09-12 2019-03-21 Cordiner Peter Alexander SYSTEM AND METHOD FOR USER AUTHENTICATION
KR101966037B1 (ko) * 2018-04-16 2019-04-04 정영학 증강현실 기반의 타임캡슐 제공 방법
CN113487745A (zh) * 2021-07-16 2021-10-08 思享智汇(海南)科技有限责任公司 一种增强现实的方法、装置及系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108578A1 (en) * 2017-09-13 2019-04-11 Magical Technologies, Llc Systems and methods of rewards object spawning and augmented reality commerce platform supporting multiple seller entities
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US10904374B2 (en) 2018-01-24 2021-01-26 Magical Technologies, Llc Systems, methods and apparatuses to facilitate gradual or instantaneous adjustment in levels of perceptibility of virtual objects or reality object in a digital scene
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
US10917551B2 (en) * 2018-09-20 2021-02-09 International Business Machines Corporation Interactive photography using two or more devices
US11449128B2 (en) * 2018-10-26 2022-09-20 Roboprint Co., Ltd Augmented reality provision server, and method of augmented reality provision server providing augmented reality information to mobile terminal
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
US11589610B2 (en) 2019-12-15 2023-02-28 Shaheen Innovations Holding Limited Nicotine delivery device having a mist generator device and a driver device
US11645780B2 (en) * 2020-03-16 2023-05-09 Realsee (Beijing) Technology Co., Ltd. Method and device for collecting images of a scene for generating virtual reality data
CN113538083B (zh) * 2020-04-22 2023-02-03 阿里巴巴集团控股有限公司 数据处理方法、系统、线下店铺空间及设备
GB2598913A (en) * 2020-09-17 2022-03-23 1616 Media Ltd Augmented reality messaging
US11516618B2 (en) 2020-10-09 2022-11-29 Lemon Inc. Social networking using augmented reality
US11757997B2 (en) * 2021-01-19 2023-09-12 Seek Xr, Inc. Systems and methods for facilitating shared extended reality experiences

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6681107B2 (en) 2000-12-06 2004-01-20 Xybernaut Corporation System and method of accessing and recording messages at coordinate way points
US6377793B1 (en) * 2000-12-06 2002-04-23 Xybernaut Corporation System and method of accessing and recording messages at coordinate way points
US8933889B2 (en) * 2005-07-29 2015-01-13 Nokia Corporation Method and device for augmented reality message hiding and revealing
KR100677502B1 (ko) 2006-01-13 2007-02-02 엘지전자 주식회사 이동통신 단말기에서의 증강현실기반의 메시지 작성 방법및 그 이동통신 단말기
US7844229B2 (en) * 2007-09-21 2010-11-30 Motorola Mobility, Inc Mobile virtual and augmented reality system
US7966024B2 (en) * 2008-09-30 2011-06-21 Microsoft Corporation Virtual skywriting
KR20100124947A (ko) 2009-05-20 2010-11-30 삼성에스디에스 주식회사 증강현실을 이용하여 휴대형 단말기에 실시간 지역정보를 제공하는 ａｒ컨텐츠 제공시스템 및 그 제공방법
US8185596B2 (en) * 2010-02-22 2012-05-22 Samsung Electronics Co., Ltd. Location-based communication method and system
KR101212976B1 (ko) * 2010-07-22 2012-12-18 에스케이마케팅앤컴퍼니 주식회사 증강현실 기반의 멀티미디어 메시지 서비스 시스템 및 방법
US9179278B2 (en) * 2011-09-01 2015-11-03 Qualcomm Incorporated Systems and methods involving augmented menu using mobile device
KR20130082530A (ko) * 2011-12-07 2013-07-22 (주)엘에이치에스지 소셜 네트워크 서비스와 연동되는 증강 현실 서비스 제공 장치, 방법 및 그 시스템
KR101600038B1 (ko) * 2013-10-01 2016-03-04 목포대학교산학협력단 소셜 증강현실 서비스 시스템 및 방법
KR102027670B1 (ko) 2015-07-03 2019-10-01 천종윤 관람자 관계형 동영상 제작 장치 및 제작 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019053589A1 (en) * 2017-09-12 2019-03-21 Cordiner Peter Alexander SYSTEM AND METHOD FOR USER AUTHENTICATION
KR101966037B1 (ko) * 2018-04-16 2019-04-04 정영학 증강현실 기반의 타임캡슐 제공 방법
CN113487745A (zh) * 2021-07-16 2021-10-08 思享智汇(海南)科技有限责任公司 一种增强现实的方法、装置及系统

Also Published As

Publication number Publication date
US20190318076A1 (en) 2019-10-17
WO2018074870A1 (ko) 2018-04-26
US11023572B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
KR101773885B1 (ko) 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버
US10514876B2 (en) Gallery of messages from individuals with a shared interest
RU2643473C2 (ru) Способ и аппаратура для идентификации отпечатков пальцев
CA2894332C (en) Geo-location based event gallery
US11321575B2 (en) Method, apparatus and system for liveness detection, electronic device, and storage medium
EP3125135A1 (en) Picture processing method and device
TWI616821B (zh) Bar code generation method, bar code based authentication method and related terminal
CN108108012B (zh) 信息交互方法和装置
TW201826084A (zh) 基於增強實境的虛擬對象分配方法及裝置
KR102030322B1 (ko) 비디오 프레임의 다수의 부분들에 대한 지문들을 생성함으로써 입체 비디오들을 검출하기 위한 방법들, 시스템들, 및 매체들
JP2020502639A (ja) セキュリティ質問生成および身元確認のための方法および装置
CN111788572A (zh) 用于面部识别的方法和系统
US20200218772A1 (en) Method and apparatus for dynamically identifying a user of an account for posting images
KR101176743B1 (ko) 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버
CN107613491B (zh) 使用增强现实获取无线接入点的密码信息的方法和装置
CN107656959B (zh) 一种留言方法、装置及留言设备
US10104091B2 (en) Authenticating apparatus, authenticating system and storage medium
CN107733874B (zh) 信息处理方法、装置、计算机设备和存储介质
US11720224B2 (en) Data storage using image objects shown in a real-time view
KR101654797B1 (ko) 피싱 대응 상호 작용 캡차 시스템
US20150358318A1 (en) Biometric authentication of content for social networks
CN106055693B (zh) 一种信息处理方法及终端
KR20140135320A (ko) 얼굴인식 사진 공유 시스템 및 방법
KR20230008810A (ko) 모바일 카메라로 파노라마 생성
JP2020027267A (ja) 電子署名を確認するための装置、方法及びそのためのプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant