KR20120134321A - 클라우드 기반 증강 현실 시스템 - Google Patents

클라우드 기반 증강 현실 시스템 Download PDF

Info

Publication number
KR20120134321A
KR20120134321A KR1020110053153A KR20110053153A KR20120134321A KR 20120134321 A KR20120134321 A KR 20120134321A KR 1020110053153 A KR1020110053153 A KR 1020110053153A KR 20110053153 A KR20110053153 A KR 20110053153A KR 20120134321 A KR20120134321 A KR 20120134321A
Authority
KR
South Korea
Prior art keywords
user
information
data
mesh
engine
Prior art date
Application number
KR1020110053153A
Other languages
English (en)
Other versions
KR101260425B1 (ko
Inventor
이훈
Original Assignee
(주)엘에이치에스지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엘에이치에스지 filed Critical (주)엘에이치에스지
Priority to KR1020110053153A priority Critical patent/KR101260425B1/ko
Publication of KR20120134321A publication Critical patent/KR20120134321A/ko
Application granted granted Critical
Publication of KR101260425B1 publication Critical patent/KR101260425B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/161—Computing infrastructure, e.g. computer clusters, blade chassis or hardware partitioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

클라우드 기반 증강 현실 서버가 개시된다. 클라우드 기반 증강 현실 서버의 트래킹 엔진은 사용자 단말기로부터 수신된 이미지 데이터 및 위치정보 중 적어도 하나를 이용하여 이미지 데이터에 해당하는 객체를 판단하고, 지능형 상황인지 엔진은 판단된 객체와 관련된 증강 현실(AR: Augmented Reality) 부가정보를 사용자의 성향을 고려하여 지능적으로 검색하며, 증강현실 가시화 엔진은 검색된 AR 부가정보가 표시되는 AR 정보창을 가시화한다.

Description

클라우드 기반 증강 현실 시스템{Cloud-Based AR System}
본 발명은 클라우드 기반 증강 현실 시스템에 관한 것으로, 보다 상세하게는 사용자의 성향을 고려하여 AR 정보를 제공할 수 있는 클라우드 기반 증강 현실 시스템에 관한 것이다.
증강 현실(AR: Augmented Reality)은 가상 현실의 한 분야로, 실제 환경에 존재하는 객체에 가상 사물이나 정보를 합성하는 컴퓨터 그래픽 기법이다. 증강 현실은, 가상의 공간과 사물만을 대상으로 하는 가상 현실과 달리, 실제 환경이라는 객체 위에 가상의 사물이나 가상의 정보를 합성함으로써, 실제 환경만으로는 얻기 어려운 부가정보를 보강한다. 이러한 증강 현실 서비스는 실제 환경에 속하는 객체들 전체에 필터를 적용하여, 합성되는 가상의 사물이나 가상의 정보를 선별하는 기능을 제공한다.
그러나, 기존의 증강 현실 서비스는, 객체의 GPS(Global Positioning System) 정보를 이용하여 단순한 형태의 정보를 제공하며, 사용자가 원하는 정보를 제공하지 못하거나, 또는 부정확한 정보를 제공하는 경우가 빈번히 발생한다.
따라서, 상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 사용자의 성향을 고려함으로써 사용자에게 보다 직관적으로, 그리고, 보다 정확하게 객체의 AR 정보를 제공할 수 있는 클라우드 기반 증강 현실 시스템 및 이에 사용되는 서버를 제공하는 것이다.
본 발명의 일 실시예에 따르면, 사용자 단말기로부터 수신된 이미지 데이터 및 위치정보 중 적어도 하나를 이용하여 상기 이미지 데이터에 해당하는 객체를 판단하는 트래킹 엔진; 상기 판단된 객체와 관련된 증강 현실(AR: Augmented Reality) 부가정보를 사용자의 성향을 고려하여 지능적으로 검색하는 지능형 상황인지 엔진; 및 상기 검색된 AR 부가정보가 표시되는 AR 정보창을 가시화하는 증강현실 가시화 엔진;을 포함하는 클라우드 기반 증강 현실 서버가 제공된다.
상기 지능형 상황인지 엔진은, 적어도 하나의 웹 서버로부터 상기 사용자의 성향을 파악할 수 있는 메쉬업 데이터를 제공받는 메쉬업 데이터 수신부; 상기 제공받은 메쉬업 데이터를 학습하여 상기 사용자의 성향을 파악하는 사용자 성향 파악부; 및 상기 파악된 사용자의 성향과 관련된 상기 AR 부가정보를 클라우드 스토리지로부터 검색하는 검색부;를 포함한다.
상기 적어도 하나의 웹 서버는, 상기 사용자에 의해 사전에 지정된 웹 서버이며, 소셜 네트워크 서비스를 제공하는 서버, 검색 엔진을 제공하는 서버 및 상기 사용자의 개인 홈페이지를 제공하는 서버 중 적어도 하나를 포함한다.
상기 검색부는, 상기 판단된 객체의 AR 실제정보를 상기 클라우드 스토리지로부터 더 검색하고, 상기 증강현실 가시화 엔진은, 상기 AR 정보창에 상기 검색된 AR 실제정보를 더 표시한다.
상기 지능형 상황인지 엔진은, 상기 적어도 하나의 웹 서버에서 지원하는 open API(Application Program Interface)를 이용하여 상기 메쉬업 데이터를 제공받는다.
본 발명의 실시예에 따르면, open API를 지원하는 웹 서버들로부터 메쉬업 데이터를 수신하여 사용자의 성향을 파악하고, 파악된 사용자의 성향과 관련된 AR 정보를 사용자에게 제공함으로써, 사용자에게 보다 직관적이고 정확한 AR 정보를 제공할 수 있다.
또한, 본 발명의 실시예에 따르면 사용자가 주로 이용하는 블로그, SNS(Social Network Service) 또는 검색 서버를 활용하여 메쉬업 데이터를 생성하고 사용자 성향을 파악함으로써, 사용자가 원하는 AR 정보를 보다 정확히 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 모바일 클라우드 기반 증강 현실 SAAS 시스템을 도시한 도면,
도 2는 지능형 상황인지 엔진을 도시한 블록도, 그리고,
도 3은 본 발명의 실시예에 따른 클라우드 기반 AR 서버의 AR 정보 제공 방법을 설명하기 위한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. 본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
도 1은 본 발명의 실시예에 따른 모바일 클라우드 기반 증강 현실 SAAS 시스템을 도시한 도면이다.
증강 현실(AR: Augmented Reality)(이하, 'AR'이라 함)은 실제 환경에 존재하는 객체에 가상 사물이나 정보를 합성하는 복합형 가상현실 시스템(Hybrid VR system)이다. 기존에는 AR 서비스가 원격의료진단, 방송, 건축설계, 또는 제조공정관리 등에 활용되어 왔으나, 최근에는 위치기반 서비스, 모바일 게임 등 다양한 분야로 활용범위가 확장되고 있다.
SAAS(Software as a Service)는 소프트웨어의 기능 중 사용자가 필요로 하는 기능만을 배포하는 소프트웨어의 배포형태로서, 서비스형 소프트웨어라고도 한다. SAAS를 활용함으로써 사용자는 필요한 가능만을 필요할 때에 이용할 수 있으며, 이용하는 기능만큼만 요금을 지불한다. SAAS는 필요한 기능을 사용자가 다운로드하여 자신의 단말기에 인스톨하는 형태와 서버상에서 작동하는 소프트웨어의 기능을 네트워크를 통해 온라인으로 이용하는 형태가 있다.
클라우드 기반 AR 서버(100)는 SAAS 플랫폼을 이용하여 본 발명의 실시예에 따른 지능형 상황 인지 기능을 제공할 수 있다. 지능형 상황 인지 기능에 대해서는 지능형 상황인지 엔진(130)을 참조하여 후술한다.
도 1을 참조하면, 모바일 클라우드 기반 AR SAAS 시스템은 사용자 단말기(10), 클라우드 기반 AR 서버(100) 및 제1 내지 제3웹 서버들(31, 32, 33)을 포함한다.
사용자 단말기(10)는 AR 서비스를 제공할 수 있으며, 이를 위하여 카메라와 같은 촬영 장치를 구비한다. 사용자 단말기(10)는 스마트폰, 태블릿 컴퓨터, 랩탑 컴퓨터 등 휴대가 가능하고, 유무선 통신이 가능한 전자기기일 수 있다.
사용자 단말기(10)는 촬영 장치를 이용하여 객체를 촬영하고, 객체의 이미지 데이터를 메타데이터와 함께 클라우드 기반 AR 서버(100)에게 전송할 수 있다. 객체는 건물, 도로, 식물, 동물과 같이 실제 환경에 위치하는 물체를 의미한다. 메타데이터는 사용자 단말기(10)의 식별정보, 사용자 단말기(10)를 사용하는 사용자의 식별정보와, 위치 정보를 포함할 수 있다.
사용자 단말기(10)의 식별정보는 사용자 단말기(10)의 IP 주소를 예로 들 수 있으나 이에 한정되지는 않는다. 사용자의 식별정보는 클라우드 기반 AR 서버(100)가 사용자의 성향을 파악할 때 사용되며, 예를 들어, 사용자가 주로 사용하는 웹 서버들(31, 32, 33)의 계정 정보일 수 있다.
위치 정보는 객체가 촬영되었을 때 GPS(Global Positioning System) 항법에 의해 획득된 사용자 단말기(10)의 위치에 대한 정보, 디지털 방위 센서에 의해 획득되는 객체와 사용자 단말기(10) 간의 방위각 정보, 또는 관심정보인 객체의 위치(POI: Point Of Interest)에 대한 정보 중 적어도 하나를 포함할 수 있다.
클라우드 기반 AR 서버(100)는 사용자 단말기(10)로부터 AR 정보 제공 요청을 수신하면, 객체에 대한 실제정보인 AR 실제정보뿐만 아니라, 사용자의 성향을 고려하여 검색된 AR 부가정보를 제공할 수 있다.
AR 실제정보는 객체와 직접적으로 관련이 있는 객관적 설명으로서, 건물의 이름, 건물에 있는 상점들의 상호, 나무의 이름 등을 예로 들 수 있다. AR 부가정보는 객체와 간접적으로 관련이 있는 간접적 설명으로서, 후술할 메쉬업 데이터를 기반으로 검색될 수 있다. AR 부가정보는 사용자의 성향이 객체의 종류(예를 들어, 커피)에 관심이 있는 것으로 파악되는 경우에도 제공될 수 있다.
예를 들어, 객체가 커피 전문점인 경우, 커피 전문점에 대한 AR 부가정보는 객체의 주변에 위치하는 다른 커피 전문점에 대한 정보(위치, 전화번호, 또는 상호 등)일 수 있다. 또는, 객체가 커피 전문점인 경우, AR 부가정보는 커피의 유래, 수출국 등 커피와 관련된 상세한 정보일 수도 있다.
한편, 제1 내지 제3웹 서버들(31, 32, 33)은 사용자의 성향을 파악할 수 있도록 open API(Application Program Interface)를 지원하고, open API를 통해 클라우드 기반 AR 서버(100)에게 메쉬업(Mesh Up) 데이터를 제공할 수 있다. 제1 내지 제3웹 서버들(31, 32, 33)은 소셜 네트워크 서비스(SNS: Social Network Service)를 제공하는 서버, 위키피디아(wikipedia)와 같은 검색 엔진을 제공하는 서버 및 블로그와 같은 사용자의 개인 홈페이지를 제공하는 서버 중 적어도 하나를 포함할 수 있다.
메쉬업은 웹 상으로 제공되고 있는 정보나 서비스를 융합하여 새로운 소프트웨어, 서비스 또는 데이터베이스를 구축하는 것이다. 즉, 메쉬업은 사용자가 웹 서버에서 제공하는 공개된 플랫폼을 이용하여 필요한 서비스를 만드는 것이다. 구글, 야후, 마이크로 소프트 등이 제공하는 지도 서비스, 인터넷 서점 아마존이 제공하는 상품정보 등 자사의 기술을 이용하도록 API를 공개하는 케이스가 늘고 있으며, 이들 기능에 독자적인 사용자 인터페이스를 융합하여 새로운 서비스가 제공되고 있다. open API(즉, 공개된 API)를 사용하는 방법은 요청 URL(Request Url), 요청 변수(Request Parameter) 및 출력 결과 필드(Response Field)을 이용하여 해당 웹 서버에서 웹페이지를 생성하면 된다.
본 발명의 실시예에서, 클라우드 기반 AR 서버(100)가 제1 내지 제3웹 서버들(31, 32, 33)로부터 제공받는 메쉬업 데이터는 사용자의 성향을 파악하기 위해 사용되는 키워드들을 포함하거나, 또는 사용자가 주로 사용하는 검색 서버(예를 들어, 제2웹 서버(32))로부터 검색된 객체의 상세정보를 포함할 수 있다.
도 1에 도시된 본 발명의 실시예에 따른 클라우드 기반 AR 서버(100)는 클라우드 스토리지(110), 트래킹 엔진(120), 지능형 상황인지 엔진(130) 및 AR 가시화 엔진(140)을 포함한다.
클라우드 스토리지(110)는 위치정보 별로 객체의 종류를 저장하거나, 객체를 형상화한 형상화 데이터 별로 객체의 종류를 저장한다. 형상화 데이터는 예를 들어 객체의 윤곽에 대한 데이터일 수 있다.
또한, 클라우드 스토리지(110)는 위치정보 별로 객체의 AR 실제정보를 더 저장하거나, 형상화 데이터별로 객체의 AR 실제정보를 더 저장할 수 있다. 이러한 경우, 현재 판단된 객체의 주변에 위치하는 다른 객체의 AR 실제정보는 현재 판단된 객체의 AR 부가정보로 사용될 수 있다. 동일한 위치에 빌딩이 있는 경우, 클라우드 스토리지(110)는 빌딩에 입주한 상점들 각각에 대한 AR 실제정보를 저장하고 있을 수 있다.
또는, 클라우드 스토리지(110)는 위치정보 별로 객체의 AR 실제정보와 AR 부가정보를 더 저장하거나, 형상화 데이터별로 객체의 AR 실제정보와 AR 부가정보를 더 저장할 수 있다. 예를 들어, 객체가 커피 전문점인 경우, 클라우드 스토리지(110)에는 객체의 종류로서 '커피 전문점'이 저장되고, 객체의 AR 실제정보로서 'Hollys, 핸드 드립 커피 전문, 카페라떼 전문'이 저장되고, 객체의 AR 부가정보로서 객체의 주변에 위치하는 다른 커피 전문점에 대한 정보들(위치, 전화번호, 또는 상호 등)이 저장될 수 있다.
또한, 클라우드 스토리지(110)는 사용자에 의해 지정된 제1 내지 제3웹 서버들(31, 32, 33)의 네트워크 주소를 사용자의 식별정보에 매핑하여 저장할 수 있다. 별도의 계정을 필요로 하지 않는 웹 서버(예를 들어, 제2웹 서버(32))는 사용자의 식별정보가 없으므로, 웹 서버의 네트워크 주소만 저장될 수도 있다. 제1 내지 제3웹 서버들(31, 32, 33)은 사용자의 성향을 파악하는데 사용될 수 있는 open API를 제공하는 서버들이므로, 네트워크 주소는 클라우드 기반 AR 서버(100)가 제1 내지 제3웹 서버들(31, 32, 33)로 접근하여 메쉬업 데이터를 수신할 때 사용된다.
트래킹 엔진(120)은 사용자 단말기(10)로부터 수신된 이미지 데이터 및 위치 정보 중 적어도 하나를 이용하여, 이미지 데이터에 해당하는 객체 또는 이미지 데이터에 포함된 객체를 판단할 수 있다. 이미지 데이터는 사용자 단말기(10)가 촬영한 실제 환경의 데이터이다.
자세히 설명하면, 위치 정보를 이용하는 경우, 트래킹 엔진(120)은 클라우드 스토리지(110)의 해당 위치 정보에 매핑되어 있는 객체의 종류로부터 객체가 무엇인지를 판단할 수 있다.
이미지 데이터를 이용하는 경우, 트래킹 엔진(120)은 주지된 객체 인식 알고리즘을 이용하여 이미지 데이터를 분석하고, 분석된 이미지 데이터와 유사한 형상화 데이터를 확인한다. 그리고, 트래킹 엔진(120)은 클라우드 스토리지(110)의 확인된 형상화 데이터에 매핑되어 있는 객체의 종류로부터 객체가 무엇인지를 확인할 수 있다.
또는, 트래킹 엔진(120)은 상술한 방법을 혼용한 위치 정보와 이미지 데이터를 모두 이용하여 객체를 판단할 수도 있음은 물론이다.
지능형 상황인지 엔진(130)은 트래킹 엔진(120)에서 판단된 객체의 AR 부가정보를 사용자의 성향을 고려하여 지능적으로 검색할 수 있다. 지능형 상황인지 엔진(130)은 제1 내지 제3웹 서버들(31, 32, 33)에서 지원하는 open API를 이용하여 메쉬업 데이터를 제공받을 수 있다.
도 2는 지능형 상황인지 엔진(130)을 도시한 블록도이다.
도 2를 참조하면, 지능형 상황인지 엔진(130)은 메쉬업 데이터 수신부(131), 사용자 성향 파악부(133) 및 검색부(135)를 포함한다.
메쉬업 데이터 수신부(131)는 제1 내지 제3웹 서버들(31, 32, 33)로부터 사용자의 성향을 파악할 수 있는 메쉬업 데이터를 제공받는다. 메쉬업 데이터는 사용자의 성향을 파악하기 위한 키워드들로 이루어졌거나, 사용자가 주로 사용하는 검색 엔진에서 검색된 정보로 이루어질 수 있다.
메쉬업 데이터 수신부(131)는 제1 내지 제3웹 서버들(31, 32, 33) 모두에게 메쉬업 데이터의 전송을 요청할 수 있다. 또는 메쉬업 데이터 수신부(131)는 제1 내지 제3웹 서버들(31, 32, 33)에게 우선순위를 부여하고, 우선순위에 따라 순차적으로 메쉬업 데이터의 전송을 요청하며, 메쉬업 데이터가 수신되지 않으면 다음 우선순위의 웹 서버에게 메쉬업 데이터의 전송을 요청할 수도 있다.
또한, 메쉬업 데이터 수신부(131)는 제1 및 제3웹 서버들(31, 32, 33)로부터 수신되는 메쉬업 데이터는 사용자 성향 파악부(133)로 출력하고, 제2웹 서버(32)로부터 수신되는 메쉬업 데이터는 검색부(135)로 출력할 수 있다. 이는, 제2웹 서버(32)는 검색어에 대한 검색 결과를 포함하고 있으므로, 사용자 성향을 별도로 파악할 필요가 없기 때문이다.
메쉬업 데이터 수신부(131)가 제1 내지 제3웹 서버들(31, 32, 33)로부터 메쉬업 데이터를 제공받는 실시예들에 대해 설명하면 다음과 같다.
먼저, 제1웹 서버(31)가 사용자의 개인 블로그를 제공하는 서버인 경우, 메쉬업 데이터 수신부(131)는 제1웹 서버(31)에서 지원하는 open API를 이용하여 제1웹 서버(31)에 접속한다. 제1웹 서버(31)는 사용자의 개인 블로그로부터 키워드들을 추출하고, 추출된 키워드들을 조합하여 메쉬업 데이터를 생성한다. 그리고, 제1웹 서버(31)는 생성된 메쉬업 데이터를 메쉬업 데이터 수신부(131)에게 전송할 수 있다. 제1웹 서버(31)는 예를 들어, 사용자가 블로그 작성시 기재한 태그들을 취합하여 메쉬업 데이터를 생성할 수 있다.
다음, 제2웹 서버(32)가 위키피디아와 같은 검색 엔진을 제공하는 검색 서버인 경우, 메쉬업 데이터 수신부(131)는 제2웹 서버(32)에서 지원하는 open API를 이용하여 제2웹 서버(32)에 접속하고, 이때, 제2웹 서버(32)에게 트래킹 엔진(120)에서 판단된 객체의 종류를 함께 전송한다. 제2웹 서버(32)는 수신된 객체의 종류를 검색어로 하여 정보를 검색하고, 검색 결과를 메쉬업 데이터로 생성하여 메쉬업 데이터 수신부(131)에게 전송할 수 있다. 예를 들어, 제2웹 서버(32)에게 전송된 객체의 종류가 '관공서'인 경우, 제2웹 서버(32)는 관공서를 검색하여 하여 검색하고, 검색 결과를 전송할 수 있다.
마지막으로, 제3웹 서버(33)가 트위터와 같은 SNS를 제공하는 서버인 경우, 메쉬업 데이터 수신부(131)는 제3웹 서버(33)에서 지원하는 open API를 이용하여 제3웹 서버(33)에 접속한다. 제3웹 서버(33)는 사용자가 SNS를 활용하면서 남긴 기록들로부터 키워드들을 추출하고, 추출된 키워드들을 조합하여 메쉬업 데이터를 생성한다. 그리고, 제3웹 서버(33)는 생성된 메쉬업 데이터를 메쉬업 데이터 수신부(131)에게 전송할 수 있다.
한편, 사용자 성향 파악부(133)는 제1 및 제3웹 서버들(31, 32, 33) 중 적어도 하나로부터 제공받은 메쉬업 데이터를 학습하여 사용자의 성향을 파악할 수 있다. 사용자 성향 파악부(133)는 주지된 사용자 상황 인지 알고리즘에 메쉬업 데이터를 적용하여 사용자의 성향(사용자의 취향, 관심분야 또는 선호도 등)을 파악할 수 있다. 예를 들어, 제1웹 서버(31)로부터 수신된 메쉬업 데이터가 커피, 카페라떼, 라떼 제조법, 커피 수출국, 자유무역 등 커피와 관련된 데이터를 포함하고 있는 경우, 사용자 성향 파악부(133)는 사용자가 커피에 관심이 있는 것으로 파악할 수 있다.
검색부(135)는 사용자 성향 파악부(133)에서 파악된 사용자의 성향과 관련된 AR 부가정보를 클라우드 스토리지(110)로부터 검색할 수 있다. 즉, 검색부(135)는 파악된 사용자의 성향이 트래킹 엔진(120)에서 판단된 객체의 종류와 동일한 카테고리에 속하는 경우, 판단된 객체의 주변에 위치하는 다른 객체의 AR 실제정보를 현재 판단된 객체의 AR 부가정보로서 클라우드 스토리지(110)로부터 검색할 수 있다.
또한, 검색부(135)는 메쉬업 데이터 수신부(131)로부터 직접 수신된 메쉬업 데이터를 분석하여 AR 부가정보를 생성하고, 트래킹 엔진(120)에서 판단된 객체의 AR 실제정보를 클라우드 스토리지(110)로부터 검색할 수 있다.
검색부(135)는 검색된 AR 실제정보와 AR 부가정보를 AR 가시화 엔진(140)에게 출력한다.
다시 도 1을 참조하면, AR 가시화 엔진(140)은 검색부(135)로부터 수신되는 AR 실제정보와 AR 부가정보를 보여주는 AR 정보창을 생성할 수 있다. AR 가시화 엔진(140)은 생성된 AR 정보창에 대한 데이터를 사용자 단말기(10)에게 전송한다. 이러한 경우, 사용자 단말기(10)는 수신된 AR 정보창을 사용자 단말기(10)에서 촬영한 객체에 오버랩하여 표시한다. 이로써, 사용자는 촬영된 객체의 실제정보와 주변에 위치하는 다른 객체들의 정보를 제공받을 수 있다.
또는, AR 가시화 엔진(140)은 AR 정보창이 사용자 단말기(10)에서 가시화되도록 렌더링 데이터를 생성하고, AR 정보창에 해당하는 렌더링 데이터를 사용자 단말기(10)에게 전송한다. 이러한 경우, 사용자 단말기(10)는 수신된 렌더링 데이터를 렌더링하여 AR 실제정보와 AR 부가정보가 표시되는 AR 정보창을 생성하고 화면에 표시할 수 있다.
도 3은 본 발명의 실시예에 따른 클라우드 기반 AR 서버의 AR 정보 제공 방법을 설명하기 위한 흐름도이다.
도 3의 사용자 단말기, 클라우드 기반 AR 서버, 제1 및 제2웹 서버들은 도 1의 사용자 단말기(10), 클라우드 기반 AR 서버(100) 및 제1 및 제2웹 서버들(31, 32, 33)일 수 있다.
도 3을 참조하면, 사용자 단말기는 촬영 장치를 이용하여 객체를 촬영하고(S305), 객체의 이미지 데이터를 메타데이터와 함께 클라우드 기반 AR 서버에게 전송한다(S310). 객체는 실제 환경에 위치하는 물체이고, 메타데이터는 사용자 단말기의 식별정보, 위치정보, 사용자의 식별정보를 포함한다. S305단계 및 S310단계에서 사용자 단말기는 AR 서비스를 제공하는 어플리케이션을 이용할 수 있다.
클라우드 기반 AR 서버는 S310단계에서 수신된 이미지 데이터와 위치 정보 중 적어도 하나를 이용하여, 이미지 데이터에 해당하는 객체 또는 이미지 데이터에 포함된 객체를 판단한다(S315). S315단계는 도 1의 트래킹 엔진(120)을 참조하여 자세히 설명하였으므로 구체적인 설명은 생략한다.
S315단계 후, 클라우드 기반 AR 서버는 제1웹 서버에서 지원하는 open API를 이용하여 제1웹 서버에 접속하고, 사용자의 성향을 파악하기 위한 메쉬업 데이터의 전송을 요청한다(S320).
클라우드 기반 AR 서버의 관리자는 open API를 이용하여 필요한 메쉬업 데이터를 제공받도록 사전에 설정을 완료하였다. 즉, 관리자는 사용자 성향을 파악하는데 필요한 메쉬업 데이터를 제공받도록 제1웹 서버에서 환경 설정을 완료해 놓을 수 있다.
따라서, 제1웹 서버는 관리자에 의해 사전에 설정된 환경에 기초하여 사용자의 블로그로부터 키워드들을 추출하고, 추출된 키워드들을 조합하여 메쉬업 데이터를 생성한다(S325).
제1웹 서버는 생성된 메쉬업 데이터를 클라우드 기반 AR 서버에게 전송한다(S330).
클라우드 기반 AR 서버는 제2웹 서버로부터 객체의 종류에 대한 검색 결과를 알고자 하는 경우, 제2웹 서버에서 지원하는 open API를 이용하여 제2웹 서버에 접속하고, 객체의 종류를 제2웹 서버에게 전송하여 메쉬업 데이터의 전송을 요청한다(S335).
제2웹 서버는 객체의 종류를 검색어로 하여 정보를 검색하고, 검색 결과를 이용하여 메쉬업 데이터를 생성한다(S340).
제2웹 서버는 생성된 메쉬업 데이터를 클라우드 기반 AR 서버에게 전송한다(S345).
S340단계 및 S345단계는 제1 및 제2웹 서버들에 우선순위가 설정되어 있고, 제1웹 서버로부터 메쉬업 데이터가 수신된 경우, 선택적으로 수행될 수 있다. 따라서, 도 3의 S340단계 및 S345단계는 점선으로 도시된다.
클라우드 기반 AR 서버는 S330단계에서 수신된 메쉬업 데이터를 학습하여 사용자의 성향을 파악한다(S350).
클라우드 기반 AR 서버는 S350단계에서 파악된 사용자의 성향과 관련된 AR 부가정보를 데이터베이스로부터 검색하고, S345단계에서 수신된 메쉬업 데이터로부터 AR 부가정보를 생성한다(S355). 데이터 베이스는 도 1의 클라우드 스토리지(110)일 수 있다.
또한, 클라우드 기반 AR 서버는 S315단계에서 판단된 객체의 종류(즉, 객체)와 관련된 AR 실제정보를 데이터베이스로부터 검색한다(S360). S350단계 내지 S360단계는 도 1의 지능형 상황인지 엔진(130)을 참조하여 자세히 설명하였으므로 구체적인 설명은 생략한다.
클라우드 기반 AR 서버는 S355단계 및 S360단계에서 검색된/생성된 AR 부가정보와 AR 실제정보를 보여주는 AR 정보창을 생성한다(S365). 즉, 클라우드 기반 AR 서버는 AR 부가정보와 AR 실제정보가 가시화되는 AR 정보창을 생성한다.
클라우드 기반 AR 서버는 생성된 AR 정보창을 사용자 단말기에게 전송한다(S370).
사용자 단말기는 수신된 AR 정보창을 S305단계에서 촬영한 객체의 영상에 오버랩하여 표시한다(S375). 이로써, 사용자는 촬영된 객체의 실제정보와 주변에 위치하는 다른 객체들의 정보, 또는 객체의 구체적인 상세 정보를 제공받을 수 있다.
상기와 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10: 사용자 단말기 31, 32, 33: 제1 내지 제3웹 서버들
100: 클라우드 기반 AR 서버 110: 클라우드 스토리지
120: 트래킹 엔진 130: 지능형 상황인지 엔진
1401: AR 가시화 엔진

Claims (5)

  1. 사용자 단말기로부터 수신된 이미지 데이터 및 위치정보 중 적어도 하나를 이용하여 상기 이미지 데이터에 해당하는 객체를 판단하는 트래킹 엔진;
    상기 판단된 객체와 관련된 증강 현실(AR: Augmented Reality) 부가정보를 사용자의 성향을 고려하여 지능적으로 검색하는 지능형 상황인지 엔진; 및
    상기 검색된 AR 부가정보가 표시되는 AR 정보창을 가시화하는 증강현실 가시화 엔진;을 포함하는 클라우드 기반 증강 현실 서버.
  2. 제1항에 있어서,
    상기 지능형 상황인지 엔진은,
    적어도 하나의 웹 서버로부터 상기 사용자의 성향을 파악할 수 있는 메쉬업 데이터를 제공받는 메쉬업 데이터 수신부;
    상기 제공받은 메쉬업 데이터를 학습하여 상기 사용자의 성향을 파악하는 사용자 성향 파악부; 및
    상기 파악된 사용자의 성향과 관련된 상기 AR 부가정보를 클라우드 스토리지로부터 검색하는 검색부;를 포함하는 것을 특징으로 하는 클라우드 기반 증강 현실 서버.
  3. 제2항에 있어서,
    상기 적어도 하나의 웹 서버는, 상기 사용자에 의해 사전에 지정된 웹 서버이며, 소셜 네트워크 서비스를 제공하는 서버, 검색 엔진을 제공하는 서버 및 상기 사용자의 개인 홈페이지를 제공하는 서버 중 적어도 하나를 포함하는 것을 특징으로 하는 클라우드 기반 증강 현실 서버.
  4. 제2항에 있어서,
    상기 검색부는, 상기 판단된 객체의 AR 실제정보를 상기 클라우드 스토리지로부터 더 검색하고,
    상기 증강현실 가시화 엔진은, 상기 AR 정보창에 상기 검색된 AR 실제정보를 더 표시하는 것을 특징으로 하는 클라우드 기반 증강 현실 서버.
  5. 제1항에 있어서,
    상기 지능형 상황인지 엔진은, 상기 적어도 하나의 웹 서버에서 지원하는 open API(Application Program Interface)를 이용하여 상기 메쉬업 데이터를 제공받는 것을 특징으로 하는 클라우드 기반 증강 현실 서버.
KR1020110053153A 2011-06-02 2011-06-02 클라우드 기반 증강 현실 시스템 KR101260425B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110053153A KR101260425B1 (ko) 2011-06-02 2011-06-02 클라우드 기반 증강 현실 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110053153A KR101260425B1 (ko) 2011-06-02 2011-06-02 클라우드 기반 증강 현실 시스템

Publications (2)

Publication Number Publication Date
KR20120134321A true KR20120134321A (ko) 2012-12-12
KR101260425B1 KR101260425B1 (ko) 2013-05-07

Family

ID=47902532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110053153A KR101260425B1 (ko) 2011-06-02 2011-06-02 클라우드 기반 증강 현실 시스템

Country Status (1)

Country Link
KR (1) KR101260425B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297544A (zh) * 2013-06-24 2013-09-11 杭州泰一指尚科技有限公司 一种基于增强现实的即时通讯应用方法
KR20180000016A (ko) * 2016-06-21 2018-01-02 한양대학교 에리카산학협력단 소셜 네트워크 서비스를 이용한 증강현실 제공 시스템
KR101865875B1 (ko) * 2016-06-21 2018-07-11 한양대학교 에리카산학협력단 소셜 네트워크 서비스를 이용한 증강현실 제공 방법
KR20200020127A (ko) * 2018-08-16 2020-02-26 스마트한 주식회사 증강현실 컨텐츠 저작 방법 및 장치
CN114821001A (zh) * 2022-04-12 2022-07-29 支付宝(杭州)信息技术有限公司 基于ar的互动方法、装置及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9723109B2 (en) 2014-05-28 2017-08-01 Alexander Hertel Platform for constructing and consuming realm and object feature clouds

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297544A (zh) * 2013-06-24 2013-09-11 杭州泰一指尚科技有限公司 一种基于增强现实的即时通讯应用方法
CN103297544B (zh) * 2013-06-24 2015-06-17 杭州泰一指尚科技有限公司 一种基于增强现实的即时通讯应用方法
KR20180000016A (ko) * 2016-06-21 2018-01-02 한양대학교 에리카산학협력단 소셜 네트워크 서비스를 이용한 증강현실 제공 시스템
KR101865875B1 (ko) * 2016-06-21 2018-07-11 한양대학교 에리카산학협력단 소셜 네트워크 서비스를 이용한 증강현실 제공 방법
KR20200020127A (ko) * 2018-08-16 2020-02-26 스마트한 주식회사 증강현실 컨텐츠 저작 방법 및 장치
CN114821001A (zh) * 2022-04-12 2022-07-29 支付宝(杭州)信息技术有限公司 基于ar的互动方法、装置及电子设备
CN114821001B (zh) * 2022-04-12 2024-04-19 支付宝(杭州)信息技术有限公司 基于ar的互动方法、装置及电子设备

Also Published As

Publication number Publication date
KR101260425B1 (ko) 2013-05-07

Similar Documents

Publication Publication Date Title
US10031926B2 (en) Method and apparatus for providing information about an identified object
US8775420B2 (en) Text display of geo-referenced information based on relative distance to a user location
CN102224498B (zh) 用于向移动设备提供位置相关内容的计算机实现的方法
CN104573042B (zh) Poi信息的确定方法及装置
US9798822B2 (en) Location based grouping of browsing histories
CN105869513B (zh) 在电子地图界面上显示关联标注点的方法和装置
US8849935B1 (en) Systems and method for generating three-dimensional geofeeds, orientation-based geofeeds, and geofeeds based on ambient conditions based on content provided by social media content providers
KR101260425B1 (ko) 클라우드 기반 증강 현실 시스템
US20150187100A1 (en) Presenting multiple map results with on-map labels
US9418377B2 (en) System and method for visualizing property based listing on a mobile device
US20150062114A1 (en) Displaying textual information related to geolocated images
US20120093369A1 (en) Method, terminal device, and computer-readable recording medium for providing augmented reality using input image inputted through terminal device and information associated with same input image
KR20140104007A (ko) 모바일 컴퓨팅 디바이스 상의 후속 디스플레이를 위해 장소 페이지 데이터를 사전-인출하기 위한 방법 및 장치
JP2012523058A5 (ko)
JP2010009315A (ja) 推薦店舗提示システム
WO2015103923A1 (zh) 进行位置信息搜索的方法和浏览器终端
WO2019134469A1 (zh) 实体店查询方法和电子设备
US20220004703A1 (en) Annotating a collection of media content items
JP5891905B2 (ja) サーバ装置、プログラム及び通信システム
CN105243100B (zh) 地图渲染方法、提供渲染目标信息的方法及装置
CN107924415A (zh) 从位置不可感知设备向搜索查询提供位置信息以提高用户交互性能
JP5056365B2 (ja) コンテンツ情報配信装置、コンテンツ情報配信システムおよびコンテンツ情報配信方法
WO2016028435A1 (en) System and method for automatically pushing location-specific content to users
CN106462603A (zh) 对多个实体隐含的查询的歧义消除
US20160078105A1 (en) Information providing system, information providing server and information providing method

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160422

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170426

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180426

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190425

Year of fee payment: 7