KR20120038316A - Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법 - Google Patents

Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법 Download PDF

Info

Publication number
KR20120038316A
KR20120038316A KR1020100100008A KR20100100008A KR20120038316A KR 20120038316 A KR20120038316 A KR 20120038316A KR 1020100100008 A KR1020100100008 A KR 1020100100008A KR 20100100008 A KR20100100008 A KR 20100100008A KR 20120038316 A KR20120038316 A KR 20120038316A
Authority
KR
South Korea
Prior art keywords
information
tag
user terminal
azimuth
unit
Prior art date
Application number
KR1020100100008A
Other languages
English (en)
Other versions
KR101260576B1 (ko
Inventor
황주희
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44799693&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20120038316(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100100008A priority Critical patent/KR101260576B1/ko
Priority to US13/212,969 priority patent/US8823855B2/en
Priority to CN2011102804742A priority patent/CN102568012A/zh
Priority to EP11183744.9A priority patent/EP2442547A3/en
Priority to JP2011220789A priority patent/JP2012084146A/ja
Publication of KR20120038316A publication Critical patent/KR20120038316A/ko
Application granted granted Critical
Publication of KR101260576B1 publication Critical patent/KR101260576B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273—Display

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Telephonic Communication Services (AREA)

Abstract

AR 서비스를 제공하는 사용자 단말기 및 그 방법, 그리고, 외부 서버 가 제공된다. 증강 현실(AR: Augmented Reality) 태그 정보를 생성하는 사용자 단말기에 있어서, 촬영부는 피사체를 촬영하며, 정보 수집부는 촬영부의 위치 정보 및 객체와 촬영부 간의 방위각 정보를 포함하는 상황 정보를 수집하며, 제어부는 수집되는 상황 정보를 기준으로 객체의 AR 태그 정보를 생성할 수 있다.

Description

ＡＲ 서비스를 제공하기 위한 사용자 단말기 및 그 방법{User Equipment and Method for providing AR service}
본 발명은 방위각에 따라 사용자가 AR 태그 정보를 생성 및 이용할 수 있는 서비스를 제공하기 위한 사용자 단말기 및 그 방법에 관한 것이다.
증강 현실(AR: Augmented Reality)은 가상 현실의 한 분야로, 실제 환경에 가상 사물이나 정보를 합성하는 컴퓨터 그래픽 기법이다. 증강 현실은 가상의 공간과 사물만을 대상으로 하는 가상 현실과 달리, 실제 환경이라는 기반 위에 가상의 사물이나 정보를 합성함으로써, 현실 세계만으로는 얻기 어려운 부가 정보를 보강한다. 증강 현실 기술은 실제 환경에 속하는 객체들 전체에 필터를 적용하여, 합성되는 가상의 사물이나 정보를 선별하는 기능을 제공한다.
그러나, 기존의 증강 현실 서비스는, 객체의 GPS(Global Positioning System) 정보를 이용하여 단순한 형태의 정보를 제공한다. 즉, 객체를 바라보는 사용자의 위치가 변경되어도 기존에는 이전과 동일한 정보를 제공한다.
따라서, 상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 사용자가 객체를 바라보는 방위각에 따른 정보들로 생성된 AR 태그를 사용자에게 제공함으로써, 보다 직관적이고 다양한 서비스를 제공할 수 있는, AR 서비스를 제공하기 위한 사용자 단말기 및 그 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른, 증강 현실(AR: Augmented Reality) 서비스를 제공하는 사용자 단말기는, 객체를 촬영하는 촬영부; 상기 촬영부의 위치 정보 및 상기 객체와 상기 촬영부 간의 방위각 정보를 포함하는 상황 정보를 수집하는 정보 수집부; 상기 수집되는 상황 정보에 대응하는 AR 태그를 생성하는 태그 생성부; 및 상기 촬영된 객체 및 상기 생성된 AR 태그를 표시하는 표시부를 포함한다.
서로 다른 상황 정보에 대응하는 AR 정보들을 저장하는 외부 서버와 통신하는 통신부; 및 상기 외부 서버에게 상기 수집된 상황 정보에 대응하는 AR 정보의 제공을 요청하도록 상기 통신부를 제어하는 제어부를 더 포함한다.
상기 통신부는 상기 수집된 상황 정보를 상기 외부 서버로 전송하여 상기 AR 정보의 제공을 요청하며, 상기 외부 서버는 상기 상황 정보의 위치 정보 및 방위각 정보에 대응하는 AR 정보를 상기 통신부에게 제공한다.
서로 다른 상황 정보에 대응하는 AR 정보들을 저장하는 저장부를 더 포함하며, 상기 태그 생성부는 상기 저장부로부터 상기 수집된 상황 정보에 대응하는 AR 정보를 이용하여 상기 AR 태그를 생성한다.
상기 태그 생성부는, 상기 상황 정보에 대응하는 AR 정보를 이용하여 3D(Dimension) 형태의 AR 태그를 생성한다.
상기 태그 생성부는 상기 객체의 윤곽에 따라 다면체 형태의 AR 태그를 생성하며, 상기 다면체의 각 면에는 상기 객체와 상기 촬영부 간의 방위각에 따라 다른 AR 정보가 표시된다.
상기 표시된 AR 태그에 대한 사용자의 터치 방향을 센싱하는 사용자 입력부를 더 포함하며, 상기 태그 생성부는 상기 센싱된 터치 방향으로 상기 표시된 AR 태그를 회전시켜 상기 객체의 회전 된 방위각에 대한 AR 정보를 제공한다.
상기 객체를 촬영 중인 상기 사용자 단말기가 임의의 방향으로 회전되면, 상기 태그 생성부는 상기 객체를 회전된 방향에서 바라볼 때의 방위각에 대응하는 AR 태그를 생성한다.
한편, 본 발명의 일 실시예에 따른, 증강 현실(AR: Augmented Reality) 서비스를 제공하는 사용자 단말기는, 객체를 촬영하는 촬영부; 상기 촬영부의 위치 정보 및 상기 객체의 영상 데이터를 포함하는 상황 정보를 수집하는 정보 수집부; 상기 수집된 상황 정보를 외부 서버-상기 객체의 AR 정보들을 방위각 정보 별로 저장함-에게 전송하고, 상기 외부 서버로부터 상기 객체의 AR 정보들을 수신하는 통신부; 상기 객체의 AR 정보들 중 상기 객체와 상기 촬영부 간의 방위각에 대응하는 AR 정보를 이용하여 AR 태그를 생성하는 태그 생성부; 및 상기 촬영된 객체 및 상기 생성된 AR 태그를 표시하는 표시부를 포함한다.
상기 정보 수집부는 상기 객체와 상기 촬영부 간의 방위각에 대한 정보인 방위각 정보를 더 수집하며, 상기 태그 생성부는 상기 수집된 방위각 정보가 변경되면, 상기 변경된 방위각 정보에 대응하는 AR 정보에 해당하는 상기 AR 태그를 생성한다.
한편, 본 발명의 일 실시예에 따른, 사용자 단말기의 증강 현실(AR: Augmented Reality) 서비스를 제공하는 방법은, 카메라를 이용하여 객체를 촬영하는 단계; 상기 객체가 촬영된 위치 정보 및 상기 객체와 상기 카메라 간의 방위각 정보를 포함하는 상황 정보를 수집하는 단계; 상기 수집되는 상황 정보에 대응하는 AR 태그를 생성하는 단계; 및 상기 촬영된 객체 및 상기 생성된 AR 태그를 표시하는 단계를 포함한다.
서로 다른 상황 정보에 대응하는 AR 정보들을 저장하는 외부 서버에게 상기 수집된 상황 정보에 대응하는 AR 정보의 제공을 요청하는 단계; 및 상기 외부 서버로부터 상기 상황 정보의 위치 정보 및 방위각 정보에 대응하는 AR 정보를 제공받는 단계를 더 포함한다.
상기 AR 태그를 생성하는 단계는, 상기 사용자 단말기에 기 저장된 서로 다른 상황 정보에 대응하는 AR 정보들을 이용하여 상기 AR 태그를 생성한다.
상기 AR 태그를 생성하는 단계는, 상기 상황 정보에 대응하는 AR 정보를 이용하여 3D(Dimension) 형태의 AR 태그를 생성한다.
상기 AR 태그를 생성하는 단계는, 상기 객체의 윤곽에 따라 다면체 형태의 AR 태그를 생성하며, 상기 다면체의 각 면에는 상기 객체와 상기 촬영부 간의 방위각에 따른 AR 정보가 표시된다.
상기 표시된 AR 태그에 대한 사용자의 터치 방향을 센싱하는 단계; 및 상기 센싱된 터치 방향으로 상기 표시된 AR 태그를 회전시켜 상기 객체의 회전 된 방위각에 대한 AR 정보를 제공하는 단계를 더 포함한다.
상기 객체를 촬영 중인 상기 사용자 단말기가 객체의 좌측 방향으로 회전되면, 상기 객체를 상기 객체의 좌측 방향에서 바라볼 때의 방위각에 대응하는 AR 태그를 생성하는 단계를 더 포함한다.
한편, 본 발명의 일 실시예에 따른, 사용자 단말기의 증강 현실(AR: Augmented Reality) 서비스를 제공하는 방법은, 객체를 촬영하는 단계; 상기 객체를 촬영하는 카메라의 위치 정보 및 상기 객체의 영상 데이터를 포함하는 상황 정보를 수집하는 단계; 상기 수집된 상황 정보를 외부 서버-상기 객체의 AR 정보들을 방위각 정보 별로 저장함-에게 전송하는 단계; 상기 외부 서버로부터 상기 객체의 AR 정보들을 수신하는 단계; 상기 객체의 AR 정보들 중 상기 객체와 상기 촬영부 간의 방위각에 대응하는 AR 정보를 이용하여 AR 태그를 생성하는 단계; 및
상기 촬영된 객체 및 상기 생성된 AR 태그를 표시하는 단계를 포함한다.
상기 수집하는 단계는 상기 객체와 상기 카메라 간의 방위각에 대한 정보인 방위각 정보를 더 수집하며, 상기 AR 태그를 생성하는 단계는 상기 수집된 방위각 정보가 변경되면, 상기 변경된 방위각 정보에 대응하는 AR 정보에 해당하는 상기 AR 태그를 생성한다.
제안되는 본 발명의 일 실시예에 따르면, 사용자가 객체를 바라보는 방위각에 따라 AR 태그를 선별하여 제공함으로써, 사용자는 필요한 정보만을 볼 수 있다.
또한, AR 태그를 입체감을 가지는 3D 형태로 표시하고, 터치 방식에 의해 AR 태그를 회전시킴으로써, 사용자의 이동 없이 객체의 다른 AR 정보를 제공할 수 있다.
또한, AR 태그의 직접 이동이 불가능한 경우, 사용자가 사용자 단말기를 임의 방향으로 회전시키고, 사용자 단말기는 회전된 방향에 따른 객체의 AR 정보를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 AR 서비스를 제공하기 위한 제1사용자 단말기를 도시한 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 AR 서비스를 제공하기 위한 제2사용자 단말기를 도시한 블록도, 도 3은 도 2의 제2정보 수집부와 제2정보 분석부를 자세히 도시한 블록도이다.
도 4a 내지 도 4c는 제2표시부에 표시되는 AR 태그의 일 예를 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른, AR 태그를 터치하여 다양한 AR 정보를 보여주는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른, 제2사용자 단말기를 움직임으로써 AR 태그에 표시된 다양한 AR 정보를 보여주는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 외부 서버를 도시한 블록도이다.
도 8은 본 발명의 다른 실시예에 따른 AR 서비스를 제공하기 위한 제3사용자 단말기를 도시한 블록도이다.
도 9는 본 발명의 다른 실시예에 따른 AR 서비스를 제공하기 위한 제4사용자 단말기를 도시한 블록도이다.
도 10은 본 발명의 일 실시예에 따른 사용자 단말기의 AR 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 사용자 단말기의 AR 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 증강현실(AR: Augmented Reality) 서비스를 제공하기 위한 제1사용자 단말기(100)를 도시한 블록도이다.
도 1을 참조하면, 제1사용자 단말기(100)는 스마트폰, 셀룰러 폰, 랩탑 등의 휴대용 장치로서, 제1촬영부(110), 제1정보 수집부(120), 제1태그 생성부(130) 및 제1표시부(140)를 포함한다.
제1촬영부(110)는 객체를 촬영하여 영상을 획득하며, 내장형 또는 외장형 카메라를 예로 들 수 있다. 획득된 영상은 제1촬영부(110)에서 표시가능한 신호로 처리하거나 또는 별도의 이미지 프로세서에 의해 표시가능한 신호로 처리될 수 있다.
제1정보 수집부(120)는 제1사용자 단말기(100)의 현재 위치 정보, 제1촬영부(110)에 의해 촬영되는 객체의 위치 정보, 제1촬영부(110)가 현재 바라보는 방향에 대한 정보 및 제1사용자 단말기(100)와 객체 간의 방위각 정보를 포함하는 상황 정보를 수집할 수 있다. 방위각 정보는 제1사용자 단말기(100)와 객체 간의 방위각(azimuth)을 나타내는 수치이다. 즉, 방위각은 제1사용자 단말기(100)의 북점 또는 남점을 기준으로 객체까지의 각도를 의미한다. 북점 또는 남점은 제1사용자 단말기(100)로부터 북쪽 방향에 있는 지평선 또는 남쪽 방향에 있는 지평선이다.
제1태그 생성부(130)는 제1정보 수집부(120)에서 수집된 상황 정보에 대응하는 AR 태그를 생성할 수 있다. 상술한 바와 같이, 상황 정보는 위치 정보, 방향 정보 및 방위각 정보를 포함할 수 있다. AR 태그는 객체의 AR 정보를 보여주는 정보창 형태로 생성될 수 있다. 따라서, AR 태그는 객체가 촬영된 방위각을 기준으로 생성된다. 객체의 AR 정보는 제1사용자 단말기(100)에 상황 정보 별로 저장되어 있거나 외부 서버(미도시)에 상황 정보 별로 저장되어 있을 수 있다.
제1표시부(140)는 생성된 AR 태그를 촬영된 객체 부근에 오버랩시켜 표시한다.
도 2는 본 발명의 다른 실시예에 따른 증강현실(AR: Augmented Reality) 서비스를 제공하기 위한 제2사용자 단말기(200)를 도시한 블록도, 도 3은 도 2의 제2정보 수집부(250)와 제2정보 분석부(260)를 자세히 도시한 블록도이다.
도 2를 참조하면, 제2사용자 단말기(200)는 제2UI(User Interface)부(210), 제2저장부(220), 제2촬영부(230), 제2영상 처리부(240), 제2정보 수집부(250), 제2정보 분석부(260), 제2통신 처리부(270), 제2통신부(275), 제2태그 생성부(280) 및 제2제어부(290)를 포함한다.
제2UI부(210)는 사용자와 사용자 단말기(200) 간의 인터페이싱을 제공하며, 제2사용자 입력부(211) 및 제2표시부(213)를 포함할 수 있다.
제2사용자 입력부(211)는 사용자의 명령을 입력받는 조작 패널로서, 객체의 촬영을 위한 버튼, 방향키, 터치 패널 등 다양한 인터페이스를 포함할 수 있다. 특히, 사용자는 제2사용자 입력부(211)를 조작하여 방위각에 따른 AR 태그의 표시를 요청할 수 있다. 또한, 제2사용자 입력부(211)는 제2표시부(213)에 표시된 AR 태그를 사용자가 터치하는 경우, 사용자의 터치 방향을 센싱할 수 있다.
제2표시부(213)는 제2촬영부(230)로부터 입력되는 영상이 신호처리되면, 신호처리된 영상을 표시한다. 사용자 단말기(200)가 터치 방식을 제공하는 경우, 제2표시부(213)에는 터치 패널의 UI가 표시될 수 있다.
제2저장부(220)는 사용자 단말기(200)의 전반적인 동작을 위해 필요한 프로그램, 각종 데이터, 정보 등을 저장한다. 또한, 제2저장부(220)에는 객체의 AR 정보가 객체의 상황 정보에 매핑되어 저장될 수 있다.
제2촬영부(230)는 객체를 촬영하여 영상 데이터를 획득하며, 내장형 카메라 또는 외장형 카메라를 예로 들 수 있다.
제2영상 처리부(240)는 제2촬영부(230)에서 획득된 영상을 분석하고, 분석결과를 이용하여 표시가능한 신호로 처리할 수 있다. 제2영상 처리부(240)는 이미지 프로세서일 수 있다.
제2정보 수집부(250)는 사용자 단말기(200)의 위치, 자세, 방위각 등과 관련된 정보를 포함하는 상황 정보를 수집한다. 도 3을 참조하면, 제2정보 수집부(250)는 위치 정보 수집부(251), 방위각 정보 수집부(253) 및 기울기 정보 수집부(255)를 포함한다.
위치 정보 수집부(251)는 사용자 단말기(200)의 현재 위치에 대한 정보인 위치 정보와, 제2촬영부(230)가 현재 피사체를 바라보는 방향에 대한 정보인 방향 정보를 수집할 수 있다. 또한, 위치 정보 수집부(251)는 객체, 즉, 피사체의 위치 정보를 더 수집할 수도 있다. 위치 정보 수집부(251)는 GPS(Global Positioning System) 방식, LBS(Location-Based Services) 방식 등을 이용하여 현재 위치를 센싱 및 수집하고, 디지털 나침반을 이용하여 방향을 센싱 및 수집할 수 있다. 위치 정보 수집부(251)에 의해 수집된 위치 정보와 방향 정보는 위치 분석부(261)로 제공된다.
방위각 정보 수집부(253)는 사용자 단말기(200)와 객체 간의 방위각에 대한 정보인 방위각 정보를 수집할 수 있다. 방위각 정보 수집부(253)에 의해 수집된 방위각 정보는 방위각 분석부(263)로 제공된다.
기울기 정보 수집부(255)는 사용자 단말기(200)의 기울기에 대한 정보인 기울기 정보를 수집할 수 있다. 기울기 정보는 사용자 단말기(200)의 자세와 관련된 정보이다. 사용자 단말기(200)는 사용자의 조작에 의해 다양한 방향으로 기울어진 후 피사체를 촬영할 수 있다. 기울기 정보 수집부(255)는 자이로스코프 3축 센서와 가속도 3축(가로, 세로, 높이) 센서를 포함하는 6축 모션 센서를 이용하여 기울기 정보를 센싱 및 수집할 수 있다. 기울기 정보 수집부(255)에 의해 수집된 기울기 정보는 기울기 분석부(265)로 제공된다. 기울기 정보는 옵셔널하게 수집될 수 있다.
제2정보 분석부(260)는 제2정보 수집부(250)에서 수집된 정보들을 처리가능한 신호로 분석한다. 도 3을 참조하면, 제2정보 분석부(260)는 위치 분석부(261), 방위각 분석부(263) 및 기울기 분석부(265)를 포함한다.
위치 분석부(261)는 위치 정보 수집부(251)에 의해 수집된 위치 정보와 방향 정보를 처리가능한 신호로 분석한다.
방위각 분석부(263)는 방위각 정보 수집부(253)에 의해 수집된 방위각 정보를 처리가능한 신호로 분석한다.
기울기 분석부(265)는 기울기 정보 수집부(255)에 의해 수집된 기울기 정보를 처리가능한 신호로 분석한다.
다시 도 2를 참조하면, 제2통신 처리부(270)는 제2제어부(290)의 제어에 의해, 분석된 상황 정보 및 촬영된 객체의 영상 데이터를 전송 프로토콜에 따라 데이터 변환한다.
제2통신부(275)는 제2통신 처리부(270)로부터 입력되는 데이터를 통신망(10)을 통해 외부 서버(700)로 전송한다. 또한, 제2통신부(275)는 외부 서버(700)로부터 상황 정보에 대응하는 AR 정보를 수신할 수 있다. 외부 서버(700)는 서로 다른 상황 정보에 대응하는 AR 정보를 저장한다. 외부 서버(700)는 도 7을 참조하여 후술한다.
제2통신 처리부(270)는 수신된 AR 정보를 제2사용자 단말기(200)에서 사용가능한 데이터 형태로 변환한다.
제2태그 생성부(280)는 제2통신 처리부(270)에서 변환된 AR 정보를 이용하여, 제2정보 수집부(250)에서 수집된 상황 정보에 대응하는 AR 태그를 생성할 수 있다. AR 태그는 객체의 AR 정보를 보여주는 정보창 형태로 생성될 수 있다. 제2태그 생성부(280)는 AR 정보와 객체의 상황 정보가 함께 표시되는 AR 태그를 생성할 수 있다.
또한, 제2태그 생성부(280)는 객체의 윤곽에 따라 다면체 형태의 AR 태그를 생성하며, 다면체의 각 면에는 객체와 제2촬영부(230) 간의 방위각에 따라 다른 AR 정보가 표시되도록 할 수 있다. 예를 들어, 객체가 건물이면 제2태그 생성부(280)는 입체감을 가지는 3D(Dimension) 큐브 형태의 AR 태그를 생성하며, 객체가 원형이면 원형의 AR 태그를 생성할 수 있다.
제2표시부(213)는 제2태그 생성부(280)에서 생성되는 AR 태그를 표시할 수 있다.
제2제어부(290)는 제2사용자 단말기(200)의 전반적인 동작을 제어한다. 특히, 제2제어부(290)는 분석된 상황 정보 및 객체의 영상 데이터를 전송하여, 상황 정보에 대응하는 객체의 AR 정보의 제공을 외부 서버(700)에게 요청할 수 있다.
한편, 제2제어부(290)는 외부 서버(700)에게 AR 정보의 제공을 요청하기 이전에, 상황 정보에 대응하는 AR 정보가 제2저장부(220)에 저장되어 있는지를 확인할 수 있다. 제2저장부(220)에 상황 정보에 대응하는 AR 정보가 저장되어 있으면, 제2제어부(290)는 제2저장부(220)에 저장된 AR 정보를 이용하여 AR 태그를 생성하도록 제2태그 생성부(280)를 제어할 수 있다. 제2저장부(220)에 상황 정보에 대응하는 AR 정보가 저장되어 있지 않으면, 제2제어부(290)는 AR 정보의 전송을 외부 서버(700)에게 요청할 수 있다.
도 4a 내지 도 4c는 제2표시부(213)에 표시되는 AR 태그의 일 예를 보여주는 도면이다.
도 4a를 참조하면, 사용자는 사용자 단말기(200)의 제2촬영부(230)를 이용하여 남대문을 촬영하고 있으며, 제2표시부(213)에는 남대문이라는 객체가 표시된다. 사용자가 현재 위치에서 남대문의 AR 태그 표시를 요청하면, 제2정보 수집부(250)는 현재 위치의 정보, 방향 정보, 방위각 정보, 기울기 정보 등을 포함하는 상황 정보를 수집한다. 제2정보 분석부(260)는 수집된 상황 정보를 분석하며, 제2태그 생성부(280)는 상황 정보에 대응하는 AR 정보를 이용하여 AR 태그(213a)를 생성한다. 상황 정보에 대응하는 AR 정보는 제2저장부(220)에 저장되어 있거나 외부 서버(700)로부터 제공받는다.
사용자가 남대문의 후문을 바라볼 수 있는 위치로 이동한 후, 남대문의 AR 태그 표시를 요청하면, 제2태그 생성부(280)는 이동된 위치의 상황 정보에 대응하는 AR 정보를 이용하여 AR 태그(213b)를 생성할 수 있다. 즉, 동일한 객체에 대해 방위각마다 다른 AR 태그가 생성되어 표시될 수 있다.
도 4b를 참조하면, 제2태그 생성부(280)는 객체, 즉, 남대문이 건물이므로 6면을 가지는 큐브 형태의 AR 태그(213c)를 더 생성할 수 있다. AR 태그(213c)의 각 면에는 서로 다른 또는 동일한 AR 정보가 표시될 수 있다. 서로 다른 AR 정보가 표시되는 경우, 제2사용자 단말기(200)는 외부 서버(700)로부터 복수 개의 방위각에 대한 AR 정보를 제공받을 수 있다. 따라서, 사용자는 AR 태그(213c)를 참조하여 다른 방위각에서 생성된 객체의 AR 정보를 확인할 수 있다.
도 4c를 참조하면, 제2태그 생성부(280)는 현재 사용자의 위치에서 객체의 우측면에 대한 AR 태그(214d)를 보여줄 수 있다. 실제, 현재 사용자의 위치에서 객체의 우측면은 전혀 보이지 않거나 일부만 보일 수 있으며, 따라서, AR 태그(214d)도 비스듬히 기울어져 표시될 수 있다. 이러한 경우, 사용자는 사용자가 볼 수 있는 방위각 범위를 기설정하고, 제2태그 생성부(280)는 기설정된 범위에 포함하는 방위각에 대한 AR 태그들을 생성할 수 있다. 도 4c의 경우, 사용자가 방위각 범위를 예를 들어, 360도로 설정하였으므로, 객체의 우측면에 대한 AR 태그(214d)가 표시된다.
도 5는 본 발명의 일 실시예에 따른, AR 태그를 터치하여 다양한 AR 정보를 보여주는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 제2태그 생성부(280)는 입체감을 가지며, 다면을 가지는 큐브 형태의 AR 태그(500)를 생성할 수 있다. 제2태그 생성부(280)는 AR 태그(500)의 각 면에 객체를 바라보는 방위각에 따라 다른 AR 정보를 표시할 수 있다. AR 태그(500)의 제1면(510)에는 제2사용자 단말기(200)의 현재 위치와 객체가 이루는 방위각에 대응하는 AR 정보가 표시된다. 표시된 AR 태그(500)는 상하좌우 방향으로 회전되어 표시될 수 있다.
예를 들어, 사용자가 제2면(520)을 터치하거나 또는 표시된 좌측 방향으로 AR 태그(500)를 터치하면, 제2사용자 입력부(211)는 터치된 면(510) 또는 사용자의 터치 방향을 센싱한다. 제2태그 생성부(280)는 센싱된 터치된 면 또는 터치 방향으로 AR 태그(500)를 회전시켜 객체의 다른 방위각에 대한 AR 정보가 정면에 표시되도록 할 수 있다. 또한, 사용자가 요구할 경우, 제2태그 생성부(280)는 보조 뷰를 생성하고, 보조 뷰의 화살표를 통해 현재 보여지는 AR 태그의 AR 정보가 어느 방위각 또는 어느 방향의 AR 태그인지 알 수 있도록 한다. 즉, 보조뷰의 화살표는 방위각을 나타낼 수 있다.
도 6은 본 발명의 다른 실시예에 따른, 제2사용자 단말기(200)를 움직임으로써 AR 태그에 표시된 다양한 AR 정보를 보여주는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 제2태그 생성부(280)는 객체에 대한 다면을 가지는 큐브 형태의 AR 태그(600)를 생성할 수 있다. AR 태그(600)의 움직임이 불가한 경우, 객체를 촬영 중인 제2사용자 단말기(200)가 임의 방향으로 회전되면, 제2태그 생성부(280)는 객체를 회전된 방향에서 바라볼 때의 방위각에 대응하는 AR 태그를 생성할 수 있다. 예를 들어, AR 태그(600)의 제1면이 정면에 표시된 후, 제2사용자 단말기(200)가 우측 방향으로 회전하면, 제2태그 생성부(280)는 AR 태그(600)의 우측면에 해당하는 제2면(610)이 정면에 표시되도록 할 수 있다. 이로써, 제2태그 생성부(280)는 AR 태그(600)를 상하좌우측 방향으로 직접 회전하여 표시하는 것과 같은 효과를 제공할 수 있다.
도 7은 본 발명의 일 실시예에 따른 외부 서버(700)를 도시한 블록도이다.
외부 서버(700)는 복수 개의 사용자 단말기에서 생성된 AR 태그 정보를 상황 정보와 함께 저장 및 관리한다. 도 7을 참조하면, 외부 서버(700)는 데이터베이스(DB: Database)(710), 서버 통신부(720), 송수신 처리부(730), 정보 처리부(740), 및 서버 제어부(750)를 포함한다.
DB(710)는 객체의 AR 정보를 복수 개의 상황 정보에 매핑하여 저장할 수 있다. 따라서, 동일한 객체의 AR 정보는 객체가 촬영된 상황 정보 별로 저장 및 관리될 수 있다. 상술한 바와 같이, 상황 정보는 객체가 촬영된 위치 정보와 방향 정보, 객체의 위치 정보, 방위각 정보 및 기울기 정보를 포함할 수 있다. 이 때, DB(710)에 저장된 상황 정보 중 방위각 정보는 일정 범위로써 저장될 수 있다. 예를 들어, 저장된 AR 정보가 방위각 200°에 대응하는 정보인 경우, DB(710)에는 AR 정보에 대응하는 방위각 정보로서 200°≠ α(α는 실수)가 저장될 수 있다. 이는, 제2사용자 단말기(200)의 사용자가 항상 동일한 방위각에서 객체를 촬영하는데 어려움이 있으므로, 허용 오차 범위를 두기 위함이다. 방위각 범위는 사용자 또는 관리자가 수동으로 설정하거나 또는 서버 제어부(750)에 의해 자동으로 설정될 수 있다. DB(710)에 저장된 AR 정보는 복수 개의 사용자 단말기들이 공유할 수도 있다.
서버 통신부(720)는 통신망을 통해 제2사용자 단말기(200)를 포함하는 복수 개의 사용자 단말기들과 통신한다. 이하에서는 제2사용자 단말기(200)를 예로 들어 설명한다. 서버 통신부(720)는 제2사용자 단말기(200)로부터 AR 정보의 제공을 요청하는 신호와 상황 정보를 수신한다. 서버 통신부(720)는 상황 정보를 원하는 객체의 영상 데이터를 더 수신할 수 있다.
송수신 처리부(730)는 수신된 AR 태그 정보와 상황 정보가 유효한지를 판단한다. 즉, 송수신 처리부(730)는 AR 태그 정보와 상황 정보에 오류가 발생하였는지, 또는 잘못된 형태의 정보인지 등을 판단한다. 유효하면, 송수신 처리부(730)는 상기 신호와 상황 정보를 정보 처리부(740)로 제공한다.
정보 처리부(740)는 상황 정보 중 위치 정보에 대응하는 AR 정보를 DB(710)에서 검색한다. 정보 처리부(740)는 검색 정보 생성부(741) 및 정보 검색부(743)를 포함한다.
검색 정보 생성부(741)는 DB(710)에 질의(query)할 검색 정보를 설정한다. 검색 정보는 수신된 상황 정보 중 위치 정보에 대응하는 AR 정보가 DB(710)에 기저장되어 있는지를 검색하는데 사용된다. 검색 정보 생성부(741)는 송수신 처리부(730)로부터 입력되는 상황 정보를 가공하여 검색 정보를 설정하고, 검색 정보를 헤더 형태로 생성할 수 있다. 따라서, 검색 정보는 제2사용자 단말기(200)의 위치 정보일 수 있다.
정보 검색부(743)는 설정된 검색 정보를 기초로 DB(710)를 검색하여, 위치 정보에 대응하는 AR 정보들을 독출한다.
서버 제어부(750)는 독출된 AR 정보들 중 상황 정보의 방위각 정보에 대응하는 AR 정보를 확인한다. 서버 제어부(750)는 방위각 정보에 대응하는 AR 정보를 제2사용자 단말기(200)에게 제공하도록 송수신 처리부(730) 및 서버 통신부(720)를 제어한다. 독출된 AR 정보에 대응하는 방위각 정보가 방위각 범위로 저장된 경우, 서버 제어부(750)는 상황 정보의 방위각 정보와 가장 근접한 방위각 범위에 대응하는 AR 정보를 제공할 수 있다.
또한, 서버 제어부(750)는 방위각 정보에 대응하는 AR 정보를 이용하여 AR 태그를 구성하고, 구성된 AR 태그에 대한 데이터를 제2사용자 단말기(200)에게 제공할 수 있다. 또는, 서버 제어부(750)는 제2사용자 단말기(200)로부터 방위각 정보를 제외한 상황 정보가 수신된 경우, 기본적인 AR 태그를 구성하고, 구성된 AR 태그에 대한 데이터를 제2사용자 단말기(200)에게 제공할 수 있다.
송수신 처리부(730)는 방위각 정보에 대응하는 AR 정보를 전송 프로토콜에 따라 데이터 변환한다. 서버 통신부(720)는 변환된 AR 정보를 제2사용자 단말기(200)에게 전송한다.
AR 정보를 수신한 제2사용자 단말기(200)는 현재 촬영 중인 객체의 AR 정보를 가공하여 AR 태그를 생성한 후 제2표시부(213)에 표시할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 증강현실(AR: Augmented Reality) 서비스를 제공하기 위한 제3사용자 단말기(800)를 도시한 블록도이다.
도 8을 참조하면, 제3사용자 단말기(800)는 제3촬영부(810), 제3정보 수집부(820), 제3태그 생성부(830), 제3통신부(840) 및 제3표시부(850)를 포함한다. 도 8에 도시된 제3촬영부(810), 제3정보 수집부(820), 제3태그 생성부(830) 및 제3표시부(850)는 도 1을 참조하여 설명한 제1촬영부(110), 제1정보 수집부(120), 제1태그 생성부(130) 및 제1표시부(140)와 유사하므로 상세한 설명은 생략한다.
다만, 제3통신부(840)는 제3정보 수집부(820)에 의해 수집된 제3사용자 단말기(800)의 현재 위치 정보, 제3촬영부(810)에 의해 촬영되는 객체의 위치 정보, 제3촬영부(810)가 현재 바라보는 방향에 대한 정보 및 제3사용자 단말기(800)와 객체 간의 방위각 정보를 포함하는 상황 정보 중 위치 정보, 방향 정보 및 기울기 정보를 외부 서버(미도시)에게 전송하여 객체에 대한 AR 정보의 제공을 요청한다. 기울기 정보는 생략될 수 있다. 또한, 제3통신부(840)는 외부 서버로부터 객체에 대한 AR 정보를 수신한다. 외부 서버는 객체의 AR 정보들을 방위각 별로 저장한다. 따라서, 외부 서버는 저장된 객체의 AR 정보들을 모두 제3사용자 단말기(800)에게 전송한다.
제3태그 생성부(830)는 수신된 객체의 AR 정보들 중 객체와 제3촬영부(810) 간의 방위각에 대응하는 AR 정보를 이용하여 AR 태그를 생성할 수 있다.
도 9는 본 발명의 다른 실시예에 따른 증강현실(AR: Augmented Reality) 서비스를 제공하기 위한 제4사용자 단말기(900)를 도시한 블록도이다.
도 9를 참조하면, 제4사용자 단말기(900)는 제4UI(User Interface)부(910), 제4저장부(920), 제4촬영부(930), 제4영상 처리부(940), 제4정보 수집부(950), 제4정보 분석부(960), 제4통신 처리부(970), 제4통신부(975), 제4태그 생성부(980) 및 제4제어부(990)를 포함한다. 도 9에 도시된 각 블록의 동작은 도 2를 참조하여 설명한 각 블록과 거의 동일하다. 따라서, 상세한 설명은 생략한다.
제4UI부(910)는 사용자와 사용자 단말기(900) 간의 인터페이싱을 제공하며, 제4사용자 입력부(911) 및 제4표시부(913)를 포함할 수 있다.
제4저장부(920)는 사용자 단말기(900)의 전반적인 동작을 위해 필요한 프로그램, 각종 데이터, 정보 등을 저장한다.
제4촬영부(930)는 객체를 촬영하여 영상 데이터를 획득하며, 내장형 카메라 또는 외장형 카메라를 예로 들 수 있다.
제4영상 처리부(940)는 제4촬영부(930)에서 획득된 영상을 분석하고, 분석결과를 이용하여 표시가능한 신호로 처리할 수 있다.
제4정보 수집부(950)는 사용자 단말기(900)의 위치, 자세, 방위각 등과 관련된 정보를 포함하는 상황 정보를 수집한다. 이 때, 제4정보 수집부(950)는 사용자로부터 방위각에 대한 AR 태그의 표시가 요청되면, 방위각 정보를 수집할 수 있다.
제4통신 처리부(970)는 제4제어부(990)의 제어에 의해, 분석된 상황 정보 중 위치 정보와 방향 정보, 그리고, 객체의 영상 데이터를 전송 프로토콜에 따라 데이터 변환한다.
제4통신부(975)는 제4통신 처리부(970)로부터 입력되는 데이터를 통신망(80)을 통해 외부 서버(미도시)로 전송한다. 또한, 제4통신부(975)는 외부 서버로부터 객체에 대한 하나 이상의 AR 정보를 수신할 수 있다. 외부 서버는 하나의 객체에 대해 다양한 상황 정보에 대응하는 AR 정보를 저장한다. 즉, 외부 서버는 서로 다른 방위각에 대응하는 AR 정보를 저장한다.
제4통신 처리부(970)는 수신된 AR 정보를 제4사용자 단말기(900)에서 사용가능한 데이터 형태로 변환한다.
제4태그 생성부(980)는 제4통신 처리부(970)에서 변환된 AR 정보를 이용하여, 제4정보 수집부(950)에서 수집된 상황 정보에 대응하는 AR 태그를 생성할 수 있다. 사용자가 방위각에 따른 AR 태그의 표시를 요청한 경우, 제4태그 생성부(980)는 복수 개의 AR 정보들 중 제4방위각 제4정보 수집부(950)에서 수집된 방위각에 대응하는 AR 정보를 이용하여 AR 태그를 생성한다. 생성되는 AR 태그는 도 4a, 도 4b, 도 4c, 도 5 및 도 6을 참조하여 설명한 UI 형태로 표시될 수 있다.
제4표시부(913)는 제4태그 생성부(980)에서 생성되는 AR 태그를 표시할 수 있다.
제4제어부(990)는 제4사용자 단말기(900)의 전반적인 동작을 제어한다. 특히, 제4제어부(990)는 분석된 상황 정보 중 위치 정보와 방향 정보, 그리고, 객체의 영상 데이터를 전송하여, 객체의 AR 정보의 제공을 외부 서버에게 요청할 수 있다.
또한, 제4제어부(990)는 사용자로부터 방위각에 대한 AR 정보의 표시가 요청되면, 방위각 정보를 수집하도록 제4정보 수집부(950)를 제어할 수 있다. 방위각 정보가 수집되면, 제4제어부(990)는 외부 서버로부터 수신된 복수 개의 AR 정보들 중 제4정보 수집부(950)에서 수집된 방위각에 대응하는 AR 정보를 독출하여 제4태그 생성부(980)에게 제공할 수 있다.
도 10은 본 발명의 일 실시예에 따른 사용자 단말기의 AR 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 10의 각 과정은 제1사용자 단말기(100) 또는 제2사용자 단말기(200)의 제어부나 프로세서에 의해 수행될 수 있다.
1010단계에서, 사용자는 카메라를 이용하여 객체를 촬영하여 객체의 영상 데이터를 획득한다.
1020단계에서, 사용자 단말기는 객체와 관련된 상황 정보를 수집할 수 있다. 상황 정보는 객체가 촬영된 사용자 단말기의 위치 정보, 객체와 카메라 간의 방위각 정보, 사용자 단말기의 기울기 정보 중 적어도 하나를 포함할 수 있다.
1030단계에서, 사용자 단말기가 사용자로부터 AR 태그의 표시 요청을 입력받는다.
1040단계에서, 사용자 단말기는 상황 정보에 대응하는 AR 정보가 사용자 단말기의 저장부에 기저장되어 있는지 확인한다.
1050단계에서, 상황 정보에 대응하는 AR 정보가 사용자 단말기의 저장부에 기저장되어 있으면, 사용자 단말기는 저장부에 저장된 AR 정보를 이용하여, 수집된 상황 정보에 대응하는 AR 태그를 생성 및 표시한다. 이로써, 사용자와 객체 간의 방위각에 따라 다른 AR 태그를 사용자에게 제공할 수 있다.
반면, 1040단계에서, 상황 정보에 대응하는 AR 정보가 사용자 단말기의 저장부에 기저장되어 있지 않으면, 1060단계에서, 사용자 단말기는 외부 서버에게 상황 정보에 대응하는 AR 정보의 제공을 요청한다. 이를 위하여, 1060단계에서, 사용자 단말기는 1010단계에서 획득된 객체의 영상 데이터와 1020단계에서 수집된 상황 정보를 외부 서버에게 전송할 수 있다.
1070단계에서, 외부 서버로부터 상황 정보에 대응하는 AR 정보를 포함하는 AR 태그 구성 데이터가 수신된다.
1080단계에서, 사용자 단말기는 수신된 AR 정보를 포함하는 AR 태그 구성 데이터를 이용하여 AR 태그를 생성한 후 표시할 수 있다. 1070단계에서, AR 정보만 수신되는 경우에도, 사용자 단말기는 AR 정보를 이용하여 AR 태그를 생성 및 표시할 수 있음은 물론이다.
도 11은 본 발명의 다른 실시예에 따른 사용자 단말기의 AR 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 11의 각 과정은 제3사용자 단말기(800) 또는 제4사용자 단말기(900)의 제어부나 프로세서에 의해 수행될 수 있다.
1110단계에서, 사용자는 카메라를 이용하여 객체를 촬영하여 객체의 영상 데이터를 획득한다.
1120단계에서, 사용자 단말기는 객체와 관련된 상황 정보를 수집할 수 있다. 상황 정보는 객체가 촬영된 사용자 단말기의 위치 정보, 방향 정보 사용자 단말기의 기울기 정보 중 적어도 하나를 포함할 수 있다. 기울기 정보는 생략될 수 있다.
1130단계에서, 사용자 단말기가 사용자로부터 AR 태그의 표시 요청을 입력받는다.
1140단계에서, 사용자 단말기는 수집된 상황 정보에 대응하는 AR 정보의 제공을 외부 서버에게 요청한다. 이를 위하여, 1160단계에서, 사용자 단말기는 1110단계에서 획득된 객체의 영상 데이터와 1120단계에서 수집된 상황 정보를 외부 서버에게 전송할 수 있다.
1150단계에서, 사용자 단말기는 외부 서버로부터 상황 정보에 대응하는 AR 정보를 하나 이상 수신할 수 있다. 예를 들어, 외부 서버에 동일한 객체에 대해서 방위각마다 다른 AR 정보가 저장되어 있는 경우, 사용자 단말기는 객체에 대한 모든 저장된 AR 정보를 수신할 수 있다.
1160단계에서, 사용자로부터 방위각에 따른 AR 태그의 표시 요청을 입력받지 않으면, 1170단계에서, 사용자 단말기는 수신된 하나 이상의 AR 정보를 이용하여 AR 태그를 생성 및 표시할 수 있다. 수신된 AR 정보가 복수 개인 경우, 사용자 단말기는 빈도수 또는 정확도가 높은 AR 정보를 이용하여 AR 태그를 생성할 수 있다.
반면, 사용자로부터 방위각에 따른 AR 태그의 표시 요청을 입력받으면, 1180단계에서, 사용자 단말기는 포함하는 객체와 카메라 간의 방위각 정보를 수집한다.
1190단계에서, 사용자 단말기는 수집된 하나 이상의 AR 정보 중 수집된 방위각 정보에 대응하는 AR 정보를 추출한다.
1195단계에서, 사용자 단말기는 추출된 AR 정보를 이용하여 AR 태그를 생성한 후 표시할 수 있다.
상술한 1080단계 또는 1195단계에서 표시된 AR 태그가 도 5의 AR 태그(500)인 경우, 사용자가 AR 태그를 터치한 터치 방향이 센싱되면, 사용자 단말기는 사용자에 의해 터치된 면 또는 터치 방향으로 AR 태그를 회전시켜 객체의 다른 방위각에 대한 AR 정보가 정면에 표시되도록 할 수 있다.
또한, 상술한 1080단계 또는 1195단계에서 표시된 AR 태그가 도 6의 AR 태그(600)인 경우, 사용자가 사용자 단말기를 임의 방향으로 회전하면, 사용자 단말기는 객체를 객체의 임의 방향에서 바라볼 때의 방위각에 대응하는 AR 정보가 정면에 표시되도록 할 수 있다.
상술한 본 발명의 실시예에 의하면, 사용자의 위치와 객체간의 방위각에 따라 서로 다른 AR 정보를 제공할 수 있다. 이러한 특징은 AR 태그를 입체감을 가지는 3D 형태로 제공할 수 있도록 하며, 후술할 다양한 사례에 적용할 수 있다.
1, 큐브 형태의 AR 태그를 건물의 내부 벽과 일치하는 방향으로 표시하면, 사용자는 건물의 외부에서도 건물의 내부 형태를 볼 수 있다. 이는, 6면을 가지는 AR 태그의 각 면을 건물 내부와 매칭시켜, 건물 내부의 각 면을 AR 태그의 각 면에 표시함으로써 가능하다. 건물 외부에서 사용자가 사용자 단말기의 카메라를 통해 건물의 한쪽 면을 바라보면, AR 태그의 다면 중 사용자와 대향하는 면, 즉, 정면은 투명하게 표시되어, 건물의 3개의 면(즉, 좌우측 면, 후면)을 입체적으로 보여줄 수 있다. 추가적으로, 동영상 카메라를 통해 실시간으로 AR 태그를 통해 보여줄 사진을 업데이트하면, 외부에서도 건물 내부의 상황을 보다 실시간으로 파악할 수 있다.
2, 본 발명의 실시예는 방위각뿐만 아니라, 수직/수평의 각, 즉, 사용자 단말기의 기울기에 대한 정보를 더 고려함으로써 사용자는 보다 다양한 각도에서 AR 태그를 제공받을 수 있다. 또한, 높이 정보를 추가함으로써 수평적으로 배치되던 AR 태그들을 현실감있게 공간적인 배치를 할 수 있다. 사용자는 수평하게 보이는 AR 태그뿐만 아니라, 카메라를 통해 객체를 위아래에서 올려보거나 내려다보면, 결과적으로 다양한 방향과 각도에서 3D 공간적으로 배치된 주변의 AR 태그들을 볼 수 있다.
3, AR 태그는 이정표 또는 표지판의 용도를 활용될 수 있다. 예를 들어, 사용자가 서 있는 방향을 기준으로 가상의 이정표 또는 표지판을 AR 태그로 표시하는 경우, 사용자와 반대 방향에 있는 사용자에게는 표시되지 않도록 함으로써, 도로 안내와 같은 혼란 야기를 방지할 수 있다.
4, 사용자 단말기는 센서를 이용하여 객체와 사용자 단말기 간의 방위각을 실시간으로 화면에 표시할 수 있다. 이를 이용하여, 사용자는 특정 위치에서 사진을 찍을 때 특정 위치에서 전문가가 남긴 AR 태그를 활용해, 전문가가 추천하는 방위각으로 카메라를 위치시켜 사진을 찍을 수 있다. 전문가가 남긴 AR 태그는 사진을 찍을 수 있는 카메라 설정정보와 방위각 정보를 보여줄 수 있다.
5, 사용자 단말기는 밤에 하늘을 바라보는 방위각에 따라 현재 사용자의 위치에서 관찰할 수 있는 별자리를 오버래핑하여 보여주는 AR 태그를 제공할 수 있다. 이 때, 사용자 단말기는 시간정보를 추가하여 별자리를 오버래핑할 수 있다. 이로써, 사용자는 별자리와 간련된 정보를 육안으로 쉽게 관찰할 수 있다.
6, 사용자 단말기는 건물 또는 지하철과 같이 출입구가 많은 경우, 현 위치에서 방위각에 따른 AR 태그를 보여줄 수 있다. 따라서, 사용자는 현 위치에서 정면으로 보이는 출구가 정문인지 또는 후문인지를 AR 태그를 통해 파악할 수 있다.
7. 사용자 단말기는 사용자가 등산 도중 길을 읽게 되면, 현재 위치에서 등산로로 이동하는 방향에 대한 정보, 대피소 또는 근처 지형에 대한 정보를 AR 태그를 통해 제공할 수 있다.
8. 사용자 단말기의 카메라가 향하는 방향이 주차장일 경우, 사용자 단말기는 AR 태그를 이용하여 주차가능한 위치를 보여주고, 주차 후, 건물의 출입구로 사용자를 안내할 수 있다.
9. 사용자 단말기는 방위각에 따라 AR 태그의 내용뿐만 아니라 AR 태그의 형태를 변경하여 보여줄 수 있다. 이로써, 사용자는 쉽게 AR 태그와 방위각을 인지할 수 있다.
10. 사용자 단말기는 방위각에 따라 보여지는 AR 태그의 AR 정보뿐만 아니라, 방위각과는 상관없이 공통적으로 보여져야 하는 정보를 제공할 수 있다. 이는 사용자가 지도를 보고 있는 경우 적용될 수 있다.
11. 방위각 태그의 특성중 한 면에서만 보이는 것을 이용해 천체, 행성에 다양한 태그를 생성할 수 있다. 지구뿐 아니라 다른 행성들이 자전, 공전을 하며 회전을 하며 움직이므로 매 시간 보이는 면이 서서히 변하게 된다. 이때 사용자는 원하는 면에만 태그를 설정할 수 있다.
12. 사용자 단말기는 방위각에 따른 AR 태그에 따라 건물의 바닥, 천정, 옥상 등 다양한 면에 AR 태그를 보여줄 수 있다. 이는, 벽화, 대형 건축물의 층별 안내 표시에 관한 정보를 안내할 때 용이하게 쓰일 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200: 제2사용자 단말기 210: 제2UI부
220: 제2저장부 230: 제2촬영부
240: 제2영상 처리부 250: 제2정보 수집부
260: 제2정보 분석부 270: 제2통신 처리부
280: 제2태그 생성부 290: 제2제어부

Claims (24)

  1. 증강 현실(AR: Augmented Reality) 서비스를 제공하는 사용자 단말기에 있어서,
    객체를 촬영하는 촬영부;
    상기 촬영부의 위치 정보 및 상기 객체와 상기 촬영부 간의 방위각 정보를 포함하는 상황 정보를 수집하는 정보 수집부;
    상기 수집되는 상황 정보에 대응하는 AR 태그를 생성하는 태그 생성부; 및
    상기 촬영된 객체 및 상기 생성된 AR 태그를 표시하는 표시부
    를 포함하는, AR 서비스를 제공하는 사용자 단말기.
  2. 제1항에 있어서,
    서로 다른 상황 정보에 대응하는 AR 정보들을 저장하는 외부 서버와 통신하는 통신부; 및
    상기 외부 서버에게 상기 수집된 상황 정보에 대응하는 AR 정보의 제공을 요청하도록 상기 통신부를 제어하는 제어부
    를 더 포함하는, AR 서비스를 제공하는 사용자 단말기.
  3. 제1항에 있어서,
    서로 다른 상황 정보에 대응하는 AR 정보들을 저장하는 저장부
    를 더 포함하며,
    상기 태그 생성부는 상기 저장부로부터 상기 수집된 상황 정보에 대응하는 AR 정보를 이용하여 상기 AR 태그를 생성하는, AR 서비스를 제공하는 사용자 단말기.
  4. 제1항에 있어서,
    상기 태그 생성부는, 상기 상황 정보에 대응하는 AR 정보를 이용하여 3D(Dimension) 형태의 AR 태그를 생성하는, AR 서비스를 제공하는 사용자 단말기.
  5. 제4항에 있어서,
    상기 태그 생성부는 상기 객체의 윤곽에 따라 다면체 형태의 AR 태그를 생성하며, 상기 다면체의 각 면에는 상기 객체와 상기 촬영부 간의 방위각에 따른 AR 정보가 표시되는, AR 서비스를 제공하는 사용자 단말기.
  6. 제4항에 있어서,
    상기 표시된 AR 태그에 대한 사용자의 터치 방향을 센싱하는 사용자 입력부
    를 더 포함하며,
    상기 태그 생성부는 상기 센싱된 터치 방향으로 상기 표시된 AR 태그를 회전시켜 상기 객체의 회전 된 방위각에 대한 AR 정보를 제공하는, AR 서비스를 제공하는 사용자 단말기.
  7. 제1항에 있어서,
    상기 객체를 촬영 중인 상기 사용자 단말기가 임의의 방향으로 회전되면, 상기 태그 생성부는 상기 객체를 회전된 방향에서 바라볼 때의 방위각에 대응하는 AR 태그를 생성하는, AR 서비스를 제공하는 사용자 단말기.
  8. 증강 현실(AR: Augmented Reality) 서비스를 제공하는 사용자 단말기에 있어서,
    객체를 촬영하는 촬영부;
    상기 촬영부의 위치 정보 및 상기 객체의 영상 데이터를 포함하는 상황 정보를 수집하는 정보 수집부;
    상기 수집된 상황 정보를 외부 서버-상기 객체의 AR 정보들을 방위각 정보 별로 저장함-에게 전송하고, 상기 외부 서버로부터 상기 객체의 AR 정보들을 수신하는 통신부;
    상기 객체의 AR 정보들 중 상기 객체와 상기 촬영부 간의 방위각에 대응하는 AR 정보를 이용하여 AR 태그를 생성하는 태그 생성부; 및
    상기 촬영된 객체 및 상기 생성된 AR 태그를 표시하는 표시부
    를 포함하는, AR 서비스를 제공하는 사용자 단말기.
  9. 제8항에 있어서,
    상기 정보 수집부는 상기 객체와 상기 촬영부 간의 방위각에 대한 정보인 방위각 정보를 더 수집하며,
    상기 태그 생성부는 상기 수집된 방위각 정보가 변경되면, 상기 변경된 방위각 정보에 대응하는 AR 정보에 해당하는 상기 AR 태그를 생성하는, AR 서비스를 제공하는 사용자 단말기.
  10. 제8항에 있어서,
    상기 태그 생성부는, 상기 상황 정보에 대응하는 AR 정보를 이용하여 3D(Dimension) 형태의 AR 태그를 생성하는, AR 서비스를 제공하는 사용자 단말기.
  11. 제10항에 있어서,
    상기 태그 생성부는 상기 객체의 윤곽에 따라 다면체 형태의 AR 태그를 생성하며, 상기 다면체의 각 면에는 상기 객체와 상기 촬영부 간의 방위각에 따른 AR 정보가 표시되는, AR 서비스를 제공하는 사용자 단말기.
  12. 제10항에 있어서,
    상기 표시된 AR 태그에 대한 사용자의 터치 방향을 센싱하는 사용자 입력부
    를 더 포함하며,
    상기 태그 생성부는 상기 센싱된 터치 방향으로 상기 표시된 AR 태그를 회전시켜 상기 객체의 다른 방위각에 대한 AR 정보를 제공하는, 사용자 단말기.
  13. 제8항에 있어서,
    상기 객체를 촬영 중인 상기 사용자 단말기가 임의의 방향으로 회전되면, 상기 태그 생성부는 상기 객체를 회전된 방향에서 바라볼 때의 방위각에 대응하는 AR 태그를 생성하는 사용자 단말기.
  14. 사용자 단말기의 증강 현실(AR: Augmented Reality) 서비스를 제공하는 방법에 있어서,
    카메라를 이용하여 객체를 촬영하는 단계;
    상기 객체가 촬영된 위치 정보 및 상기 객체와 상기 카메라 간의 방위각 정보를 포함하는 상황 정보를 수집하는 단계;
    상기 수집되는 상황 정보에 대응하는 AR 태그를 생성하는 단계; 및
    상기 촬영된 객체 및 상기 생성된 AR 태그를 표시하는 단계
    를 포함하는, 사용자 단말기의 AR 서비스를 제공하는 방법.
  15. 제14항에 있어서,
    서로 다른 상황 정보에 대응하는 AR 정보들을 저장하는 외부 서버에게 상기 수집된 상황 정보에 대응하는 AR 정보의 제공을 요청하는 단계; 및
    상기 외부 서버로부터 상기 상황 정보에 대응하는 AR 정보를 제공받는 단계
    를 더 포함하는, 사용자 단말기의 AR 서비스를 제공하는 방법.
  16. 제14항에 있어서,
    상기 AR 태그를 생성하는 단계는, 상기 사용자 단말기에 기저장된 서로 다른 상황 정보에 대응하는 AR 정보들을 이용하여 상기 AR 태그를 생성하는, 사용자 단말기의 AR 서비스를 제공하는 방법.
  17. 제14항에 있어서,
    상기 AR 태그를 생성하는 단계는, 상기 상황 정보에 대응하는 AR 정보를 이용하여 3D(Dimension) 형태의 AR 태그를 생성하는, 사용자 단말기의 AR 서비스를 제공하는 방법.
  18. 제17항에 있어서,
    상기 AR 태그를 생성하는 단계는, 상기 객체의 윤곽에 따라 다면체 형태의 AR 태그를 생성하며, 상기 다면체의 각 면에는 상기 객체와 상기 카메라 간의 방위각에 따른 AR 정보가 표시되는, 사용자 단말기의 AR 서비스를 제공하는 방법.
  19. 제17항에 있어서,
    상기 표시된 AR 태그에 대한 사용자의 터치 방향을 센싱하는 단계; 및
    상기 센싱된 터치 방향으로 상기 표시된 AR 태그를 회전시켜 상기 객체의 회전 된 방위각에 대한 AR 정보를 제공하는 단계
    를 더 포함하는, 사용자 단말기의 AR 서비스를 제공하는 방법.
  20. 제14항에 있어서,
    상기 객체를 촬영 중인 상기 사용자 단말기가 임의의 방향으로 회전되면, 상기 객체를 회전된 방향에서 바라볼 때의 방위각에 대응하는 AR 태그를 생성하는 단계
    를 더 포함하는, 사용자 단말기의 AR 서비스를 제공하는 방법.
  21. 증강 현실(AR: Augmented Reality) 서비스를 제공하는 방법에 있어서,
    객체를 촬영하는 단계;
    상기 객체를 촬영하는 카메라의 위치 정보 및 상기 객체의 영상 데이터를 포함하는 상황 정보를 수집하는 단계;
    상기 수집된 상황 정보를 외부 서버-상기 객체의 AR 정보들을 방위각 정보 별로 저장함-에게 전송하는 단계;
    상기 외부 서버로부터 상기 객체의 AR 정보들을 수신하는 단계;
    상기 객체의 AR 정보들 중 상기 객체와 상기 카메라 간의 방위각에 대응하는 AR 정보를 이용하여 AR 태그를 생성하는 단계; 및
    상기 촬영된 객체 및 상기 생성된 AR 태그를 표시하는 단계
    를 포함하는, 사용자 단말기의 AR 서비스를 제공하는 방법.
  22. 제21항에 있어서,
    상기 수집하는 단계는 상기 객체와 상기 카메라 간의 방위각에 대한 정보인 방위각 정보를 더 수집하며,
    상기 AR 태그를 생성하는 단계는 상기 수집된 방위각 정보가 변경되면, 상기 변경된 방위각 정보에 대응하는 AR 정보에 해당하는 상기 AR 태그를 생성하는, 사용자 단말기의 AR 서비스를 제공하는 방법.
  23. 제21항에 있어서,
    상기 AR 태그를 생성하는 단계는, 상기 상황 정보에 대응하는 AR 정보를 이용하여 3D(Dimension) 형태의 AR 태그를 생성하는, 사용자 단말기의 AR 서비스를 제공하는 방법.
  24. 제23항에 있어서,
    상기 AR 태그를 생성하는 단계는 상기 객체의 윤곽에 따라 다면체 형태의 AR 태그를 생성하며, 상기 다면체의 각 면에는 상기 객체와 상기 카메라 간의 방위각에 따른 AR 정보가 표시되는, 사용자 단말기의 AR 서비스를 제공하는 방법.
KR1020100100008A 2010-10-13 2010-10-13 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법 KR101260576B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020100100008A KR101260576B1 (ko) 2010-10-13 2010-10-13 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
US13/212,969 US8823855B2 (en) 2010-10-13 2011-08-18 User equipment and method for providing augmented reality (AR) service
CN2011102804742A CN102568012A (zh) 2010-10-13 2011-09-20 提供增强现实服务的用户设备和方法
EP11183744.9A EP2442547A3 (en) 2010-10-13 2011-10-04 User equipment and method for providing augmented reality (AR) service
JP2011220789A JP2012084146A (ja) 2010-10-13 2011-10-05 拡張現実（ａｒ）を提供するユーザ装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100100008A KR101260576B1 (ko) 2010-10-13 2010-10-13 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120038316A true KR20120038316A (ko) 2012-04-23
KR101260576B1 KR101260576B1 (ko) 2013-05-06

Family

ID=44799693

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100100008A KR101260576B1 (ko) 2010-10-13 2010-10-13 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법

Country Status (5)

Country Link
US (1) US8823855B2 (ko)
EP (1) EP2442547A3 (ko)
JP (1) JP2012084146A (ko)
KR (1) KR101260576B1 (ko)
CN (1) CN102568012A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150141283A (ko) * 2014-06-09 2015-12-18 한상선 제품증강현실 시스템
KR20180004557A (ko) * 2016-07-04 2018-01-12 주식회사 그래픽코드 증강현실 가상 스튜디오 시스템 및 그 구현 방법
KR102471180B1 (ko) * 2021-11-23 2022-11-28 이은령 증강현실 콘텐츠 서비스를 제공하는 시스템 및 서비스 제공 방법

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8513832B2 (en) 2007-03-30 2013-08-20 Ips Group Inc. Power supply unit
US20110316716A1 (en) 2008-12-23 2011-12-29 George Allan Mackay Low power wireless parking meter and parking meter network
US9420251B2 (en) * 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
KR101317532B1 (ko) * 2010-10-13 2013-10-15 주식회사 팬택 마커 또는 마커리스를 융합하는 증강현실 장치 및 방법
CA2756489C (en) 2011-03-03 2023-09-26 J.J. Mackay Canada Limited Parking meter with contactless payment
US8935259B2 (en) 2011-06-20 2015-01-13 Google Inc Text suggestions for images
EP2754289A4 (en) * 2011-09-08 2016-05-18 Intel Corp INCREASED REALITY BASED ON OBJECT CHARACTERISTICS WHERE THE IMAGE IS FORMED
KR101407670B1 (ko) * 2011-09-15 2014-06-16 주식회사 팬택 증강현실 기반 모바일 단말과 서버 및 그 통신방법
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
JP6121647B2 (ja) 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20130053535A (ko) * 2011-11-14 2013-05-24 한국과학기술연구원 무선 통신 디바이스를 이용한 건물 내부의 증강현실 투어 플랫폼 서비스 제공 방법 및 장치
KR102440195B1 (ko) 2011-11-23 2022-09-02 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
WO2013104820A1 (en) 2012-01-09 2013-07-18 Nokia Corporation Method and apparatus for providing an architecture for delivering mixed reality content
KR20130097554A (ko) * 2012-02-24 2013-09-03 주식회사 팬택 증강 현실 서비스를 위한 유해성 검증 시스템, 장치 및 방법
KR20130118820A (ko) * 2012-04-20 2013-10-30 삼성전자주식회사 증강현실 서비스를 위한 미디어 파일의 제공 방법 및 장치
US20130328930A1 (en) * 2012-06-06 2013-12-12 Samsung Electronics Co., Ltd. Apparatus and method for providing augmented reality service
EP2860606B1 (en) * 2012-06-12 2018-01-10 Sony Corporation Information processing device, information processing method, and program for an augmented reality display
CN103677229A (zh) * 2012-09-13 2014-03-26 昆达电脑科技(昆山)有限公司 手势结合扩增实境的图标控制方法
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
KR102274413B1 (ko) 2013-01-15 2021-07-07 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
CN103399865B (zh) * 2013-07-05 2018-04-10 华为技术有限公司 一种生成多媒体文件的方法和装置
CN104851124B (zh) * 2014-02-19 2018-12-14 中国园林博物馆北京筹备办公室 基于增强现实的造园交互系统
JP2015184778A (ja) * 2014-03-20 2015-10-22 コニカミノルタ株式会社 拡張現実表示システム、拡張現実情報生成装置、拡張現実表示装置、サーバー、拡張現実情報生成プログラム、拡張現実表示プログラムおよび拡張現実情報のデータ構造
US20170140457A1 (en) * 2014-03-24 2017-05-18 Pioneer Corporation Display control device, control method, program and storage medium
US10049477B1 (en) * 2014-06-27 2018-08-14 Google Llc Computer-assisted text and visual styling for images
CN104202520A (zh) * 2014-08-28 2014-12-10 苏州佳世达电通有限公司 资讯传递方法及资讯传递系统
US10943111B2 (en) * 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US9697432B2 (en) 2014-12-09 2017-07-04 International Business Machines Corporation Generating support instructions by leveraging augmented reality
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US9471954B2 (en) * 2015-03-16 2016-10-18 International Business Machines Corporation Video sequence assembly
WO2016162952A1 (ja) * 2015-04-07 2016-10-13 三菱電機株式会社 空気調和機のメンテナンスサポートシステム
JP6077068B1 (ja) * 2015-07-30 2017-02-08 株式会社オプティム 拡張現実システム、および拡張現実方法
CN106445088B (zh) * 2015-08-04 2020-05-22 上海宜维计算机科技有限公司 现实增强的方法及系统
CA3176773A1 (en) 2015-08-11 2017-02-11 J.J. Mackay Canada Limited Single space parking meter retrofit
JP6065084B2 (ja) * 2015-10-30 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10055895B2 (en) * 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
CN106097258A (zh) * 2016-05-31 2016-11-09 深圳市元征科技股份有限公司 一种影像处理方法及增强现实设备
CN106095075B (zh) * 2016-05-31 2019-12-10 深圳市元征科技股份有限公司 一种信息处理方法及增强现实设备
CN105892062A (zh) * 2016-06-24 2016-08-24 北京邮电大学 天文观测设备
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
WO2018164532A1 (en) 2017-03-09 2018-09-13 Samsung Electronics Co., Ltd. System and method for enhancing augmented reality (ar) experience on user equipment (ue) based on in-device contents
US10037343B1 (en) * 2017-06-14 2018-07-31 Civic Resource Group International Incorporated Sector-based retrieval of information associated with geographic locations
KR101952283B1 (ko) * 2017-06-28 2019-04-29 주식회사 조유 위치 기반의 정보 제공용 단말기 및 이를 이용한 정보 제공 시스템
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
CN116990888A (zh) 2017-12-10 2023-11-03 奇跃公司 光波导上的抗反射涂层
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
WO2019178567A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
CN108509593A (zh) * 2018-03-30 2018-09-07 联想(北京)有限公司 一种显示方法及电子设备、存储介质
CN108924475B (zh) * 2018-05-14 2021-08-13 南京水动力信息科技有限公司 多谱段增强现实深水检修可视化专家系统
US10599928B2 (en) 2018-05-22 2020-03-24 International Business Machines Corporation Method and system for enabling information in augmented reality applications
EP3803488A4 (en) 2018-05-30 2021-07-28 Magic Leap, Inc. COMPACT VARIABLE FOCUS CONFIGURATIONS
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
WO2019236495A1 (en) 2018-06-05 2019-12-12 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
US11199719B2 (en) 2018-06-13 2021-12-14 Magic Leap, Inc. System and method for qualifying a multi-layered optical stack for an optical projection system
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
WO2020028191A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
CN112955073A (zh) 2018-08-22 2021-06-11 奇跃公司 患者观察系统
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ， インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
CA3031936A1 (en) 2019-01-30 2020-07-30 J.J. Mackay Canada Limited Spi keyboard module for a parking meter and a parking meter having an spi keyboard module
EP4369151A2 (en) 2019-02-06 2024-05-15 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
US11445232B2 (en) 2019-05-01 2022-09-13 Magic Leap, Inc. Content provisioning system and method
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
JP2022542363A (ja) 2019-07-26 2022-10-03 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
WO2021034022A1 (en) 2019-08-22 2021-02-25 Samsung Electronics Co., Ltd. Content creation in augmented reality environment
KR20210023680A (ko) 2019-08-22 2021-03-04 삼성전자주식회사 증강 현실 환경에서의 콘텐트 생성
US11315333B2 (en) 2019-10-28 2022-04-26 Magic Leap, Inc. Edge detection and smoothing for virtual object presentation
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ， インコーポレイテッド 外科手術環境において使用するための視認システム
CN113034697A (zh) * 2019-12-24 2021-06-25 北京车和家信息技术有限公司 对目标设备进行增强现实展示的方法、装置及系统
WO2021146035A1 (en) 2020-01-15 2021-07-22 Magic Leap, Inc. Compensation for deformation in head mounted display systems
CN111625091B (zh) * 2020-05-14 2021-07-20 佳都科技集团股份有限公司 基于ar眼镜的标签叠加方法及装置
WO2021236345A1 (en) 2020-05-20 2021-11-25 Magic Leap, Inc. Piecewise progressive and continuous calibration with coherent context
CN112068703B (zh) 2020-09-07 2021-11-16 北京字节跳动网络技术有限公司 目标物体的控制方法、装置、电子设备及存储介质
JP7445620B2 (ja) * 2021-03-31 2024-03-07 本田技研工業株式会社 情報提供方法、プログラム及び情報提供装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3419650B2 (ja) 1997-06-02 2003-06-23 株式会社日立製作所 地図表示方法
AU4769800A (en) 1999-05-27 2000-12-18 International Business Machines Corporation Dynamically re-sizable 3d icons for windowing, browser, or graphical user interfaces
JP2002169640A (ja) 2000-11-30 2002-06-14 Sony Corp 情報処理装置および方法、並びに記録媒体
JP3893983B2 (ja) 2002-01-17 2007-03-14 ソニー株式会社 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
KR100651508B1 (ko) 2004-01-30 2006-11-29 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
JP4363642B2 (ja) * 2004-07-02 2009-11-11 富士フイルム株式会社 地図表示システム及びデジタルカメラ
JP4810395B2 (ja) * 2006-10-31 2011-11-09 株式会社東芝 医用画像生成装置及びその方法
JP2008131217A (ja) 2006-11-20 2008-06-05 Funai Electric Co Ltd 携帯機器
KR100983912B1 (ko) 2008-04-04 2010-09-27 한국과학기술연구원 증강 현실 기법을 이용한 정보처리 장치 및 정보 입력,검색방법
JP2010231741A (ja) 2009-03-30 2010-10-14 Nec Corp 電子タグ作成表示システム、電子タグ作成表示装置およびそれらの方法
KR101561913B1 (ko) * 2009-04-17 2015-10-20 엘지전자 주식회사 이동 단말기의 영상 표시 방법 및 그 장치
KR100968837B1 (ko) 2010-01-20 2010-07-09 (주)테슬라시스템 촬영된 객체에 대한 정보를 제공하는 휴대용 카메라 시스템
KR101180278B1 (ko) 2010-02-25 2012-09-07 연세대학교 산학협력단 증강 현실을 이용한 사용자 설명서 제공 단말기, 서버 및 방법
KR101002030B1 (ko) 2010-04-30 2010-12-16 (주)올라웍스 단말 장치로 입력되는 입력 영상 및 상기 입력 영상에 관련된 정보를 이용하여 증강 현실을 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR101688155B1 (ko) * 2010-10-25 2016-12-20 엘지전자 주식회사 이동 단말기의 정보 처리 장치 및 그 방법
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150141283A (ko) * 2014-06-09 2015-12-18 한상선 제품증강현실 시스템
KR20180004557A (ko) * 2016-07-04 2018-01-12 주식회사 그래픽코드 증강현실 가상 스튜디오 시스템 및 그 구현 방법
KR102471180B1 (ko) * 2021-11-23 2022-11-28 이은령 증강현실 콘텐츠 서비스를 제공하는 시스템 및 서비스 제공 방법

Also Published As

Publication number Publication date
JP2012084146A (ja) 2012-04-26
EP2442547A3 (en) 2013-08-07
US20120092528A1 (en) 2012-04-19
US8823855B2 (en) 2014-09-02
EP2442547A2 (en) 2012-04-18
CN102568012A (zh) 2012-07-11
KR101260576B1 (ko) 2013-05-06

Similar Documents

Publication Publication Date Title
KR101260576B1 (ko) Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
US10354407B2 (en) Camera for locating hidden objects
US20220051022A1 (en) Methods and apparatus for venue based augmented reality
EP3246660B1 (en) System and method for referencing a displaying device relative to a surveying instrument
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9805515B2 (en) System and method for augmented reality
US10339384B2 (en) Construction photograph integration with 3D model images
US9269196B1 (en) Photo-image-based 3D modeling system on a mobile device
US20180286098A1 (en) Annotation Transfer for Panoramic Image
US10791268B2 (en) Construction photograph integration with 3D model images
JP6496671B2 (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
US20130321461A1 (en) Method and System for Navigation to Interior View Imagery from Street Level Imagery
US10896327B1 (en) Device with a camera for locating hidden object
CN102420936B (zh) 用于提供道路视图的装置和方法
KR20150131744A (ko) 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
KR101600456B1 (ko) 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
KR101286866B1 (ko) Ａｒ 태그 정보를 생성하는 사용자 단말기 및 그 방법, 그리고, 시스템
CN107925740A (zh) 图像管理系统、图像管理方法及程序
US11194538B2 (en) Image management system, image management method, and program
KR20220085142A (ko) 확장현실 기반 지능형 건설현장 관리 지원 시스템 및 방법
KR20150077607A (ko) 증강현실을 이용한 공룡 유적지 체험 서비스 제공 시스템 및 그 방법
KR20190047922A (ko) 혼합현실을 이용한 정보 공유 시스템
CN111754564B (zh) 视频展示方法、装置、设备及存储介质
KR101902131B1 (ko) 시뮬레이션 파노라마 실내영상 제작 시스템
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170801

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190305

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200304

Year of fee payment: 8