KR102161437B1 - 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법 - Google Patents

증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법 Download PDF

Info

Publication number
KR102161437B1
KR102161437B1 KR1020190035944A KR20190035944A KR102161437B1 KR 102161437 B1 KR102161437 B1 KR 102161437B1 KR 1020190035944 A KR1020190035944 A KR 1020190035944A KR 20190035944 A KR20190035944 A KR 20190035944A KR 102161437 B1 KR102161437 B1 KR 102161437B1
Authority
KR
South Korea
Prior art keywords
spatial map
map
content
spatial
augmented reality
Prior art date
Application number
KR1020190035944A
Other languages
English (en)
Other versions
KR20200114348A (ko
Inventor
정청수
Original Assignee
(주)스페이스포
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)스페이스포 filed Critical (주)스페이스포
Priority to KR1020190035944A priority Critical patent/KR102161437B1/ko
Publication of KR20200114348A publication Critical patent/KR20200114348A/ko
Application granted granted Critical
Publication of KR102161437B1 publication Critical patent/KR102161437B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법이 개시된다. 본 발명의 증강현실의 공간맵을 이용한 콘텐츠 공유 장치는, 카메라를 통해 촬영된 실제영상과 현재위치를 검출하여 증강현실을 기반으로 공간맵을 생성하고 공간맵에 콘텐츠를 저장하여 관리하고, 증강현실을 기반으로 서비스되는 공간맵을 인식하여 공간맵에 저장된 콘텐츠를 제공하는 휴대 단말기; 및 휴대 단말기로부터 생성되는 공간맵과 저장되는 콘텐츠를 공간맵 DB에 저장하여 관리하고, 공간맵 DB에 저장된 공간맵과 콘텐츠를 휴대 단말기의 요청에 따라 제공하는 공유서버를 포함하는 것을 특징으로 한다.

Description

증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법{APPARATUS FOR SHARING CONTENTS USING SPATIAL MAP OF AUGMENTED REALITY AND METHOD THEREOF}
본 발명은 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 증강현실 기반으로 임의의 공간에 공간맵을 구성하여 콘텐츠를 저장한 후 증강현실을 통해 공간맵에 저장된 콘텐츠를 공유할 수 있도록 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법에 관한 것이다.
일반적으로, 디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.
최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.
이러한 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 마커를 인식하여 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.
또한, 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글, 유리창 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 개발되고 있다.
본 발명의 배경기술은 대한민국 등록특허공보 제10-1947818호(2019.02.14. 공고, 맞춤형 증강현실 제공 방법)에 개시되어 있다.
이와 같이 증강현실에서 실제현실에 가상현실 데이터를 표시하기 위해서는 마커/마커리스 방식 등으로 객체를 인식한 후 객체 상에 가상현실 데이터를 표시하는 정도로써, 현장에서 증강현실 기반으로 공간을 활용한 다양한 콘텐츠를 생산하고 공유하기 어려운 문제점이 있었다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 증강현실 기반으로 임의의 공간에 공간맵을 구성하여 콘텐츠를 저장한 후 증강현실을 통해 공간맵에 저장된 콘텐츠를 공유할 수 있도록 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 장치는, 카메라를 통해 촬영된 실제영상과 현재위치를 검출하여 증강현실을 기반으로 공간맵을 생성하고 공간맵에 콘텐츠를 저장하여 관리하고, 증강현실을 기반으로 서비스되는 공간맵을 인식하여 공간맵에 저장된 콘텐츠를 제공하는 휴대 단말기; 및 휴대 단말기로부터 생성되는 공간맵과 저장되는 콘텐츠를 공간맵 DB에 저장하여 관리하고, 공간맵 DB에 저장된 공간맵과 콘텐츠를 휴대 단말기의 요청에 따라 제공하는 공유서버를 포함하는 것을 특징으로 한다.
본 발명에서 휴대 단말기는, 실제영상을 촬영하기 위한 카메라; 현재위치를 검출하기 위한 GPS 모듈; 휴대 단말기의 위치를 보정하고 방향을 탐색하기 위한 지자기 센서; 객체의 깊이를 인식하는 깊이 인식센서; 통신망을 통해 공유서버와 접속하기 위한 통신부; 실제영상과 현재위치 및 방향에 기초하여 실제영상으로부터 특징점들을 추출하여 증강현실 기반으로 공간맵을 형성하고, 공간맵에 콘텐츠를 저장하여 공유서버에 저장하고, 증강현실을 기반으로 서비스되는 공간맵을 인식하여 선택된 공간맵에 저장된 콘텐츠를 증강현실로 제공하는 제어부; 및 제어부를 통해 출력되는 실제영상과 증강현실에 의한 콘텐츠를 표시하는 표시부를 포함하는 것을 특징으로 한다.
본 발명에서 제어부는, GPS 모듈로부터 수신된 GPS 신호에 기초하여 현재위치를 검출하는 위치정보 검출부; 카메라를 통해 입력된 실제영상을 분석하여 특징점들을 추출하여 콘텐츠를 저장할 수 있는 공간맵을 형성하는 공간맵 생성부; 공간맵 생성부에서 생성된 공간맵을 저장하고 저장된 공간맵을 로딩하여 표시하며 선택하도록 하는 공간맵 관리부; 위치정보 검출부에서 검출된 현재위치 및 방향을 기반으로 공간맵 관리부에서 관리되는 공간맵을 로딩하여 실제영상의 특징점과 매칭시켜 공간맵을 인식하는 공간맵 인식부; 공간맵에 콘텐츠를 배치하여 저장하고, 공간맵에 저장된 콘텐츠를 증강현실을 기반으로 출력하고 관리하는 증강현실 콘텐츠 관리부; 및 공간맵을 공유할 때 공간맵 공유자를 관리하고 콘텐츠를 실시간으로 반영하는 공간맵 공유부;를 포함하는 것을 특징으로 한다.
본 발명에서 증강현실 콘텐츠 관리부는, 공간맵에 저장된 콘텐츠를 증강현실을 기반으로 출력하여 실제영상과 합성한 합성 콘텐츠를 관리하는 것을 특징으로 한다.
본 발명에서 공유서버는, 공간맵 DB에 저장된 공간맵과 콘텐츠에 대해 공간맵 정보와 콘텐츠 정보에 기초하여 관리하는 것을 특징으로 한다.
본 발명에서 공간맵 정보는, 위치정보, 이름, 생성자, 게시된 콘텐츠 개수, 크기 및 소개글 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에서 콘텐츠 정보는, 생성자, 생성 날짜, 종류, 공간맵 상의 위치정보 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 방법은, 제어부가 GPS 모듈로부터 수신된 GPS 신호에 기초하여 현재위치를 검출하는 단계; 제어부가 카메라로부터 입력된 실제영상과 현재위치 및 방향에 기초하여 증강현실을 기반으로 공간맵을 인식하는 단계; 제어부가 인식한 공간맵에 대한 공간맵 정보를 공유서버에 요청하여 제공되는 공간맵 정보를 표시하는 단계; 및 제어부가 표시된 공간맵 중 선택된 공간맵에 저장된 콘텐츠를 요청하여 증강현실 기반으로 콘텐츠를 표시하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 제어부가 표시된 공간맵 중 선택된 공간맵에 콘텐츠를 편집하여 공유서버에 저장된 콘텐츠를 업데이트 하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에서 공간맵을 인식하는 단계는, 제어부가 현재위치를 기반으로 서비스되는 공간맵을 로딩하는 단계; 제어부가 실제영상으로부터 특징점을 추출하는 단계; 및 제어부가 실제영상으로부터 추출한 특징점과 공간맵의 특징점을 매칭시켜 공간맵을 인식하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서 공간맵 정보는, 위치정보, 이름, 생성자, 게시된 콘텐츠 개수, 크기 및 소개글 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에서 공간맵 정보를 표시하는 단계는, 제어부가 인식한 공간맵 중 선택된 조건에 부합되는 공간맵 정보를 공유서버에 요청하여 제공되는 공간맵 정보를 표시하는 것을 특징으로 한다.
본 발명에서 증강현실 기반으로 콘텐츠를 표시하는 단계는, 제어부가 실제영상과 콘텐츠를 중첩하여 합성영상을 생성하는 단계; 제어부가 합성영상을 저장하여 출력하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서 합성영상을 생성하는 단계는, 제어부가 실제영상에서 배경과 객체를 분리한 후 선택된 중첩 순서에 따라 실제영상의 배경, 객체 및 콘텐츠를 중첩하여 합성영상을 생성하는 것을 특징으로 한다.
본 발명은 제어부가 공간맵 정보를 표시한 후 공간맵의 편집이 선택된 경우 공유서버에 저장된 공간맵의 공간맵 정보를 편집하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에서 공간맵 정보를 편집하는 단계는, 공간맵의 수정 및 삭제 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 방법은, 제어부가 공간맵 생성이 선택된 경우 카메라로부터 입력된 실제영상으로부터 선택된 객체의 특징점을 추출하는 단계; 제어부가 객체의 특징점과 현재위치에 기초하여 공간맵을 생성하는 단계; 및 제어부가 생성된 공간맵에 공간맵 정보를 포함하여 공유서버에 저장하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에서 공간맵 정보는, 위치정보, 이름, 생성자, 게시된 콘텐츠 개수, 크기 및 소개글 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법은 증강현실 기반으로 임의의 공간에 공간맵을 구성하여 콘텐츠를 저장한 후 증강현실을 통해 공간맵에 저장된 콘텐츠를 공유할 수 있어, 어느 공간에서나 증강현실을 기반으로 공간맵을 통해 사용자간 정보를 공유할 수 있을 뿐만 아니라 광고, 교육, 엔터테인먼트 및 콘텐츠 서비스 등 다양한 분야에서 정보를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 장치에서 제어부를 구체적으로 나타낸 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 장치에서 공간맵 생성을 위한 맵포인트를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 방법에서 콘텐츠를 표시하는 예시 화면이다.
도 6은 본 발명의 다른 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 장치에서 제어부를 구체적으로 나타낸 블록 구성도이며, 도 3은 본 발명의 일 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 장치에서 공간맵 생성을 위한 맵포인트를 나타낸 도면이다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 장치는, 휴대 단말기(10) 및 공유서버(30)를 포함할 수 있다.
휴대 단말기(10)는 카메라(11)를 통해 촬영된 실제영상과 현재위치를 검출하여 증강현실을 기반으로 공간맵을 생성하고 공간맵에 콘텐츠를 저장하여 관리하며, 증강현실을 기반으로 서비스되는 공간맵을 인식하여 공간맵에 저장된 콘텐츠를 제공할 수 있다.
공유서버(30)는 휴대 단말기(10)와 통신망(20)을 통해 연결되어 휴대 단말기(10)로부터 생성되는 공간맵과 저장되는 콘텐츠를 공간맵 DB(40)에 저장하여 관리하고, 공간맵 DB(40)에 저장된 공간맵과 콘텐츠를 휴대 단말기(10)의 요청에 따라 제공할 수 있다.
여기서, 휴대 단말기(10)는 카메라(11), GPS 모듈(12), 지자기 센서(13), 깊이 인식센서(14), 통신부(16), 제어부(15) 및 표시부(17)를 포함할 수 있다.
카메라(11)는 주변을 촬영하여 실제영상을 획득하여 제어부(15)에 제공할 수 있다.
GPS 모듈(12)은 GPS 위성으로부터 GPS 신호를 수신하여 현재위치를 검출하여 제어부(15)에 제공할 수 있다.
지자기 센서(13)는 휴대 단말기(10)의 위치를 보정하고 방향을 탐색하여 제어부(15)에 제공할 수 있다.
깊이 인식센서(14)는 객체의 깊이를 인식하여 3차원 객체를 인식할 수 있도록 제어부(15)에 제공할 수 있다.
표시부(17)는 터치스크린으로 구성하여 휴대 단말기(10)의 작동상태 및 제어부(15)의 구동결과에 따라 증강현실로 콘텐츠를 표시하고, 사용자의 선택을 입력받아 제어부(15)에 제공할 수 있다.
통신부(16)는 통신망(20)을 통해 공유서버(30)와 접속할 수 있다.
제어부(15)는 실제영상과 현재위치에 기초하여 실제영상으로부터 특징점들을 추출하여 증강현실 기반으로 공간맵을 형성하고, 공간맵에 콘텐츠를 저장하여 공유서버(30)에 저장하며, 증강현실을 기반으로 서비스되는 공간맵을 인식하여 선택된 공간맵에 저장된 콘텐츠를 증강현실로 제공할 수 있다.
여기서 제어부(15)는 도 2에 도시된 바와 같이 위치정보 검출부(151), 공간맵 생성부(152), 공간맵 관리부(153), 공간맵 인식부(154), 증강현실 콘텐츠 관리부(155) 및 공간맵 공유부(156)를 포함할 수 있다.
위치정보 검출부(151)는 GPS 모듈(12)과 지자기 센서(13)로부터 수신된 GPS 신호 및 방향 정보에 기초하여 현재위치를 검출할 수 있다.
이러한 현재위치를 기반으로 공간맵을 서비스하는 서비스 지역을 안내할 수 있다. 서비스 지역은 공간맵이 생성된 지역을 의미하는 것으로, 지도를 통해 사용자의 현재위치와 서비스 지역을 표시하여 서비스 지역을 찾을 볼 수 있도록 함으로써, 공간맵이 형성되지 않은 지역을 확인하고 공간맵을 형성하도록 제공할 수 있다.
공간맵 생성부(152)는 카메라(11)를 통해 입력된 실제영상을 분석하여 특징점들을 추출하여 콘텐츠를 저장할 수 있는 공간맵을 형성할 수 있다.
여기서 공간맵은 키프레임 목록과 3D 맵포인트 목록으로 구성될 수 있다.
이때, 키프레임은 트래킹 과정을 특징지을 수 있는 프레임들 중에 선택된 프레임으로써, 마지막 키프레임 생성으로부터 최소한 20 프레임이 지난 프레임에서 50개 이상의 특징점을 가지고 현재 기준으로 잡고 있는 키프레임이 트래킹하고 있는 특징점의 개수가 최소한 90% 이상으로 트래킹하고 있는 프레임들로부터 키프레임을 선택할 수 있다.
또한, 3D 맵포인트는 매 키프레임들에서 얻어낸 2D 특징점들로부터 3D 맵포인트 생성 알고리즘에 의해 구한 공간상의 3차원 좌표들이다.
프레임에서 특징점은 Fast 특징점 알고리즘을 이용하여 추출하며, 서로 이웃한 프레임들에서 대응되는 특징점들을 추출하여 에피폴라 기하학의 해모그라피를 이용한 3D 좌표생성 알고리즘은 DLT(Direct Linear Transform) 알고리즘을 이용하여 2D 특징점의 3차원 좌표를 결정할 수 있다.
도 3에 도시된 바와 같이 DLT 알고리즘은 프레임의 촬영 당시 카메라의 자세값을 알고 있으며, 두 프레임(A, B)에서 대응되는 2차원 특징점들이 결정되었을 때 특징점에 대한 3차원 좌표를 생성할 수 있다.
즉, 트래킹의 위치추정 기능에 의하여 카메라의 위치가 주어지므로 2차원 특징점들로부터 3차원 좌표들을 생성할 수 있다.
3차원 좌표를 결정한 후 프레임으로 역투영한 2차원 좌표와 본래의 2차원 좌표 사이의 두 제곱 오차가 허용한도 이하로 떨어지는 점들만을 사용 가능한 3차원 맵포인트로 결정하고 맵에 삽입할 수 있다.
또한 실시간 트래킹 성능을 높이기 위해 매 키프레임들 사이의 맵포인트 공유관계를 나타내는 Covisibility Graph를 생성하여 사용할 수 있다.
이와 같이 키프레임, 3D 맵포인트 및 Covisibility Graph를 실시간으로 갱신하면서 실시간 공간맵을 구성할 수 있다.
여기서 공간맵 생성부(152)는 공간맵을 형성할 때 공간맵의 위치정보, 이름, 생성자 및 소개글을 포함할 수 있으며, 위치정보로 GPS 정보를 수동이나 자동으로 포함시킬 수 있다.
또한, 공간맵 생성부(152)는 사용자의 접속 권한에 따라 공간맵을 생성할 수 있다.
공간맵 관리부(153)는 공간맵 생성부(152)에서 생성된 공간맵을 공유서버(30)에 저장하고, 공유서버(30)에 저장된 공간맵을 로딩하여 표시하며 선택하도록 할 수 있다.
공간맵 인식부(154)는 위치정보 검출부(151)에서 검출된 현재위치를 기반으로 공간맵 관리부(153)에서 관리되는 공간맵을 로딩하여 실제영상의 특징점과 매칭시켜 공간맵을 인식할 수 있다.
여기서 공간맵 인식부(154)는 실제영상으로부터 특징점을 추출하여 공간맵의 특징점과 매칭시켜 공간맵을 인식할 수 있다.
증강현실 콘텐츠 관리부(155)는 공간맵에 콘텐츠를 배치하여 저장하고, 공간맵에 저장된 콘텐츠를 증강현실을 기반으로 출력하고 관리할 수 있다.
여기서, 공간맵에 배치하여 저장되는 콘텐츠는 텍스트, 3D 모델, 사진, 음성, 동영상 및 실제영상 중 어느 하나 이상을 포함할 수 있다.
또한, 증강현실 콘텐츠 관리부(155)는 공간맵에 배치되는 콘텐츠를 저장하여 목록을 제공하고, 저장된 콘텐츠를 삭제 및 편집하여 업데이트하며, 콘텐츠의 융합, 보기 및 공유 등을 관리할 수 있다.
여기서 콘텐츠를 융합하고 보기 위해 증강현실 콘텐츠 관리부(155)는 실제영상과 콘텐츠를 중첩하여 합성영상을 생성하고, 생성된 합성영상을 저장하여 출력할 수 있다.
이때 증강현실 콘텐츠 관리부(155)는 실제영상과 콘텐츠를 중첩하여 합성영상을 생성할 때 실제영상에서 배경과 객체를 분리한 후 선택된 중첩 순서에 따라 실제영상의 배경, 객체 및 콘텐츠를 중첩하여 증강현실의 합성영상을 생성할 수 있으며, 콘텐츠를 확대, 축소, 이동 및 회전 등 편집하여 실제영상과 합성할 수 있다.
예를 들어, 식당의 벽면에 증강현실을 기반으로 공간맵을 생성한 경우, 공간맵에 사용자가 해당 식당의 메뉴나 후기를 텍스트, 영상 등의 방법으로 콘텐츠를 생성하여 저장하면, 이후 식당을 방문한 사용자가 식당의 벽면에 형성된 공간맵을 증강현실로 선택할 경우, 해당 공간맵에 저장된 콘텐츠를 제공하고 선택된 콘텐츠를 증강현실로 실제영상과 중첩하여 합성영상을 생성하여 표시부(17)를 통해 출력할 수 있다.
또한, 생성된 합성영상은 독립적으로 저장하거나 공유할 수 있다.
공간맵 공유부(156)는 공간맵을 공유할 때 콘텐츠를 실시간으로 반영하여 콘텐츠가 실시간으로 업데이트되어 공유될 수 있도록 한다.
즉, 저장하였던 하나의 공간맵을 여러 사용자가 서로 다른 PC및 모바일에서 공유하여 다양한 증강현실 서비스를 제공할 수 있도록, 현재 트래킹 중인 공간맵을 특정한 맵 파일 형태로 보관하고 보관된 맵 파일로부터 트래킹 환경을 그대로 복원하여 공유될 수 있도록 한다.
공유서버(30)는 공간맵 DB(40)에 저장된 공간맵과 콘텐츠에 대해 공간맵 정보와 콘텐츠 정보에 기초하여 관리하는 것을 특징으로 한다.
여기서 공간맵 정보는 위치정보, 이름, 생성자, 게시된 콘텐츠 개수, 크기 및 소개글 중 어느 하나 이상을 포함할 수 있고, 콘텐츠 정보는 생성자, 생성 날짜, 종류, 공간맵 상의 위치정보 중 어느 하나 이상을 포함할 수 있다.
따라서, 공유서버(30)는 휴대 단말기(10)로부터 서비스 지역의 공간맵을 요청할 때 위치정보를 기반으로 공간맵을 검색하여 제공할 수 있으며, 공간맵 정보에 기초하여 공간맵을 검색할 수 있을 뿐만 아니라 콘텐츠 정보에 기초하여 요청하는 콘텐츠를 검색하여 제공할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 의한 증강현실의 공간맵을 이용한 콘텐츠 공유 장치에 따르면, 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법은 증강현실 기반으로 임의의 공간에 공간맵을 구성하여 콘텐츠를 저장한 후 증강현실을 통해 공간맵에 저장된 콘텐츠를 공유할 수 있어, 어느 공간에서나 증강현실을 기반으로 공간맵을 통해 사용자간 정보를 공유할 수 있을 뿐만 아니라 광고, 교육, 엔터테인먼트 및 콘텐츠 서비스 등 다양한 분야에서 정보를 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 방법을 설명하기 위한 흐름도이고, 도 5는 본 발명의 일 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 방법에서 콘텐츠를 표시하는 예시 화면이다.
도 4에 도시된 바와 같이 본 발명의 일 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 방법에서는 먼저, 휴대 단말기(10)의 제어부(15)가 GPS 모듈(12)로부터 수신된 GPS 신호에 기초하여 현재위치를 검출한다(S10).
S10 단계에서 현재위치를 검출한 후 제어부(15)는 현재위치와 방향에 기초하여 서비스 지역에서 서비스되는 공간맵을 공유서버(30)에 요청하여 로딩한다(S12).
이때 제어부(15)는 서비스 지역을 지도에 표시할 수도 있다.
S12 단계에서 공간맵을 요청하여 로딩하고, 제어부(15)는 카메라(11)를 통해 촬영된 실제영상을 입력받는다(S20).
S20 단계에서 실제영상을 입력받은 후 제어부(15)는 실제영상에서 증강을 위한 객체를 탐색하기 위해 특징점을 추출한다(S16).
S16 단계에서 특징점을 추출한 후 제어부(15)는 로딩된 공간맵의 특징점과 매칭시켜 공간맵을 인식한다(S18).
S18 단계에서 공간맵을 인식한 후 제어부(15)는 인식된 공간맵에 대한 공간맵 정보를 공유서버(30)에 요청하여 표시한다(S20).
여기서, 공간맵 정보는 위치정보, 이름, 생성자, 게시된 콘텐츠 개수, 크기 및 소개글 중 어느 하나 이상을 포함할 수 있다.
따라서, 제어부(15)는 공간맵 정보를 요청할 때 사용자가 선택한 조건에 부합되는 공간맵 정보를 공유서버(30)에 요청하여 제공되는 공간맵 정보를 표시할 수도 있다.
S20 단계에서 공간맵을 표시한 후 제어부(15)는 공간맵의 편집이 선택되었는지 판단한다(S22),
여기서 제어부(15)는 사용자의 접속 권한을 판단하여 공간맵의 편집 기능을 활성화할 수 있다.
S22 단계에서 공간맵의 편집이 선택된 경우, 제어부(15)는 공유서버(30)에 저장된 공간맵을 수정하거나 삭제하여 공간맵 정보를 편집할 수 있다(S24).
한편, S22 단계에서 표시된 공간맵의 편집이 선택되지 않은 경우, 제어부(15)는 선택된 공간맵에 배치된 콘텐츠의 목록을 표시한다(S26).
S26 단계에서 표시된 콘텐츠의 목록에서 표시하기 위한 콘텐츠가 선택되었는지 판단한다(S28).
S28 단계에서 콘텐츠의 표시가 선택되지 않고 콘텐츠의 편집이 선택된 경우, 제어부(15)는 새로운 콘텐츠를 추가하거나 변경하고, 또는 삭제한다(S30).
S30 단계에서 공간맵에 배치된 콘텐츠를 편집한 후 제어부(15)는 공유서버(30)에 저장된 콘텐츠를 업데이트한다(S32).
여기서 콘텐츠는 텍스트, 3D 모델, 사진, 음성, 동영상 및 실제영상 중 어느 하나 이상을 포함할 수 있다.
이때 콘텐츠의 편집이 선택된 경우, 제어부(15)는 콘텐츠 정보를 통해 사용자의 아이디와 콘텐츠의 생성자를 비교하여 생성자인 경우에만 콘텐츠를 편집하도록 할 수 있다.
S28 단계에서 표시하기 위한 콘텐츠가 선택되었는지 판단하여 콘텐츠의 표시가 선택된 경우, 제어부(15)는 선택된 콘텐츠를 읽어와 실제영상과 합성한다(S34).
여기서 실제영상과 콘텐츠를 합성할 때, 제어부(15)는 실제영상에서 배경과 객체를 분리한 후 선택된 중첩 순서에 따라 실제영상의 배경, 객체 및 콘텐츠를 중첩하여 증강현실의 합성영상을 생성할 수 있다. 또한 콘텐츠를 확대, 축소, 이동 및 회전 등 편집하여 실제영상과 합성할 수 있다.
따라서, 콘텐츠가 배경으로 배치된 상태에 실제영상의 객체를 전면에 중첩하여 합성영상을 생성할 수도 있고, 실제영상을 배경으로 콘텐츠가 중첩된 합성영상을 생성할 수도 있다.
예를 들어, 도 5의 (가)에 도시된 바와 같이 생일파티에서 이벤트 풍선을 들고 있는 실제영상을 촬영하게 되면 실제영상에서 특징점을 추출하여 이벤트 풍선에 형성된 공간맵을 인식하여 공간맵에 저장된 파티 콘텐츠를 도 5의 (나)에 도시된 바와 같이 파티 콘텐츠가 생일파티하는 실제영상에 합성될 수 있다.
이때 파티 콘텐츠가 실제영상과 최적으로 합성될 수 있도록 편집할 수도 있다.
이후 제어부(15)는 S34 단계에서 합성된 합성영상을 저장하고 출력할 수 있다(S36).
따라서 실제영상과 콘텐츠가 합성된 합성영상을 새로운 콘텐츠로 생성할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 방법을 설명하기 위한 흐름도이다.
도 6에 도시된 바와 같이 본 발명의 다른 실시예에 따른 증강현실의 공간맵을 이용한 콘텐츠 공유 방법은 공간맵을 생성하고 관리하는 방법에 관한 것으로, 먼저, 휴대 단말기(10)의 제어부(15)가 공간맵 생성이 선택되었는지 판단한다(S40).
이때 제어부(15)는 사용자의 접속 권한을 판단하여 공간맵의 생성 기능을 활성화할 수 있다.
여기서 공간맵 생성은 서비스 지역 뿐만 아니라 서비스 지역 외에서도 추가로 공간맵을 생성할 수 있다.
S40 단계에서 공간맵 생성이 선택된 경우, 제어부(15)는 카메라(11)를 통해 실제영상을 입력받는다(S42).
S42 단계에서 실제영상을 입력받은 후 제어부(15)는 공간맵을 생성하기 위해 공간에서 선택된 객체의 특징점을 추출한다(S44).
S44 단계에서 객체의 특징점을 추출한 후 제어부(15)는 선택된 객체에 공간맵을 생성한다(S46).
S46 단계에서 공간맵을 생성한 후 제어부(15)는 생성된 공간맵에 공간맵의 위치정보, 이름, 생성자, 게시된 콘텐츠 개수, 크기 및 소개글 중 어느 하나 이상을 포함하는 공간맵 정보를 포함하여 공유서버(30)에 공간맵을 저장한다(S48).
상술한 바와 같이, 본 발명의 실시예에 의한 증강현실의 공간맵을 이용한 콘텐츠 공유 방법에 따르면, 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법은 증강현실 기반으로 임의의 공간에 공간맵을 구성하여 콘텐츠를 저장한 후 증강현실을 통해 공간맵에 저장된 콘텐츠를 공유할 수 있어, 어느 공간에서나 증강현실을 기반으로 공간맵을 통해 사용자간 정보를 공유할 수 있을 뿐만 아니라 광고, 교육, 엔터테인먼트 및 콘텐츠 서비스 등 다양한 분야에서 정보를 제공할 수 있다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.
10 : 휴대 단말기 11 : 카메라
12 : GPS 모듈 13 : 지자기센서
14 : 깊이 인식센서 15 : 제어부
16 : 통신부 17 : 표시부
20 : 통신망 30 : 공유서버
40 : 공간맵 DB 151 : 위치정보 검출부
152 : 공간맵 생성부 153 : 공간맵 관리부
154 : 공간맵 인식부 155 : 증강현실 콘텐츠 관리부
156 : 공간맵 공유부

Claims (18)

  1. 카메라를 통해 촬영된 실제영상과 현재위치를 검출하여 증강현실을 기반으로 공간맵을 생성하고 상기 공간맵에 콘텐츠를 저장하여 관리하고, 증강현실을 기반으로 서비스되는 상기 공간맵을 인식하여 상기 공간맵에 저장된 상기 콘텐츠를 제공하는 휴대 단말기; 및
    상기 휴대 단말기로부터 생성되는 상기 공간맵과 저장되는 상기 콘텐츠를 공간맵 DB에 저장하여 관리하고, 상기 공간맵 DB에 저장된 상기 공간맵과 상기 콘텐츠를 상기 휴대 단말기의 요청에 따라 제공하는 공유서버를 포함하되,
    상기 휴대 단말기는,
    상기 실제영상과 상기 현재위치 및 방향에 기초하여 상기 실제영상으로부터 특징점들을 추출하여 증강현실 기반으로 상기 공간맵을 형성하고, 상기 공간맵에 상기 콘텐츠를 저장하여 상기 공유서버에 저장하고, 증강현실을 기반으로 서비스되는 상기 공간맵을 인식하여 선택된 상기 공간맵에 저장된 상기 콘텐츠를 증강현실로 제공하는 제어부;를 포함하고,
    상기 제어부는,
    GPS 모듈로부터 수신된 GPS 신호에 기초하여 상기 현재위치를 검출하는 위치정보 검출부;
    카메라를 통해 입력된 상기 실제영상을 분석하여 특징점들을 추출하여 상기 콘텐츠를 저장할 수 있는 상기 공간맵을 형성하는 공간맵 생성부;
    상기 공간맵 생성부에서 생성된 상기 공간맵을 저장하고, 저장된 상기 공간맵을 로딩하여 표시하며 선택하도록 하는 공간맵 관리부;
    상기 위치정보 검출부에서 검출된 상기 현재위치 및 방향을 기반으로 상기 공간맵 관리부에서 관리되는 상기 공간맵을 로딩하여 상기 실제영상의 특징점과 매칭시켜 상기 공간맵을 인식하는 공간맵 인식부;
    상기 공간맵에 상기 콘텐츠를 배치하여 저장하고, 상기 공간맵에 저장된 상기 콘텐츠를 증강현실을 기반으로 출력하고 관리하는 증강현실 콘텐츠 관리부; 및
    상기 공간맵을 공유할 때 공간맵 공유자를 관리하고 상기 콘텐츠를 실시간으로 반영하는 공간맵 공유부;를 포함하며,
    상기 증강현실 콘텐츠 관리부는, 상기 공간맵에 저장된 상기 콘텐츠를 증강현실을 기반으로 출력하여 상기 실제영상과 합성한 합성 콘텐츠를 관리하는 것을 특징으로 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서, 상기 공유서버는, 상기 공간맵 DB에 저장된 상기 공간맵과 상기 콘텐츠에 대해 공간맵 정보와 콘텐츠 정보에 기초하여 관리하는 것을 특징으로 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 장치.
  6. 제 5항에 있어서, 상기 공간맵 정보는, 위치정보, 이름, 생성자, 게시된 콘텐츠 개수, 크기 및 소개글 중 어느 하나 이상을 포함하는 것을 특징으로 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 장치.
  7. 제 5항에 있어서, 상기 콘텐츠 정보는, 생성자, 생성 날짜, 종류, 공간맵 상의 위치정보 중 어느 하나 이상을 포함하는 것을 특징으로 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 장치.
  8. 제어부가 GPS 모듈로부터 수신된 GPS 신호에 기초하여 현재위치를 검출하는 단계;
    상기 제어부가 카메라로부터 입력된 실제영상과 상기 현재위치 및 방향에 기초하여 증강현실을 기반으로 공간맵을 인식하는 단계;
    상기 제어부가 인식한 상기 공간맵에 대한 공간맵 정보를 공유서버에 요청하여 제공되는 상기 공간맵 정보를 표시하는 단계; 및
    상기 제어부가 표시된 상기 공간맵 중 선택된 상기 공간맵에 저장된 콘텐츠를 요청하여 증강현실 기반으로 상기 콘텐츠를 표시하는 단계를 포함하고,
    상기 제어부가 표시된 상기 공간맵 중 선택된 상기 공간맵에 상기 콘텐츠를 편집하여 상기 공유서버에 저장된 상기 콘텐츠를 업데이트 하는 단계를 더 포함하며,
    제어부가 공간맵 생성이 선택된 경우 카메라로부터 입력된 실제영상으로부터 선택된 객체의 특징점을 추출하는 단계;
    상기 제어부가 객체의 특징점과 현재위치에 기초하여 상기 공간맵을 생성하는 단계; 및
    상기 제어부가 생성된 상기 공간맵에 공간맵 정보를 포함하여 공유서버에 저장하는 단계;를 포함하는 것을 특징으로 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 방법.
  9. 삭제
  10. 제 8항에 있어서, 상기 공간맵을 인식하는 단계는,
    상기 제어부가 상기 현재위치를 기반으로 서비스되는 상기 공간맵을 로딩하는 단계;
    상기 제어부가 상기 실제영상으로부터 특징점을 추출하는 단계; 및
    상기 제어부가 상기 실제영상으로부터 추출한 특징점과 상기 공간맵의 특징점을 매칭시켜 상기 공간맵을 인식하는 단계를 포함하는 것을 특징으로 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 방법.
  11. 제 8항에 있어서, 상기 공간맵 정보는, 위치정보, 이름, 생성자, 게시된 콘텐츠 개수, 크기 및 소개글 중 어느 하나 이상을 포함하는 것을 특징으로 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 방법.
  12. 제 8항에 있어서, 상기 공간맵 정보를 표시하는 단계는, 상기 제어부가 인식한 상기 공간맵 중 선택된 조건에 부합되는 상기 공간맵 정보를 상기 공유서버에 요청하여 제공되는 상기 공간맵 정보를 표시하는 것을 특징으로 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 방법.
  13. 제 8항에 있어서, 증강현실 기반으로 상기 콘텐츠를 표시하는 단계는,
    상기 제어부가 상기 실제영상과 상기 콘텐츠를 중첩하여 합성영상을 생성하는 단계; 및
    상기 제어부가 상기 합성영상을 저장하여 출력하는 단계를 포함하는 것을 특징으로 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 방법.
  14. 제 13항에 있어서, 상기 합성영상을 생성하는 단계는, 상기 제어부가 상기 실제영상에서 배경과 객체를 분리한 후 선택된 중첩 순서에 따라 상기 실제영상의 배경, 객체 및 상기 콘텐츠를 중첩하여 상기 합성영상을 생성하는 것을 특징으로 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 방법.
  15. 제 8항에 있어서, 상기 제어부가 상기 공간맵 정보를 표시한 후 상기 공간맵의 편집이 선택된 경우 상기 공유서버에 저장된 상기 공간맵의 상기 공간맵 정보를 편집하는 단계를 더 포함하는 것을 특징으로 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 방법.
  16. 제 15항에 있어서, 상기 공간맵 정보를 편집하는 단계는, 상기 공간맵의 수정 및 삭제 중 어느 하나 이상을 포함하는 것을 특징으로 하는 증강현실의 공간맵을 이용한 콘텐츠 공유 방법.
  17. 삭제
  18. 삭제
KR1020190035944A 2019-03-28 2019-03-28 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법 KR102161437B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190035944A KR102161437B1 (ko) 2019-03-28 2019-03-28 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190035944A KR102161437B1 (ko) 2019-03-28 2019-03-28 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200114348A KR20200114348A (ko) 2020-10-07
KR102161437B1 true KR102161437B1 (ko) 2020-10-08

Family

ID=72841536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190035944A KR102161437B1 (ko) 2019-03-28 2019-03-28 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102161437B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022119267A1 (ko) * 2020-12-01 2022-06-09 엘지전자 주식회사 경로 안내 장치 및 경로 안내 시스템
KR102633100B1 (ko) 2021-11-22 2024-02-05 한국전자통신연구원 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101225421B1 (ko) * 2011-06-10 2013-01-22 한남대학교 산학협력단 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법
KR20130002663A (ko) * 2011-06-29 2013-01-08 제주대학교 산학협력단 증강 현실 제공 시스템 및 방법
KR20130110907A (ko) * 2012-03-30 2013-10-10 삼성전자주식회사 가상 현실과 증강 현실을 이용한 원격 제어 장치 및 방법

Also Published As

Publication number Publication date
KR20200114348A (ko) 2020-10-07

Similar Documents

Publication Publication Date Title
US11189037B2 (en) Repositioning method and apparatus in camera pose tracking process, device, and storage medium
CN108415705B (zh) 网页生成方法、装置、存储介质及设备
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
EP2328125B1 (en) Image splicing method and device
US9392248B2 (en) Dynamic POV composite 3D video system
CN111701238A (zh) 虚拟画卷的显示方法、装置、设备及存储介质
EP2560145A2 (en) Methods and systems for enabling the creation of augmented reality content
US20220044026A1 (en) Method for generating clipping template, and electronic device
WO2013023705A1 (en) Methods and systems for enabling creation of augmented reality content
US20230137219A1 (en) Image processing system and method in metaverse environment
US20140192055A1 (en) Method and apparatus for displaying video on 3d map
US11095871B2 (en) System that generates virtual viewpoint image, method and storage medium
KR20110093664A (ko) 데이터 송신 방법 및 시스템
CN112868224B (zh) 捕获和编辑动态深度图像的方法、装置和存储介质
CN110856048B (zh) 视频修复方法、装置、设备及存储介质
US10726614B2 (en) Methods and systems for changing virtual models with elevation information from real world image processing
CN113010740A (zh) 词权重的生成方法、装置、设备及介质
US20180012073A1 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
CN113747199A (zh) 视频编辑方法、装置、电子设备、存储介质及程序产品
KR102161437B1 (ko) 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법
JP2011128977A (ja) 拡張現実感提供方法及び拡張現実感提供システム
US11238622B2 (en) Method of providing augmented reality contents and electronic device therefor
CN109636917B (zh) 三维模型的生成方法、装置、硬件装置
KR101135525B1 (ko) 파노라마 이미지의 갱신 방법 및 이를 이용한 지역 검색 서비스 방법
KR101934799B1 (ko) 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant