KR102639282B1 - 포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템 - Google Patents

포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템 Download PDF

Info

Publication number
KR102639282B1
KR102639282B1 KR1020230167879A KR20230167879A KR102639282B1 KR 102639282 B1 KR102639282 B1 KR 102639282B1 KR 1020230167879 A KR1020230167879 A KR 1020230167879A KR 20230167879 A KR20230167879 A KR 20230167879A KR 102639282 B1 KR102639282 B1 KR 102639282B1
Authority
KR
South Korea
Prior art keywords
shooting
user
location
extended reality
data
Prior art date
Application number
KR1020230167879A
Other languages
English (en)
Inventor
유영제
Original Assignee
주식회사 오르카소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오르카소프트 filed Critical 주식회사 오르카소프트
Priority to KR1020230167879A priority Critical patent/KR102639282B1/ko
Application granted granted Critical
Publication of KR102639282B1 publication Critical patent/KR102639282B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Architecture (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 실시 예에 따르면, 포인트 클라우드를 이용한 확장 현실 출력 서비스를 제공하는 서버가 개시된다. 또한, 상기 서버는, 적어도 하나의 프로세서(processor); 및 상기 적어도 하나의 프로세서가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함한다. 또한, 상기 적어도 하나의 동작은, 사용자의 사용자 단말로부터 촬영데이터를 수신하는 동작; 미리 학습된 위치 결정 모델을 이용하여 촬영데이터와 대응되는 사용자 위치를 결정하는 동작; 상기 사용자 단말로부터 촬영방향을 수신하는 동작; 촬영데이터로부터 포인트 클라우드를 획득하고, 미리 학습된 객체 분류 모델을 이용해 포인트 클라우드와 매칭되는 예상 객체를 획득하는 동작; 사용자 위치 및 촬영방향을 이용해 객체 후보군을 결정하는 동작; 예상 객체가 객체 후보군에 포함되는 경우, 예상 객체를 최종 객체로 결정하는 동작; 및 최종 객체와 대응되는 확장 현실 콘텐츠를 촬영데이터와 합성하여 상기 사용자 단말에 제공하는 동작을 포함한다.

Description

포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템{SERVER, METHOD AND SYSTEM FOR PROVIDING EXTENDED REALITY OUTPUT SERVICE USING POINT CLOUD}
본 발명은 포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
VR (Virtual Reality) 기술은 현실 세계의 객체나 배경 등을 CG (Computer Graphic) 영상으로만 제공하고, AR(Augmented Reality) 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR (Mixed) 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다. 전술한 VR, AR, MR 등을 모두 간단히 XR (extended reality) 기술로 지칭하기도 한다.
AR 기술은 현실세계에 가상의 디지털 이미지를 입히는 방식이다. 눈으로 실제 세계를 볼 수 있다는 점에서 눈을 가린 채 그래픽 영상만 보여주는 가상현실(VR)과는 다르다. 실내에서만 쓸 수 있는 VR 기기와 달리 AR 글래스는 안경처럼 걸어다니면서 쓸 수 있어 쓰임새가 훨씬 다양하다.
디지털 트윈에 대한 수요가 높아지면서, 실내에서 객체를 식별하고 식별한 객체와 대응되는 증강 현실 이미지를 제공하는 기술에 대한 중요성이 증대되고 있으며, 실내에서 객체를 식별하기 위한 기술로 포인트 클라우드가 많이 사용되고 있다.
포인트 클라우드란, 객체의 외관과 대응되는 점의 집단과 객체를 라벨링한 데이터를 이용한 기계학습을 통해 객체를 분류하는 모델을 생성하는 기술을 의미한다.
다만, 포인트 클라우드를 이용한 분류의 정확성을 향상시키기 위해서 많은 양의 데이터와 컴퓨팅 자원이 필요한 문제점이 있다.
실내 체험 행사에 확장 현실 기술이 많이 적용되고 있으나, 한시적으로 운영되는 행사를 위해 많은 비용을 투입하여 확장 현실 기술이 적용된 서비스를 개발하는 문제점이 발생되고 있다.
대한민국 등록특허공보 제10-233962호(2021.12.10.) 대한민국 공개특허공보 제10-2021-0020432호(2021.02.24.) 대한민국 등록특허공보 제10-1253644호(2013.04.05.) 대한민국 등록특허공보 제10-2402580호(2022.05.23.)
본 발명은, 촬영데이터에 포함된 마커를 이용해 사용자 위치를 결정하고, 사용자 위치 및 촬영방향을 이용해 포인트 클라우드를 이용한 객체 식별을 보조하는, 포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템을 제공하는 것을 일 목적으로 한다.
본 발명은, 촬영데이터에 포함된 마커를 이용해 사용자 위치를 결정하고, 사용자 위치 및 촬영방향을 이용해 안내 방향을 나타내는 확장 현실 콘텐츠를 생성하는, 포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템을 제공하는 것을 일 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 측면은, 포인트 클라우드를 이용한 확장 현실 출력 서비스를 제공하는 서버를 제공한다.
또한, 상기 서버는, 적어도 하나의 프로세서(processor); 및 상기 적어도 하나의 프로세서가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함한다.
또한, 상기 적어도 하나의 동작은, 사용자의 사용자 단말로부터 촬영데이터를 수신하는 동작; 미리 학습된 위치 결정 모델을 이용하여 촬영데이터와 대응되는 사용자 위치를 결정하는 동작; 상기 사용자 단말로부터 촬영방향을 수신하는 동작; 촬영데이터로부터 포인트 클라우드를 획득하고, 미리 학습된 객체 분류 모델을 이용해 포인트 클라우드와 매칭되는 예상 객체를 획득하는 동작; 사용자 위치 및 촬영방향을 이용해 객체 후보군을 결정하는 동작; 예상 객체가 객체 후보군에 포함되는 경우, 예상 객체를 최종 객체로 결정하는 동작; 및 최종 객체와 대응되는 확장 현실 콘텐츠를 촬영데이터와 합성하여 상기 사용자 단말에 제공하는 동작을 포함한다.
또한, 미리 학습된 위치 결정 모델은, 체험장소 내부에 미리 설치된 마커를 촬영한 촬영데이터에 촬영데이터를 촬영한 위치를 라벨링하여 생성된 학습데이터를 기반으로 기계학습하여 생성된 모델일 수 있다.
또한, 사용자 위치 및 촬영방향을 이용해 객체 후보군을 결정하는 동작은, 사용자 위치를 기준으로 촬영방향을 향하는 미리 설정된 크기의 촬영영역을 설정하는 동작; 및 촬영영역에 위치가 포함되는 적어도 하나의 객체를 객체 후보군으로 결정하는 동작을 포함한다.
또한, 상기 적어도 하나의 동작은, 미리 학습된 위치 결정 모델을 이용해 촬영데이터에 포함되는 마커를 인식하는 동작; 인식된 마커의 식별정보와 매칭되는 마커의 순위를 결정하는 동작; 결정된 순위의 다음 순위인 마커의 위치를 결정하는 동작; 사용자 위치, 촬영방향 및 다음 순위인 마커의 위치를 이용해 안내 방향과 매칭되는 확장 현실 콘텐츠를 생성하는 동작; 및 안내 방향과 매칭되는 확장 현실 콘텐츠와 찰영데이터를 합성하여 사용자 단말에 제공하는 동작을 포함한다.
또한, 사용자 위치, 촬영방향 및 다음 순위인 마커의 위치를 이용해 안내 방향과 매칭되는 확장 현실 콘텐츠를 생성하는 동작은, 사용자 위치에서 촬영방향을 향하여 미리 설정된 크기만큼 이동한 기준 위치를 결정하는 동작; 기준 위치에서 다음 순위인 마커의 위치를 향하는 안내 방향 벡터를 생성하는 동작; 및 안내 방향 벡터를 이용해 안내 방향과 매칭되는 확장 현실 콘텐츠를 생성하는 동작을 포함한다.
본 발명의 일 실시 예에 따르면, 촬영데이터에 포함된 마커를 이용해 사용자 위치를 결정하고, 사용자 위치 및 촬영방향을 이용해 포인트 클라우드를 이용한 객체 식별을 보조하므로, 포인트 클라우드만을 이용한 객체 식별 모델의 자체의 정확성을 상대적으로 낮춘 상태에서 사용자 위치 및 촬영방향의 도움을 받아 객체 식별 정확성을 보완할 수 있다. 이를 통해, 실내 체험을 목적으로 한 포인트 클라우드를 이용한 확장 현실 출력 서비스의 개발비용을 절감할 수 있다.
본 발명은, 촬영데이터에 포함된 마커를 이용해 사용자 위치를 결정하고, 사용자 위치 및 촬영방향을 이용해 안내 방향을 나타내는 확장 현실 콘텐츠를 생성하는, 포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템을 제공하는 것을 일 목적으로 한다.
도 1은 본 발명의 일 실시 예에 따른 포인트 클라우드를 이용한 확장 현실 출력 서비스를 제공하기 위한 시스템에 대한 개요도이다.
도 2는 도 1에 따른 서비스 제공 서버의 기능적 모듈을 예시적으로 나타낸 블록도이다.
도 3은 도 1에 따른 서비스 제공 서버가 위치 결정 모델을 생성하는 과정을 도시하는 도면이다.
도 4는 도 3에 따른 위치 결정 모델의 학습데이터 생성 과정을 개념적으로 도시하는 도면이다.
도 5는 도 1에 따른 서비스 제공 서버가 확장 현실 출력 서비스를 제공하는 과정을 도시하는 도면이다.
도 6은 도 1에 따른 서비스 제공 서버가 확장 현실 출력 서비스를 제공하는 과정을 도시하는 도면이다.
도 7은 도 1에 따른 서비스 제공 서버의 하드웨어 구성을 예시적으로 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 포인트 클라우드를 이용한 확장 현실 출력 서비스를 제공하기 위한 시스템에 대한 개요도이다.
도 1을 참조하면, 포인트 클라우드를 이용한 확장 현실 출력 서비스를 제공하기 위한 시스템은, 서비스 제공 서버(100) 및 사용자 단말(200)을 포함한다.
서비스 제공 서버(100) 및 사용자 단말(200)은 네트워크를 통해 서로 연결된다.
도시되지 않은 실시 예에서, 복수의 사용자 단말(200)이 네트워크를 통해 서비스 제공 서버(100)와 통신 가능하게 연결될 수 있다.
아울러, 이러한 네트워크는 예컨대, 다수의 접속망(미도시) 및 코어망(미도시)을 포함하며, 외부망, 예컨대 인터넷망(미도시)을 포함하여 구성될 수 있다. 여기서, 접속망(미도시)은 관리 대상 서버(300) 및 사용자 단말(400)과 유무선 통신을 수행하는 접속망으로서, 예를 들어, BS(Base Station), BTS(Base Transceiver Station), NodeB, eNodeB 등과 같은 다수의 기지국과, BSC(Base Station Controller), RNC(Radio Network Controller)와 같은 기지국 제어기로 구현될 수 있다. 또한, 전술한 바와 같이, 상기 기지국에 일체로 구현되어 있던 디지털 신호 처리부와 무선 신호 처리부를 각각 디지털 유니트(Digital Unit, 이하 DU라 함)와 무선 유니트(Radio Unit, 이하 RU라 함)로 구분하여, 다수의 영역에 각각 다수의 RU(미도시)를 설치하고, 다수의 RU(미도시)를 집중화된 DU(미도시)와 연결하여 구성할 수도 있다.
또한, 접속망(미도시)과 함께 모바일 망을 구성하는 코어망(미도시)은 접속망(미도시)과 외부 망, 예컨대, 인터넷망(미도시)을 연결하는 역할을 수행한다.
이러한 코어망(미도시)은 앞서 설명한 바와 같이, 접속망(미도시) 간의 이동성 제어 및 스위칭 등의 이동통신 서비스를 위한 주요 기능을 수행하는 네트워크 시스템으로서, 서킷 교환(circuit switching) 또는 패킷 교환(packet switching)을 수행하며, 모바일 망 내에서의 패킷 흐름을 관리 및 제어한다. 또한, 코어망(미도시)은 주파수 간 이동성을 관리하고, 접속망(미도시) 및 코어망(미도시) 내의 트래픽 및 다른 네트워크, 예컨대 인터넷 망(미도시)과의 연동을 위한 역할을 수행할 수도 있다. 이러한 코어망(미도시)은 SGW(Serving GateWay), PGW(PDN GateWay), MSC(Mobile Switching Center), HLR(Home Location Register), MME(Mobile Mobility Entity)와 HSS(Home Subscriber Server) 등을 더 포함하여 구성될 수도 있다.
또한, 인터넷망(미도시)은 TCP/IP 프로토콜에 따라서 정보가 교환되는 통상의 공개된 통신망, 즉 공용망을 의미하는 것으로, 사용자 단말(200)로부터 제공되는 정보를 코어망(미도시) 및 접속망(미도시)을 거쳐 네트워크로 제공할 수 있고, 반대로 서비스 제공 서버(100)로 제공되는 정보를 코어망(미도시) 및 접속망(미도시)을 거쳐 사용자 단말(200)로 제공할 수도 있다. 그러나, 이에 한정되는 것은 아니며, 서비스 제공 서버(100)는 코어망(미도시)과 일체로 구현될 수도 있다.
또한, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
서비스 제공 서버(100)는, 포인트 클라우드를 이용한 확장 현실 출력 서비스를 제공하는 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다.
사용자 단말(200)은, 포인트 클라우드를 이용한 확장 현실 출력 서비스를 이용하는 사용자의 단말로서, 서비스 제공 서버(100)에 촬영데이터를 제공하고 확장 현실 콘텐츠가 합성된 촬영데이터를 수신한다.
사용자 단말(200)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크 톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 사용자 단말(200)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구 현될 수 있다. 사용자 단말(200)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1에 따른 서비스 제공 서버의 기능적 모듈을 예시적으로 나타낸 블록도이다.
서비스 제공 서버(100)는, 위치 결정부(101), 객체 인식부(102), 확장 현실 표시부(103) 및 안내 방향 결정부(104)를 포함한다.
서비스 제공 서버(100)가 사용자 단말(200)로 포인트 클라우드를 이용한 확장 현실 출력 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 사용자 단말(200)은, 포인트 클라우드를 이용한 확장 현실 출력 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 사용자 단말(200)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.
도 3은 도 1에 따른 서비스 제공 서버(100)가 위치 결정 모델을 생성하는 과정을 도시하는 도면이다.
위치 결정부(101)는, 미리 학습된 위치 결정 모델을 이용해 사용자의 위치를 결정한다.
위치 결정 모델은, 체험장소 내부에 미리 설정된 마커를 촬영한 이미지 및 마커를 촬영한 위치를 이용해 생성된 학습데이터를 이용한 기계학습을 통해 생성된다.
먼저, 체험장소 내부에 미리 설치된 마커를 촬영한 이미지를 수신한다(S110).
위치 결정부(101)는, 체험장소 내부의 미리 설정된 위치에 서로 다른 형상의 복수의 마커가 설치되며, 복수의 마커(M) 각각을 다양한 위치 및 다양한 각도에서 촬영한 복수의 이미지를 수신할 수 있다.
또한, 수신한 이미지에 이미지를 촬영한 위치를 라벨링하여 학습데이터를 생성한다(S120).
일 실시 예에서, 위치는 체험장소 내부에서 사용자의 위치를 식별할 수 있도록 (x, y)로 설정된 2차원 좌표일 수 있다. 다만, 이에 한정되는 것은 아니며, 위치는 체험장소 내부에서 사용자의 위치를 식별할 수 있도록 (x, y, z)로 설정된 3차원 좌표일 수 있다.
도 4는 도 3에 따른 위치 결정 모델의 학습데이터 생성 과정을 개념적으로 도시하는 도면이다.
도 4를 참조하면, 마커(M)를 촬영한 이미지에 사용자의 위치를 특정할 수 있는 2차원 좌표를 라벨링하여 학습데이터를 생성한다.
다시 도 3을 참조하면, 생성된 학습데이터를 이용한 기계학습을 통해 위치 결정 모델을 생성한다(S130).
일 실시 예에서, 이미지 인식 처리에 사용되는 CNN(Convolutional Neural Network) 알고리즘이 위치 결정 모델의 학습에 사용될 수 있다. CNN을 통해 이미지로부터 복수의 특징 벡터가 추출되고, 추출된 복수의 특징 벡터를 이용해 사용자의 위치가 결정될 수 있다. 다만, 이에 한정되는 것은 아니며, 이미지 식별 처리에 사용되는 공지된 다양한 기계학습 알고리즘이 사용될 수 있다.
일 실시 예에서, 위치 결정 모델의 학습은, 위치 결정부(101)에 의해 수행될 수 있다. 다만, 이에 한정되는 것은 아니며, 위치 결정부(101)는, 상술한 과정에 의해 미리 학습된 위치 결정 모델을 수신할 수 있다.
도 5는 도 1에 따른 서비스 제공 서버(100)가 확장 현실 출력 서비스를 제공하는 과정을 도시하는 도면이다.
위치 결정부(101)는, 사용자 단말(200)로부터 촬영데이터를 수신한다(S210).
일 실시 예에서, 사용자 단말(200)은, 촬영데이터를 생성할 수 있는 촬영모듈을 포함한다. 촬영모듈은, 사용자 단말(200)의 전방을 촬영한 이미지 또는 미리 설정된 시간 간격으로 연속적으로 전방을 촬영한 영상을 생성할 수 있도록 구성된다. 촬영데이터는 사용자 단말(200)의 전방을 촬영한 이미지 또는 미리 설정된 시간 간격으로 연속적으로 전방을 촬영한 영상을 의미한다.
사용자 단말(200)은, 촬영 위치 및 촬영 각도를 변경하면서 전방을 촬영할 수 있다. 일 실시 예에서, 사용자 단말(200)은, 피치(Pitch), 롤(Roll) 및 요(Yaw)를 변경하면서 전방을 촬영할 수 있다.
위치 결정부(101)는, 미리 학습된 위치 결정 모델을 이용해 촬영데이터와 대응되는 사용자 위치를 결정한다(S220).
위치 결정부(101)는, 사용자 단말(200)로부터 수신한 촬영데이터를 위치 결정 모델에 입력 값으로 입력하고, 위치 결정 모델로부터 결과 값으로 사용자 위치를 획득한다.
위치 결정부(101)는, 사용자 단말(200)로부터 촬영방향을 수신한다(S230).
일 실시 예에서, 사용자 단말(200)은, 촬영모듈의 3차원 위치 및 3차원 회전을 감지할 수 있는 6축 센서(6 axis sensor)를 구비할 수 있다.
위치 결정부(101)는, 사용자 단말(200)로부터 촬영모듈이 향하는 방향에 대한 벡터인 촬영방향을 수신한다.
객체 인식부(102)는, 촬영데이터로부터 포인트 클라우드를 획득한다(S240).
일 실시 예에서, 객체 인식부(102)는, 촬영데이터에 포함된 객체를 구성하는 복수의 특징점인 포인트 클라우드를 촬영데이터로부터 추출할 수 있다. 객체 인식부(102)는, 특징점 추출에 대한 공지된 다양한 기술을 사용해 촬영데이터에 포함된 객체의 포인트클라우드를 획득할 수 있다. 일 실시 예에서, 특징점은 객체의 윤곽을 나타내는 부분을 의미할 수 있다. 예를 들어, 다각형의 꼭지점, 선분의 끝 점 등이 특징점에 해당될 수 있다.
일 실시 예에서, 객체 인식부(102)는, 사용자 단말(200)에 구비된 라이다(LIDAR)에 의해 감지된 객체의 포인트클라우드를 사용할 수 있다.
객체 인식부(102)는, 미리 학습된 객체 분류 모델을 이용해 포인트 클라우드와 매칭되는 예상 객체를 결정한다(S250).
일 실시 예에서, 객체 분류 모델은, 포인트 클라우드에 객체를 라벨링하여 생성된 학습데이터를 이용한 기계학습을 통해 생성될 수 있다.
일 실시 예에서, PointNet, PointNet++가 객체 분류 모델의 학습에 사용될 수 있다. 다만, 이에 한정되는 것은 아니며, 공지된 다양한 형상 분류 딥러닝 모델이 객체 분류 모델의 학습에 사용될 수 있다.
객체 인식부(102)는, 객체 분류 모델에 획득한 포인트 클라우드를 입력 값으로 입력하고, 객체 분류 모델로부터 포인트 클라우드와 매칭되는 예상 객체를 결과 값으로 획득한다.
객체 인식부(102)는, 사용자 위치 및 촬영방향을 이용해 객체 후보군을 결정한다(S260).
객체 인식부(102)는, 사용자 위치를 기준으로 촬영방향을 향하는 미리 설정된 크기의 촬영영역에 속하는 적어도 하나의 객체를 객체 후보군으로 결정한다.
서비스 제공 서버(100)의 데이터베이스에는 서로 다른 복수의 객체 각각의 위치가 미리 저장된다.
객체 인식부(102)는, 사용자 위치를 기준으로 촬영방향을 향하는 미리 설정된 크기의 촬영영역을 설정하고, 촬영영역에 위치가 포함되는 적어도 하나의 객체를 객체 후보군으로 결정한다.
객체 인식부(102)는, 객체 후보군에 예상 객체가 포함되는지 판단한다(S270).
객체 인식부(102)는, 객체 후보군에 예상 객체가 포함되지 않는 경우, 촬영데이터로부터 포인트 클라우드를 획득, 예상 객체 결정, 객체 후보군 결정 및 예상 객체와 객체 후보군 비교과정을 재수행한다(S240, S250, S260, S270).
객체 인식부(102)는, 객체 후보군에 예상 객체가 포함되는 경우, 예상 객체를 최종 객체로 결정한다(S280).
확장 현실 표시부(103)는, 최종 객체와 대응하는 확장 현실 콘텐츠를 촬영데이터와 합성하여 사용자 단말(200)에 제공한다.
서비스 제공 서버(100)의 데이터베이스에는 객체와 확장 현실 콘텐츠가 미리 매칭되어 저장된다.
확장 현실 표시부(103)는, 최종 객체와 대응되는 확장 현실 콘텐츠를 검색하고, 검색된 확장 현실 콘텐츠와 촬영데이터를 합성하여 사용자 단말(200)에 제공한다.
일 실시 예에서, 확장 현실 표시부(103)는, 확장 현실 콘텐츠를 합성하는 다양한 공지된 기술을 이용해 촬영데이터에 확장 현실 콘텐츠를 합성할 수 있다.
도 6은 도 1에 따른 서비스 제공 서버(100)가 확장 현실 출력 서비스를 제공하는 과정을 도시하는 도면이다
위치 결정부(101)는, 사용자 단말(200)로부터 촬영데이터를 수신한다(S310).
일 실시 예에서, 사용자 단말(200)은, 촬영데이터를 생성할 수 있는 촬영모듈을 포함한다. 촬영모듈은, 사용자 단말(200)의 전방을 촬영한 이미지 또는 미리 설정된 시간 간격으로 연속적으로 전방을 촬영한 영상을 생성할 수 있도록 구성된다. 촬영데이터는 사용자 단말(200)의 전방을 촬영한 이미지 또는 미리 설정된 시간 간격으로 연속적으로 전방을 촬영한 영상을 의미한다.
사용자 단말(200)은, 촬영 위치 및 촬영 각도를 변경하면서 전방을 촬영할 수 있다. 일 실시 예에서, 사용자 단말(200)은, 피치(Pitch), 롤(Roll) 및 요(Yaw)를 변경하면서 전방을 촬영할 수 있다.
위치 결정부(101)는, 미리 학습된 위치 결정 모델을 이용해 촬영데이터와 대응되는 사용자 위치를 결정한다(S320).
위치 결정부(101)는, 사용자 단말(200)로부터 수신한 촬영데이터를 위치 결정 모델에 입력 값으로 입력하고, 위치 결정 모델로부터 결과 값으로 사용자 위치를 획득한다.
위치 결정부(101)는, 위치 결정 모델을 이용해 촬영데이터에 포함되는 마커를 인식한다(S330).
위치 결정부(101)는, 미리 학습된 위치 결정 모델을 이용해 촬영데이터에 포함된 마커의 식별정보를 인식하고, 식별정보와 매칭되는 마커의 순위를 결정할 수 있다(S330).
위치 결정부(101)는, 미리 학습된 위치 결정 모델에 촬영데이터를 입력 값으로 입력하고, 촬영데이터에 포함된 마커의 식별정보를 결과 값으로 획득한다.
일 실시 예에서, 위치 결정 모델은, 마커(M)를 촬영한 이미지에 사용자의 위치를 특정할 수 있는 2차원 좌표 및 마커(M)의 종류를 라벨링하여 생성된 학습데이터를 이용한 기계학습을 통해 생성될 수 있다.
일 실시 예에서, 이미지 인식 처리에 사용되는 CNN(Convolutional Neural Network) 알고리즘이 위치 결정 모델의 학습에 사용될 수 있다. CNN을 통해 이미지로부터 복수의 특징 벡터가 추출되고, 추출된 복수의 특징 벡터를 이용해 마커의 종류 및 사용자의 위치가 결정될 수 있다. 다만, 이에 한정되는 것은 아니며, 이미지 식별 처리에 사용되는 공지된 다양한 기계학습 알고리즘이 사용될 수 있다.
서비스 제공 서버(100)의 데이터베이스에는 서로 다른 마커의 순위가 서로 다른 마커의 식별정보와 미리 매칭되어 저장된다. 서비스 제공 서버(100)의 데이터베이스에는 서로 다른 마커의 위치정보가 서로 다른 마커의 식별정보와 미리 매칭되어 저장된다.
위치 결정부(101)는, 마커의 식별정보와 대응되는 순위를 결정하고, 결정된 순위의 다음 순위인 마커의 위치정보를 검색한다(S340).
예를 들어, 식별정보와 매칭되는 순위가 2순위인 경우, 위치 결정부(101)는, 3순위인 마커의 식별정보와 매칭되는 위치정보를 검색한다.
위치 결정부(101)는, 사용자 단말(200)로부터 촬영방향을 수신한다(S350).
일 실시 예에서, 사용자 단말(200)은, 촬영모듈의 3차원 위치 및 3차원 회전을 감지할 수 있는 6축 센서(6 axis sensor)를 구비할 수 있다.
위치 결정부(101)는, 사용자 단말(200)로부터 촬영모듈이 향하는 방향에 대한 벡터인 촬영방향을 수신한다.
안내 방향 결정부(104)는, 사용자의 위치, 촬영방향 및 다음 순위 마커의 위치를 이용하여 확장 현실 콘텐츠를 생성한다(S360).
안내 방향 결정부(104)는, 사용자 위치에서 촬영방향을 향하여 미리 설정된 크기만큼 이동한 기준 위치를 결정하고, 기준 위치에서 다음 순위 마커의 위치를 향하는 안내 방향 벡터를 생성한다.
안내 방향 결정부(104)는, 안내 방향 벡터와 매칭되는 확장 현실 콘텐츠를 생성한다. 일 실시 예에서, 확장 현실 콘텐츠는 안내 방향 벡터를 향하는 화살표일 수 있다.
확장 현실 표시부(103)는, 안내 방향 벡터와 매칭되는 확장 현실 콘텐츠와 촬영데이터를 합성하여 사용자 단말(200)에 제공한다(S370).
일 실시 예에서, 확장 현실 표시부(103)는, 확장 현실 콘텐츠를 합성하는 다양한 공지된 기술을 이용해 촬영데이터에 확장 현실 콘텐츠를 합성할 수 있다.
일 실시 예에서, 확장 현실 표시부(103)는, 촬영데이터에서 식별된 최종 객체와 매칭되는 확장 현실 콘텐츠가 촬영데이터와 합성되어 사용자 단말(200)에 제공된 이후 미리 설정된 시간이 경과했는지 판단할 수 있다.
촬영데이터에서 식별된 최종 객체와 매칭되는 확장 현실 콘텐츠가 촬영데이터와 합성되어 사용자 단말(200)에 제공된 이후 미리 설정된 시간이 경과한 경우, 확장 현실 표시부(103)는, 촬영데이터에서 식별된 마커를 이용해 생성된 안내 방향 벡터와 매칭되는 확장 현실 콘텐츠와 촬영데이터를 합성하여 사용자 단말(200)에 제공할 수 있다.
도 7은 도 1에 따른 서비스 제공 서버(100)의 하드웨어 구성을 예시적으로 나타낸 도면이다.
도 7을 참조하면, 서비스 제공 서버(100)는, 적어도 하나의 프로세서(110) 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.
상기 적어도 하나의 동작은 전술한 서비스 제공 서버(100)의 구성부들(101~104)이나 기타 기능 또는 동작 방법을 포함할 수 있다.
여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시 예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다.
예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(160)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.
또한, 서버(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 포함할 수 있다. 또한, 서버(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 서버(100)에 포함된 각각의 구성 요소들은 버스(bus, 170)에 의해 연결되어 서로 통신을 수행할 수 있다.
서버(100)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

  1. 포인트 클라우드를 이용한 확장 현실 출력 서비스를 제공하는 서버로서,
    상기 서버는,
    적어도 하나의 프로세서(processor); 및
    상기 적어도 하나의 프로세서가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함하고,
    상기 적어도 하나의 동작은,
    사용자의 사용자 단말로부터 촬영데이터를 수신하는 동작;
    미리 학습된 위치 결정 모델을 이용하여 촬영데이터와 대응되는 사용자 위치를 결정하는 동작;
    상기 사용자 단말로부터 촬영방향을 수신하는 동작;
    촬영데이터로부터 포인트 클라우드를 획득하고, 미리 학습된 객체 분류 모델을 이용해 포인트 클라우드와 매칭되는 예상 객체를 획득하는 동작;
    사용자 위치 및 촬영방향을 이용해 객체 후보군을 결정하는 동작;
    예상 객체가 객체 후보군에 포함되는 경우, 예상 객체를 최종 객체로 결정하는 동작;
    최종 객체와 대응되는 확장 현실 콘텐츠를 촬영데이터와 합성하여 상기 사용자 단말에 제공하는 동작; 및
    미리 학습된 위치 결정 모델을 이용해 촬영데이터에 포함되는 마커를 인식하는 동작;
    인식된 마커의 식별정보와 매칭되는 마커의 순위를 결정하는 동작;
    결정된 순위의 다음 순위인 마커의 위치를 결정하는 동작;
    사용자 위치, 촬영방향 및 다음 순위인 마커의 위치를 이용해 안내 방향과 매칭되는 확장 현실 콘텐츠를 생성하는 동작; 및
    안내 방향과 매칭되는 확장 현실 콘텐츠와 찰영데이터를 합성하여 사용자 단말에 제공하는 동작을 포함하고,
    미리 학습된 위치 결정 모델은,
    체험장소 내부에 미리 설치된 마커를 촬영한 촬영데이터에 촬영데이터를 촬영한 위치를 라벨링하여 생성된 학습데이터를 기반으로 기계학습하여 생성된 모델인,
    서버.
  2. 삭제
  3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    사용자 위치 및 촬영방향을 이용해 객체 후보군을 결정하는 동작은,
    사용자 위치를 기준으로 촬영방향을 향하는 미리 설정된 크기의 촬영영역을 설정하는 동작; 및
    촬영영역에 위치가 포함되는 적어도 하나의 객체를 객체 후보군으로 결정하는 동작을 포함하는,
    서버.
  4. 삭제
  5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    사용자 위치, 촬영방향 및 다음 순위인 마커의 위치를 이용해 안내 방향과 매칭되는 확장 현실 콘텐츠를 생성하는 동작은,
    사용자 위치에서 촬영방향을 향하여 미리 설정된 크기만큼 이동한 기준 위치를 결정하는 동작;
    기준 위치에서 다음 순위인 마커의 위치를 향하는 안내 방향 벡터를 생성하는 동작; 및
    안내 방향 벡터를 이용해 안내 방향과 매칭되는 확장 현실 콘텐츠를 생성하는 동작을 포함하는,
    서버.
KR1020230167879A 2023-11-28 2023-11-28 포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템 KR102639282B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230167879A KR102639282B1 (ko) 2023-11-28 2023-11-28 포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230167879A KR102639282B1 (ko) 2023-11-28 2023-11-28 포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102639282B1 true KR102639282B1 (ko) 2024-02-21

Family

ID=90052637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230167879A KR102639282B1 (ko) 2023-11-28 2023-11-28 포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102639282B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100233962B1 (ko) 1997-06-24 1999-12-15 정명식 포스포리파제 c-베타4를 인지하는 단클론성 항체와 이를 분비하는 융합 세포주
KR101253644B1 (ko) 2012-12-28 2013-04-11 주식회사 맥스트 위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법
KR20210010274A (ko) * 2019-07-17 2021-01-27 주식회사 유진로봇 자율 주행 이동 로봇의 충전 중 환경 학습 장치 및 환경 학습 방법
KR20210020432A (ko) 2019-08-14 2021-02-24 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
KR102402580B1 (ko) 2021-11-03 2022-05-26 주식회사 맥스트 메타버스 환경에서의 영상 처리 시스템 및 방법
KR20220117028A (ko) * 2021-02-16 2022-08-23 한국기술교육대학교 산학협력단 증강 현실을 이용한 당구 학습 방법 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100233962B1 (ko) 1997-06-24 1999-12-15 정명식 포스포리파제 c-베타4를 인지하는 단클론성 항체와 이를 분비하는 융합 세포주
KR101253644B1 (ko) 2012-12-28 2013-04-11 주식회사 맥스트 위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법
KR20210010274A (ko) * 2019-07-17 2021-01-27 주식회사 유진로봇 자율 주행 이동 로봇의 충전 중 환경 학습 장치 및 환경 학습 방법
KR20210020432A (ko) 2019-08-14 2021-02-24 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
KR20220117028A (ko) * 2021-02-16 2022-08-23 한국기술교육대학교 산학협력단 증강 현실을 이용한 당구 학습 방법 및 시스템
KR102402580B1 (ko) 2021-11-03 2022-05-26 주식회사 맥스트 메타버스 환경에서의 영상 처리 시스템 및 방법

Similar Documents

Publication Publication Date Title
US11295472B2 (en) Positioning method, positioning apparatus, positioning system, storage medium, and method for constructing offline map database
CN109614983B (zh) 训练数据的生成方法、装置及系统
CN111046125A (zh) 一种视觉定位方法、系统及计算机可读存储介质
CN108027884B (zh) 一种用于监测对象的方法、存储媒体、服务器及设备
WO2021136528A1 (zh) 一种实例分割的方法及装置
JP2021520017A (ja) グラフィックコード認識方法及び装置、並びに、端末及びプログラム
CN110033423B (zh) 用于处理图像的方法和装置
US20220156968A1 (en) Visual feature database construction method, visual positioning method and apparatus, and storage medium
KR20140137893A (ko) 객체 추적 방법 및 장치
KR102572986B1 (ko) 사용자 지정 초기화 포인트에 기반한 개체 추적
CN111339228A (zh) 一种地图更新方法、设备、云服务器和存储介质
CN113289327A (zh) 移动终端的显示控制方法及装置、存储介质及电子设备
CN110619334B (zh) 基于深度学习的人像分割方法、架构及相关装置
KR20220160066A (ko) 이미지 처리 방법 및 장치
US11651560B2 (en) Method and device of displaying comment information, and mobile terminal
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
CN112308977B (zh) 视频处理方法、视频处理装置和存储介质
KR20210032678A (ko) 환경 변화에 강인한 이미지의 위치 및 방향 추정 방법 및 시스템
Zhang et al. Edgexar: A 6-dof camera multi-target interaction framework for mar with user-friendly latency compensation
KR102639282B1 (ko) 포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템
KR101515845B1 (ko) 동작 인식 방법 및 동작 인식 장치
WO2020155984A1 (zh) 人脸表情图像处理方法、装置和电子设备
CN110490065A (zh) 人脸识别方法及装置、存储介质、计算机设备
KR101909994B1 (ko) 나노블럭을 이용한 3d 증강현실 서비스 제공 방법
KR101910931B1 (ko) 고유코드를 이용한 푸드 3d 증강현실 서비스 제공 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant