KR102581380B1 - 3rd party AR/MR 촬영 장치 및 방법 - Google Patents

3rd party AR/MR 촬영 장치 및 방법 Download PDF

Info

Publication number
KR102581380B1
KR102581380B1 KR1020210146427A KR20210146427A KR102581380B1 KR 102581380 B1 KR102581380 B1 KR 102581380B1 KR 1020210146427 A KR1020210146427 A KR 1020210146427A KR 20210146427 A KR20210146427 A KR 20210146427A KR 102581380 B1 KR102581380 B1 KR 102581380B1
Authority
KR
South Korea
Prior art keywords
information
party
service
service device
camera
Prior art date
Application number
KR1020210146427A
Other languages
English (en)
Other versions
KR20230061812A (ko
Inventor
백용재
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020210146427A priority Critical patent/KR102581380B1/ko
Publication of KR20230061812A publication Critical patent/KR20230061812A/ko
Application granted granted Critical
Publication of KR102581380B1 publication Critical patent/KR102581380B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3rd party AR/MR 촬영 장치 및 방법에 관한 것으로서, 그 3rd party AR/MR 촬영 장치는 AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 3rd party AR/MR 촬영 장치에 있어서 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치와 AR/MR 서비스 장치 사용자를 촬영하는 AR/MR 카메라; 그 AR/MR 서비스 장치와 AR/MR 카메라 간의 상대 위치를 계산하여 AR/MR 오브젝트의 포즈 정보를 예측하는 포즈예측부; AR/MR 서비스 장치와 통신하며, AR/MR 서비스 장치로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커(Marker)/특징점 정보 및 상기 AR/MR 서비스 장치에서의 AR/MR 오브젝트의 각도 변화에 따른 동기화를 위한 제어정보를 포함하는 AR/MR 정보를 수신하는 AR/MR 정보 송수신부; 및 AR/MR 오브젝트 정보, 마커/특징점 정보 및 제어정보를 이용하여 마커/특징점 정보에 상응하는 위치에 AR/MR 오브젝트를 생성하여 포즈예측부에 의해 예측된 포즈 정보를 반영하여 AR/MR 카메라에 의해 촬영된 영상에 AR/MR 오브젝트가 겹쳐 보이게 하는 3rd party AR/MR 서비스부를 포함할 수 있다.

Description

3rd party AR/MR 촬영 장치 및 방법 {Device and method of photographing both AR/MR object and AR/MR user at 3rd party System}
본 발명은 AR/MR 에 속하는 기술로, 특히 AR/MR 서비스를 사용하고 있는 사용자와 AR/MR 콘텐츠를 제3자가 카메라로 촬영할 수 있는 3rd party AR/MR 촬영 장치 및 방법에 관한 것이다.
가상현실(Virtual Reality, VR)은 실제와 비슷하지만 실제가 아닌 환경을 말하며, 사람의 시각 능력을 그대로 재현하는 것이다. 즉, 사람의 눈을 속여 눈 앞에 보이는 영상이 가짜가 아닌 진짜라고 믿게 만드는 것이다. 가상현실은 특정 환경을 구현한 후, 구현된 특정 환경을 사용하는 사람이 마치 실제 주변 상황과 상호 작용을 하고 있는 것처럼 만들어주는 인간과 컴퓨터 사이의 인터페이스를 의미한다. 이러한 가상현실 기술은 사람들이 일상생활에서 경험하기 어려운 환경을 직접 체험하지 않고서도 가상의 환경에 서 실제와 유사함 경험을 제공하고 있다.
따라서 VR 기술은 실제 현실의 특정 환경, 상황 또는 가상의 시나리오를 컴퓨터 모델링을 통해 구축하고 이러한 가상환경에서 사용자가 상호작용 할 수 있게 한다.
증강 현실(AR, Augmented Reality)이란 현실의 이미지나 배경에 3차원의 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술을 말한다. 증강 현실은 현실과 가상을 혼합된 영상으로 제공함으로써, 실제 환경 보다 나은 현실감과 부가 정보를 사용자에게 제공한다는 장점을 가지고 있다.
간략하게 설명하면, VR 기술은 현실 세계의 객체나 배경 등을 CG (Computer Graphic) 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR (Mixed) 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다. 전술한 VR, AR, MR 등을 모두 간단히 XR (Extended Reality) 기술로 지칭하기도 한다.
XR 분야의 종래 기술은 AR/MR 서비스가 제공되는 장치 관점에서 현실 세계와 가상 오브젝트(object) 및 세계를 적절하게 혼합하는 방법, 가상 오브젝트를 Rich하게 표현하는 방법에 대한 기술이 주로 다루어지고 있다.
XR 분야의 종래 기술은 사용자의 장치 중심의 화면 구성에 대하여 논의되어 왔으며, 외부에서 제3자가 사용자와 가상 오브젝트를 3인칭 시점에서 촬영할 수 있는 기술은 없다. 종래 특허(공개특허 10-2020-008359, 발명의 명칭 : MR 콘텐츠 제공시스쳄 및 그 방법)의 경우에도 다른 장치(디바이스)를 통하여 콘텐츠를 수신 받고 제공하는 수준에 머물러 있다.
종래 기술은 콘텐츠 및 오브젝트를 교환하는 방식에 대해서는 다양하나 사용자를 AR/MR 서비스를 사용하는 신(scene)을 포함하여 3인칭 시점에서 촬영하기 위해서는, 사용자와 촬영자의 거리를 인식하고 원근법에 따라 가상객체에도 크기 조정을 해야 하는데 크기 조정을 할 수 있는 방법이 없으며, 실시간으로 객체의 포즈(Pose) 변화를 전달받는 방법도 없다.
공개특허공보 제10-2020-0008359호, 2020.01.28)
본 발명이 해결하고자 하는 과제는 상술한 문제점들을 해결하기 위해 창출된 것으로서, 3rd party AR/MR 카메라 장치로 증강현실/혼합현실(AR/MR) 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 실시간으로 촬영할 수 있는 3rd party AR/MR 촬영 장치 및 방법을 제공하는 것이다.
상기 기술적 과제를 해결하기 위한 본 발명에 의한 3rd party AR/MR 촬영 장치는, AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 3rd party AR/MR 촬영 장치에 있어서, 상기 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치와 상기 AR/MR 서비스 장치 사용자를 촬영하는 AR/MR 카메라; 상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 상대 위치를 계산하여 상기 AR/MR 오브젝트의 포즈 정보를 예측하는 포즈예측부; 상기 AR/MR 서비스 장치와 통신하며, 상기 AR/MR 서비스 장치로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커(Marker)/특징점 정보를 포함하는 AR/MR 정보를 수신하는 AR/MR 정보 송수신부; 및 상기 수신한 AR/MR 정보를 이용하여 상기 마커/특징점 정보에 상응하는 위치에 상기 수신한 AR/MR 오브젝트를 생성하여 상기 포즈예측부에 의해 예측된 포즈 정보를 반영하여 상기 AR/MR 카메라에 의해 촬영된 영상에 상기 생성된 AR/MR 오브젝트가 겹쳐 보이게 하는 3rd party AR/MR 서비스부를 포함할 수 있다.
상기 포즈 예측부는 상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 위치를 측정하며, 상기 위치 정보에 따라 AR/MR 오브젝트의 원근감을 표현하며, 상기 AR/MR 카메라의 촬영 각도와 AR/MR 오브젝트와의 거리 변화에 따른 AR/MR 오브젝트를 표시하기 위해 실시간으로 각도를 측정할 수 있다. 상기 AR/MR 오브젝트 정보는 상기 AR/MR 서비스 장치에 제공되는 3차원 모델 데이터를 일 수 있고, 상기 마커/특징점 정보는 상기 디스플레이 화면에서 상기 AR/MR 오브젝트를 매칭하기 위한 매칭 포인트 정보일 수 있다. 상기 AR/MR정보는 상기 AR/MR 오브젝트가 360도 입체 콘텐츠 또는 3차원 콘텐츠일 경우 AR/MR 서비스 사용자에 의해 상기 AR/MR 오브젝트의 각도가 변경될 경우 상기 변경된 각도에 상응하도록 상기 디스플레이 화면 상에서의 AR/MR 오브젝트의 각도를 동기화하는 제어정보일 수 있다.
상기 AR/MR 정보 송수신부는 근거리 통신을 통해 상기 AR/MR 서비스 장치와 직접 통신하거나 서버를 통해 상기 AR/MR 서비스 장치와 통신할 수 있고, 상기 AR/MR 정보 송수신부는 상기 AR/MR 서비스 장치에서 사용자와 AR/MR 오브젝트 간의 인터랙션 정보를 수신하고, 3rd party AR/MR 서비스부는 상기 디스플레이 화면에 상기 인터랙션 정보를 디스플레이 화면에 반영할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 의한 3rd party AR/MR 촬영 방법은, AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 3rd party AR/MR 촬영 방법에 있어서, AR/MR 카메라가 상기 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치와 상기 AR/MR 서비스 장치 사용자를 촬영하는 단계; AR/MR 정보 송수신부가 상기 AR/MR 서비스 장치와 통신하며, 상기 AR/MR 서비스 장치로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커/특징점 정보를 포함하는 AR/MR 정보를 수신하는 단계; 포즈 예측부가 상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 상대 위치를 계산하여 상기 AR/MR 오브젝트의 포즈 정보를 예측하는 단계; 3rd party AR/MR 서비스부가 상기 수신한 AR/MR 정보를 이용하여 상기 마커/특징점 정보에 상응하는 위치에 상기 수신한 AR/MR 오브젝트를 생성하는 단계; 상기 3rd party AR/MR 서비스부가 상기 포즈 정보를 반영하여 상기 AR/MR 카메라에 의해 촬영된 영상에 상기 생성된 AR/MR 오브젝트가 겹쳐 보이게 하는 단계를 포함할 수 있다.
상기 AR/MR 오브젝트의 포즈 정보 예측 단계는 상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 위치를 측정하며, 상기 위치 정보에 따라 AR/MR 오브젝트의 원근감을 표현하며, 상기 AR/MR 카메라의 촬영 각도와 AR/MR 오브젝트와의 거리 변화에 따른 AR/MR 오브젝트를 표시하기 위해 실시간으로 각도를 측정하는 것을 포함할 수 있다.
본 발명에 따른 3rd party AR/MR 촬영 장치 및 방법에 의하면, AR/MR 카메라로 증강현실/혼합현실(AR/MR) 서비스를 이용하고 있는 사용자들과 AR/MR 오브젝트를 혼합하여 촬영할 수 있다. 이렇게 함으로써, 가상현실 서비스를 체험하고 있는 상황을 사진과 동영상으로 촬영할 수 있다. 예를 들어, 포켓몬고 게임을 하고 있는 사람을 촬영하면 포켓몬과 함께 촬영할 수 있으며, 이를 통해 SNS 등에 공유가 가능하고 short form contents로서 제작할 수 있다.
또한 본 발명에 의하면, 3인칭 시점(3rd party)에서 개인방송을 위한 콘텐츠 생성이 가능해진다. 나아가 다른 사람이 체험하고 있는 AR/MR서비스에 대한 간접 경험이 및 실시간으로 옆에서 함께 감상하며 대화할 수 있는 사용 장면(scene)도 구현 가능하다.
도 1은 본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치의 구성을 블록도로 나타낸 것이다.
도 2는 본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치와 AR/MR 서비스 장치 간의 AR/MR 정보를 송수신하고, AR/MR 카메라와 포즈 예측부를 나타낸 것이다.
도 3은 본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치에서 포즈 예측부를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 3rd party AR/MR 촬영방법을 흐름도로 나타낸 것이다.
이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치의 구성을 블록도로 나타낸 것이다.
본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치(10)는 AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 장치로서, AR/MR 카메라(110), 포즈예측부(120), AR/MR 정보 송수신부(130) 및 3rd party AR/MR 서비스부(140)를 포함하여 이루어진다.
AR/MR 카메라(110)는 상기 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치(20)와 AR/MR 서비스 장치 사용자를 촬영한다.
포즈예측부(120)는 AR/MR 서비스 장치(20)와 AR/MR 카메라(110) 간의 상대 위치를 계산하여 상기 AR/MR 오브젝트의 포즈 정보를 예측한다. 포즈 예측부(120)는 AR/MR 서비스 장치(20)와 AR/MR 카메라(110) 간의 위치를 측정하며, 상기 위치 정보에 따라 AR/MR 오브젝트의 원근감을 표현하며, AR/MR 카메라(110)의 촬영 각도와 AR/MR 오브젝트와의 거리 변화에 따른 AR/MR 오브젝트를 표시하기 위해 실시간으로 각도를 측정할 수 있다.
AR/MR 정보 송수신부(130)는 AR/MR 서비스 장치(20)와 통신하며, AR/MR 서비스 장치(20)로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커/특징점 정보 및 상기 AR/MR 서비스 장치에서의 상기 AR/MR 오브젝트의 각도 변화에 따른 동기화를 위한 제어정보를 포함하는 AR/MR 정보를 수신한다.
상기 AR/MR 오브젝트 정보는 상기 AR/MR 서비스 장치에 제공되는 3차원 모델 데이터를 포함한다. 상기 마커/특징점 정보는 상기 디스플레이 화면에서 상기 AR/MR 오브젝트를 매칭하기 위한 매칭 포인트 정보를 포함한다. 상기 제어정보는 상기 AR/MR 오브젝트가 360도 입체 콘텐츠 또는 3차원 콘텐츠일 경우 AR/MR 서비스 사용자에 의해 상기 AR/MR 오브젝트의 각도가 변경될 경우 상기 변경된 각도에 상응하도록 상기 디스플레이 화면 상에서의 AR/MR 오브젝트의 각도를 동기화하는 정보를 포함한다.
또한 AR/MR 정보 송수신부(130)는 근거리 통신을 통해 상기 AR/MR 서비스 장치(20)와 직접 통신하거나 서버(미도시)를 통해 AR/MR 서비스 장치(20)와 통신할 수 있고, AR/MR 서비스 장치(20)에서의 사용자와 AR/MR 오브젝트 간의 인터랙션 정보를 수신할 수 있다.
3rd party AR/MR 서비스부(140)는 상기 수신한 AR/MR 오브젝트 정보, 마커/특징점 정보 및 제어정보를 이용하여 상기 마커/특징점 정보에 상응하는 위치에 상기 수신한 AR/MR 오브젝트를 생성하고, 포즈예측부(120)에 의해 예측된 포즈 정보를 반영하여 AR/MR 카메라(110)에 의해 촬영된 영상에 상기 생성된 AR/MR 오브젝트가 겹쳐 보이게 디스플레이한다. 또한 3rd party AR/MR 서비스부(140)는 AR/MR 정보 송수신부(130)가 AR/MR 서비스 장치(20)에서의 사용자와 AR/MR 오브젝트 간의 인터랙션 정보를 수신하면 상기 디스플레이 화면에 상기 인터랙션 정보를 디스플레이 화면에 반영할 수 있다.
도 2는 본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치(10)와 AR/MR 서비스 장치(20) 간의 AR/MR 정보를 송수신하고, AR/MR 카메라(110)와 포즈 예측부(120)를 나타낸 것이다. 3rd party AR/MR 촬영 장치(10)의 기본적인 동작은 3rd party AR/MR 서비스에서 제공하는 AR/MR 오브젝트를 디스플레이 하기 위해 필요한 정보(Marker/특징점, AR/MR, 3D Model 정보)를 획득하고 3rd party AR/MR 촬영 장치(10)와 AR/MR 서비스 장치(20) 간 상대 좌표를 계산하여, 실시간으로 AR/MR 카메라(110)에 촬영된 영상에 AR/MR 오브젝트를 생성하는 것이다.
도 2를 참조하면, AR/MR 오브젝트(210)은 AR/MR 서비스에서 제공하는 3D Model 데이터를 수신함으로 획득될 수 있다. 마커/특징점(Markerless)(220)은 디스플레이 화면에서 객체를 매칭하기 위한 매칭 포인트 정보가 될 수 있다. 제어 정보(230)는 AR/MR 오브젝트가 360도 콘텐츠 또는 3D 콘텐츠일 경우, AR/MR 서비스 사용자가 AR/MR 오브젝트의 각도를 변경시킬 수 있으므로, 해당 정보 기반으로 동기화(sync)를 위한 정보일 수 있다.
그리고 포즈예측부(120)는 AR/MR 서비스 장치(20)와 3rd party AR/MR 촬영 장치(10) 간의 위치를 측정하기 위한 모듈로서, BLE/UWB 를 활용하여 해당 정보에 따라 AR/MR 오브젝트의 원근감을 표현할 수 있으며, 촬영 장치의 각도와 거리 변화에 따른 오브젝트 표시를 위해 실시간으로 각도를 측정할 수 있다.
도 3은 본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치에서 포즈 예측부를 설명하기 위한 도면이다.
3rd party AR/MR 촬영장치인 장치B(10)의 포즈 예측(Pose Estimation)을 위해 AR/MR 서비스 장치인 장치A(20)를 들고 있는 사용자와의 거리(거리 B)를 계산하고, 장치A(20)에서 전달받은 AR/MR 오브젝트(30)와의 가상거리(거리 A)를 이용하여 장치B(10)와 AR/MR 오브젝트(30)의 상대거리(거리 C)를 계산하여, 장치B(10)의 디스플레이 화면에 원근법에 맞도록 AR/MR 오브젝트(30)의 위치 각도 거리 정보를 이용하여 AR/MR 오브젝트(30)를 띄어 준다. 즉, 거리 A 값과 거리 B 값을 획득하여 거리 A와 거리 B 이용하여 거리 C를 계산할 수 있다.
여기서 거리 B는 AR/MR 서비스에서 제공할 수 있으며, 카메라 거리측정 센서를 통해서도 획득할 수 있다. 예를 들어 물체를 감지해 거리를 맵핑하는 센싱하는 라이다(Light Detection And Ranging, LiDAR) 센서를 이용할 수 있다.
도 4는 본 발명의 일실시예에 따른 3rd party AR/MR 촬영방법을 흐름도로 나타낸 것이다. 도 1 및 도 4를 참조하여 본 발명의 일실시예에 따른 3rd party AR/MR 촬영방법을 설명하기로 한다.
AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 3rd party AR/MR 촬영 방법은 AR/MR 카메라(110)가 상기 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치(20)와 AR/MR 서비스 장치(20)의 사용자를 촬영한다.(S410단계)
AR/MR 정보 송수신부(130)가 AR/MR 서비스 장치(20)와 통신하며, AR/MR 서비스 장치(20)로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커(Marker)/특징점 정보 및 AR/MR 서비스 장치(20)에서의 상기 AR/MR 오브젝트의 각도 변화에 따른 동기화를 위한 제어정보를 포함하는 AR/MR 정보를 수신한다. (S420단계) 여기서, 마커(Marker)/특징점 정보는 AR/MR 카메라(110)로 스캔하면서 AR/MR 카메라(110) 전체가 가지고 있는 공간 데이터 중에 AR/MR 오브젝트가 어디에 위치하는지를 나타내는 정보를 포함할 수 있다. 동일한 카메라로 스캔하면 동일한 위치 정보를 획득할 수 있다.
포즈 예측부(120)가 AR/MR 서비스 장치(20)와 AR/MR 카메라(110) 간의 상대 위치를 계산하여 상기 AR/MR 오브젝트의 포즈 정보를 예측한다.(S430단계) 구체적으로, 상기 AR/MR 오브젝트의 포즈 정보 예측은 AR/MR 서비스 장치(20)와 AR/MR 카메라(110) 간의 위치를 측정하며, 상기 위치 정보에 따라 AR/MR 오브젝트의 원근감을 표현할 수 있으며, AR/MR 카메라(110)의 촬영 각도와 AR/MR 오브젝트와의 거리 변화에 따른 AR/MR 오브젝트를 표시하기 위해 실시간으로 각도를 측정할 수 있다. 예를 들어, 3D 오브젝트 360도 오브젝트에 대해 AR/MR 서비스장치(10)를 들고 있는 사용자가 AR/MR 오브젝트의 비스듬히 또는 옆면으로 돌리면 이를 나타내기 위해 촬영하는 입장에서 AR/MR 오브젝트가 어느 정도의 각도에 있는지 촬영 위치에 따른 위치 공간을 감안하여 어디에 어느 각도로 객체가 있는지 계산할 수 있다.
3rd party AR/MR 서비스부(140)가 상기 수신한 AR/MR 오브젝트 정보, 마커/특징점 정보 및 제어정보를 이용하여 상기 마커/특징점 정보에 상응하는 위치에 상기 수신한 AR/MR 오브젝트를 생성한다.(S440단계)
상기 3rd party AR/MR 서비스부(140)가 상기 포즈 정보를 반영하여 AR/MR 카메라(110)에 의해 촬영된 영상에 상기 생성된 AR/MR 오브젝트가 겹쳐 보이게 디스플레이한다.(S450단계)
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 3rd Party AR/MR 촬영 장치
20 : AR/MR 서비스 장치
30 : AR/MR 오브젝트
110 : AR/MR 카메라
120 : 포즈 예측부
130 : AR/MR 정보 송수신부
140 : 3rd Party AR/MR 서비스부

Claims (9)

  1. AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 3rd party AR/MR 촬영 장치에 있어서,
    상기 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치와 상기 AR/MR 서비스 장치 사용자를 촬영하는 AR/MR 카메라;
    상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 상대 위치를 계산하여 상기 AR/MR 오브젝트의 포즈 정보를 예측하는 포즈예측부;
    상기 AR/MR 서비스 장치와 통신하며, 상기 AR/MR 서비스 장치로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커(Marker)/특징점 정보를 포함하는 AR/MR 정보를 수신하는 AR/MR 정보 송수신부; 및
    상기 수신한 AR/MR 정보를 이용하여 상기 마커/특징점 정보에 상응하는 위치에 상기 수신한 AR/MR 오브젝트를 생성하여 상기 포즈예측부에 의해 예측된 포즈 정보를 반영하여 상기 AR/MR 카메라에 의해 촬영된 영상에 상기 생성된 AR/MR 오브젝트가 겹쳐 보이게 하는 3rd party AR/MR 서비스부를 포함하는, 3rd party AR/MR 촬영 장치.
  2. 제1항에 있어서, 상기 포즈 예측부는
    상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 위치를 측정하며, 상기 위치 정보에 따라 AR/MR 오브젝트의 원근감을 표현하며, 상기 AR/MR 카메라의 촬영 각도와 AR/MR 오브젝트와의 거리 변화에 따른 AR/MR 오브젝트를 표시하기 위해 실시간으로 각도를 측정하는 것을 특징으로 하는 3rd party AR/MR 촬영 장치.
  3. 제1항에 있어서, 상기 AR/MR 오브젝트 정보는
    상기 AR/MR 서비스 장치에 제공되는 3차원 모델 데이터인 것을 특징으로 하는, 3rd party AR/MR 촬영 장치.
  4. 제1항에 있어서, 상기 마커/특징점 정보는
    상기 디스플레이 화면에서 상기 AR/MR 오브젝트를 매칭하기 위한 매칭 포인트 정보인 것을 특징으로 하는, 3rd party AR/MR 촬영 장치.
  5. 제1항에 있어서, 상기 AR/MR정보는
    상기 AR/MR 오브젝트가 360도 입체 콘텐츠 또는 3차원 콘텐츠일 경우 AR/MR 서비스 사용자에 의해 상기 AR/MR 오브젝트의 각도가 변경될 경우 상기 변경된 각도에 상응하도록 상기 디스플레이 화면 상에서의 AR/MR 오브젝트의 각도를 동기화하는 제어정보를 포함하는, 3rd party AR/MR 촬영 장치.
  6. 제1항에 있어서, 상기 AR/MR 정보 송수신부는
    근거리 통신을 통해 상기 AR/MR 서비스 장치와 직접 통신하거나 서버를 통해 상기 AR/MR 서비스 장치와 통신하는 것을 특징으로 하는, 3rd party AR/MR 촬영 장치.
  7. 제1항에 있어서,
    상기 AR/MR 정보 송수신부는 상기 AR/MR 서비스 장치에서 사용자와 AR/MR 오브젝트 간의 인터랙션 정보를 수신하고,
    3rd party AR/MR 서비스부는 상기 디스플레이 화면에 상기 인터랙션 정보를 디스플레이 화면에 반영하는 것을 특징으로 하는, 3rd party AR/MR 촬영 장치.
  8. AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 3rd party AR/MR 촬영 방법에 있어서,
    AR/MR 카메라가 상기 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치와 상기 AR/MR 서비스 장치 사용자를 촬영하는 단계;
    AR/MR 정보 송수신부가 상기 AR/MR 서비스 장치와 통신하며, 상기 AR/MR 서비스 장치로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커/특징점 정보를 포함하는 AR/MR 정보를 수신하는 단계;
    포즈 예측부가 상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 상대 위치를 계산하여 상기 AR/MR 오브젝트의 포즈 정보를 예측하는 단계;
    3rd party AR/MR 서비스부가 상기 수신한 AR/MR 정보를 이용하여 상기 마커/특징점 정보에 상응하는 위치에 상기 수신한 AR/MR 오브젝트를 생성하는 단계;
    상기 3rd party AR/MR 서비스부가 상기 포즈 정보를 반영하여 상기 AR/MR 카메라에 의해 촬영된 영상에 상기 생성된 AR/MR 오브젝트가 겹쳐 보이게 하는 단계를 포함하는, 3rd party AR/MR 촬영 방법.
  9. 제8항에 있어서, 상기 AR/MR 오브젝트의 포즈 정보를 예측하는 단계;
    상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 위치를 측정하며, 상기 위치 정보에 따라 AR/MR 오브젝트의 원근감을 표현하며, 상기 AR/MR 카메라의 촬영 각도와 AR/MR 오브젝트와의 거리 변화에 따른 AR/MR 오브젝트를 표시하기 위해 실시간으로 각도를 측정하는 것을 특징으로 하는 3rd party AR/MR 촬영 방법.

KR1020210146427A 2021-10-29 2021-10-29 3rd party AR/MR 촬영 장치 및 방법 KR102581380B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210146427A KR102581380B1 (ko) 2021-10-29 2021-10-29 3rd party AR/MR 촬영 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210146427A KR102581380B1 (ko) 2021-10-29 2021-10-29 3rd party AR/MR 촬영 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230061812A KR20230061812A (ko) 2023-05-09
KR102581380B1 true KR102581380B1 (ko) 2023-09-21

Family

ID=86409016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210146427A KR102581380B1 (ko) 2021-10-29 2021-10-29 3rd party AR/MR 촬영 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102581380B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061870A (ja) * 2011-09-14 2013-04-04 Namco Bandai Games Inc プログラム、情報記憶媒体及び電子機器
JP2013059541A (ja) 2011-09-14 2013-04-04 Namco Bandai Games Inc プログラム、情報記憶媒体、ゲーム装置及びコンピュータ
JP2013059542A (ja) 2011-09-14 2013-04-04 Namco Bandai Games Inc プログラム、情報記憶媒体及びゲーム装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200008359A (ko) 2018-07-16 2020-01-28 주식회사 팝스라인 Mr 콘텐츠 제공 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061870A (ja) * 2011-09-14 2013-04-04 Namco Bandai Games Inc プログラム、情報記憶媒体及び電子機器
JP2013059541A (ja) 2011-09-14 2013-04-04 Namco Bandai Games Inc プログラム、情報記憶媒体、ゲーム装置及びコンピュータ
JP2013059542A (ja) 2011-09-14 2013-04-04 Namco Bandai Games Inc プログラム、情報記憶媒体及びゲーム装置

Also Published As

Publication number Publication date
KR20230061812A (ko) 2023-05-09

Similar Documents

Publication Publication Date Title
CN109064545B (zh) 一种对房屋进行数据采集和模型生成的方法及装置
US10692288B1 (en) Compositing images for augmented reality
KR101637990B1 (ko) 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링
EP2328125A1 (en) Image splicing method and device
KR20130136569A (ko) 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
KR20190045317A (ko) 화상 처리 장치, 화상 생성 방법 및 컴퓨터 프로그램
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
EP2992507A1 (en) Methods for facilitating computer vision application initialization
CN102959616A (zh) 自然交互的交互真实性增强
US20120027305A1 (en) Apparatus to provide guide for augmented reality object recognition and method thereof
CN112689854A (zh) 动画合成装置、动画合成方法以及记录介质
US10672191B1 (en) Technologies for anchoring computer generated objects within augmented reality
CN112740284A (zh) 动画合成装置、动画合成方法以及记录介质
CN108932055B (zh) 一种增强现实内容的方法和设备
CN113382224B (zh) 一种基于全息沙盘的交互手柄展示方法及装置
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
CN111145189B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
KR102581380B1 (ko) 3rd party AR/MR 촬영 장치 및 방법
JP6412685B2 (ja) 映像投影装置
JP2020101897A (ja) 情報処理装置、情報処理方法及びプログラム
WO2021147749A1 (zh) 实现3d显示的方法、装置及3d显示系统
US11238658B2 (en) AR space image projecting system, AR space image projecting method, and user terminal
CN110784728B (zh) 一种图像数据处理方法、装置、以及计算机可读存储介质
CN107426522B (zh) 基于虚拟现实设备的视频方法和系统
KR101860215B1 (ko) 프로젝터 자세에 연동하는 콘텐츠 디스플레이 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant