KR20230061812A - Device and method of photographing both AR/MR object and AR/MR user at 3rd party System - Google Patents

Device and method of photographing both AR/MR object and AR/MR user at 3rd party System Download PDF

Info

Publication number
KR20230061812A
KR20230061812A KR1020210146427A KR20210146427A KR20230061812A KR 20230061812 A KR20230061812 A KR 20230061812A KR 1020210146427 A KR1020210146427 A KR 1020210146427A KR 20210146427 A KR20210146427 A KR 20210146427A KR 20230061812 A KR20230061812 A KR 20230061812A
Authority
KR
South Korea
Prior art keywords
information
service
party
service device
camera
Prior art date
Application number
KR1020210146427A
Other languages
Korean (ko)
Other versions
KR102581380B1 (en
Inventor
백용재
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020210146427A priority Critical patent/KR102581380B1/en
Publication of KR20230061812A publication Critical patent/KR20230061812A/en
Application granted granted Critical
Publication of KR102581380B1 publication Critical patent/KR102581380B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3rd party AR/MR 촬영 장치 및 방법에 관한 것으로서, 그 3rd party AR/MR 촬영 장치는 AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 3rd party AR/MR 촬영 장치에 있어서 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치와 AR/MR 서비스 장치 사용자를 촬영하는 AR/MR 카메라; 그 AR/MR 서비스 장치와 AR/MR 카메라 간의 상대 위치를 계산하여 AR/MR 오브젝트의 포즈 정보를 예측하는 포즈예측부; AR/MR 서비스 장치와 통신하며, AR/MR 서비스 장치로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커(Marker)/특징점 정보 및 상기 AR/MR 서비스 장치에서의 AR/MR 오브젝트의 각도 변화에 따른 동기화를 위한 제어정보를 포함하는 AR/MR 정보를 수신하는 AR/MR 정보 송수신부; 및 AR/MR 오브젝트 정보, 마커/특징점 정보 및 제어정보를 이용하여 마커/특징점 정보에 상응하는 위치에 AR/MR 오브젝트를 생성하여 포즈예측부에 의해 예측된 포즈 정보를 반영하여 AR/MR 카메라에 의해 촬영된 영상에 AR/MR 오브젝트가 겹쳐 보이게 하는 3rd party AR/MR 서비스부를 포함할 수 있다. The present invention relates to a 3 rd party AR/MR shooting device and method, and the 3 rd party AR/MR shooting device mixes a user using an AR/MR service and an AR/MR object to take pictures In the /MR photographing device, an AR/MR camera for photographing the AR/MR service device in which the AR/MR service is being executed and the user of the AR/MR service device; a pose prediction unit that predicts pose information of an AR/MR object by calculating a relative position between the AR/MR service device and the AR/MR camera; It communicates with the AR/MR service device, and provides AR/MR object information from the AR/MR service device, marker/feature point information indicating location information of the AR/MR object on the display screen, and the AR/MR service. an AR/MR information transmission/reception unit for receiving AR/MR information including control information for synchronization according to an angle change of an AR/MR object in the device; And by using the AR/MR object information, marker/feature point information, and control information, an AR/MR object is created at a position corresponding to the marker/feature point information, and the pose information predicted by the pose prediction unit is reflected to the AR/MR camera. It may include a 3rd party AR/MR service unit that makes the AR/MR object appear to overlap with the image taken by the user.

Description

3rd party AR/MR 촬영 장치 및 방법 {Device and method of photographing both AR/MR object and AR/MR user at 3rd party System}3rd party AR/MR photographing device and method {Device and method of photographing both AR/MR object and AR/MR user at 3rd party System}

본 발명은 AR/MR 에 속하는 기술로, 특히 AR/MR 서비스를 사용하고 있는 사용자와 AR/MR 콘텐츠를 제3자가 카메라로 촬영할 수 있는 3rd party AR/MR 촬영 장치 및 방법에 관한 것이다. The present invention is a technology belonging to AR/MR, and particularly relates to a 3 rd party AR/MR photographing apparatus and method in which a user using an AR/MR service and a third party can photograph AR/MR contents with a camera.

가상현실(Virtual Reality, VR)은 실제와 비슷하지만 실제가 아닌 환경을 말하며, 사람의 시각 능력을 그대로 재현하는 것이다. 즉, 사람의 눈을 속여 눈 앞에 보이는 영상이 가짜가 아닌 진짜라고 믿게 만드는 것이다. 가상현실은 특정 환경을 구현한 후, 구현된 특정 환경을 사용하는 사람이 마치 실제 주변 상황과 상호 작용을 하고 있는 것처럼 만들어주는 인간과 컴퓨터 사이의 인터페이스를 의미한다. 이러한 가상현실 기술은 사람들이 일상생활에서 경험하기 어려운 환경을 직접 체험하지 않고서도 가상의 환경에 서 실제와 유사함 경험을 제공하고 있다.Virtual Reality (VR) refers to an environment that is similar to reality but is not real, and reproduces human visual abilities as it is. In other words, it tricks people's eyes into believing that the video they see in front of them is real, not fake. Virtual reality refers to an interface between humans and computers that, after implementing a specific environment, makes it as if a person using the implemented specific environment is interacting with real surroundings. This virtual reality technology provides a similar experience to the real world in a virtual environment without directly experiencing an environment that is difficult for people to experience in everyday life.

따라서 VR 기술은 실제 현실의 특정 환경, 상황 또는 가상의 시나리오를 컴퓨터 모델링을 통해 구축하고 이러한 가상환경에서 사용자가 상호작용 할 수 있게 한다.Therefore, VR technology builds a specific environment, situation, or virtual scenario in the real world through computer modeling, and allows users to interact in this virtual environment.

증강 현실(AR, Augmented Reality)이란 현실의 이미지나 배경에 3차원의 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술을 말한다. 증강 현실은 현실과 가상을 혼합된 영상으로 제공함으로써, 실제 환경 보다 나은 현실감과 부가 정보를 사용자에게 제공한다는 장점을 가지고 있다. Augmented Reality (AR) refers to a technology that overlays a 3D virtual image on a real image or background and displays it as a single image. Augmented reality has the advantage of providing users with a better sense of reality and additional information than a real environment by providing real and virtual images as a mixed image.

간략하게 설명하면, VR 기술은 현실 세계의 객체나 배경 등을 CG (Computer Graphic) 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR (Mixed) 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다. 전술한 VR, AR, MR 등을 모두 간단히 XR (Extended Reality) 기술로 지칭하기도 한다.Briefly, VR technology provides only CG (Computer Graphic) images of objects or backgrounds in the real world, AR technology provides virtual CG images on top of real object images, and MR (Mixed) technology provides It is a computer graphics technology that mixes and combines virtual objects in the real world. All of the aforementioned VR, AR, MR, etc. are simply referred to as XR (Extended Reality) technology.

XR 분야의 종래 기술은 AR/MR 서비스가 제공되는 장치 관점에서 현실 세계와 가상 오브젝트(object) 및 세계를 적절하게 혼합하는 방법, 가상 오브젝트를 Rich하게 표현하는 방법에 대한 기술이 주로 다루어지고 있다.Conventional technologies in the field of XR are mainly dealing with technologies for how to properly mix the real world and virtual objects and worlds and how to richly express virtual objects from the point of view of a device to which AR/MR services are provided.

XR 분야의 종래 기술은 사용자의 장치 중심의 화면 구성에 대하여 논의되어 왔으며, 외부에서 제3자가 사용자와 가상 오브젝트를 3인칭 시점에서 촬영할 수 있는 기술은 없다. 종래 특허(공개특허 10-2020-008359, 발명의 명칭 : MR 콘텐츠 제공시스쳄 및 그 방법)의 경우에도 다른 장치(디바이스)를 통하여 콘텐츠를 수신 받고 제공하는 수준에 머물러 있다.Conventional technologies in the field of XR have been discussed with respect to the screen composition centered on the user's device, and there is no technology that allows a third person to photograph the user and a virtual object from a third person perspective. Even in the case of the prior patent (Public Patent Publication 10-2020-008359, title of invention: MR content providing system and method), it remains at the level of receiving and providing content through other devices (devices).

종래 기술은 콘텐츠 및 오브젝트를 교환하는 방식에 대해서는 다양하나 사용자를 AR/MR 서비스를 사용하는 신(scene)을 포함하여 3인칭 시점에서 촬영하기 위해서는, 사용자와 촬영자의 거리를 인식하고 원근법에 따라 가상객체에도 크기 조정을 해야 하는데 크기 조정을 할 수 있는 방법이 없으며, 실시간으로 객체의 포즈(Pose) 변화를 전달받는 방법도 없다.The prior art has various methods for exchanging content and objects, but in order to photograph a user from a third-person perspective, including a scene using AR/MR service, the distance between the user and the photographer is recognized and virtual virtual Objects also need to be resized, but there is no way to resize them, and there is no way to receive changes in the object's pose in real time.

공개특허공보 제10-2020-0008359호, 2020.01.28)Publication No. 10-2020-0008359, 2020.01.28)

본 발명이 해결하고자 하는 과제는 상술한 문제점들을 해결하기 위해 창출된 것으로서, 3rd party AR/MR 카메라 장치로 증강현실/혼합현실(AR/MR) 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 실시간으로 촬영할 수 있는 3rd party AR/MR 촬영 장치 및 방법을 제공하는 것이다.The problem to be solved by the present invention was created to solve the above problems, and the user and the AR / MR object using the augmented reality / mixed reality (AR / MR) service with a 3 rd party AR / MR camera device It is to provide a 3 rd party AR/MR shooting device and method that can be mixed and filmed in real time.

상기 기술적 과제를 해결하기 위한 본 발명에 의한 3rd party AR/MR 촬영 장치는, AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 3rd party AR/MR 촬영 장치에 있어서, 상기 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치와 상기 AR/MR 서비스 장치 사용자를 촬영하는 AR/MR 카메라; 상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 상대 위치를 계산하여 상기 AR/MR 오브젝트의 포즈 정보를 예측하는 포즈예측부; 상기 AR/MR 서비스 장치와 통신하며, 상기 AR/MR 서비스 장치로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커(Marker)/특징점 정보를 포함하는 AR/MR 정보를 수신하는 AR/MR 정보 송수신부; 및 상기 수신한 AR/MR 정보를 이용하여 상기 마커/특징점 정보에 상응하는 위치에 상기 수신한 AR/MR 오브젝트를 생성하여 상기 포즈예측부에 의해 예측된 포즈 정보를 반영하여 상기 AR/MR 카메라에 의해 촬영된 영상에 상기 생성된 AR/MR 오브젝트가 겹쳐 보이게 하는 3rd party AR/MR 서비스부를 포함할 수 있다.The 3rd party AR/MR shooting device according to the present invention for solving the above technical problem is a 3rd party AR/MR shooting device that mixes and shoots a user using an AR/MR service and an AR/MR object. an AR/MR camera for photographing the AR/MR service device on which the AR/MR service is being executed and a user of the AR/MR service device; a pose prediction unit for predicting pose information of the AR/MR object by calculating a relative position between the AR/MR service device and the AR/MR camera; AR that communicates with the AR/MR service device and includes AR/MR object information from the AR/MR service device and marker/feature point information representing location information of the AR/MR object on a display screen AR/MR information transceiver for receiving /MR information; And by using the received AR/MR information, the received AR/MR object is created at a position corresponding to the marker/feature point information, and the pose information predicted by the pose prediction unit is reflected to the AR/MR camera. It may include a 3rd party AR/MR service unit that makes the generated AR/MR object appear to overlap with the image taken by the user.

상기 포즈 예측부는 상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 위치를 측정하며, 상기 위치 정보에 따라 AR/MR 오브젝트의 원근감을 표현하며, 상기 AR/MR 카메라의 촬영 각도와 AR/MR 오브젝트와의 거리 변화에 따른 AR/MR 오브젝트를 표시하기 위해 실시간으로 각도를 측정할 수 있다. 상기 AR/MR 오브젝트 정보는 상기 AR/MR 서비스 장치에 제공되는 3차원 모델 데이터를 일 수 있고, 상기 마커/특징점 정보는 상기 디스플레이 화면에서 상기 AR/MR 오브젝트를 매칭하기 위한 매칭 포인트 정보일 수 있다. 상기 AR/MR정보는 상기 AR/MR 오브젝트가 360도 입체 콘텐츠 또는 3차원 콘텐츠일 경우 AR/MR 서비스 사용자에 의해 상기 AR/MR 오브젝트의 각도가 변경될 경우 상기 변경된 각도에 상응하도록 상기 디스플레이 화면 상에서의 AR/MR 오브젝트의 각도를 동기화하는 제어정보일 수 있다.The pose predictor measures the position between the AR/MR service device and the AR/MR camera, expresses the perspective of the AR/MR object according to the position information, and measures the shooting angle of the AR/MR camera and the AR/MR object. The angle can be measured in real time to display the AR/MR object according to the change in distance. The AR/MR object information may be 3D model data provided to the AR/MR service device, and the marker/feature point information may be matching point information for matching the AR/MR object on the display screen. . The AR/MR information is displayed on the display screen to correspond to the changed angle when the AR/MR object is changed by an AR/MR service user when the AR/MR object is 360-degree stereoscopic content or 3D content. It may be control information for synchronizing the angle of the AR/MR object.

상기 AR/MR 정보 송수신부는 근거리 통신을 통해 상기 AR/MR 서비스 장치와 직접 통신하거나 서버를 통해 상기 AR/MR 서비스 장치와 통신할 수 있고, 상기 AR/MR 정보 송수신부는 상기 AR/MR 서비스 장치에서 사용자와 AR/MR 오브젝트 간의 인터랙션 정보를 수신하고, 3rd party AR/MR 서비스부는 상기 디스플레이 화면에 상기 인터랙션 정보를 디스플레이 화면에 반영할 수 있다.The AR/MR information transmission/reception unit may directly communicate with the AR/MR service device through short-range communication or communicate with the AR/MR service device through a server, and the AR/MR information transmission/reception unit may communicate with the AR/MR service device through a server. Upon receiving interaction information between the user and the AR/MR object, the 3 rd party AR/MR service unit may reflect the interaction information on the display screen.

상기 기술적 과제를 해결하기 위한 본 발명에 의한 3rd party AR/MR 촬영 방법은, AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 3rd party AR/MR 촬영 방법에 있어서, AR/MR 카메라가 상기 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치와 상기 AR/MR 서비스 장치 사용자를 촬영하는 단계; AR/MR 정보 송수신부가 상기 AR/MR 서비스 장치와 통신하며, 상기 AR/MR 서비스 장치로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커/특징점 정보를 포함하는 AR/MR 정보를 수신하는 단계; 포즈 예측부가 상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 상대 위치를 계산하여 상기 AR/MR 오브젝트의 포즈 정보를 예측하는 단계; 3rd party AR/MR 서비스부가 상기 수신한 AR/MR 정보를 이용하여 상기 마커/특징점 정보에 상응하는 위치에 상기 수신한 AR/MR 오브젝트를 생성하는 단계; 상기 3rd party AR/MR 서비스부가 상기 포즈 정보를 반영하여 상기 AR/MR 카메라에 의해 촬영된 영상에 상기 생성된 AR/MR 오브젝트가 겹쳐 보이게 하는 단계를 포함할 수 있다.The 3rd party AR/MR shooting method according to the present invention for solving the above technical problem is a 3rd party AR/MR shooting method in which a user using an AR/MR service and an AR/MR object are mixed and photographed. , AR/MR camera photographing the AR/MR service device where the AR/MR service is being executed and the user of the AR/MR service device; The AR/MR information transmission/reception unit communicates with the AR/MR service device, and the AR/MR service device receives AR/MR object information and marker/feature point information indicating location information of the AR/MR object on the display screen. Receiving AR/MR information including; predicting pose information of the AR/MR object by a pose prediction unit calculating a relative position between the AR/MR service device and the AR/MR camera; generating, by a 3 rd party AR/MR service unit, the received AR/MR object at a location corresponding to the marker/feature point information using the received AR/MR information; The 3 rd party AR/MR service unit may include reflecting the pose information so that the generated AR/MR object overlaps with an image captured by the AR/MR camera.

상기 AR/MR 오브젝트의 포즈 정보 예측 단계는 상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 위치를 측정하며, 상기 위치 정보에 따라 AR/MR 오브젝트의 원근감을 표현하며, 상기 AR/MR 카메라의 촬영 각도와 AR/MR 오브젝트와의 거리 변화에 따른 AR/MR 오브젝트를 표시하기 위해 실시간으로 각도를 측정하는 것을 포함할 수 있다.The step of predicting the pose information of the AR/MR object measures the position between the AR/MR service device and the AR/MR camera, expresses the perspective of the AR/MR object according to the position information, and It may include measuring an angle in real time to display an AR/MR object according to a change in a shooting angle and a distance between the AR/MR object and the AR/MR object.

본 발명에 따른 3rd party AR/MR 촬영 장치 및 방법에 의하면, AR/MR 카메라로 증강현실/혼합현실(AR/MR) 서비스를 이용하고 있는 사용자들과 AR/MR 오브젝트를 혼합하여 촬영할 수 있다. 이렇게 함으로써, 가상현실 서비스를 체험하고 있는 상황을 사진과 동영상으로 촬영할 수 있다. 예를 들어, 포켓몬고 게임을 하고 있는 사람을 촬영하면 포켓몬과 함께 촬영할 수 있으며, 이를 통해 SNS 등에 공유가 가능하고 short form contents로서 제작할 수 있다. According to the 3 rd party AR/MR shooting device and method according to the present invention, it is possible to mix AR/MR objects with users using augmented reality/mixed reality (AR/MR) services with an AR/MR camera. . By doing this, it is possible to take pictures and videos of the situation in which the virtual reality service is being experienced. For example, if a person playing a Pokemon Go game is photographed, the Pokemon can be photographed together, and through this, it can be shared on SNS, etc., and can be produced as short form contents.

또한 본 발명에 의하면, 3인칭 시점(3rd party)에서 개인방송을 위한 콘텐츠 생성이 가능해진다. 나아가 다른 사람이 체험하고 있는 AR/MR서비스에 대한 간접 경험이 및 실시간으로 옆에서 함께 감상하며 대화할 수 있는 사용 장면(scene)도 구현 가능하다.In addition, according to the present invention, it is possible to create content for personal broadcasting from a 3 rd party. Furthermore, it is possible to realize an indirect experience of the AR/MR service that others are experiencing and a use scene where you can enjoy and talk together in real time.

도 1은 본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치의 구성을 블록도로 나타낸 것이다.
도 2는 본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치와 AR/MR 서비스 장치 간의 AR/MR 정보를 송수신하고, AR/MR 카메라와 포즈 예측부를 나타낸 것이다.
도 3은 본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치에서 포즈 예측부를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 3rd party AR/MR 촬영방법을 흐름도로 나타낸 것이다.1 is a block diagram showing the configuration of a 3 rd party AR/MR imaging device according to an embodiment of the present invention.
2 shows AR/MR information transmitted and received between a 3 rd party AR/MR photographing device and an AR/MR service device, and an AR/MR camera and a pose prediction unit according to an embodiment of the present invention.
3 is a diagram for explaining a pose prediction unit in a 3 rd party AR/MR imaging device according to an embodiment of the present invention.
4 is a flowchart showing a 3 rd party AR/MR imaging method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Since the embodiments described in this specification and the configurations shown in the drawings are only one preferred embodiment of the present invention and do not represent all of the technical spirit of the present invention, various equivalents that can replace them at the time of the present application It should be understood that there may be variations and variations.

도 1은 본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치의 구성을 블록도로 나타낸 것이다.1 is a block diagram showing the configuration of a 3 rd party AR/MR imaging device according to an embodiment of the present invention.

본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치(10)는 AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 장치로서, AR/MR 카메라(110), 포즈예측부(120), AR/MR 정보 송수신부(130) 및 3rd party AR/MR 서비스부(140)를 포함하여 이루어진다.The 3 rd party AR/MR photographing device 10 according to an embodiment of the present invention is a device for mixing and photographing a user using an AR/MR service and an AR/MR object, and includes an AR/MR camera 110, It includes a pose prediction unit 120, an AR/MR information transmission/reception unit 130, and a 3 rd party AR/MR service unit 140.

AR/MR 카메라(110)는 상기 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치(20)와 AR/MR 서비스 장치 사용자를 촬영한다. The AR/MR camera 110 photographs the AR/MR service device 20 where the AR/MR service is being executed and the user of the AR/MR service device.

포즈예측부(120)는 AR/MR 서비스 장치(20)와 AR/MR 카메라(110) 간의 상대 위치를 계산하여 상기 AR/MR 오브젝트의 포즈 정보를 예측한다. 포즈 예측부(120)는 AR/MR 서비스 장치(20)와 AR/MR 카메라(110) 간의 위치를 측정하며, 상기 위치 정보에 따라 AR/MR 오브젝트의 원근감을 표현하며, AR/MR 카메라(110)의 촬영 각도와 AR/MR 오브젝트와의 거리 변화에 따른 AR/MR 오브젝트를 표시하기 위해 실시간으로 각도를 측정할 수 있다.The pose prediction unit 120 calculates the relative position between the AR/MR service device 20 and the AR/MR camera 110 to predict pose information of the AR/MR object. The pose predictor 120 measures the position between the AR/MR service device 20 and the AR/MR camera 110, and expresses the perspective of the AR/MR object according to the position information, and the AR/MR camera 110 ) and the angle can be measured in real time to display the AR/MR object according to the change in the distance to the AR/MR object.

AR/MR 정보 송수신부(130)는 AR/MR 서비스 장치(20)와 통신하며, AR/MR 서비스 장치(20)로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커/특징점 정보 및 상기 AR/MR 서비스 장치에서의 상기 AR/MR 오브젝트의 각도 변화에 따른 동기화를 위한 제어정보를 포함하는 AR/MR 정보를 수신한다. The AR/MR information transmission/reception unit 130 communicates with the AR/MR service device 20, receives AR/MR object information from the AR/MR service device 20, and the position where the AR/MR object is located on the display screen. AR/MR information including marker/feature point information indicating information and control information for synchronization according to angle change of the AR/MR object in the AR/MR service device is received.

상기 AR/MR 오브젝트 정보는 상기 AR/MR 서비스 장치에 제공되는 3차원 모델 데이터를 포함한다. 상기 마커/특징점 정보는 상기 디스플레이 화면에서 상기 AR/MR 오브젝트를 매칭하기 위한 매칭 포인트 정보를 포함한다. 상기 제어정보는 상기 AR/MR 오브젝트가 360도 입체 콘텐츠 또는 3차원 콘텐츠일 경우 AR/MR 서비스 사용자에 의해 상기 AR/MR 오브젝트의 각도가 변경될 경우 상기 변경된 각도에 상응하도록 상기 디스플레이 화면 상에서의 AR/MR 오브젝트의 각도를 동기화하는 정보를 포함한다.The AR/MR object information includes 3D model data provided to the AR/MR service device. The marker/feature point information includes matching point information for matching the AR/MR object on the display screen. When the AR/MR object is 360-degree stereoscopic content or 3D content, the control information corresponds to the changed angle of the AR/MR object when the AR/MR service user changes the AR/MR object on the display screen. /MR Contains information to synchronize the angle of the object.

또한 AR/MR 정보 송수신부(130)는 근거리 통신을 통해 상기 AR/MR 서비스 장치(20)와 직접 통신하거나 서버(미도시)를 통해 AR/MR 서비스 장치(20)와 통신할 수 있고, AR/MR 서비스 장치(20)에서의 사용자와 AR/MR 오브젝트 간의 인터랙션 정보를 수신할 수 있다.In addition, the AR/MR information transceiver 130 may directly communicate with the AR/MR service device 20 through short-range communication or communicate with the AR/MR service device 20 through a server (not shown), Interaction information between a user in the /MR service device 20 and an AR/MR object may be received.

3rd party AR/MR 서비스부(140)는 상기 수신한 AR/MR 오브젝트 정보, 마커/특징점 정보 및 제어정보를 이용하여 상기 마커/특징점 정보에 상응하는 위치에 상기 수신한 AR/MR 오브젝트를 생성하고, 포즈예측부(120)에 의해 예측된 포즈 정보를 반영하여 AR/MR 카메라(110)에 의해 촬영된 영상에 상기 생성된 AR/MR 오브젝트가 겹쳐 보이게 디스플레이한다. 또한 3rd party AR/MR 서비스부(140)는 AR/MR 정보 송수신부(130)가 AR/MR 서비스 장치(20)에서의 사용자와 AR/MR 오브젝트 간의 인터랙션 정보를 수신하면 상기 디스플레이 화면에 상기 인터랙션 정보를 디스플레이 화면에 반영할 수 있다.The 3rd party AR/MR service unit 140 uses the received AR/MR object information, marker/feature point information, and control information to generate the received AR/MR object at a location corresponding to the marker/feature point information Then, reflecting the pose information predicted by the pose predictor 120, the generated AR/MR object is displayed overlapping with the image captured by the AR/MR camera 110. In addition, the 3 rd party AR/MR service unit 140 displays the above information on the display screen when the AR/MR information transmission/reception unit 130 receives interaction information between the user and the AR/MR object in the AR/MR service device 20. Interaction information may be reflected on the display screen.

도 2는 본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치(10)와 AR/MR 서비스 장치(20) 간의 AR/MR 정보를 송수신하고, AR/MR 카메라(110)와 포즈 예측부(120)를 나타낸 것이다. 3rd party AR/MR 촬영 장치(10)의 기본적인 동작은 3rd party AR/MR 서비스에서 제공하는 AR/MR 오브젝트를 디스플레이 하기 위해 필요한 정보(Marker/특징점, AR/MR, 3D Model 정보)를 획득하고 3rd party AR/MR 촬영 장치(10)와 AR/MR 서비스 장치(20) 간 상대 좌표를 계산하여, 실시간으로 AR/MR 카메라(110)에 촬영된 영상에 AR/MR 오브젝트를 생성하는 것이다.2 shows transmission and reception of AR/MR information between the 3 rd party AR/MR photographing device 10 and the AR/MR service device 20 according to an embodiment of the present invention, and the AR/MR camera 110 and pose prediction Section 120 is shown. The basic operation of the 3rd party AR/MR shooting device 10 is to acquire information (marker/feature point, AR/MR, 3D Model information) necessary to display the AR/MR object provided by the 3rd party AR/MR service And by calculating the relative coordinates between the 3 rd party AR/MR shooting device 10 and the AR/MR service device 20, AR/MR objects are created in the image captured by the AR/MR camera 110 in real time. .

도 2를 참조하면, AR/MR 오브젝트(210)은 AR/MR 서비스에서 제공하는 3D Model 데이터를 수신함으로 획득될 수 있다. 마커/특징점(Markerless)(220)은 디스플레이 화면에서 객체를 매칭하기 위한 매칭 포인트 정보가 될 수 있다. 제어 정보(230)는 AR/MR 오브젝트가 360도 콘텐츠 또는 3D 콘텐츠일 경우, AR/MR 서비스 사용자가 AR/MR 오브젝트의 각도를 변경시킬 수 있으므로, 해당 정보 기반으로 동기화(sync)를 위한 정보일 수 있다. Referring to FIG. 2 , the AR/MR object 210 can be obtained by receiving 3D Model data provided by the AR/MR service. The marker/feature point (Markerless) 220 may be matching point information for matching objects on the display screen. The control information 230 is information for synchronization based on the information since the AR/MR service user can change the angle of the AR/MR object when the AR/MR object is 360-degree content or 3D content. can

그리고 포즈예측부(120)는 AR/MR 서비스 장치(20)와 3rd party AR/MR 촬영 장치(10) 간의 위치를 측정하기 위한 모듈로서, BLE/UWB 를 활용하여 해당 정보에 따라 AR/MR 오브젝트의 원근감을 표현할 수 있으며, 촬영 장치의 각도와 거리 변화에 따른 오브젝트 표시를 위해 실시간으로 각도를 측정할 수 있다.And the pose prediction unit 120 is a module for measuring the position between the AR/MR service device 20 and the 3 rd party AR/MR photographing device 10, and uses BLE/UWB to obtain AR/MR according to the corresponding information. The perspective of the object can be expressed, and the angle can be measured in real time to display the object according to the change in the angle and distance of the photographing device.

도 3은 본 발명의 일실시예에 따른 3rd party AR/MR 촬영 장치에서 포즈 예측부를 설명하기 위한 도면이다. 3 is a diagram for explaining a pose prediction unit in a 3 rd party AR/MR imaging device according to an embodiment of the present invention.

3rd party AR/MR 촬영장치인 장치B(10)의 포즈 예측(Pose Estimation)을 위해 AR/MR 서비스 장치인 장치A(20)를 들고 있는 사용자와의 거리(거리 B)를 계산하고, 장치A(20)에서 전달받은 AR/MR 오브젝트(30)와의 가상거리(거리 A)를 이용하여 장치B(10)와 AR/MR 오브젝트(30)의 상대거리(거리 C)를 계산하여, 장치B(10)의 디스플레이 화면에 원근법에 맞도록 AR/MR 오브젝트(30)의 위치 각도 거리 정보를 이용하여 AR/MR 오브젝트(30)를 띄어 준다. 즉, 거리 A 값과 거리 B 값을 획득하여 거리 A와 거리 B 이용하여 거리 C를 계산할 수 있다.For pose estimation of device B (10), a 3rd party AR/MR recording device, calculate the distance (distance B) from the user holding device A (20), an AR/MR service device, and The relative distance (distance C) between the device B 10 and the AR/MR object 30 is calculated using the virtual distance (distance A) to the AR/MR object 30 received from A 20, and the device B The AR/MR object 30 is displayed on the display screen of (10) using the position, angle, and distance information of the AR/MR object 30 to match the perspective. That is, distance C may be calculated using distance A and distance B by obtaining distance A and distance B values.

여기서 거리 B는 AR/MR 서비스에서 제공할 수 있으며, 카메라 거리측정 센서를 통해서도 획득할 수 있다. 예를 들어 물체를 감지해 거리를 맵핑하는 센싱하는 라이다(Light Detection And Ranging, LiDAR) 센서를 이용할 수 있다.Here, the distance B can be provided by the AR/MR service and can also be obtained through the camera distance measuring sensor. For example, a Light Detection And Ranging (LiDAR) sensor that detects an object and maps the distance can be used.

도 4는 본 발명의 일실시예에 따른 3rd party AR/MR 촬영방법을 흐름도로 나타낸 것이다. 도 1 및 도 4를 참조하여 본 발명의 일실시예에 따른 3rd party AR/MR 촬영방법을 설명하기로 한다.4 is a flowchart showing a 3 rd party AR/MR imaging method according to an embodiment of the present invention. A 3rd party AR/MR imaging method according to an embodiment of the present invention will be described with reference to FIGS. 1 and 4 .

AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 3rd party AR/MR 촬영 방법은 AR/MR 카메라(110)가 상기 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치(20)와 AR/MR 서비스 장치(20)의 사용자를 촬영한다.(S410단계) In the 3rd party AR/MR shooting method in which the user using the AR/MR service and the AR/MR object are mixed and photographed, the AR/MR camera 110 is the AR/MR service device in which the AR/MR service is running (20) and the user of the AR/MR service device 20 are photographed (step S410).

AR/MR 정보 송수신부(130)가 AR/MR 서비스 장치(20)와 통신하며, AR/MR 서비스 장치(20)로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커(Marker)/특징점 정보 및 AR/MR 서비스 장치(20)에서의 상기 AR/MR 오브젝트의 각도 변화에 따른 동기화를 위한 제어정보를 포함하는 AR/MR 정보를 수신한다. (S420단계) 여기서, 마커(Marker)/특징점 정보는 AR/MR 카메라(110)로 스캔하면서 AR/MR 카메라(110) 전체가 가지고 있는 공간 데이터 중에 AR/MR 오브젝트가 어디에 위치하는지를 나타내는 정보를 포함할 수 있다. 동일한 카메라로 스캔하면 동일한 위치 정보를 획득할 수 있다.The AR/MR information transmission/reception unit 130 communicates with the AR/MR service device 20, AR/MR object information from the AR/MR service device 20, and the location where the AR/MR object is located on the display screen. AR/MR information including marker/feature point information indicating information and control information for synchronization according to angle change of the AR/MR object in the AR/MR service device 20 is received. (Step S420) Here, the marker/feature point information includes information indicating where the AR/MR object is located among spatial data possessed by the entire AR/MR camera 110 while being scanned by the AR/MR camera 110. can do. When scanning with the same camera, the same location information can be obtained.

포즈 예측부(120)가 AR/MR 서비스 장치(20)와 AR/MR 카메라(110) 간의 상대 위치를 계산하여 상기 AR/MR 오브젝트의 포즈 정보를 예측한다.(S430단계) 구체적으로, 상기 AR/MR 오브젝트의 포즈 정보 예측은 AR/MR 서비스 장치(20)와 AR/MR 카메라(110) 간의 위치를 측정하며, 상기 위치 정보에 따라 AR/MR 오브젝트의 원근감을 표현할 수 있으며, AR/MR 카메라(110)의 촬영 각도와 AR/MR 오브젝트와의 거리 변화에 따른 AR/MR 오브젝트를 표시하기 위해 실시간으로 각도를 측정할 수 있다. 예를 들어, 3D 오브젝트 360도 오브젝트에 대해 AR/MR 서비스장치(10)를 들고 있는 사용자가 AR/MR 오브젝트의 비스듬히 또는 옆면으로 돌리면 이를 나타내기 위해 촬영하는 입장에서 AR/MR 오브젝트가 어느 정도의 각도에 있는지 촬영 위치에 따른 위치 공간을 감안하여 어디에 어느 각도로 객체가 있는지 계산할 수 있다.The pose prediction unit 120 calculates the relative position between the AR/MR service device 20 and the AR/MR camera 110 and predicts the pose information of the AR/MR object. (Step S430) Specifically, the AR The pose information prediction of the /MR object measures the position between the AR/MR service device 20 and the AR/MR camera 110, and the perspective of the AR/MR object can be expressed according to the position information, and the AR/MR camera The angle can be measured in real time to display the AR/MR object according to the change in distance between the shooting angle of 110 and the AR/MR object. For example, if a user holding the AR/MR service device 10 for a 3D object 360-degree object turns the AR/MR object obliquely or sideways, the AR/MR object is somewhat It is possible to calculate where and at what angle the object is located in consideration of the location space according to the shooting position.

3rd party AR/MR 서비스부(140)가 상기 수신한 AR/MR 오브젝트 정보, 마커/특징점 정보 및 제어정보를 이용하여 상기 마커/특징점 정보에 상응하는 위치에 상기 수신한 AR/MR 오브젝트를 생성한다.(S440단계)The 3rd party AR/MR service unit 140 uses the received AR/MR object information, marker/feature point information, and control information to generate the received AR/MR object at a location corresponding to the marker/feature point information (Step S440)

상기 3rd party AR/MR 서비스부(140)가 상기 포즈 정보를 반영하여 AR/MR 카메라(110)에 의해 촬영된 영상에 상기 생성된 AR/MR 오브젝트가 겹쳐 보이게 디스플레이한다.(S450단계)The 3rd party AR/MR service unit 140 reflects the pose information and displays the created AR/MR object overlapping with the image captured by the AR/MR camera 110 (step S450).

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is only exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the attached claims.

10 : 3rd Party AR/MR 촬영 장치
20 : AR/MR 서비스 장치
30 : AR/MR 오브젝트
110 : AR/MR 카메라
120 : 포즈 예측부
130 : AR/MR 정보 송수신부
140 : 3rd Party AR/MR 서비스부10 : 3rd Party AR/MR filming device
20: AR/MR service device
30 : AR/MR object
110: AR/MR camera
120: pose prediction unit
130: AR / MR information transmission and reception unit
140 : 3rd Party AR/MR Service Department

Claims (9)

AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 3rd party AR/MR 촬영 장치에 있어서,
상기 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치와 상기 AR/MR 서비스 장치 사용자를 촬영하는 AR/MR 카메라;
상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 상대 위치를 계산하여 상기 AR/MR 오브젝트의 포즈 정보를 예측하는 포즈예측부;
상기 AR/MR 서비스 장치와 통신하며, 상기 AR/MR 서비스 장치로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커(Marker)/특징점 정보를 포함하는 AR/MR 정보를 수신하는 AR/MR 정보 송수신부; 및
상기 수신한 AR/MR 정보를 이용하여 상기 마커/특징점 정보에 상응하는 위치에 상기 수신한 AR/MR 오브젝트를 생성하여 상기 포즈예측부에 의해 예측된 포즈 정보를 반영하여 상기 AR/MR 카메라에 의해 촬영된 영상에 상기 생성된 AR/MR 오브젝트가 겹쳐 보이게 하는 3rd party AR/MR 서비스부를 포함하는, 3rd party AR/MR 촬영 장치.In a 3rd party AR/MR shooting device that mixes and shoots a user using the AR/MR service and an AR/MR object,
an AR/MR camera that photographs the AR/MR service device in which the AR/MR service is being executed and a user of the AR/MR service device;
a pose prediction unit for predicting pose information of the AR/MR object by calculating a relative position between the AR/MR service device and the AR/MR camera;
AR that communicates with the AR/MR service device and includes AR/MR object information from the AR/MR service device and marker/feature point information representing location information of the AR/MR object on a display screen AR/MR information transceiver for receiving /MR information; and
By using the received AR/MR information, the received AR/MR object is created at a position corresponding to the marker/feature point information, and the pose information predicted by the pose predictor is reflected to reflect the pose information predicted by the AR/MR camera. A 3 rd party AR/MR photographing device including a 3 rd party AR/MR service unit that makes the generated AR/MR object appear to overlap with the captured image. 제1항에 있어서, 상기 포즈 예측부는
상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 위치를 측정하며, 상기 위치 정보에 따라 AR/MR 오브젝트의 원근감을 표현하며, 상기 AR/MR 카메라의 촬영 각도와 AR/MR 오브젝트와의 거리 변화에 따른 AR/MR 오브젝트를 표시하기 위해 실시간으로 각도를 측정하는 것을 특징으로 하는 3rd party AR/MR 촬영 장치.The method of claim 1, wherein the pose prediction unit
Measures the position between the AR/MR service device and the AR/MR camera, expresses the perspective of the AR/MR object according to the position information, and changes the shooting angle of the AR/MR camera and the distance between the AR/MR object 3 rd party AR / MR shooting device characterized in that the angle is measured in real time to display the AR / MR object according to. 제1항에 있어서, 상기 AR/MR 오브젝트 정보는
상기 AR/MR 서비스 장치에 제공되는 3차원 모델 데이터인 것을 특징으로 하는, 3rd party AR/MR 촬영 장치.The method of claim 1, wherein the AR/MR object information
Characterized in that the 3-dimensional model data provided to the AR / MR service device, 3 rd party AR / MR imaging device. 제1항에 있어서, 상기 마커/특징점 정보는
상기 디스플레이 화면에서 상기 AR/MR 오브젝트를 매칭하기 위한 매칭 포인트 정보인 것을 특징으로 하는, 3rd party AR/MR 촬영 장치.The method of claim 1, wherein the marker/feature point information
Characterized in that the matching point information for matching the AR / MR object on the display screen, 3 rd party AR / MR imaging device. 제1항에 있어서, 상기 AR/MR정보는
상기 AR/MR 오브젝트가 360도 입체 콘텐츠 또는 3차원 콘텐츠일 경우 AR/MR 서비스 사용자에 의해 상기 AR/MR 오브젝트의 각도가 변경될 경우 상기 변경된 각도에 상응하도록 상기 디스플레이 화면 상에서의 AR/MR 오브젝트의 각도를 동기화하는 제어정보를 포함하는, 3rd party AR/MR 촬영 장치.The method of claim 1, wherein the AR/MR information
When the AR/MR object is 360-degree stereoscopic content or 3D content and the angle of the AR/MR object is changed by the AR/MR service user, the AR/MR object on the display screen corresponds to the changed angle. A 3 rd party AR/MR recording device that includes control information for synchronizing angles. 제1항에 있어서, 상기 AR/MR 정보 송수신부는
근거리 통신을 통해 상기 AR/MR 서비스 장치와 직접 통신하거나 서버를 통해 상기 AR/MR 서비스 장치와 통신하는 것을 특징으로 하는, 3rd party AR/MR 촬영 장치.The method of claim 1, wherein the AR / MR information transmitting and receiving unit
Characterized in that it communicates directly with the AR / MR service device through short -range communication or communicates with the AR / MR service device through a server. 제1항에 있어서,
상기 AR/MR 정보 송수신부는 상기 AR/MR 서비스 장치에서 사용자와 AR/MR 오브젝트 간의 인터랙션 정보를 수신하고,
3rd party AR/MR 서비스부는 상기 디스플레이 화면에 상기 인터랙션 정보를 디스플레이 화면에 반영하는 것을 특징으로 하는, 3rd party AR/MR 촬영 장치.According to claim 1,
The AR/MR information transmission/reception unit receives interaction information between a user and an AR/MR object in the AR/MR service device,
The 3rd party AR/MR service unit is characterized in that the interaction information is reflected on the display screen on the display screen . AR/MR 서비스를 이용하고 있는 사용자와 AR/MR 오브젝트를 혼합하여 촬영하는 3rd party AR/MR 촬영 방법에 있어서,
AR/MR 카메라가 상기 AR/MR 서비스가 실행되고 있는 AR/MR 서비스 장치와 상기 AR/MR 서비스 장치 사용자를 촬영하는 단계;
AR/MR 정보 송수신부가 상기 AR/MR 서비스 장치와 통신하며, 상기 AR/MR 서비스 장치로부터 AR/MR 오브젝트 정보, 디스플레이 화면 상에서의 상기 AR/MR 오브젝트가 위치하는 위치정보를 나타내는 마커/특징점 정보를 포함하는 AR/MR 정보를 수신하는 단계;
포즈 예측부가 상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 상대 위치를 계산하여 상기 AR/MR 오브젝트의 포즈 정보를 예측하는 단계;
3rd party AR/MR 서비스부가 상기 수신한 AR/MR 정보를 이용하여 상기 마커/특징점 정보에 상응하는 위치에 상기 수신한 AR/MR 오브젝트를 생성하는 단계;
상기 3rd party AR/MR 서비스부가 상기 포즈 정보를 반영하여 상기 AR/MR 카메라에 의해 촬영된 영상에 상기 생성된 AR/MR 오브젝트가 겹쳐 보이게 하는 단계를 포함하는, 3rd party AR/MR 촬영 방법.In the 3 rd party AR/MR shooting method in which a user using the AR/MR service and an AR/MR object are mixed and photographed,
Taking, by an AR/MR camera, the AR/MR service device where the AR/MR service is being executed and the user of the AR/MR service device;
The AR/MR information transmission/reception unit communicates with the AR/MR service device, and the AR/MR service device receives AR/MR object information and marker/feature point information indicating location information of the AR/MR object on the display screen. Receiving AR/MR information including;
predicting pose information of the AR/MR object by a pose prediction unit calculating a relative position between the AR/MR service device and the AR/MR camera;
generating, by a 3 rd party AR/MR service unit, the received AR/MR object at a location corresponding to the marker/feature point information using the received AR/MR information;
The 3rd party AR/MR service unit reflects the pose information and makes the generated AR/MR object overlap with the image captured by the AR/MR camera, 3rd party AR/MR shooting method . 제8항에 있어서, 상기 AR/MR 오브젝트의 포즈 정보를 예측하는 단계;
상기 AR/MR 서비스 장치와 상기 AR/MR 카메라 간의 위치를 측정하며, 상기 위치 정보에 따라 AR/MR 오브젝트의 원근감을 표현하며, 상기 AR/MR 카메라의 촬영 각도와 AR/MR 오브젝트와의 거리 변화에 따른 AR/MR 오브젝트를 표시하기 위해 실시간으로 각도를 측정하는 것을 특징으로 하는 3rd party AR/MR 촬영 방법.

The method of claim 8, further comprising: predicting pose information of the AR/MR object;
Measures the position between the AR/MR service device and the AR/MR camera, expresses the perspective of the AR/MR object according to the position information, and changes the shooting angle of the AR/MR camera and the distance between the AR/MR object 3 rd party AR / MR shooting method characterized in that the angle is measured in real time to display the AR / MR object according to.
KR1020210146427A 2021-10-29 2021-10-29 Device and method of photographing both AR/MR object and AR/MR user at 3rd party System KR102581380B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210146427A KR102581380B1 (en) 2021-10-29 2021-10-29 Device and method of photographing both AR/MR object and AR/MR user at 3rd party System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210146427A KR102581380B1 (en) 2021-10-29 2021-10-29 Device and method of photographing both AR/MR object and AR/MR user at 3rd party System

Publications (2)

Publication Number Publication Date
KR20230061812A true KR20230061812A (en) 2023-05-09
KR102581380B1 KR102581380B1 (en) 2023-09-21

Family

ID=86409016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210146427A KR102581380B1 (en) 2021-10-29 2021-10-29 Device and method of photographing both AR/MR object and AR/MR user at 3rd party System

Country Status (1)

Country Link
KR (1) KR102581380B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061870A (en) * 2011-09-14 2013-04-04 Namco Bandai Games Inc Program, information storage medium, and electronic device
JP2013059541A (en) * 2011-09-14 2013-04-04 Namco Bandai Games Inc Program, information storage medium, game device, and computer
JP2013059542A (en) * 2011-09-14 2013-04-04 Namco Bandai Games Inc Program, information storage medium, and game device
KR20200008359A (en) 2018-07-16 2020-01-28 주식회사 팝스라인 System for providing mixed reality contents and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061870A (en) * 2011-09-14 2013-04-04 Namco Bandai Games Inc Program, information storage medium, and electronic device
JP2013059541A (en) * 2011-09-14 2013-04-04 Namco Bandai Games Inc Program, information storage medium, game device, and computer
JP2013059542A (en) * 2011-09-14 2013-04-04 Namco Bandai Games Inc Program, information storage medium, and game device
KR20200008359A (en) 2018-07-16 2020-01-28 주식회사 팝스라인 System for providing mixed reality contents and method thereof

Also Published As

Publication number Publication date
KR102581380B1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
US8253649B2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
US10692288B1 (en) Compositing images for augmented reality
US9667873B2 (en) Methods for facilitating computer vision application initialization
KR101591579B1 (en) Anchoring virtual images to real world surfaces in augmented reality systems
US7817104B2 (en) Augmented reality apparatus and method
KR20190031504A (en) Method and system for interactive transmission of panoramic video
US20070273644A1 (en) Personal device with image-acquisition functions for the application of augmented reality resources and method
CN112312111A (en) Virtual image display method and device, electronic equipment and storage medium
KR102197615B1 (en) Method of providing augmented reality service and server for the providing augmented reality service
US20130215112A1 (en) Stereoscopic Image Processor, Stereoscopic Image Interaction System, and Stereoscopic Image Displaying Method thereof
KR101716326B1 (en) Method and program for transmitting and playing virtual reality image
CN112689854A (en) Moving picture composition device, moving picture composition method, and recording medium
CN112740284A (en) Moving picture composition device, moving picture composition method, and recording medium
JP2018033107A (en) Video distribution device and distribution method
US9942540B2 (en) Method and a device for creating images
KR102140077B1 (en) Master device, slave device and control method thereof
KR102581380B1 (en) Device and method of photographing both AR/MR object and AR/MR user at 3rd party System
US10482671B2 (en) System and method of providing a virtual environment
KR20200069004A (en) System for providing multi-view 360 angle vr contents
GB2568241A (en) Content generation apparatus and method
KR101315398B1 (en) Apparatus and method for display 3D AR information
JP2015100052A (en) Video projection device
CN107426522B (en) Video method and system based on virtual reality equipment
Shi et al. M-teeve: Real-time 3d video interaction and broadcasting framework for mobile devices
JP2004199159A (en) Information processing method, information processing device, program, and recording medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant