KR20210145339A - Apparatus and method for providing augmented reality using tracker - Google Patents

Apparatus and method for providing augmented reality using tracker Download PDF

Info

Publication number
KR20210145339A
KR20210145339A KR1020200062043A KR20200062043A KR20210145339A KR 20210145339 A KR20210145339 A KR 20210145339A KR 1020200062043 A KR1020200062043 A KR 1020200062043A KR 20200062043 A KR20200062043 A KR 20200062043A KR 20210145339 A KR20210145339 A KR 20210145339A
Authority
KR
South Korea
Prior art keywords
augmented reality
tracker
camera
image
pose data
Prior art date
Application number
KR1020200062043A
Other languages
Korean (ko)
Inventor
이동춘
김항기
이기석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200062043A priority Critical patent/KR20210145339A/en
Publication of KR20210145339A publication Critical patent/KR20210145339A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Provided is an augmented reality providing device, which obtains an actual image through a camera in the augmented reality providing device, calculates pose data of the camera by applying an offset value between the tracker and the camera to the pose data of the tracker, when receiving the pose data of the tracker from the tracking device for measuring the pose data of the tracker mounted on the augmented reality providing device, generates a virtual image using the pose data of the camera from virtual space model data, and then generates an augmented reality image by combining the actual image and the virtual image.

Description

트래커를 이용한 증강현실 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY USING TRACKER}Apparatus and method for providing augmented reality using a tracker {APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY USING TRACKER}

본 발명은 트래커를 이용한 증강현실 제공 장치 및 방법에 관한 것으로, 특히 트래커를 이용하여 증강현실 체험자의 빠른 움직임에도 안정적인 증강현실 콘텐츠를 제공할 수 있는 트래커를 이용한 증강현실 제공 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for providing augmented reality using a tracker, and more particularly, to an apparatus and method for providing augmented reality using a tracker that can provide stable augmented reality content even with the rapid movement of an augmented reality user using a tracker.

증강현실은 카메라로부터 촬영된 실사 영상과 컴퓨터를 통해 만들어진 가상 영상을 정합하여 부가의 정보를 사용자에게 제공하는 기술이다. 이때 실사 영상의 객체와 가상 영상에서 생성된 객체가 얼마나 오차 없이 일치하는지가 증강현실을 평가하는 중요 요소 중 하나이다.Augmented reality is a technology that provides additional information to the user by matching the actual image taken from the camera and the virtual image created by the computer. At this time, one of the important factors in evaluating augmented reality is how well the object of the live image and the object created in the virtual image match without error.

증강현실 콘텐츠 제작을 위해서는 실시간으로 변화하는 카메라의 위치 및 방향 계산이 필요하다. 일반적으로 증강현실에서는 카메라로부터 촬영된 실사 영상을 분석하여 카메라의 위치 및 방향을 계산하는데, 이때 영상 분석 시간으로 인한 약간의 오차가 발생한다. 또한 카메라로부터 촬영된 영상을 사용하기 때문에 사용자가 카메라를 빠르게 움직이게 되면 카메라로부터 촬영된 영상의 화질이 나빠지고 카메라의 위치 및 방향 계산에 오류가 발생하기도 한다. In order to produce augmented reality content, it is necessary to calculate the position and direction of the camera that changes in real time. In general, in augmented reality, the position and direction of the camera are calculated by analyzing the actual image taken from the camera, but a slight error occurs due to the image analysis time. In addition, since the image captured by the camera is used, if the user moves the camera quickly, the image quality of the image captured by the camera deteriorates and errors may occur in calculating the position and direction of the camera.

따라서, 효과적인 증강현실 콘텐츠 제작을 위해서는 빠르고 안정적인 카메라 트래킹 기술을 필요하다. Therefore, a fast and stable camera tracking technology is required for effective augmented reality content production.

본 발명이 해결하려는 과제는 빠르고 안정적인 카메라 트래킹을 통하여 효과적인 증강현실 콘텐츠를 제작할 수 있는 트래커를 이용한 증강현실 제공 장치 및 방법을 제공하는 것이다.The problem to be solved by the present invention is It is to provide a device and method for providing augmented reality using a tracker that can produce effective augmented reality content through fast and stable camera tracking.

본 발명의 한 실시 예에 따르면, 증강현실 제공 장치에서의 증강현실 제공 방법이 제공된다. 증강현실 제공 방법은 상기 증강현실 제공 장치 내 카메라를 통해 실사 영상을 획득하는 단계, 상기 증강현실 제공 장치에 장착된 트래커의 포즈 데이터를 측정하는 트래킹 장치로부터, 상기 트래커의 포즈 데이터를 수신하는 단계, 상기 트래커의 포즈 데이터에 상기 트래커와 상기 카메라 사이의 오프셋 값을 적용하여 상기 카메라의 포즈 데이터를 계산하는 단계, 가상공간 모델 데이터로부터 상기 카메라의 포즈 데이터를 이용하여 가상 영상을 생성하는 단계, 그리고 상기 실사 영상과 상기 가상 영상을 합쳐 증강현실 영상을 생성하는 단계를 포함한다. According to an embodiment of the present invention, an augmented reality providing method in an augmented reality providing device is provided. Augmented reality providing method includes the steps of obtaining a live-action image through a camera in the augmented reality providing device, receiving the pose data of the tracker from a tracking device that measures the pose data of the tracker mounted on the augmented reality providing device, calculating the pose data of the camera by applying an offset value between the tracker and the camera to the pose data of the tracker, generating a virtual image using the pose data of the camera from virtual space model data, and the and generating an augmented reality image by combining the actual image and the virtual image.

본 발명의 실시 예에 의하면, 트래커를 통해 실시간으로 변화하는 카메라의 위치 및 방향을 빠르고 정확하게 측정 및 보정할 수 있으므로, 스포츠 운동, 헬스 케어 등 역동적인 움직임이 필요한 콘텐츠에서도 증강현실 콘텐츠를 즐길 수 있다.According to an embodiment of the present invention, since it is possible to quickly and accurately measure and correct the position and direction of the camera that changes in real time through the tracker, you can enjoy augmented reality content even in content that requires dynamic movement, such as sports exercise and health care. .

향후 모바일 디바이스에 장착된 GPS(Global Positioning System)나 자이로 센서의 정확도가 높아지게 되면, 본 발명의 실시 예에 따른 구성을 용이하게 변경 적용하여 실외의 넓은 공간에서도 즐길 수 있는 증강현실 콘텐츠를 제작할 수 있다.If the accuracy of the GPS (Global Positioning System) or gyro sensor mounted on a mobile device increases in the future, the configuration according to an embodiment of the present invention can be easily changed and applied to create augmented reality content that can be enjoyed in a large outdoor space. .

도 1은 본 발명의 실시 예에 따른 트래커를 이용한 증강현실 제공 시스템을 나타낸 도면이다.
도 2는 실사 공간에 있는 콜로세움에 매칭되는 가상공간 3차원 모델의 일 예를 나타낸 도면이다.
도 3은 본 발명의 한 실시 예에 따른 증강현실 제공 장치를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 증강현실 제공 방법을 나타낸 흐름도이다.
도 5는 본 발명의 다른 실시 예에 따른 증강현실 제공 장치를 나타낸 도면이다.1 is a view showing an augmented reality providing system using a tracker according to an embodiment of the present invention.
2 is a view showing an example of a virtual space 3D model matched to the Colosseum in the actual space.
3 is a diagram illustrating an apparatus for providing augmented reality according to an embodiment of the present invention.
4 is a flowchart illustrating a method for providing augmented reality according to an embodiment of the present invention.
5 is a diagram illustrating an apparatus for providing augmented reality according to another embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. However, the present invention may be embodied in various different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification and claims, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.

이제 본 발명의 실시 예에 따른 트래커를 이용한 증강현실 제공 장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.Now, an apparatus and method for providing augmented reality using a tracker according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시 예에 따른 증강현실 시스템을 나타낸 도면이다.1 is a view showing an augmented reality system according to an embodiment of the present invention.

도 1을 참고하면, 증강현실 시스템은 트래커(100), 트래킹 장치(200) 및 증강현실 제공 장치(300)를 포함한다. Referring to FIG. 1 , the augmented reality system includes a tracker 100 , a tracking device 200 , and an augmented reality providing device 300 .

트래커(100)는 증강현실 제공 장치(300)에 장착된다. 트래커(100)는 트래커 로컬 좌표축을 가지고 있으며, 트래커 로컬 좌표축은 트래커(100)에 고정되어 있다.The tracker 100 is mounted on the augmented reality providing device 300 . The tracker 100 has a tracker local coordinate axis, and the tracker local coordinate axis is fixed to the tracker 100 .

트래킹 장치(200)는 증강현실 제공 장치(300)에 장착된 트래커(100)의 위치 및 방향을 실시간으로 측정하고, 측정한 트래커(100)의 위치 및 방향 데이터를 증강현실 제공 장치(300)로 제공한다. 이하, 위치 및 방향 데이터를 포즈 데이터라 한다. 트래커(100)의 포즈 데이터는 트래커 기준 좌표계로부터 트래커(100)가 3차원 좌표계 상에서 얼마나 떨어져 있고 얼마나 회전 되어 있는지를 나타내는 값이다. 트래킹 장치(200)는 트래커(100)의 포즈 데이터를 측정하기 위해, 트래커 기준 좌표계 상에서 트래커 로컬 좌표축의 변화 값을 실시간으로 추적한다. 트래커 기준 좌표계는 실사 공간 상에 고정되어 있는 값으로, 증강현실 콘텐츠가 구동되는 동안에도 변화가 없으나, 트래커(100)의 포즈 데이터는 사용자가 증강현실 제공 장치(300)를 움직일 때마다 변화한다. The tracking device 200 measures the position and direction of the tracker 100 mounted on the augmented reality providing device 300 in real time, and the measured position and direction data of the tracker 100 to the augmented reality providing device 300 . to provide. Hereinafter, the position and direction data will be referred to as pose data. The pose data of the tracker 100 is a value indicating how far apart and how much the tracker 100 is rotated on the three-dimensional coordinate system from the tracker reference coordinate system. The tracking device 200 tracks the change value of the local coordinate axis of the tracker on the tracker reference coordinate system in real time in order to measure the pose data of the tracker 100 . The tracker reference coordinate system is a fixed value on the actual space, and there is no change even while the augmented reality content is driven, but the pose data of the tracker 100 changes whenever the user moves the augmented reality providing device 300 .

증강현실 제공 장치(300)는 증강현실 체험자가 소지하는 기기로서, 증강현실 제공 장치(300)에는 실사 영상을 촬영하는 카메라(305)가 장착된다. 카메라(305)는 카메라 로컬 좌표축을 가진다. 카메라 로컬 좌표축은 증강현실 제공 장치(300)에 부착된 카메라의 위치 및 방향을 계산하기 위한 기준축이 될 수 있다. 카메라 로컬 좌표축은 증강현실 제공 장치(300)에 고정되어 있다. The augmented reality providing device 300 is a device possessed by the augmented reality experiencer, and the augmented reality providing device 300 is equipped with a camera 305 for taking a live-action image. The camera 305 has a camera local coordinate axis. The camera local coordinate axis may be a reference axis for calculating the position and direction of the camera attached to the augmented reality providing apparatus 300 . The camera local coordinate axis is fixed to the augmented reality providing device 300 .

앞에서 설명한 바와 같이, 트래커(100)는 증강현실 제공 장치(300)에 고정되어 있기 때문에, 트래커(100)와 카메라(305) 사이의 트래커-카메라 오프셋 값은 일정한 값을 가진다. 이하, 트래커(100)와 카메라(305) 사이의 트래커-카메라 오프셋을 카메라 오프셋이라 한다. 카메라 오프셋은 트래커(100)의 로컬 좌표축을 기준 좌표축으로 했을 때 카메라(305)의 로컬 좌표축이 기준 좌표축으로부터 얼마나 떨어져 있고, 얼마나 회전되어 있는지를 나타내는 값으로, 4x4 매트릭스 값을 가진다. 카메라 오프셋은 수학식 1과 같이 표현된다. As described above, since the tracker 100 is fixed to the augmented reality providing device 300 , the tracker-camera offset value between the tracker 100 and the camera 305 has a constant value. Hereinafter, the tracker-camera offset between the tracker 100 and the camera 305 is referred to as a camera offset. The camera offset is a value indicating how far apart and rotated the local coordinate axis of the camera 305 is from the reference coordinate axis when the local coordinate axis of the tracker 100 is the reference coordinate axis, and has a 4x4 matrix value. The camera offset is expressed as Equation (1).

Figure pat00001
Figure pat00001

수학식 1에서, R은 두 좌표축이 얼마나 회전되었는지를 나타내는 3x3 매트릭스 값이다. Tx, Ty, Tz는 각각 카메라의 로컬 좌표축이 트래커의 로컬 좌표축을 기준으로 x축, y축 및 z축 방향으로 얼마나 떨어져 있는지를 나타내는 값이다.In Equation 1, R is a 3x3 matrix value indicating how much the two coordinate axes are rotated. T x , T y , and T z are values indicating how far apart the local coordinate axes of the camera are in the x-axis, y-axis, and z-axis directions with respect to the local coordinate axis of the tracker, respectively.

증강현실 제공 장치(300)는 트래커(100)를 통해 측정된 트래커(100)의 포즈 데이터에 카메라 오프셋 값을 반영하여 카메라(305)의 위치 및 방향 데이터 즉, 포즈 데이터를 계산한다. 증강현실 제공 장치(300)는 카메라(305)의 포즈 데이터 값과 가상공간 3차원 모델 데이터를 이용하여 3차원의 가상 영상을 생성할 수 있다. 증강현실 제공 장치(300)는 카메라(305)를 통해 촬영된 실사 영상과 3차원의 가상 영상을 합쳐 증강현실 영상을 생성하고, 증강현실 영상을 제공한다. The augmented reality providing device 300 reflects the camera offset value to the pose data of the tracker 100 measured through the tracker 100 to calculate the position and direction data of the camera 305 , that is, pose data. The augmented reality providing apparatus 300 may generate a three-dimensional virtual image by using the pose data value of the camera 305 and the virtual space three-dimensional model data. The augmented reality providing device 300 generates an augmented reality image by combining the live-action image and the three-dimensional virtual image captured through the camera 305 , and provides the augmented reality image.

이러한 증강현실 제공 장치(300)는 카메라(305)가 장착되어 있는 스마트폰이나 태블릿 PC(Personal Computer), PDA(Personal Digital Assistant) 등의 모바일 디바이스가 될 수 있다. The augmented reality providing apparatus 300 may be a mobile device, such as a smartphone, a tablet PC (Personal Computer), or a PDA (Personal Digital Assistant) equipped with a camera 305 .

한편, 증강현실 콘텐츠의 사실감을 높이기 위해서는 실사 공간에 매칭되는 가상공간 3차원 모델 데이터가 필요하다. On the other hand, in order to increase the realism of augmented reality content, virtual space 3D model data matching the real space is required.

도 2는 실사 공간에 있는 콜로세움에 매칭되는 가상공간 3차원 모델의 일 예를 나타낸 도면이다.2 is a view showing an example of a virtual space 3D model matched to the Colosseum in the actual space.

도 2를 참고하면, 실사 영상으로부터 가상공간 3차원 모델이 생성될 수 있다. 가상공간 3차원 모델은 실사 영상으로부터 다양한 방법을 이용하여 생성될 수 있다. 이때, 트래킹 장치(200)에 의해 추적되는 실사 공간과 가상공간 3차원 모델이 정확하게 정합되기 위해서는 가상공간 3차원 모델을 생성한 기준 좌표계와 트래커 기준 좌표계가 일치되어야 한다. 일반적으로, 서로 다른 두 기준 좌표계를 일치시키기 위해서 4x4 매트릭스가 사용되며, 가상공간 3차원 모델은 4x4 매트릭스 값을 이용하여 트래커 기준 좌표계로 변환시킬 수 있다. 가상공간 3차원 모델과 실공간 모델의 크기(size)가 동일하다면 가상공간 3차원 기준 좌표계와 트래커 기준 좌표계를 일치시키기 위한 좌표계 변환을 위한 매트릭스는 카메라 오프셋을 나타내는 수학식 1과 같이 표현될 수 있다. 이 경우, R은 가상공간 3차원 기준 좌표계와 트래커 기준 좌표계가 얼마나 회전되었는지를 나타내는 3x3 매트릭스 값이 된다. 그리고 Tx, Ty, Tz는 각각 가상공간 3차원 기준 좌표계가 트래커 기준 좌표계를 기준으로 x축, y축 및 z축 방향으로 얼마나 떨어져 있는지를 나타내는 값이 된다. Referring to FIG. 2 , a virtual space 3D model may be generated from a live-action image. The virtual space 3D model may be generated from the actual image using various methods. At this time, in order to accurately match the actual space tracked by the tracking device 200 and the virtual space 3D model, the reference coordinate system generated by the virtual space 3D model must match the reference coordinate system of the tracker. In general, a 4x4 matrix is used to match two different reference coordinate systems, and the virtual space 3D model can be converted into the tracker reference coordinate system using the 4x4 matrix value. If the size of the virtual space 3D model and the real space model are the same, the matrix for transforming the coordinate system for matching the virtual space 3D reference coordinate system and the tracker reference coordinate system can be expressed as Equation 1 indicating the camera offset. . In this case, R becomes a 3x3 matrix value indicating how much the virtual space 3D reference coordinate system and the tracker reference coordinate system are rotated. And T x , T y , and T z are values indicating how far apart the virtual space 3D reference coordinate system is in the x-axis, y-axis, and z-axis directions with respect to the tracker reference coordinate system, respectively.

본 발명의 실시 예에서는 트래커 기준 좌표계로 변환된 가상공간 3차원 모델을 이용함으로써, 증강현실 콘텐츠의 사실감을 높일 수 있다. In an embodiment of the present invention, by using a virtual space three-dimensional model converted into a tracker reference coordinate system, it is possible to increase the realism of the augmented reality content.

도 3은 본 발명의 한 실시 예에 따른 증강현실 제공 장치를 나타낸 도면이고, 도 4는 본 발명의 실시 예에 따른 증강현실 제공 방법을 나타낸 흐름도이다.3 is a diagram illustrating an apparatus for providing augmented reality according to an embodiment of the present invention, and FIG. 4 is a flowchart illustrating a method for providing augmented reality according to an embodiment of the present invention.

도 3을 참고하면, 증강현실 제공 장치(300)는 입력부(310), 가상 영상 생성부(320), 영상 획득부(330), 증강 현실 생성부(340), 출력부(350) 및 저장부(360)를 포함한다.Referring to FIG. 3 , the augmented reality providing apparatus 300 includes an input unit 310 , a virtual image generation unit 320 , an image acquisition unit 330 , an augmented reality generation unit 340 , an output unit 350 , and a storage unit. (360).

도 4를 보면, 저장부(360)에는 트래커 기준 좌표계로 변환된 가상공간 3차원 모델 데이터와 카메라 오프셋 값이 저장된다.Referring to FIG. 4 , the virtual space 3D model data converted into the tracker reference coordinate system and the camera offset value are stored in the storage unit 360 .

가상 영상 생성부(320)는 저장부(360)로부터 트래커 기준 좌표계로 변환된 가상공간 3차원 모델 데이터와 카메라 오프셋 값을 로딩한다(S410).The virtual image generating unit 320 loads the virtual space 3D model data converted into the tracker reference coordinate system and the camera offset value from the storage unit 360 (S410).

영상 획득부(330)는 실사 영상을 촬영한다(S420). 영상 획득부(330)는 촬영한 실사 영상을 증강 현실 생성부(340)로 전달한다. 영상 획득부(330)는 앞에서 설명한 카메라(305)이거나 카메라(305)를 포함할 수 있다.The image acquisition unit 330 takes a live-action image (S420). The image acquisition unit 330 transmits the captured live-action image to the augmented reality generation unit 340 . The image acquisition unit 330 may be the camera 305 described above or may include the camera 305 .

입력부(310)는 트래킹 장치(200)로부터 측정된 트래커(100)의 포즈 데이터를 수신하면(S430), 트래커(100)의 포즈 데이터를 가상 영상 생성부(320)로 전달한다. When the input unit 310 receives the measured pose data of the tracker 100 from the tracking device 200 ( S430 ), it transmits the pose data of the tracker 100 to the virtual image generator 320 .

가상 영상 생성부(320)는 트래커(100)의 포즈 데이터에 카메라 오프셋 값을 적용하여 카메라(200)의 포즈 데이터를 계산한다(S440). The virtual image generator 320 calculates the pose data of the camera 200 by applying the camera offset value to the pose data of the tracker 100 ( S440 ).

다음, 가상 영상 생성부(320)는 트래커 기준 좌표계로 변환된 가상공간 3차원 모델 데이터로부터 계산된 카메라(200)의 포즈 데이터를 이용하여 3차원의 가상 영상을 생성한다(S450). 가상 영상 생성부(320)는 생성된 가상 영상을 증강 현실 생성부(340)로 전달한다. Next, the virtual image generator 320 generates a three-dimensional virtual image using the pose data of the camera 200 calculated from the virtual space three-dimensional model data converted into the tracker reference coordinate system (S450). The virtual image generator 320 transmits the generated virtual image to the augmented reality generator 340 .

증강 현실 생성부(340)는 가상 영상 생성부(320)로부터 수신된 3차원의 가상 영상과 영상 촬영부(330)로부터 수신된 실사 영상을 합쳐 하나의 증강현실 영상을 생성하고, 증강현실 영상을 출력부(350)로 전달한다.The augmented reality generating unit 340 generates one augmented reality image by combining the three-dimensional virtual image received from the virtual image generating unit 320 and the actual image received from the image capturing unit 330, and generates an augmented reality image. It is transmitted to the output unit 350 .

출력부(350)는 증강 현실 생성부(340)에 의해 생성된 증강현실 영상을 출력한다. The output unit 350 outputs the augmented reality image generated by the augmented reality generating unit 340 .

이와 같이, 본 발명의 실시 예에 따르면, 증강현실 제공 장치(300)에 장착된 트래커(100)를 이용함으로써, 실시간으로 변화하는 증강현실 제공 장치(300) 내 카메라의 위치 및 방향을 빠르고 정확하게 측정할 수 있다. 특히, 트래커(100)를 이용함으로써 고정된 카메라 오프셋 값을 적용하여 간단하게 카메라의 위치 및 방향을 정확하게 계산할 수 있으므로, 카메라의 위치 및 방향 보정을 위해 복잡한 과정을 거치지 않아도 된다.As described above, according to an embodiment of the present invention, by using the tracker 100 mounted on the augmented reality providing device 300, the location and direction of the camera in the augmented reality providing device 300 that changes in real time is quickly and accurately measured. can do. In particular, since the position and direction of the camera can be simply and accurately calculated by applying a fixed camera offset value by using the tracker 100 , there is no need to go through a complicated process for correcting the position and direction of the camera.

도 5는 본 발명의 다른 실시 예에 따른 증강현실 제공 장치를 나타낸 도면으로, 도 1 내지 도 4을 참고하여 설명한 증강현실 제공 장치의 기능 중 적어도 일부를 수행하는 데 사용할 수 있는 시스템을 나타낸다.5 is a view showing an augmented reality providing apparatus according to another embodiment of the present invention, and shows a system that can be used to perform at least some of the functions of the augmented reality providing apparatus described with reference to FIGS. 1 to 4 .

도 5를 참고하면, 증강현실 제공 장치(500)는 프로세서(510), 메모리(520), 저장 장치(530) 및 입출력(input/output, I/O) 인터페이스(540)를 포함한다.Referring to FIG. 5 , the augmented reality providing apparatus 500 includes a processor 510 , a memory 520 , a storage device 530 , and an input/output (I/O) interface 540 .

프로세서(510)는 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현될 수 있다.The processor 510 may be implemented as a central processing unit (CPU) or other chipsets, microprocessors, or the like.

메모리(520)는 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM), 램버스 DRAM(rambus DRAM, RDRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 정적 RAM(static RAM, SRAM) 등의 RAM과 같은 매체로 구현될 수 있다. The memory 520 is a medium such as a RAM, such as dynamic random access memory (DRAM), rambus DRAM (RDRAM), synchronous DRAM (SDRAM), static RAM (SRAM), etc. can be implemented as

저장 장치(530)는 하드 디스크(hard disk), CD-ROM(compact disk read only memory), CD-RW(CD rewritable), DVD-ROM(digital video disk ROM), DVD-RAM, DVD-RW 디스크, 블루레이(blu-ray) 디스크 등의 광학 디스크, 플래시 메모리, 다양한 형태의 RAM과 같은 영구 또는 휘발성 저장 장치로 구현될 수 있다.The storage device 530 may include a hard disk, a compact disk read only memory (CD-ROM), a CD rewritable (CD-RW), a digital video disk ROM (DVD-ROM), a DVD-RAM, and a DVD-RW disk. , an optical disk such as a Blu-ray disk, a flash memory, or a permanent or volatile storage device such as various types of RAM.

I/O 인터페이스(540)는 프로세서(510) 및/또는 메모리(520)가 저장 장치(530)에 접근할 수 있도록 한다. 또한 I/O 인터페이스(540)는 외부 예를 들면, 트래커 장치(200)와의 인터페이스를 제공할 수 있으며, I/O 인터페이스(540)는 증강현실 제공 장치(300)의 입력부(310) 및 출력부(350)의 기능을 수행할 수 있다.I/O interface 540 allows processor 510 and/or memory 520 to access storage device 530 . In addition, the I/O interface 540 may provide an interface with an external, for example, the tracker device 200 , and the I/O interface 540 is an input unit 310 and an output unit of the augmented reality providing device 300 . The function of 350 may be performed.

프로세서(510)는 도 1 내지 도 4에서 설명한 증강현실 제공 장치의 기능을 수행할 수 있으며, 증강현실 제공 장치(300)의 가상 영상 생성부(320), 영상 획득부(330) 및 증강 현실 생성부(340)의 기능 중 적어도 일부의 기능을 구현하기 위한 프로그램 명령을 메모리(520)에 로드시켜, 도 1 내지 도 4를 참고로 하여 설명한 동작이 수행되도록 제어할 수 있다. 그리고 이러한 프로그램 명령은 저장 장치(530)에 저장되어 있을 수 있으며, 또는 네트워크로 연결되어 있는 다른 시스템에 저장되어 있을 수 있다.The processor 510 may perform the functions of the augmented reality providing device described with reference to FIGS. 1 to 4 , and the virtual image generating unit 320 , the image acquiring unit 330 , and the augmented reality generating unit 300 of the augmented reality providing device 300 . By loading a program command for implementing at least some of the functions of the unit 340 into the memory 520 , the operation described with reference to FIGS. 1 to 4 may be controlled to be performed. In addition, these program commands may be stored in the storage device 530 or may be stored in another system connected to the network.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.Although the embodiment of the present invention has been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention as defined in the following claims are also provided. is within the scope of the right.

Claims (1)

증강현실 제공 장치에서의 증강현실 제공 방법으로서,
상기 증강현실 제공 장치 내 카메라를 통해 실사 영상을 획득하는 단계,
상기 증강현실 제공 장치에 장착된 트래커의 포즈 데이터를 측정하는 트래킹 장치로부터, 상기 트래커의 포즈 데이터를 수신하는 단계,
상기 트래커의 포즈 데이터에 상기 트래커와 상기 카메라 사이의 오프셋 값을 적용하여 상기 카메라의 포즈 데이터를 계산하는 단계,
가상공간 모델 데이터로부터 상기 카메라의 포즈 데이터를 이용하여 가상 영상을 생성하는 단계, 그리고
상기 실사 영상과 상기 가상 영상을 합쳐 증강현실 영상을 생성하는 단계
를 포함하는 증강현실 제공 방법.As a method of providing augmented reality in an augmented reality providing device,
acquiring a live-action image through a camera in the augmented reality providing device;
Receiving the pose data of the tracker from a tracking device for measuring the pose data of the tracker mounted on the augmented reality providing device,
calculating the pose data of the camera by applying an offset value between the tracker and the camera to the pose data of the tracker;
generating a virtual image using the pose data of the camera from the virtual space model data; and
Creating an augmented reality image by combining the live-action image and the virtual image
Augmented reality providing method comprising a.
KR1020200062043A 2020-05-25 2020-05-25 Apparatus and method for providing augmented reality using tracker KR20210145339A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200062043A KR20210145339A (en) 2020-05-25 2020-05-25 Apparatus and method for providing augmented reality using tracker

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200062043A KR20210145339A (en) 2020-05-25 2020-05-25 Apparatus and method for providing augmented reality using tracker

Publications (1)

Publication Number Publication Date
KR20210145339A true KR20210145339A (en) 2021-12-02

Family

ID=78867381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200062043A KR20210145339A (en) 2020-05-25 2020-05-25 Apparatus and method for providing augmented reality using tracker

Country Status (1)

Country Link
KR (1) KR20210145339A (en)

Similar Documents

Publication Publication Date Title
US20210233275A1 (en) Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium
TWI607412B (en) Measurement systems and methods for measuring multi-dimensions
EP2959315B1 (en) Generation of 3d models of an environment
US9270974B2 (en) Calibration between depth and color sensors for depth cameras
US10580148B2 (en) Graphical coordinate system transform for video frames
US20200158517A1 (en) System, methods, device and apparatuses for preforming simultaneous localization and mapping
CN108871311B (en) Pose determination method and device
US20190096089A1 (en) Enabling use of three-dimensonal locations of features with two-dimensional images
JP2017134617A (en) Position estimation device, program and position estimation method
JPWO2015068470A1 (en) 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program
WO2021169704A1 (en) Method, device and apparatus for determining depth of gesture, and storage medium
CN109506617B (en) Sensor data processing method, storage medium, and electronic device
KR20210145339A (en) Apparatus and method for providing augmented reality using tracker
JP2022027111A (en) Measurement processing device, method and program
US20100156910A1 (en) System and method for mesh stabilization of facial motion capture data
Grießbach et al. IPS–a system for real-time navigation and 3D modeling
JP2003006618A (en) Method and device for generating three-dimensional model and computer program
CN115841519A (en) Calibration precision detection method, device and equipment of image acquisition equipment
CN115240140A (en) Equipment installation progress monitoring method and system based on image recognition
TW201610764A (en) Accurately positioning instruments
WO2021169705A1 (en) Method, apparatus and device for processing gesture depth information, and storage medium
US20220130138A1 (en) Training data generation apparatus, method and program
Ham et al. Absolute scale estimation of 3d monocular vision on smart devices
JP7024405B2 (en) Information processing equipment, programs and information processing methods
Kopf et al. A portable, low-cost 3D body scanning system