WO2022014805A1 - 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법 - Google Patents

교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법 Download PDF

Info

Publication number
WO2022014805A1
WO2022014805A1 PCT/KR2020/019158 KR2020019158W WO2022014805A1 WO 2022014805 A1 WO2022014805 A1 WO 2022014805A1 KR 2020019158 W KR2020019158 W KR 2020019158W WO 2022014805 A1 WO2022014805 A1 WO 2022014805A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual space
marker
covariance
dimensional
rigid body
Prior art date
Application number
PCT/KR2020/019158
Other languages
English (en)
French (fr)
Inventor
박진하
정하형
김충일
Original Assignee
(주)코어센스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코어센스 filed Critical (주)코어센스
Publication of WO2022014805A1 publication Critical patent/WO2022014805A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to a method for constructing a moving platform in a virtual space.
  • the coordinates of a marker projected on a two-dimensional image plane photographed through multiple cameras are estimated as three-dimensional coordinates using cross covariance, and 2 estimated in different spaces
  • It relates to a method of constructing a virtual space movement platform through cross-covariance 3D coordinate estimation that integrates three or more three-dimensional coordinates into one virtual space.
  • the virtual space mobile platform is widely used in fields such as training in situations that are difficult to actually experience through simulation in virtual reality, experiential education that is not restricted by location, and game contents. and provide interactive feedback to users.
  • equipment such as a head mounted display (HMD) is used to give the user a realistic feeling.
  • HMD head mounted display
  • motion capture is performed through an optical position tracking method using multiple cameras. That is, in a multi-camera-based location tracking system for user movement tracking, 3D coordinates of an active tracker marker are estimated, and this optical location tracking system is a positioning method using multiple cameras and requires a correction process.
  • a camera calibration method in the case of a single camera, there is a method using a chess board having a two-dimensional grid pattern.
  • a method using a chess board, a method using a 3-axis correction frame, a method using a correction bar, etc. There is this.
  • the active tracker marker in 3D space viewed from multiple cameras is estimated as 3D coordinates again from the coordinates of the marker projected on the 2D image.
  • the absolute position of the user in the virtual space is tracked.
  • the markers projected on multiple cameras in this process are coordinate information randomly arranged without order, the coordinates of the markers between the cameras must be matched.
  • complex calculations are required in the process of matching the coordinates of the markers between cameras, and in the case of low-resolution cameras, errors occur due to overlapping problems, etc.
  • the optical positioning system since the conventional optical positioning system builds one virtual space for one real space, the optical positioning system installed in a separate space creates a separate virtual space for each individual space. Accordingly, when a user equipped with an active tracker marker moves or moves from space 1 to space 2, it is not moved in a single virtual space, but is tracked in independent virtual spaces, thereby reducing the sense of reality.
  • the present invention has been proposed to solve a problem that occurs in the process of estimating the three-dimensional coordinates of a two-dimensional marker of a conventional optical position tracking system, and an object of the present invention is to calculate the cross covariance from the coordinates of the marker projected on a two-dimensional image.
  • An object of the present invention is to provide a method of constructing a virtual space movement platform that tracks a user's location in a virtual space by estimating three-dimensional coordinates, and integrates independent virtual spaces into one virtual space.
  • the virtual space movement platform construction method through cross-covariance 3D coordinate estimation according to the present invention for achieving the above object is a virtual space movement in which the three-dimensional coordinates of a marker are estimated by analyzing an image captured through multiple cameras and placed in a virtual space
  • a platform construction method comprising: identifying a marker attached to an active tracker photographed through two or more multiple cameras in an optical position tracking unit to obtain a two-dimensional covariance for the marker; obtaining a cross covariance in which the two-dimensional covariance obtained for one marker overlaps, and estimating the three-dimensional coordinates of the marker through the obtained cross covariance to track the position of the rigid body;
  • the three-dimensional coordinates of the rigid body are received from the integrated control middleware from a plurality of optical position tracking units arranged in separate spaces, respectively, and the received three-dimensional coordinate information of the rigid body is integrated and placed in one virtual space to form a virtual space movement platform. Constructing a; includes.
  • the integrated control middleware corrects the three-dimensional coordinates of each rigid body received from a plurality of optical position tracking units so that the three-dimensional coordinates of each rigid body do not overlap in one virtual space, by moving and rotating the origin of the three-dimensional coordinates of the rigid body for each individual space. .
  • the three-dimensional coordinates of the rigid body transmitted from the optical position tracking unit are moved by x offset , y offset , and z offset after the x, y, and z axes are rotated by ⁇ in the Yaw axis through the following equation to be placed in a virtual space.
  • the covariance matrix of the marker for one camera is obtained through the following equation.
  • the cross covariance P CI for finding the center point of one marker viewed from the two cameras (C 1 , C 2 ) is calculated using the following equation, which is a convex combination of individual tracking using a weight ⁇ .
  • the position of the marker in the three-dimensional space is estimated by calculating the cross covariance for one marker through three or more multiple cameras.
  • the marker of the active tracker is estimated as three-dimensional coordinates using cross covariance from the coordinates of the marker projected on the two-dimensional image, and then the independent virtual space is integrated into one virtual space.
  • the computation speed can be improved because there is no need to go through the conventional complicated computation process, and the three-dimensional position calculation with high precision even at low resolution can be performed. There is a possible effect.
  • FIG. 1 is an overall conceptual diagram of a virtual space mobile platform construction system according to the present invention
  • Figure 2 is a conceptual diagram of the installation of the optical position tracking unit according to the installed in one separate space according to the present invention
  • FIG. 3 is a block diagram of an optical positioning unit installed in a separate space according to the present invention.
  • FIG. 4 is a conceptual diagram illustrating a three-dimensional coordinate estimation method using cross covariance according to the present invention
  • FIG. 5 is a conceptual diagram showing the covariance for a point viewed from the camera according to the present invention.
  • FIG. 6 is a conceptual diagram showing a method for finding the cross covariance point of two cameras according to the present invention.
  • FIG. 10 is an example of a multi-camera arrangement for testing cross covariance in a three-dimensional space according to the present invention
  • 11 is an example of a screen in which the position of a marker in a three-dimensional space is estimated by calculating the cross covariance according to the present invention
  • 13 is a position of a marker estimated in three-dimensional space according to the present invention.
  • 15 is an example in which two centers of data sets A and B according to the present invention are rotated to come to the origin;
  • 16 is an example of a screen in which rigid body transformation is implemented in a monitoring program according to the present invention.
  • 18 is a monitoring screen that tracks the movement of the tester wearing a hard hat according to the present invention once;
  • 19 is a monitoring screen that tracks the tester wearing a helmet according to the present invention while walking, sitting and getting up and walking again;
  • 20 is a view showing a monitoring screen in which the tester wearing the helmet according to the present invention tracked walking again after running in place while walking.
  • 21 is an example of data transmitted from one optical position tracking unit to the integrated control middleware according to the present invention.
  • 22 is an example of a situation in which rigid bodies located in a separate space according to the present invention overlap each other when they are integrated into one virtual space by the integrated control middleware;
  • FIG. 1 shows an overall conceptual diagram of a virtual space mobile platform construction system according to an embodiment of the present invention.
  • the virtual space moving platform construction system is a plurality of optical position tracking units ( 100) and an integrated control middleware 200 that receives and integrates each of the three-dimensional coordinate information of the marker from the plurality of optical position tracking units 100, converts them into coordinates in a single virtual space, and arranges them.
  • the location information of each rigid body arranged in one virtual space by the integrated control middleware 200 can be simulated as one virtual space through the control unit, and is used for content production in environments such as virtual/augmented/mixed reality. can be
  • FIG. 2 is a conceptual diagram illustrating an installation of an optical positioning unit installed in a separate space according to an embodiment of the present invention
  • FIG. 3 is a block diagram illustrating an optical positioning unit.
  • the optical position tracking unit 100 captures a marker attached to an active tracker located in one separate individual space with a plurality of cameras, and then analyzes the captured camera image for the marker. By grasping the position and movement of the marker, the three-dimensional coordinates of the marker are estimated.
  • an active tracker is a device worn by a moving person or object (hereinafter, collectively referred to as "user"), and may be a hard hat, gloves, vest, or shoes. is attached
  • the marker images taken through the plurality of cameras are analyzed through the optical position tracking unit 100, which is a computing device equipped with a calculation function.
  • a camera correction module 110 for performing each correction, and a three-dimensional marker coordinate estimation module 120 for estimating three-dimensional marker coordinates by analyzing images of markers photographed through a plurality of corrected cameras are provided.
  • the camera correction module 110 estimates the internal and external variables of the camera using various methods such as a chess board having a two-dimensional grid pattern, a three-axis correction frame, and a correction rod, and corrects the camera through this.
  • the camera correction module 110 performs multi-camera correction by estimating internal and external variables of the camera using a chess board and a correction rod. This camera correction method is registered by the applicant It is presented in Patent No. 10-2188480.
  • the three-dimensional marker coordinate estimation module 120 identifies the image of the marker photographed through a plurality of corrected cameras, and estimates the three-dimensional coordinates using the cross covariance from the coordinates of the two-dimensional marker photographed by the multiple cameras.
  • the 3D coordinate information of the marker estimated by the 3D marker coordinate estimation module 120 means 3D coordinates for an individual space to which the marker belongs.
  • the 3D coordinate information of the marker estimated in this way is the integrated control middleware 200 ), and the integrated control middleware 200 integrates the 3D coordinate information of the markers estimated in each individual space and arranges them into one virtual space.
  • FIG. 4 is a conceptual diagram illustrating a three-dimensional coordinate estimation method using cross covariance according to an embodiment of the present invention.
  • the three-dimensional coordinates are estimated from the coordinates of the two-dimensional markers in the image viewed from multiple cameras.
  • the coordinates of the markers viewed from the individual cameras are expressed in the form of covariance based on probability, and the point where the covariances of the markers viewed from all cameras overlap are estimated as the probabilistic positions of the 3D markers.
  • FIG. 5 is a conceptual diagram illustrating covariance of a point viewed from a camera according to an embodiment of the present invention.
  • the angle ⁇ m refers to an angle spread from the midpoint of the camera to a point
  • the two-dimensional covariance matrix C x,y can be expressed as in Equation 1 below.
  • ⁇ represents covariance.
  • Covariance represents the correlation between two different random variables, which means the product of the deviations of the two random variables.
  • the covariance matrix rotated by ⁇ spread from the camera midpoint is P and the covariance center can be expressed as Equations 2 and 3 below.
  • the lengths ⁇ 1 , ⁇ 2 of each axis are as in the following Equations 4 and 5, where the ⁇ 1 coefficient uses the maximum distance D of the marker detectable by the camera, and ⁇ 2 is the pixel and the pixel based on the camera coordinate system.
  • FIG. 6 is a conceptual diagram showing the way of finding the intersection point of the two covariance camera, shows the two cameras C 0, shape of cross-covariance P CI for finding the center point of the marker as viewed from a C 1.
  • Equation 6 calculates the cross covariance P CI with the covariances P 1 and P 2 of individual cameras
  • Equation 7 is the center of the individual camera covariance of Equation 3 Through P CI and calculates the center position of the cross-covariance x CI.
  • FIG. 7 is an example of setting the camera position and the angle ⁇ from the camera center (c1) (c2) to the p1, p2, p3 markers projected on the camera through the CAD program in order to proceed with the simulation experiment, and FIG. The result of implementing cross-covariance through MATLAB with the simulation setting value of 7 is shown.
  • Equation 8 the covariance superposition calculation uses a 3 ⁇ 3 matrix as shown in Equation 8, instead of a 2 ⁇ 2 matrix in Equation 1, as shown in Equation 8 below.
  • Equation 9 shows an example of the form of a three-dimensional covariance matrix, since the three-dimensional covariance matrix is an ellipsoid existing in three axes unlike the two-dimensional covariance matrix, the length ⁇ 1 of each axis in the covariance matrix is ⁇ 2 through Equation 4, ⁇ 2 , ⁇ 3 is obtained through Equation 5.
  • ⁇ 2 is calculated through the calculated angle ⁇ l between pixels in the x-axis direction based on the camera coordinate system
  • ⁇ 3 is calculated in the y-axis direction based on the camera coordinate system.
  • FIG. 10 assuming that a marker is at the center of the camera, the covariance passing through the marker from the camera origin is expressed.
  • 11 is an example of a screen in which the position of a marker is estimated in a three-dimensional space by calculating cross covariance, and it can be seen that the center of the marker viewed from all cameras is estimated.
  • FIG. 12 is an example of a helmet with a marker worn by the user
  • FIG. 13 shows the position of the marker estimated in a three-dimensional space through cross covariance.
  • a marker is attached to the helmet worn by the user in order to track the user in the virtual space moving platform. At least three markers are required to obtain the position information of the helmet, and at this time, the position information of the markers was combined to create a rigid body with position and posture information.
  • the collection of selected markers is set as a single rigid body, and the marker collection of the selected markers among all the markers found in the 3D space is aligned and the optimal rotation and position movement are estimated by comparing the two.
  • Equations 9, 10, and 11 below represent rigid body transformation equations.
  • P means a point
  • P i A and P i B are points of data sets A and B, respectively, and these values are used in the next step by obtaining their central points.
  • the two data sets are moved to the origin so that the two centers come to the origin.
  • FIG. 15 shows an example in which the two centers of the data sets A and B are rotated to come to the origin.
  • Equation 12 creates a 3 ⁇ 3 matrix H through the 3 ⁇ N matrix of the data set A and the N ⁇ 3 matrix of the data set B from which the center position information has been removed from the two data sets.
  • Equation 13 obtains the rotation matrix R of Equation 14 through singular value decomposition (SVD) for the H matrix.
  • SVD singular value decomposition
  • 16 is an example of a screen in which rigid body transformation is implemented in a monitoring program in an embodiment of the present invention, and the position and posture in three-dimensional space are expressed by tracking the rigid body of the helmet.
  • a location tracking experiment of a user wearing a hard hat was performed in virtual training using a virtual space moving platform. carried out.
  • a 4m x 6m structure was installed on the ceiling, and 8 cameras were oriented toward a point on the ground, and internal and external variables of each camera were estimated through multi-camera calibration, and an optical location tracking monitoring program was developed. Thus, it was expressed as in FIG. 17 .
  • the optical position tracking unit 100 for estimating the three-dimensional coordinates of the marker for an individual space transmits the estimated three-dimensional coordinate information of the marker to the integrated control middleware 200 .
  • the space of the optical position tracking unit 100 since the space of the optical position tracking unit 100 has its own origin individually, in the integrated control middleware 200, the three-dimensional position of the marker transmitted from the optical position tracking unit 100 in each separate space. Information should be corrected and relocated in one virtual space.
  • FIG. 21 shows an example of data transmitted from one optical position tracking unit to the integrated control middleware.
  • the optical position tracking unit 100 transmits the 3D information of the marker to the integrated control middleware 200 as rigid body information.
  • This rigid body information may be 3D coordinate information for one marker, and the active tracker Multiple marker information attached to can be integrated 3D coordinate information.
  • the three-dimensional information of the marker for each individual space transmitted from the optical position tracking unit 100 to the integrated control middleware 200 will be described as rigid body information.
  • the origin of the virtual space is the standard As a result, a rigid body of each optical position tracking unit 100 exists, and in this case, a situation in which the rigid bodies overlap may occur. That is, even though the rigid bodies tracked by each optical position tracking unit 100 are located in separate spaces, if they are simply integrated into one virtual space, a situation in which the spaces overlap each other may occur. 22 shows an example of a situation in which rigid bodies located in such separate spaces overlap each other when they are integrated into one virtual space by the integrated control middleware.
  • the integrated control middleware 200 needs to correct the movement and rotation information of the origin of the rigid body for each individual space of the optical position tracking unit 100 .
  • Equation 16 shows an equation in which the rigid three-dimensional coordinates of the optical position tracking unit 100 are changed to the coordinates of the integrated control middleware 200 and integrated.
  • Equation 16 is a formula for rotating the coordinate system x, y, z of each optical position tracking unit 100 on the yaw axis by ⁇ and then moving by x offset , y offset , z offset , and integrated control middleware 200 is to correct the spatial information of the rigid body transmitted from each optical position tracking unit 100 through Equation 16.
  • the position of the rigid body to which the marker is attached can be grasped by tracking the three-dimensional coordinates of the markers located in individual spaces in the optical position tracking unit 100 , and each optical position tracking in the integrated control middleware 200 .
  • the origin of the position of the rigid body transmitted from the unit 100 and arranging it in one virtual space it is possible to track the movement and movement of the rigid body in one space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 다중 카메라를 통하여 촬영되는 2차원 영상 평면에 투영된 마커의 좌표를 교차 공분산을 이용하여 3차원 좌표로 추정하고, 서로 다른 공간에서 추정된 2개 이상의 3차원 좌표를 통합하여 하나의 가상공간으로 구현하는 교차 공분산 3D 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법에 관한 것이다. 본 발명에 따른 가상공간 이동플랫폼 구축 방법은 다중 카메라를 통하여 촬영되는 영상을 분석하여 마커의 3차원 좌표를 추정하고 가상공간에 배치하는 가상공간 이동플랫폼 구축 방법에 있어서, 광학식 위치 추적부(100)에서 2개 이상의 다중 카메라를 통하여 촬영된 액티브 트래커에 부착된 마커를 식별하여, 마커에 대한 2차원 공분산을 구하는 단계와; 하나의 마커에 대해 구해진 2차원 공분산이 중첩하는 교차 공분산을 구하고, 구해진 교차 공분산을 통하여 마커의 3차원 좌표를 추정하여 강체의 위치를 추적하는 단계와; 분리된 공간에 각각 배치된 복수의 광학식 위치 추적부(100)로부터 강체의 3차원 좌표를 통합관제 미들웨어(200)에서 각각 전송받아, 전송받은 강체의 3차원 좌표 정보를 통합하여 하나의 가상공간에 배치하여 가상공간 이동플랫폼을 구축하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.

Description

교차 공분산 3D 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법
본 발명은 가상공간 이동플랫폼 구축 방법에 관한 것으로, 특히 다중 카메라를 통하여 촬영되는 2차원 영상 평면에 투영된 마커의 좌표를 교차 공분산을 이용하여 3차원 좌표로 추정하고, 서로 다른 공간에서 추정된 2개 이상의 3차원 좌표를 통합하여 하나의 가상공간으로 구현하는 교차 공분산 3D 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법에 관한 것이다.
근래 들어 가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality) 분야의 가상공간 이동플랫폼 시장 수요가 커지면서 이와 관련된 산업이 증가하고 있으며, 다중 체험이 가능한 콘텐츠 생산 및 서비스 지원에 활용할 수 있다.
가상공간 이동플랫폼은 가상현실에서 시뮬레이션을 통해 실제로 경험하기 힘든 상황을 훈련하거나, 장소의 제약을 받지 않는 체험적 교육 그리고 게임 콘텐츠와 같은 분야 등에 폭넓게 사용되고 있는데, 이때 실감나는 체험을 위해 가상공간이 실제와 상호작용 피드백을 사용자에게 제공하게 된다. 이러한 가상공간에서 사용자에게 현실 같은 느낌을 주기 위해서 HMD(Head mounted display)와 같은 장비가 사용된다.
이러한 가상공간을 제공하기 위해서는 모션 캡쳐를 통해 사용자의 움직임을 추적하는 과정이 필요한데, 가상공간 이동플랫폼에서는 일반적으로 다중 카메라를 이용한 광학식 위치 추적 방법을 통하여 모션 캡쳐를 수행하고 있다. 즉, 사용자 움직임 추적을 위한 다중 카메라 기반 위치 추적 시스템에서는 액티브 트래커 마커 3D 좌표를 추정하게 되는데, 이러한 광학식 위치 추적 시스템은 다중 카메라를 이용한 위치 측위 방식으로서 보정 과정이 있어야 한다.
카메라 보정 방법으로 단일 카메라의 경우 2차원 격자 형태의 무늬를 갖는 체스 보드를 이용한 방법이 있으며, 두 개 이상의 카메라의 경우 체스 보드를 이용하는 방법과 3축 보정틀을 이용하는 방법 그리고 보정용 봉을 이용하는 방식 등이 있다. 이러한 보정 결과로는 카메라의 내부 변수와 외부 변수가 추정된 후, 여러 대의 카메라에서 바라본 3차원 공간상 액티브 트래커 마커는 2차원 영상에 투영된 마커의 좌표로부터 다시 3차원 좌표로 추정된다. 이렇게 추정된 액티브 트래커 마커의 3차원 좌표를 통하여 강체(Rigid body)를 추적함으로써 가상공간 내의 사용자의 절대 위치를 추적하게 된다.
한편, 이러한 과정에서 여러 카메라에 투영된 마커는 순서 없이 무작위로 배치된 좌표 정보이므로, 카메라 간의 마커 좌표 일치화를 수행되어야 한다. 하지만, 카메라 간의 마커 좌표를 일치화 하는 과정에서 복잡한 연산이 필요하며, 저해상도 카메라의 경우 중복 문제 등에 의해 오차가 발생하여 정밀도가 떨어져 마커의 3차원 좌표를 정확히 추정하기 어려운 문제점이 있었다.
또한, 종래의 광학식 위치 추적 시스템은 하나의 실제 공간에 대해 하나의 가상공간을 구축하기 때문에, 분리된 공간에 설치된 광학식 위치 추적 시스템은 개별 공간별로 따로따로 가상공간을 생성하게 된다. 이에 따라 액티브 트래커 마커를 장착한 사용자가 1번 공간에서 2번 공간으로 이동하거나 움직일 때, 하나의 가상공간에서 이동하는 것이 아닌 서로 독립적인 가상공간에서 각각 추적이 되어 현실감이 떨어지는 문제점이 있었다.
[선행기술문헌]
[특허문헌]
대한민국 등록특허공보 제10-2188480호 (2020.12.02. 등록)
대한민국 등록특허공보 제10-1768958호 (2017.08.10. 등록)
본 발명은 종래 광학식 위치 추적 시스템의 2차원 마커의 3차원 좌표 추정 과정에서 발생하는 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 2차원 영상에 투영된 마커의 좌표로부터 교차 공분산을 계산하여 3차원 좌표를 추정하여 가상공간 내의 사용자 위치를 추적하고, 서로 독립된 가상공간을 통합하여 하나의 가상공간으로 구현하는 가상공간 이동플랫폼 구축 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 교차 공분산 3D 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법은다중 카메라를 통하여 촬영되는 영상을 분석하여 마커의 3차원 좌표를 추정하고 가상공간에 배치하는 가상공간 이동플랫폼 구축 방법에 있어서, 광학식 위치 추적부에서 2개 이상의 다중 카메라를 통하여 촬영된 액티브 트래커에 부착된 마커를 식별하여, 마커에 대한 2차원 공분산을 구하는 단계와; 하나의 마커에 대해 구해진 2차원 공분산이 중첩하는 교차 공분산을 구하고, 구해진 교차 공분산을 통하여 마커의 3차원 좌표를 추정하여 강체의 위치를 추적하는 단계와; 분리된 공간에 각각 배치된 복수의 광학식 위치 추적부로부터 강체의 3차원 좌표를 통합관제 미들웨어에서 각각 전송받아, 전송받은 강체의 3차원 좌표 정보를 통합하여 하나의 가상공간에 배치하여 가상공간 이동플랫폼을 구축하는 단계;를 포함한다.
상기 통합관제 미들웨어는 복수의 광학식 위치 추적부로부터 전송받은 각각의 강체의 3차원 좌표가 하나의 가상공간에 중첩되지 않도록, 각각 개별 공간별로 강체의 3차원 좌표의 원점 이동 및 회전을 통해 수정하게 된다.
여기에서, 상기 광학식 위치 추적부로부터 전송된 강체의 3차원 좌표는 다음의 수학식을 통해, x,y,z 축이 Yaw 축으로 θ만큼 회전한 뒤, xoffset,yoffset,zoffset 만큼 이동하여 가상공간에 배치된다.
Figure PCTKR2020019158-appb-I000001
한편, 상기 공분산을 구하는 단계에서, 하나의 카메라에 대한 마커의 공분산 행렬은 다음 수학식을 통해 구해진다.
Figure PCTKR2020019158-appb-I000002
(여기서, σ는 공분산(Covariance)을 나타낸다)
또한, 하나의 카메라 중심에서 마커까지 벌어진 각도 θ로 회전된 공분산 행렬 P와 공분산의 중심
Figure PCTKR2020019158-appb-I000003
는 다음의 수학식을 통해 구해진다.
Figure PCTKR2020019158-appb-I000004
Figure PCTKR2020019158-appb-I000005
두 카메라(C1, C2)에서 바라본 하나의 마커의 중심점을 찾기 위한 교차 공분산 PCI는 가중치 ω를 사용한 개별추종의 컨벡스 조합(Convex combination)인 다음의 수학식을 통해 계산된다.
Figure PCTKR2020019158-appb-I000006
Figure PCTKR2020019158-appb-I000007
한편, 상기 교차 공분산을 통하여 3차원 좌표를 추정하는 단계는 3개 이상의 다중 카메라를 통하여 하나의 마커에 대한 교차 공분산을 계산하여 3차원 공간 상에서 마커의 위치를 추정하게 된다.
본 발명의 가상공간 이동플랫폼 구축 방법에 따르면, 액티브 트래커의 마커를 2차원 영상에 투영된 마커의 좌표로부터 교차 공분산을 이용하여 3차원 좌표로 추정한 후 독립된 가상공간을 하나의 가상공간으로 통합하여 가상공간 이동플랫폼을 구축함으로써, 액티브 트래커 마커가 서로 다른 공간을 이동하여도 개별 가상공간에서 움직이는 것이 아닌 통합된 하나의 가상공간에 존재하기 때문에 사용자 추적에 있어서 연속성을 부여할수 있는 효과가 있다.
또한, 2차원 영상에 투영된 마커의 좌표로부터 교차 공분산을 통하여 3차원 좌표를 추정함으로써, 종래 복잡한 연산 과정을 거치지 않아도 되므로 연산 속도를 개선할 수 있으며, 낮은 해상도에서도 높은 정밀도의 3차원 위치 계산이 가능한 효과가 있다.
도 1은 본 발명에 따른 가상공간 이동플랫폼 구축 시스템의 전체적인 개념도,
도 2는 본 발명에 따른 하나의 분리된 공간에 설치된 따른 광학식 위치 추적부의 설치 개념도,
도 3은 본 발명에 따른 하나의 분리된 공간에 설치된 광학식 위치 추적부의 블록 구성도,
도 4는 본 발명에 따른 교차 공분산을 이용한 3차원 좌표 추정 방법을 나타낸 개념도,
도 5는 본 발명에 따른 카메라에서 바라본 한 점에 대한 공분산을 나타낸 개념도,
도 6은 본 발명에 따른 두 카메라의 교차 공분산 점을 찾는 방법을 나타낸 개념도,
도 7은 본 발명에 따라 시뮬레이션 실험을 진행하기 위해 CAD 프로그램을 통해 카메라의 위치와 카메라 중심으로부터 카메라에 투영된 마커까지의 각도 θ를 설정한 일례,
도 8은 도 7의 시뮬레이션 설정 값을 매트랩을 통해 교차 공분산을 구현한 결과,
도 9는 본 발명에 따른 3차원 공분산 행렬의 형태 일례,
도 10은 본 발명에 따른 3차원 공간에서 교차 공분산을 실험하기 위한 다중 카메라 배치도 일례,
도 11은 본 발명에 따라 교차 공분산을 계산하여 3차원 공간 상에서 마커의 위치가 추정된 화면 일례,
도 12는 본 발명에 따른 마커가 부착된 안전모 일례,
도 13은 본 발명에 따라 3차원 공간에서 추정된 마커의 위치,
도 14는 본 발명에 따른 처음 선택된 마커 셋 A와 3차원 공간에서 찾아낸 마커 셋 B의 회전 R과 이동 t를 구하는 방식 일례,
도 15는 본 발명에 따른 데이터 셋 A, B의 두 중심이 원점에 오도록 회전시킨 일례,
도 16은 본 발명에 따라 강체 변환을 모니터링 프로그램에서 구현한 화면 일례,
도 17은 본 발명에 따른 다중 카메라 모니터링 프로그램 화면 일례,
도 18은 본 발명에 따른 안전모를 착용한 시험자가 한 바퀴 이동한 것을 추적한 모니터링 화면,
도 19는 본 발명에 따른 안전모를 착용한 시험자가 걸어가는 도중 앉았다 일어나 다시 걸어가는 것을 추적한 모니터링 화면,
도 20은 본 발명에 따른 안전모를 착용한 시험자가 걸어가는 도중 제자리 뛰기를 한 뒤 다시 걸어가는 것을 추적한 모니터링 화면을 나타낸 것이다.
도 21은 본 발명에 따른 하나의 광학식 위치 추적부에서 통합관제 미들웨어에 전송하는 데이터 일례,
도 22는 본 발명에 따른 별도의 공간에 위치하였던 강체가 통합관제 미들웨어에 의해 하나의 가상공간으로 통합될 때 강체끼리 중첩되는 상황 일례,
도 23은 본 발명에 따른 통합관제 미들웨어의 가상공간에서 위치가 변경된 위치 추적부의 강체 위치를 나타낸 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 가상공간 이동플랫폼 구축 시스템의 전체적인 개념도를 나타낸 것이다.
도 1에 도시된 바와 같이, 본 발명에 다른 가상공간 이동플랫폼 구축 시스템은 각각 분리된 공간에서 액티브 트래커에 부착된 마커의 위치를 교차 공분산을 이용해 3차원 좌표로 추적하는 복수의 광학식 위치 추적부(100)와, 상기 복수의 광학식 위치 추적부(100)로부터 마커의 3차원 좌표 정보를 각각 전송받아 통합하여 하나의 가상공간에서의 좌표로 변환하여 배치하는 통합관제 미들웨어(200)를 포함한다.
상기 통합관제 미들웨어(200)에 의해 하나의 가상공간으로 배치된 각각의 강체의 위치 정보는 관제부를 통하여 하나의 가상공간으로 시뮬레이션 될 수 있으며, 가상/증강/혼합 현실 등의 환경에서 컨텐츠 제작에 이용될 수 있다.
이하에서는, 광학식 위치 추적부(100)를 통하여 하나의 독립된 공간에서 교차 공분산을 이용하여 마커의 3차원 좌표를 추정하는 방법을 도 2 내지 도 17을 통하여 먼저 설명한 후, 통합관제 미들웨어(200)에서 각각의 공간에서 추정된 마커의 3차원 좌표를 통합하여 하나의 가상공간으로 배치하는 방법에 대하여 설명하기로 한다.
[ 공분산을 이용한 마커의 3차원 좌표 추적 방법 ]
도 2는 본 발명의 실시 예에 따른 하나의 분리된 공간에 설치된 따른 광학식 위치 추적부의 설치 개념도이고, 도 3은 광학식 위치 추적부의 블록 구성도를 나타낸 것이다.
도 2와 도 3에 도시된 바와 같이, 광학식 위치 추적 부(100)는 하나의 분리된 개별 공간에 위치한 액티브 트래커에 부착된 마커를 다수의 카메라로 촬영한 후, 촬영된 카메라 영상을 분석하여 마커의 위치 및 이동을 파악함으로써 마커의 3차원 좌표를 추정하게 된다. 여기서 액티브 트래커란 움직이는 사람이나 사물(이하, "사용자"로 총칭한다)이 착용하는 장비로서, 안전모나 장갑, 조끼, 신발 등이 될 수 있는데, 이 액티브 트래커에는 카메라를 통하여 촬영시 식별이 가능한 마커가 부착된다.
상기 다수의 카메라를 통하여 촬영되는 마커 영상은 연산 기능이 구비된 컴퓨팅 장치인 광학식 위치 추적부(100)를 통하여 분석되는데, 이 광학식 위치 추적부(100)에는 마커의 영상을 촬영하는 복수의 카메라에 대해 각각 보정을 수행하는 카메라 보정모듈(110)과, 보정된 복수의 카메라를 통하여 촬영되는 마커의 영상을 분석하여 3차원 마커 좌표를 추정하는 3차원 마커 좌표 추정모듈(120)이 구비된다.
상기 카메라 보정모듈(110)은 2차원 격자 형태의 무늬를 갖는 체스 보드나 3축 보정틀, 보정용 봉 등 다양한 방법을 이용하여 카메라의 내부 변수와 외부 변수가 추정하고 이를 통하여 카메라를 보정하게 된다. 본 발명의 실시 예에서 상기 카메라 보정모듈(110)은 체스 보드 및 보정용 봉을 이용하여 카메라의 내부 변수 및 외부 변수를 추정하여 다중 카메라 보정을 수행하게 되는데, 이러한 카메라 보정 방법은 본 출원인에 의해 등록된 특허 제10-2188480호에 제시되어 있다.
한편, 상기 3차원 마커 좌표 추정모듈(120)은 보정된 다수의 카메라를 통하여 촬영된 마커의 영상을 식별하고, 다중 카메라에서 촬영된 2차원 마커의 좌표로부터 교차 공분산을 이용하여 3차원 좌표를 추정하게 된다. 이 3차원 마커 좌표 추정모듈(120)에 의해 추정되는 마커의 3차원 좌표 정보는 마커가 속한 개별 공간에 대한 3차원 좌표를 의미하는데, 이렇게 추정되는 마커의 3차원 좌표 정보는 통합관제 미들웨어(200)로 전송되고, 통합관제 미들웨어(200)는 각각의 개별 공간에서 추정된 마커의 3차원 좌표 정보를 통합하여 하나의 가상공간으로 배치하게 된다.
이하에서는 광학식 위치 추적부(100)에서 교차 공분산을 이용하여 개별 공간의 마커에 대한 3차원 좌표를 추정하는 과정에 대해 설명하기로 한다.
도 4는 본 발명의 실시 예에 따른 교차 공분산을 이용한 3차원 좌표 추정 방법을 나타낸 개념도이다.
본 발명에서는 다중 카메라에서 바라본 영상 속 2차원 마커의 좌표로부터 3차원 좌표를 추정하게 된다. 이때 3차원 공간에서의 마커 좌표를 추정하기 위해, 개별 카메라에서 바라본 마커의 좌표는 확률기반으로 공분산 형태로 표현하여 모든 카메라에서 바라본 마커의 공분산이 중첩되는 지점을 3차원 마커의 확률적 위치로 추정하게 된다.
도 5는 본 발명의 실시 예에 따른 카메라에서 바라본 한 점에 대한 공분산을 나타낸 개념도이다.
도 5에서, 각도 θm은 카메라 중점에서 한점까지 벌어진 각을 의미하는데, 2차원 공분산 행렬 Cx,y는 다음 수학식 1과 같이 표현할 수 있다.
[수학식 1]
Figure PCTKR2020019158-appb-I000008
여기서, σ는 공분산(Covariance)을 나타낸다. 공분산은 서로 다른 두 확률변수의 상관 관계를 나타내는데, 이는 두 확률 변수의 편차의 곱을 의미한다.
카메라 중점에서 벌어진 θ로 회전된 공분산 행렬은 P와 공분산 중심
Figure PCTKR2020019158-appb-I000009
를 다음 수학식 2 및 수학식 3과 같이 표현될 수 있다.
[수학식 2]
Figure PCTKR2020019158-appb-I000010
[수학식 3]
Figure PCTKR2020019158-appb-I000011
공분산 행렬에서 각축의 길이 α1, α2는 다음 수학식 4 및 5와 같으며, 이때 α1 계수는 카메라에서 감지 가능한 마커의 최대 거리 D를 사용하며, α2는 카메라 좌표계 기준으로 픽셀과 픽셀 사이의 계산된 각도 θl를 통해 계산한다.
[수학식 4]
Figure PCTKR2020019158-appb-I000012
[수학식 5]
Figure PCTKR2020019158-appb-I000013
도 6은 두 카메라의 교차 공분산 점을 찾는 방법을 나타낸 개념도로서, 두 카메라 C0, C1에서 바라본 하나의 마커의 중심점을 찾기 위한 교차 공분산 PCI의 모습을 보여주고 있다.
두 카메라의 교차 공분산은 다음 수학식 6 및 7과 같이 가중치 ω를 사용한 개별추종의 컨벡스 조합(Convex combination)을 통해 계산할 수 있다. 수학식 6은 개별 카메라의 공분산 P1과 P2로 교차 공분산 PCI를 계산하며, 수학식 7은 개별 카메라 공분산 중심인 수학식 3의
Figure PCTKR2020019158-appb-I000014
와 PCI를 통하여 교차 공분산의 중심 위치인 xCI를 계산한다.
[수학식 6]
Figure PCTKR2020019158-appb-I000015
[수학식 7]
Figure PCTKR2020019158-appb-I000016
위와 같은 과정을 통해 이루어지는 교차 공분산을 이용한 좌표 추정 방법을 시뮬레이션 실험을 통해 확인해보기로 한다.
도 7은 시뮬레이션 실험을 진행하기 위해 CAD 프로그램을 통해 카메라의 위치와 카메라 중심(c1)(c2)으로부터 카메라에 투영된 p1, p2, p3 마커까지의 각도 θ를 설정한 일례이고, 도 8은 도 7의 시뮬레이션 설정 값을 매트랩을 통해 교차 공분산을 구현한 결과를 나타낸 것이다.
도 7 및 도 8에서와 같이, 시뮬레이션 실험 결과 개별 마커로부터 뻗어나간 공분산이 서로 중첩된 영역으로 나타나게 되는데, 다음의 표 1은 시뮬레이션 설정 위치와 매트랩(matlab) 추정 위치를 나타낸 것으로, 시뮬레이션 설정 위치와 매트랩(matlab) 추정 위치가 유사함을 확인할 수 있다.
[표 1]
Figure PCTKR2020019158-appb-I000017
상기 과정을 통하여 2차원 평면에서 공분산 중첩을 수행하는 과정에 대하여 설명하였다. 한편, 카메라는 3차원 공간을 2차원 영상 평면에 투영하기 때문에 다중 카메라의 2차원 영상에서 3차원 위치를 추정해야 한다.
따라서, 공분산 중첩 계산은 수학식 1에서 2×2 행렬이 아닌 다음의 수학식 8과 같이 3×3 행렬을 사용하게 된다.
[수학식 8]
Figure PCTKR2020019158-appb-I000018
도 9는 3차원 공분산 행렬의 형태 일례를 나타낸 것으로, 3차원 공분산 행렬은 2차원과 달리 3축에 존재하는 타원체가 되기 때문에 공분산 행렬에서 각축의 길이 α1은 수학식 4를 통하여, α2, α3은 수학식 5를 통해 구하도록 한다. α2는 카메라 좌표계 기준으로 x축 방향의 픽셀과 픽셀 사이의 계산된 각도 θl를 통해 계산하도록 하며, α3은 카메라 좌표계 기준으로 y축 방향으로 계산하도록 한다.
따라서, 3차원 공간에서 교차 공분산을 실험하기 위해 다중 카메라를 도 10과 같이 배치하였는데, 도 10에서 카메라의 중심에 마커가 있다고 가정하여 카메라 원점에서 마커를 지나는 공분산을 표현하였다.
도 11은 교차 공분산을 계산하여 3차원 공간 상에서 마커의 위치가 추정된 화면 일례로서, 모든 카메라에서 바라본 마커의 중심을 추정한 모습을 확인할 수 있다.
상술한 교차 공분산을 이용하여 3차원 좌표를 추정하는 방법을 통하여 사용자의 위치를 추정하는 실시 예를 설명하기로 한다.
도 12는 사용자가 착용하는 마커가 부착된 안전모 일례이고, 도 13은 교차 공분산을 통해 3차원 공간에서 추정된 마커의 위치를 나타낸 것이다.
본 발명에서는 가상공간 이동플랫폼에서 사용자를 추적하기 위해서 사용자가 착용하는 안전모에 마커를 부착하였다. 안전모의 위치 정보를 얻기 위해서는 최소 3개 이상의 마커가 필요한데, 이때 마커의 위치 정보를 조합하여 위치 및 자세 정보를 지닌 강체(rigid body)를 생성하도록 하였다. 선택된 마커들의 모음은 하나의 강체로 설정하게 되며, 3차원 공간에서 찾아낸 모든 마커들 중에서 선택된 마커들의 마커 모음을 정렬하고 그 둘을 비교하여 최적의 회전과 위치 이동을 추정한다.
처음 선택된 마커 셋을 A라고 하고, 3차원 공간에서 찾아낸 마커 셋을 B라고 할 때, 회전 R과 이동 t를 구하는 방식을 도 14에서 표현하였다.
도 14의 두 데이터 세트에서 동일한 점은 같은 색을 가지며, R은 회전이고 t는 평행 이동을 의미한다. 데이터 셋 A의 포인트를 데이터 셋 B에 정렬하는 최적의 회전 및 변환을 찾고 싶으며, 이 변환은 모양과 크기를 유지하기 때문에 강체 변환(rigid-transform)이라고 한다.
다음의 수학식 9, 10, 11은 강체 변환식을 나타낸 것이다.
[수학식 9]
Figure PCTKR2020019158-appb-I000019
[수학식 10]
Figure PCTKR2020019158-appb-I000020
[수학식 11]
Figure PCTKR2020019158-appb-I000021
상기 수학식에서 P는 점을 의미하고, Pi A와 Pi B는 각각 데이터 셋 A와 B의 점으로, 이들의 중심점을 구하여 다음 단계에서 이 값을 사용한다. 최적의 회전을 찾으려면 두 중심이 원점에 오도록 두 데이터 셋을 원점으로 이동하는데, 도 15는 데이터 셋 A, B의 두 중심이 원점에 오도록 회전시킨 일례를 나타낸 것이다.
다음의 수학식 12는 두 데이터 세트에서 중심 위치정보를 제거한 데이터 세트 A의 3×N 행렬과 데이터 세트 B의 N×3 행렬을 통해 3×3 행렬 H를 만든다. 또한, 수학식 13은 H 행렬에 대한 특이값 분해(SVD)를 통해 수학식 14의 회전 행렬 R을 구한다.
[수학식 12]
Figure PCTKR2020019158-appb-I000022
[수학식 13]
Figure PCTKR2020019158-appb-I000023
[수학식 14]
Figure PCTKR2020019158-appb-I000024
상기 과정을 통하여 회전을 구하게 되면, 마지막으로 다음 수학식 15를 통하여 t를 구하여 안전모의 3차원 강체를 추적하도록 한다.
[수학식 15]
Figure PCTKR2020019158-appb-I000025
도 16은 본 발명의 실시 예에서 강체 변환을 모니터링 프로그램에서 구현한 화면 일례로서, 안전모의 강체를 추적하여 3차원 공간상 위치 및 자세를 표현하고 있다.
본 발명에서는 가상공간 이동플랫폼을 이용한 가상훈련에서 안전모를 착용한 사용자의 위치 추적 실험을 수행하였는데, 이를 위해 8대의 자체 개발한 적외선 카메라와 Intel I-7 3.4Ghz 16G ram의 PC를 이용하여 실험을 수행하였다. 천장에 4m x 6m 크기의 구조물을 설치하고, 8대의 카메라는 지상의 한 지점을 향해 지향하여 배치하고 다중 카메라 보정을 통해 개별 카메라의 내부 변수와 외부 변수를 추정하였으며, 광학식 위치 추적 모니터링 프로그램을 개발하여 도 17과 같이 표현하였다.
첫 번째 실험은 마커가 부착된 안전모를 착용한 사용자가 실험공간을 한 바퀴 이동하는 실험을 진행하였는데, 도 18은 안전모를 착용한 사용자가 한 바퀴 이동한 것을 추적한 모니터링 화면을 나타내고 있다.
두 번째 실험은 안전모를 착용한 사용자가 실험공간에서 앞으로 걸어가는 도중 앉아서 멈추었다가 다시 일어서 걸어가는 실험을 진행하였는데, 도 19는 안전모를 착용한 사용자가 걸어가는 도중 앉았다 일어나 다시 걸어가는 것을 추적한 모니터링 화면을 나타낸 것이다.
세 번째 실험은 안전모를 착용한 사용자가 실험공간에서 앞으로 걸어가는 도중 제자리 뛰기를 한 뒤 다시 걸어가는 실험을 진행하였는데, 도 20은 안전모를 착용한 사용자가 걸어가는 도중 제자리 뛰기를 한 뒤 다시 걸어가는 것을 추적한 모니터링 화면을 나타낸 것이다.
위 3가지 실험을 통하여 공분산 중첩을 통한 3차원 마커의 생성과 이를 이용한 안전모의 강체를 추정하였으며, 실험 공간상에서 사람의 머리추적이 가능하였고, 앉거나 뛰는 동작을 통해 높이 차이에 대해서도 추적이 가능한 것을 확인하였다.
[ 마커의 3차원 좌표를 하나의 가상공간으로 배치하는 방법 ]
이하에서는 통합관제 미들웨어(200)에서 각각의 공간에서 추정된 마커의 3차원 좌표를 통합하여 하나의 가상공간으로 배치하는 방법에 대하여 설명하기로 한다.
상기 과정을 통하여 개별 공간에 대해 마커의 3차원 좌표를 추정하는 광학식 위치 추적부(100)는 추정된 마커의 3차원 좌표 정보를 통합관제 미들웨어(200)에 전송하게 된다. 이때, 광학식 위치 추적부(100)의 공간은 개별적으로 자신만의 원점을 가지고 있기 때문에, 통합관제 미들웨어(200)에서는 각각 별개의 공간에서 광학식 위치 추적부(100)로부터 전송되는 마커의 3차원 위치 정보를 보정하여 하나의 가상공간에 재배치하여야 한다.
도 21은 하나의 광학식 위치 추적부에서 통합관제 미들웨어에 전송하는 데이터의 일례를 나타낸 것이다. 도 21에서는 광학식 위치 추적부(100)에서 통합관제 미들웨어(200)에 마커의 3차원 정보를 강체 정보로 전송하고 있는데, 이 강체 정보는 마커 하나에 대한 3차원 좌표 정보가 될 수 있고, 액티브 트래커에 부착된 여러 개의 마커 정보가 통합된 3차원 좌표 정보가 될 수 있다. 이하에서는 광학식 위치 추적부(100)에서 통합관제 미들웨어(200)로 전송되는 각 개별 공간에 대한 마커의 3차원 정보를 강체 정보로 명칭하여 설명한다.
만약, 각 개별 공간의 광학식 위치 추적부(100)로부터 전송되는 강체의 위치에 대해 각 공간별로 원점 이동을 하지 않은 상태에서 통합관제 미들웨어(200)에서 가상공간으로 통합한다면, 가상공간의 원점을 기준으로 각각의 광학식 위치 추적부(100)의 강체가 존재하게 되며, 이러한 경우 강체끼리 중첩되는 상황이 발생할 수 있다. 즉, 각각의 광학식 위치 추적부(100)에 의해 추적된 강체는 서로 별개의 공간에 위치하고 있음에도, 이를 하나의 가상공간으로 단순 통합한다면 그 공간이 서로 중첩되는 상황이 발생하는 상황이 발생할 수 있다. 도 22는 이러한 별도의 공간에 위치하였던 강체가 통합관제 미들웨어에 의해 하나의 가상공간으로 통합될 때 강체끼리 중첩되는 상황 일례를 나타낸 것이다.
따라서, 가상공간에서도 실제 공간과의 정합을 수행하기 위해, 통합관제 미들웨어(200)에서는 광학식 위치 추적부(100)의 개별 공간별로 강체의 원점의 이동 및 회전 정보를 수정해줘야 한다.
다음 수학식 16은 광학식 위치 추적부(100)의 강체 3차원 좌표가 통합관제 미들웨어(200)의 좌표로 변경되어 통합되는 수학식을 나타낸 것이다.
[수학식 16]
Figure PCTKR2020019158-appb-I000026
상기 수학식 16은 각각의 광학식 위치 추적부(100)의 좌표계 x,y,z를 yaw 축으로 θ만큼 회전한 뒤 xoffset,yoffset,zoffset 만큼 이동하는 공식으로, 통합관제 미들웨어(200)는 이러한 수학식 16을 통해 각각의 광학식 위치 추적부(100)로부터 전송되는 강체의 공간 정보를 수정하게 된다.
도 22는 상기 수학식 16에 따라 통합관제 미들웨어의 가상공간에서 위치가 변경된 위치 추적부의 강체 위치를 나타낸 것으로, 실제 공간 배치에 맞추어서 가상공간에서 1대 1 매칭이 수행되게 된다.
이와 같이, 본 발명에서는 광학식 위치 추적부(100)에서 개별 공간에 위치한 마커의 3차원 좌표를 추적하여 마커가 부착된 강체의 위치를 파악할 수 있으며, 통합관제 미들웨어(200)에서 각각의 광학식 위치 추적부(100)에서 전송하는 강체의 위치에 대한 원점을 각각 이동시켜 하나의 가상공간에 배치시킴으로써 하나의 공간에서 강체의 이동 및 움직임을 추적할 수 있게 된다.
이러한 본 발명은 상술한 실시 예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다.
[부호의 설명]
100 : 광학식 위치 추적부
110 : 카메라 보정모듈
120 : 3차원 마커 좌표 추정모듈
200 : 통합관제 미들웨어

Claims (7)

  1. 다중 카메라를 통하여 촬영되는 영상을 분석하여 마커의 3차원 좌표를 추정하고 가상공간에 배치하는 가상공간 이동플랫폼 구축 방법에 있어서,
    (a) 광학식 위치 추적부(100)에서 2개 이상의 다중 카메라를 통하여 촬영된 액티브 트래커에 부착된 마커를 식별하여, 마커에 대한 2차원 공분산을 구하는 단계와;
    (b) 하나의 마커에 대해 구해진 2차원 공분산이 중첩하는 교차 공분산을 구하고, 구해진 교차 공분산을 통하여 마커의 3차원 좌표를 추정하여 강체의 위치를 추적하는 단계와;
    (c) 분리된 공간에 각각 배치된 복수의 광학식 위치 추적부(100)로부터 강체의 3차원 좌표를 통합관제 미들웨어(200)에서 각각 전송받아, 전송받은 강체의 3차원 좌표 정보를 통합하여 하나의 가상공간에 배치하여 가상공간 이동플랫폼을 구축하는 단계;를 포함하는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
  2. 제 1항에 있어서,
    상기 통합관제 미들웨어(200)는
    복수의 광학식 위치 추적부(100)로부터 전송받은 각각의 강체의 3차원 좌표가 하나의 가상공간에 중첩되지 않도록, 각각 개별 공간별로 강체의 3차원 좌표의 원점 이동 및 회전을 통해 수정하는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
  3. 제 2항에 있어서,
    상기 광학식 위치 추적부(100)로부터 전송된 강체의 3차원 좌표는 다음의 수학식을 통해, x,y,z 축이 Yaw 축으로 θ만큼 회전한 뒤, xoffset,yoffset,zoffset 만큼 이동하여 가상공간에 배치되는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
    Figure PCTKR2020019158-appb-I000027
  4. 제 1항에 있어서,
    상기 공분산을 구하는 단계(a)에서,
    하나의 카메라에 대한 마커의 공분산 행렬은 다음 수학식을 통해 구해지는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
    Figure PCTKR2020019158-appb-I000028
    (여기서, σ는 공분산(Covariance)을 나타낸다)
  5. 제 4항에 있어서,
    하나의 카메라 중심에서 마커까지 벌어진 각도 θ로 회전된 공분산 행렬 P와 공분산의 중심
    Figure PCTKR2020019158-appb-I000029
    는 다음의 수학식을 통해 구해지는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
    Figure PCTKR2020019158-appb-I000030
    Figure PCTKR2020019158-appb-I000031
  6. 제 5항에 있어서,
    두 카메라(C1, C2)에서 바라본 하나의 마커의 중심점을 찾기 위한 교차 공분산 PCI는 가중치 ω를 사용한 개별추종의 컨벡스 조합(Convex combination)인 다음의 수학식을 통해 계산되는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
    Figure PCTKR2020019158-appb-I000032
    Figure PCTKR2020019158-appb-I000033
  7. 제 1항에 있어서,
    상기 교차 공분산을 통하여 3차원 좌표를 추정하는 단계(b)는
    3개 이상의 다중 카메라를 통하여 하나의 마커에 대한 교차 공분산을 계산하여 3차원 공간 상에서 마커의 위치를 추정하는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
PCT/KR2020/019158 2020-07-17 2020-12-24 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법 WO2022014805A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0089030 2020-07-17
KR1020200089030A KR102478415B1 (ko) 2020-07-17 2020-07-17 교차 공분산을 이용한 3차원 좌표 추정 방법

Publications (1)

Publication Number Publication Date
WO2022014805A1 true WO2022014805A1 (ko) 2022-01-20

Family

ID=79554357

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/019158 WO2022014805A1 (ko) 2020-07-17 2020-12-24 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법

Country Status (2)

Country Link
KR (1) KR102478415B1 (ko)
WO (1) WO2022014805A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102453561B1 (ko) * 2022-07-08 2022-10-14 이엑스 주식회사 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100002803A (ko) * 2008-06-30 2010-01-07 삼성전자주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
KR20180062137A (ko) * 2016-11-30 2018-06-08 (주)코어센스 하이브리드 모션캡쳐 시스템의 위치 추정 방법
KR20200064947A (ko) * 2018-11-29 2020-06-08 (주)코어센스 광학식 위치 트래킹 시스템 기반의 위치 추적 장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768958B1 (ko) 2016-10-31 2017-08-17 (주)코어센스 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템
EP3711021A4 (en) * 2017-11-13 2021-07-21 Carmel-Haifa University Economic Corporation Ltd. MOTION TRACKING WITH MULTIPLE 3D CAMERAS

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100002803A (ko) * 2008-06-30 2010-01-07 삼성전자주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
KR20180062137A (ko) * 2016-11-30 2018-06-08 (주)코어센스 하이브리드 모션캡쳐 시스템의 위치 추정 방법
KR20200064947A (ko) * 2018-11-29 2020-06-08 (주)코어센스 광학식 위치 트래킹 시스템 기반의 위치 추적 장치 및 그 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HA-HYUNG JEONG: "Cross-Covariance 3D Coordinate Estimation Method for Virtual Space Movement Platform", KOREAN-SPEAKING GOVERNMENT HAHOE NON-E-J, vol. 25, no. 5, 30 September 2020 (2020-09-30), Korea, pages 41 - 48, XP009533518, ISSN: 1229-3741, DOI: 10.9723/jksiis.2020.25.5.041 *
ZILI DENG; PENG ZHANG; WENJUAN QI; JINFANG LIU; YUAN GAO;: "Sequential covariance intersection fusion Kalman filter", INFORMATION SCIENCES, ELSEVIER, AMSTERDAM, NL, vol. 189, 27 November 2011 (2011-11-27), AMSTERDAM, NL, pages 293 - 309, XP028441109, ISSN: 0020-0255, DOI: 10.1016/j.ins.2011.11.038 *

Also Published As

Publication number Publication date
KR102478415B1 (ko) 2022-12-19
KR20220010304A (ko) 2022-01-25

Similar Documents

Publication Publication Date Title
WO2018199701A1 (en) Method for providing content and apparatus therefor
WO2019156518A1 (en) Method for tracking hand pose and electronic device thereof
WO2016043560A1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법
WO2022014805A1 (ko) 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법
WO2014104574A1 (ko) 선형배열 영상 센서와 자세제어 센서 간의 절대 오정렬 보정방법
WO2015199502A1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
RU2123718C1 (ru) Способ ввода информации в компьютер
WO2022039404A1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
WO2015183049A1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 산출방법
WO2014109546A1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
WO2020054954A1 (en) Method and system for providing real-time virtual feedback
WO2021034006A1 (en) Method and apparatus for rigging 3d scanned human models
WO2022065763A1 (en) Display apparatus and method for controlling thereof
WO2022075691A1 (ko) 카메라를 이용한 평면 이동 구체의 운동 센싱장치 및 방법과, 퍼팅매트를 이동하는 골프공의 운동 센싱장치 및 방법
WO2022080549A1 (ko) 이중 라이다 센서 구조의 모션 트래킹 장치
JP2559939B2 (ja) ３次元情報入力装置
WO2019135462A1 (ko) 번들 조정 알고리즘을 이용한 립모션과 hmd 사이의 캘리브레이션 방법 및 장치
WO2023239035A1 (ko) 손 동작에 관한 이미지 데이터를 획득하는 전자 장치 및 그 동작 방법
WO2013081322A1 (ko) 원 마커를 이용한 구형물체 비행정보 추정 방법
KR20220092053A (ko) 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법
WO2020116836A1 (ko) 인체 무게 중심의 이동을 이용한 모션 캡쳐 장치 및 그 방법
WO2021206209A1 (ko) 스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템
WO2021221333A1 (ko) 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇
WO2013176525A1 (ko) 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법
WO2020197109A1 (ko) 치아 영상 정합 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20945331

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20945331

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18.07.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20945331

Country of ref document: EP

Kind code of ref document: A1