KR20220092053A - 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법 - Google Patents

교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법 Download PDF

Info

Publication number
KR20220092053A
KR20220092053A KR1020200183428A KR20200183428A KR20220092053A KR 20220092053 A KR20220092053 A KR 20220092053A KR 1020200183428 A KR1020200183428 A KR 1020200183428A KR 20200183428 A KR20200183428 A KR 20200183428A KR 20220092053 A KR20220092053 A KR 20220092053A
Authority
KR
South Korea
Prior art keywords
marker
virtual space
covariance
coordinates
dimensional
Prior art date
Application number
KR1020200183428A
Other languages
English (en)
Other versions
KR102543653B1 (ko
Inventor
박진하
정하형
김충일
Original Assignee
(주)코어센스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코어센스 filed Critical (주)코어센스
Priority to KR1020200183428A priority Critical patent/KR102543653B1/ko
Publication of KR20220092053A publication Critical patent/KR20220092053A/ko
Application granted granted Critical
Publication of KR102543653B1 publication Critical patent/KR102543653B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 다중 카메라를 통하여 촬영되는 2차원 영상 평면에 투영된 마커의 좌표를 교차 공분산을 이용하여 3차원 좌표로 추정하고, 서로 다른 공간에서 추정된 2개 이상의 3차원 좌표를 통합하여 하나의 가상공간으로 구현하는 교차 공분산 3D 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법에 관한 것이다.
본 발명에 따른 가상공간 이동플랫폼 구축 방법은 다중 카메라를 통하여 촬영되는 영상을 분석하여 마커의 3차원 좌표를 추정하고 가상공간에 배치하는 가상공간 이동플랫폼 구축 방법에 있어서, 광학식 위치 추적부(100)에서 2개 이상의 다중 카메라를 통하여 촬영된 액티브 트래커에 부착된 마커를 식별하여, 마커에 대한 2차원 공분산을 구하는 단계와; 하나의 마커에 대해 구해진 2차원 공분산이 중첩하는 교차 공분산을 구하고, 구해진 교차 공분산을 통하여 마커의 3차원 좌표를 추정하여 강체의 위치를 추적하는 단계와; 분리된 공간에 각각 배치된 복수의 광학식 위치 추적부(100)로부터 강체의 3차원 좌표를 통합관제 미들웨어(200)에서 각각 전송받아, 전송받은 강체의 3차원 좌표 정보를 통합하여 하나의 가상공간에 배치하여 가상공간 이동플랫폼을 구축하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.

Description

교차 공분산 3D 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법 {Method for Constructing Virtual Space Movement Platform Using Cross-covariance 3D Coordinate Estimation}
본 발명은 가상공간 이동플랫폼 구축 방법에 관한 것으로, 특히 다중 카메라를 통하여 촬영되는 2차원 영상 평면에 투영된 마커의 좌표를 교차 공분산을 이용하여 3차원 좌표로 추정하고, 서로 다른 공간에서 추정된 2개 이상의 3차원 좌표를 통합하여 하나의 가상공간으로 구현하는 교차 공분산 3D 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법에 관한 것이다.
근래 들어 가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality) 분야의 가상공간 이동플랫폼 시장 수요가 커지면서 이와 관련된 산업이 증가하고 있으며, 다중 체험이 가능한 콘텐츠 생산 및 서비스 지원에 활용할 수 있다.
가상공간 이동플랫폼은 가상현실에서 시뮬레이션을 통해 실제로 경험하기 힘든 상황을 훈련하거나, 장소의 제약을 받지 않는 체험적 교육 그리고 게임 콘텐츠와 같은 분야 등에 폭넓게 사용되고 있는데, 이때 실감나는 체험을 위해 가상공간이 실제와 상호작용 피드백을 사용자에게 제공하게 된다. 이러한 가상공간에서 사용자에게 현실 같은 느낌을 주기 위해서 HMD(Head mounted display)와 같은 장비가 사용된다.
이러한 가상공간을 제공하기 위해서는 모션 캡쳐를 통해 사용자의 움직임을 추적하는 과정이 필요한데, 가상공간 이동플랫폼에서는 일반적으로 다중 카메라를 이용한 광학식 위치 추적 방법을 통하여 모션 캡쳐를 수행하고 있다. 즉, 사용자 움직임 추적을 위한 다중 카메라 기반 위치 추적 시스템에서는 액티브 트래커 마커 3D 좌표를 추정하게 되는데, 이러한 광학식 위치 추적 시스템은 다중 카메라를 이용한 위치 측위 방식으로서 보정 과정이 있어야 한다.
카메라 보정 방법으로 단일 카메라의 경우 2차원 격자 형태의 무늬를 갖는 체스 보드를 이용한 방법이 있으며, 두 개 이상의 카메라의 경우 체스 보드를 이용하는 방법과 3축 보정틀을 이용하는 방법 그리고 보정용 봉을 이용하는 방식 등이 있다. 이러한 보정 결과로는 카메라의 내부 변수와 외부 변수가 추정된 후, 여러 대의 카메라에서 바라본 3차원 공간상 액티브 트래커 마커는 2차원 영상에 투영된 마커의 좌표로부터 다시 3차원 좌표로 추정된다. 이렇게 추정된 액티브 트래커 마커의 3차원 좌표를 통하여 강체(Rigid body)를 추적함으로써 가상공간 내의 사용자의 절대 위치를 추적하게 된다.
한편, 이러한 과정에서 여러 카메라에 투영된 마커는 순서 없이 무작위로 배치된 좌표 정보이므로, 카메라 간의 마커 좌표 일치화를 수행되어야 한다. 하지만, 카메라 간의 마커 좌표를 일치화 하는 과정에서 복잡한 연산이 필요하며, 저해상도 카메라의 경우 중복 문제 등에 의해 오차가 발생하여 정밀도가 떨어져 마커의 3차원 좌표를 정확히 추정하기 어려운 문제점이 있었다.
또한, 종래의 광학식 위치 추적 시스템은 하나의 실제 공간에 대해 하나의 가상공간을 구축하기 때문에, 분리된 공간에 설치된 광학식 위치 추적 시스템은 개별 공간별로 따로따로 가상공간을 생성하게 된다. 이에 따라 액티브 트래커 마커를 장착한 사용자가 1번 공간에서 2번 공간으로 이동하거나 움직일 때, 하나의 가상공간에서 이동하는 것이 아닌 서로 독립적인 가상공간에서 각각 추적이 되어 현실감이 떨어지는 문제점이 있었다.
대한민국 등록특허공보 제10-2188480호 (2020.12.02. 등록) 대한민국 등록특허공보 제10-1768958호 (2017.08.10. 등록)
본 발명은 종래 광학식 위치 추적 시스템의 2차원 마커의 3차원 좌표 추정 과정에서 발생하는 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 2차원 영상에 투영된 마커의 좌표로부터 교차 공분산을 계산하여 3차원 좌표를 추정하여 가상공간 내의 사용자 위치를 추적하고, 서로 독립된 가상공간을 통합하여 하나의 가상공간으로 구현하는 가상공간 이동플랫폼 구축 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 교차 공분산 3D 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법은다중 카메라를 통하여 촬영되는 영상을 분석하여 마커의 3차원 좌표를 추정하고 가상공간에 배치하는 가상공간 이동플랫폼 구축 방법에 있어서, 광학식 위치 추적부에서 2개 이상의 다중 카메라를 통하여 촬영된 액티브 트래커에 부착된 마커를 식별하여, 마커에 대한 2차원 공분산을 구하는 단계와; 하나의 마커에 대해 구해진 2차원 공분산이 중첩하는 교차 공분산을 구하고, 구해진 교차 공분산을 통하여 마커의 3차원 좌표를 추정하여 강체의 위치를 추적하는 단계와; 분리된 공간에 각각 배치된 복수의 광학식 위치 추적부로부터 강체의 3차원 좌표를 통합관제 미들웨어에서 각각 전송받아, 전송받은 강체의 3차원 좌표 정보를 통합하여 하나의 가상공간에 배치하여 가상공간 이동플랫폼을 구축하는 단계;를 포함한다.
상기 통합관제 미들웨어는 복수의 광학식 위치 추적부로부터 전송받은 각각의 강체의 3차원 좌표가 하나의 가상공간에 중첩되지 않도록, 각각 개별 공간별로 강체의 3차원 좌표의 원점 이동 및 회전을 통해 수정하게 된다.
여기에서, 상기 광학식 위치 추적부로부터 전송된 강체의 3차원 좌표는 다음의 수학식을 통해, x,y,z 축이 Yaw 축으로 θ만큼 회전한 뒤, xoffset,yoffset,zoffset 만큼 이동하여 가상공간에 배치된다.
Figure pat00001
한편, 상기 공분산을 구하는 단계에서, 하나의 카메라에 대한 마커의 공분산 행렬은 다음 수학식을 통해 구해진다.
Figure pat00002
(여기서, σ는 공분산(Covariance)을 나타낸다)
또한, 하나의 카메라 중심에서 마커까지 벌어진 각도 θ로 회전된 공분산 행렬 P와 공분산의 중심
Figure pat00003
는 다음의 수학식을 통해 구해진다.
Figure pat00004
Figure pat00005
두 카메라(C1, C2)에서 바라본 하나의 마커의 중심점을 찾기 위한 교차 공분산 PCI는 가중치 ω를 사용한 개별추종의 컨벡스 조합(Convex combination)인 다음의 수학식을 통해 계산된다.
Figure pat00006
Figure pat00007
한편, 상기 교차 공분산을 통하여 3차원 좌표를 추정하는 단계는 3개 이상의 다중 카메라를 통하여 하나의 마커에 대한 교차 공분산을 계산하여 3차원 공간 상에서 마커의 위치를 추정하게 된다.
본 발명의 가상공간 이동플랫폼 구축 방법에 따르면, 액티브 트래커의 마커를 2차원 영상에 투영된 마커의 좌표로부터 교차 공분산을 이용하여 3차원 좌표로 추정한 후 독립된 가상공간을 하나의 가상공간으로 통합하여 가상공간 이동플랫폼을 구축함으로써, 액티브 트래커 마커가 서로 다른 공간을 이동하여도 개별 가상공간에서 움직이는 것이 아닌 통합된 하나의 가상공간에 존재하기 때문에 사용자 추적에 있어서 연속성을 부여할수 있는 효과가 있다.
또한, 2차원 영상에 투영된 마커의 좌표로부터 교차 공분산을 통하여 3차원 좌표를 추정함으로써, 종래 복잡한 연산 과정을 거치지 않아도 되므로 연산 속도를 개선할 수 있으며, 낮은 해상도에서도 높은 정밀도의 3차원 위치 계산이 가능한 효과가 있다.
도 1은 본 발명에 따른 가상공간 이동플랫폼 구축 시스템의 전체적인 개념도,
도 2는 본 발명에 따른 하나의 분리된 공간에 설치된 따른 광학식 위치 추적부의 설치 개념도,
도 3은 본 발명에 따른 하나의 분리된 공간에 설치된 광학식 위치 추적부의 블록 구성도,
도 4는 본 발명에 따른 교차 공분산을 이용한 3차원 좌표 추정 방법을 나타낸 개념도,
도 5는 본 발명에 따른 카메라에서 바라본 한 점에 대한 공분산을 나타낸 개념도,
도 6은 본 발명에 따른 두 카메라의 교차 공분산 점을 찾는 방법을 나타낸 개념도,
도 7은 본 발명에 따라 시뮬레이션 실험을 진행하기 위해 CAD 프로그램을 통해 카메라의 위치와 카메라 중심으로부터 카메라에 투영된 마커까지의 각도 θ를 설정한 일례,
도 8은 도 7의 시뮬레이션 설정 값을 매트랩을 통해 교차 공분산을 구현한 결과,
도 9는 본 발명에 따른 3차원 공분산 행렬의 형태 일례,
도 10은 본 발명에 따른 3차원 공간에서 교차 공분산을 실험하기 위한 다중 카메라 배치도 일례,
도 11은 본 발명에 따라 교차 공분산을 계산하여 3차원 공간 상에서 마커의 위치가 추정된 화면 일례,
도 12는 본 발명에 따른 마커가 부착된 안전모 일례,
도 13은 본 발명에 따라 3차원 공간에서 추정된 마커의 위치,
도 14는 본 발명에 따른 처음 선택된 마커 셋 A와 3차원 공간에서 찾아낸 마커 셋 B의 회전 R과 이동 t를 구하는 방식 일례,
도 15는 본 발명에 따른 데이터 셋 A, B의 두 중심이 원점에 오도록 회전시킨 일례,
도 16은 본 발명에 따라 강체 변환을 모니터링 프로그램에서 구현한 화면 일례,
도 17은 본 발명에 따른 다중 카메라 모니터링 프로그램 화면 일례,
도 18은 본 발명에 따른 안전모를 착용한 시험자가 한 바퀴 이동한 것을 추적한 모니터링 화면,
도 19는 본 발명에 따른 안전모를 착용한 시험자가 걸어가는 도중 앉았다 일어나 다시 걸어가는 것을 추적한 모니터링 화면,
도 20은 본 발명에 따른 안전모를 착용한 시험자가 걸어가는 도중 제자리 뛰기를 한 뒤 다시 걸어가는 것을 추적한 모니터링 화면을 나타낸 것이다.
도 21은 본 발명에 따른 하나의 광학식 위치 추적부에서 통합관제 미들웨어에 전송하는 데이터 일례,
도 22는 본 발명에 따른 별도의 공간에 위치하였던 강체가 통합관제 미들웨어에 의해 하나의 가상공간으로 통합될 때 강체끼리 중첩되는 상황 일례,
도 23은 본 발명에 따른 통합관제 미들웨어의 가상공간에서 위치가 변경된 위치 추적부의 강체 위치를 나타낸 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 가상공간 이동플랫폼 구축 시스템의 전체적인 개념도를 나타낸 것이다.
도 1에 도시된 바와 같이, 본 발명에 다른 가상공간 이동플랫폼 구축 시스템은 각각 분리된 공간에서 액티브 트래커에 부착된 마커의 위치를 교차 공분산을 이용해 3차원 좌표로 추적하는 복수의 광학식 위치 추적부(100)와, 상기 복수의 광학식 위치 추적부(100)로부터 마커의 3차원 좌표 정보를 각각 전송받아 통합하여 하나의 가상공간에서의 좌표로 변환하여 배치하는 통합관제 미들웨어(200)를 포함한다.
상기 통합관제 미들웨어(200)에 의해 하나의 가상공간으로 배치된 각각의 강체의 위치 정보는 관제부를 통하여 하나의 가상공간으로 시뮬레이션 될 수 있으며, 가상/증강/혼합 현실 등의 환경에서 컨텐츠 제작에 이용될 수 있다.
이하에서는, 광학식 위치 추적부(100)를 통하여 하나의 독립된 공간에서 교차 공분산을 이용하여 마커의 3차원 좌표를 추정하는 방법을 도 2 내지 도 17을 통하여 먼저 설명한 후, 통합관제 미들웨어(200)에서 각각의 공간에서 추정된 마커의 3차원 좌표를 통합하여 하나의 가상공간으로 배치하는 방법에 대하여 설명하기로 한다.
[ 공분산을 이용한 마커의 3차원 좌표 추적 방법 ]
도 2는 본 발명의 실시 예에 따른 하나의 분리된 공간에 설치된 따른 광학식 위치 추적부의 설치 개념도이고, 도 3은 광학식 위치 추적부의 블록 구성도를 나타낸 것이다.
도 2와 도 3에 도시된 바와 같이, 광학식 위치 추적 부(100)는 하나의 분리된 개별 공간에 위치한 액티브 트래커에 부착된 마커를 다수의 카메라로 촬영한 후, 촬영된 카메라 영상을 분석하여 마커의 위치 및 이동을 파악함으로써 마커의 3차원 좌표를 추정하게 된다. 여기서 액티브 트래커란 움직이는 사람이나 사물(이하, "사용자"로 총칭한다)이 착용하는 장비로서, 안전모나 장갑, 조끼, 신발 등이 될 수 있는데, 이 액티브 트래커에는 카메라를 통하여 촬영시 식별이 가능한 마커가 부착된다.
상기 다수의 카메라를 통하여 촬영되는 마커 영상은 연산 기능이 구비된 컴퓨팅 장치인 광학식 위치 추적부(100)를 통하여 분석되는데, 이 광학식 위치 추적부(100)에는 마커의 영상을 촬영하는 복수의 카메라에 대해 각각 보정을 수행하는 카메라 보정모듈(110)과, 보정된 복수의 카메라를 통하여 촬영되는 마커의 영상을 분석하여 3차원 마커 좌표를 추정하는 3차원 마커 좌표 추정모듈(120)이 구비된다.
상기 카메라 보정모듈(110)은 2차원 격자 형태의 무늬를 갖는 체스 보드나 3축 보정틀, 보정용 봉 등 다양한 방법을 이용하여 카메라의 내부 변수와 외부 변수가 추정하고 이를 통하여 카메라를 보정하게 된다. 본 발명의 실시 예에서 상기 카메라 보정모듈(110)은 체스 보드 및 보정용 봉을 이용하여 카메라의 내부 변수 및 외부 변수를 추정하여 다중 카메라 보정을 수행하게 되는데, 이러한 카메라 보정 방법은 본 출원인에 의해 등록된 특허 제10-2188480호에 제시되어 있다.
한편, 상기 3차원 마커 좌표 추정모듈(120)은 보정된 다수의 카메라를 통하여 촬영된 마커의 영상을 식별하고, 다중 카메라에서 촬영된 2차원 마커의 좌표로부터 교차 공분산을 이용하여 3차원 좌표를 추정하게 된다. 이 3차원 마커 좌표 추정모듈(120)에 의해 추정되는 마커의 3차원 좌표 정보는 마커가 속한 개별 공간에 대한 3차원 좌표를 의미하는데, 이렇게 추정되는 마커의 3차원 좌표 정보는 통합관제 미들웨어(200)로 전송되고, 통합관제 미들웨어(200)는 각각의 개별 공간에서 추정된 마커의 3차원 좌표 정보를 통합하여 하나의 가상공간으로 배치하게 된다.
이하에서는 광학식 위치 추적부(100)에서 교차 공분산을 이용하여 개별 공간의 마커에 대한 3차원 좌표를 추정하는 과정에 대해 설명하기로 한다.
도 4는 본 발명의 실시 예에 따른 교차 공분산을 이용한 3차원 좌표 추정 방법을 나타낸 개념도이다.
본 발명에서는 다중 카메라에서 바라본 영상 속 2차원 마커의 좌표로부터 3차원 좌표를 추정하게 된다. 이때 3차원 공간에서의 마커 좌표를 추정하기 위해, 개별 카메라에서 바라본 마커의 좌표는 확률기반으로 공분산 형태로 표현하여 모든 카메라에서 바라본 마커의 공분산이 중첩되는 지점을 3차원 마커의 확률적 위치로 추정하게 된다.
도 5는 본 발명의 실시 예에 따른 카메라에서 바라본 한 점에 대한 공분산을 나타낸 개념도이다.
도 5에서, 각도 θm은 카메라 중점에서 한점까지 벌어진 각을 의미하는데, 2차원 공분산 행렬 Cx,y는 다음 수학식 1과 같이 표현할 수 있다.
Figure pat00008
여기서, σ는 공분산(Covariance)을 나타낸다. 공분산은 서로 다른 두 확률변수의 상관 관계를 나타내는데, 이는 두 확률 변수의 편차의 곱을 의미한다.
카메라 중점에서 벌어진 θ로 회전된 공분산 행렬은 P와 공분산 중심
Figure pat00009
를 다음 수학식 2 및 수학식 3과 같이 표현될 수 있다.
Figure pat00010
Figure pat00011
공분산 행렬에서 각축의 길이 α1, α2는 다음 수학식 4 및 5와 같으며, 이때 α1 계수는 카메라에서 감지 가능한 마커의 최대 거리 D를 사용하며, α2는 카메라 좌표계 기준으로 픽셀과 픽셀 사이의 계산된 각도 θl를 통해 계산한다.
Figure pat00012
Figure pat00013
도 6은 두 카메라의 교차 공분산 점을 찾는 방법을 나타낸 개념도로서, 두 카메라 C0, C1에서 바라본 하나의 마커의 중심점을 찾기 위한 교차 공분산 PCI의 모습을 보여주고 있다.
두 카메라의 교차 공분산은 다음 수학식 6 및 7과 같이 가중치 ω를 사용한 개별추종의 컨벡스 조합(Convex combination)을 통해 계산할 수 있다. 수학식 6은 개별 카메라의 공분산 P1과 P2로 교차 공분산 PCI를 계산하며, 수학식 7은 개별 카메라 공분산 중심인 수학식 3의
Figure pat00014
와 PCI를 통하여 교차 공분산의 중심 위치인 xCI를 계산한다.
Figure pat00015
Figure pat00016
위와 같은 과정을 통해 이루어지는 교차 공분산을 이용한 좌표 추정 방법을 시뮬레이션 실험을 통해 확인해보기로 한다.
도 7은 시뮬레이션 실험을 진행하기 위해 CAD 프로그램을 통해 카메라의 위치와 카메라 중심(c1)(c2)으로부터 카메라에 투영된 p1, p2, p3 마커까지의 각도 θ를 설정한 일례이고, 도 8은 도 7의 시뮬레이션 설정 값을 매트랩을 통해 교차 공분산을 구현한 결과를 나타낸 것이다.
도 7 및 도 8에서와 같이, 시뮬레이션 실험 결과 개별 마커로부터 뻗어나간 공분산이 서로 중첩된 영역으로 나타나게 되는데, 다음의 표 1은 시뮬레이션 설정 위치와 매트랩(matlab) 추정 위치를 나타낸 것으로, 시뮬레이션 설정 위치와 매트랩(matlab) 추정 위치가 유사함을 확인할 수 있다.
Figure pat00017
상기 과정을 통하여 2차원 평면에서 공분산 중첩을 수행하는 과정에 대하여 설명하였다. 한편, 카메라는 3차원 공간을 2차원 영상 평면에 투영하기 때문에 다중 카메라의 2차원 영상에서 3차원 위치를 추정해야 한다.
따라서, 공분산 중첩 계산은 수학식 1에서 2×2 행렬이 아닌 다음의 수학식 8과 같이 3×3 행렬을 사용하게 된다.
Figure pat00018
도 9는 3차원 공분산 행렬의 형태 일례를 나타낸 것으로, 3차원 공분산 행렬은 2차원과 달리 3축에 존재하는 타원체가 되기 때문에 공분산 행렬에서 각축의 길이 α1은 수학식 4를 통하여, α2, α3은 수학식 5를 통해 구하도록 한다. α2는 카메라 좌표계 기준으로 x축 방향의 픽셀과 픽셀 사이의 계산된 각도 θl를 통해 계산하도록 하며, α3은 카메라 좌표계 기준으로 y축 방향으로 계산하도록 한다.
따라서, 3차원 공간에서 교차 공분산을 실험하기 위해 다중 카메라를 도 10과 같이 배치하였는데, 도 10에서 카메라의 중심에 마커가 있다고 가정하여 카메라 원점에서 마커를 지나는 공분산을 표현하였다.
도 11은 교차 공분산을 계산하여 3차원 공간 상에서 마커의 위치가 추정된 화면 일례로서, 모든 카메라에서 바라본 마커의 중심을 추정한 모습을 확인할 수 있다.
상술한 교차 공분산을 이용하여 3차원 좌표를 추정하는 방법을 통하여 사용자의 위치를 추정하는 실시 예를 설명하기로 한다.
도 12는 사용자가 착용하는 마커가 부착된 안전모 일례이고, 도 13은 교차 공분산을 통해 3차원 공간에서 추정된 마커의 위치를 나타낸 것이다.
본 발명에서는 가상공간 이동플랫폼에서 사용자를 추적하기 위해서 사용자가 착용하는 안전모에 마커를 부착하였다. 안전모의 위치 정보를 얻기 위해서는 최소 3개 이상의 마커가 필요한데, 이때 마커의 위치 정보를 조합하여 위치 및 자세 정보를 지닌 강체(rigid body)를 생성하도록 하였다. 선택된 마커들의 모음은 하나의 강체로 설정하게 되며, 3차원 공간에서 찾아낸 모든 마커들 중에서 선택된 마커들의 마커 모음을 정렬하고 그 둘을 비교하여 최적의 회전과 위치 이동을 추정한다.
처음 선택된 마커 셋을 A라고 하고, 3차원 공간에서 찾아낸 마커 셋을 B라고 할 때, 회전 R과 이동 t를 구하는 방식을 도 14에서 표현하였다.
도 14의 두 데이터 세트에서 동일한 점은 같은 색을 가지며, R은 회전이고 t는 평행 이동을 의미한다. 데이터 셋 A의 포인트를 데이터 셋 B에 정렬하는 최적의 회전 및 변환을 찾고 싶으며, 이 변환은 모양과 크기를 유지하기 때문에 강체 변환(rigid-transform)이라고 한다.
다음의 수학식 9, 10, 11은 강체 변환식을 나타낸 것이다.
Figure pat00019
Figure pat00020
Figure pat00021
상기 수학식에서 P는 점을 의미하고, Pi A와 Pi B는 각각 데이터 셋 A와 B의 점으로, 이들의 중심점을 구하여 다음 단계에서 이 값을 사용한다. 최적의 회전을 찾으려면 두 중심이 원점에 오도록 두 데이터 셋을 원점으로 이동하는데, 도 15는 데이터 셋 A, B의 두 중심이 원점에 오도록 회전시킨 일례를 나타낸 것이다.
다음의 수학식 12는 두 데이터 세트에서 중심 위치정보를 제거한 데이터 세트 A의 3×N 행렬과 데이터 세트 B의 N×3 행렬을 통해 3×3 행렬 H를 만든다. 또한, 수학식 13은 H 행렬에 대한 특이값 분해(SVD)를 통해 수학식 14의 회전 행렬 R을 구한다.
Figure pat00022
Figure pat00023
Figure pat00024
상기 과정을 통하여 회전을 구하게 되면, 마지막으로 다음 수학식 15를 통하여 t를 구하여 안전모의 3차원 강체를 추적하도록 한다.
Figure pat00025
도 16은 본 발명의 실시 예에서 강체 변환을 모니터링 프로그램에서 구현한 화면 일례로서, 안전모의 강체를 추적하여 3차원 공간상 위치 및 자세를 표현하고 있다.
본 발명에서는 가상공간 이동플랫폼을 이용한 가상훈련에서 안전모를 착용한 사용자의 위치 추적 실험을 수행하였는데, 이를 위해 8대의 자체 개발한 적외선 카메라와 Intel I-7 3.4Ghz 16G ram의 PC를 이용하여 실험을 수행하였다. 천장에 4m x 6m 크기의 구조물을 설치하고, 8대의 카메라는 지상의 한 지점을 향해 지향하여 배치하고 다중 카메라 보정을 통해 개별 카메라의 내부 변수와 외부 변수를 추정하였으며, 광학식 위치 추적 모니터링 프로그램을 개발하여 도 17과 같이 표현하였다.
첫 번째 실험은 마커가 부착된 안전모를 착용한 사용자가 실험공간을 한 바퀴 이동하는 실험을 진행하였는데, 도 18은 안전모를 착용한 사용자가 한 바퀴 이동한 것을 추적한 모니터링 화면을 나타내고 있다.
두 번째 실험은 안전모를 착용한 사용자가 실험공간에서 앞으로 걸어가는 도중 앉아서 멈추었다가 다시 일어서 걸어가는 실험을 진행하였는데, 도 19는 안전모를 착용한 사용자가 걸어가는 도중 앉았다 일어나 다시 걸어가는 것을 추적한 모니터링 화면을 나타낸 것이다.
세 번째 실험은 안전모를 착용한 사용자가 실험공간에서 앞으로 걸어가는 도중 제자리 뛰기를 한 뒤 다시 걸어가는 실험을 진행하였는데, 도 20은 안전모를 착용한 사용자가 걸어가는 도중 제자리 뛰기를 한 뒤 다시 걸어가는 것을 추적한 모니터링 화면을 나타낸 것이다.
위 3가지 실험을 통하여 공분산 중첩을 통한 3차원 마커의 생성과 이를 이용한 안전모의 강체를 추정하였으며, 실험 공간상에서 사람의 머리추적이 가능하였고, 앉거나 뛰는 동작을 통해 높이 차이에 대해서도 추적이 가능한 것을 확인하였다.
[ 마커의 3차원 좌표를 하나의 가상공간으로 배치하는 방법 ]
이하에서는 통합관제 미들웨어(200)에서 각각의 공간에서 추정된 마커의 3차원 좌표를 통합하여 하나의 가상공간으로 배치하는 방법에 대하여 설명하기로 한다.
상기 과정을 통하여 개별 공간에 대해 마커의 3차원 좌표를 추정하는 광학식 위치 추적부(100)는 추정된 마커의 3차원 좌표 정보를 통합관제 미들웨어(200)에 전송하게 된다. 이때, 광학식 위치 추적부(100)의 공간은 개별적으로 자신만의 원점을 가지고 있기 때문에, 통합관제 미들웨어(200)에서는 각각 별개의 공간에서 광학식 위치 추적부(100)로부터 전송되는 마커의 3차원 위치 정보를 보정하여 하나의 가상공간에 재배치하여야 한다.
도 21은 하나의 광학식 위치 추적부에서 통합관제 미들웨어에 전송하는 데이터의 일례를 나타낸 것이다. 도 21에서는 광학식 위치 추적부(100)에서 통합관제 미들웨어(200)에 마커의 3차원 정보를 강체 정보로 전송하고 있는데, 이 강체 정보는 마커 하나에 대한 3차원 좌표 정보가 될 수 있고, 액티브 트래커에 부착된 여러 개의 마커 정보가 통합된 3차원 좌표 정보가 될 수 있다. 이하에서는 광학식 위치 추적부(100)에서 통합관제 미들웨어(200)로 전송되는 각 개별 공간에 대한 마커의 3차원 정보를 강체 정보로 명칭하여 설명한다.
만약, 각 개별 공간의 광학식 위치 추적부(100)로부터 전송되는 강체의 위치에 대해 각 공간별로 원점 이동을 하지 않은 상태에서 통합관제 미들웨어(200)에서 가상공간으로 통합한다면, 가상공간의 원점을 기준으로 각각의 광학식 위치 추적부(100)의 강체가 존재하게 되며, 이러한 경우 강체끼리 중첩되는 상황이 발생할 수 있다. 즉, 각각의 광학식 위치 추적부(100)에 의해 추적된 강체는 서로 별개의 공간에 위치하고 있음에도, 이를 하나의 가상공간으로 단순 통합한다면 그 공간이 서로 중첩되는 상황이 발생하는 상황이 발생할 수 있다. 도 22는 이러한 별도의 공간에 위치하였던 강체가 통합관제 미들웨어에 의해 하나의 가상공간으로 통합될 때 강체끼리 중첩되는 상황 일례를 나타낸 것이다.
따라서, 가상공간에서도 실제 공간과의 정합을 수행하기 위해, 통합관제 미들웨어(200)에서는 광학식 위치 추적부(100)의 개별 공간별로 강체의 원점의 이동 및 회전 정보를 수정해줘야 한다.
다음 수학식 16은 광학식 위치 추적부(100)의 강체 3차원 좌표가 통합관제 미들웨어(200)의 좌표로 변경되어 통합되는 수학식을 나타낸 것이다.
Figure pat00026
상기 수학식 16은 각각의 광학식 위치 추적부(100)의 좌표계 x,y,z를 yaw 축으로 θ만큼 회전한 뒤 xoffset,yoffset,zoffset 만큼 이동하는 공식으로, 통합관제 미들웨어(200)는 이러한 수학식 16을 통해 각각의 광학식 위치 추적부(100)로부터 전송되는 강체의 공간 정보를 수정하게 된다.
도 22는 상기 수학식 16에 따라 통합관제 미들웨어의 가상공간에서 위치가 변경된 위치 추적부의 강체 위치를 나타낸 것으로, 실제 공간 배치에 맞추어서 가상공간에서 1대 1 매칭이 수행되게 된다.
이와 같이, 본 발명에서는 광학식 위치 추적부(100)에서 개별 공간에 위치한 마커의 3차원 좌표를 추적하여 마커가 부착된 강체의 위치를 파악할 수 있으며, 통합관제 미들웨어(200)에서 각각의 광학식 위치 추적부(100)에서 전송하는 강체의 위치에 대한 원점을 각각 이동시켜 하나의 가상공간에 배치시킴으로써 하나의 공간에서 강체의 이동 및 움직임을 추적할 수 있게 된다.
이러한 본 발명은 상술한 실시 예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다.
100 : 광학식 위치 추적부
110 : 카메라 보정모듈
120 : 3차원 마커 좌표 추정모듈
200 : 통합관제 미들웨어

Claims (7)

  1. 다중 카메라를 통하여 촬영되는 영상을 분석하여 마커의 3차원 좌표를 추정하고 가상공간에 배치하는 가상공간 이동플랫폼 구축 방법에 있어서,
    (a) 광학식 위치 추적부(100)에서 2개 이상의 다중 카메라를 통하여 촬영된 액티브 트래커에 부착된 마커를 식별하여, 마커에 대한 2차원 공분산을 구하는 단계와;
    (b) 하나의 마커에 대해 구해진 2차원 공분산이 중첩하는 교차 공분산을 구하고, 구해진 교차 공분산을 통하여 마커의 3차원 좌표를 추정하여 강체의 위치를 추적하는 단계와;
    (c) 분리된 공간에 각각 배치된 복수의 광학식 위치 추적부(100)로부터 강체의 3차원 좌표를 통합관제 미들웨어(200)에서 각각 전송받아, 전송받은 강체의 3차원 좌표 정보를 통합하여 하나의 가상공간에 배치하여 가상공간 이동플랫폼을 구축하는 단계;를 포함하는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
  2. 제 1항에 있어서,
    상기 통합관제 미들웨어(200)는
    복수의 광학식 위치 추적부(100)로부터 전송받은 각각의 강체의 3차원 좌표가 하나의 가상공간에 중첩되지 않도록, 각각 개별 공간별로 강체의 3차원 좌표의 원점 이동 및 회전을 통해 수정하는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
  3. 제 2항에 있어서,
    상기 광학식 위치 추적부(100)로부터 전송된 강체의 3차원 좌표는 다음의 수학식을 통해, x,y,z 축이 Yaw 축으로 θ만큼 회전한 뒤, xoffset,yoffset,zoffset 만큼 이동하여 가상공간에 배치되는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
    Figure pat00027

  4. 제 1항에 있어서,
    상기 공분산을 구하는 단계(a)에서,
    하나의 카메라에 대한 마커의 공분산 행렬은 다음 수학식을 통해 구해지는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
    Figure pat00028

    (여기서, σ는 공분산(Covariance)을 나타낸다)
  5. 제 4항에 있어서,
    하나의 카메라 중심에서 마커까지 벌어진 각도 θ로 회전된 공분산 행렬 P와 공분산의 중심
    Figure pat00029
    는 다음의 수학식을 통해 구해지는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
    Figure pat00030

    Figure pat00031

  6. 제 5항에 있어서,
    두 카메라(C1, C2)에서 바라본 하나의 마커의 중심점을 찾기 위한 교차 공분산 PCI는 가중치 ω를 사용한 개별추종의 컨벡스 조합(Convex combination)인 다음의 수학식을 통해 계산되는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
    Figure pat00032

    Figure pat00033

  7. 제 1항에 있어서,
    상기 교차 공분산을 통하여 3차원 좌표를 추정하는 단계(b)는
    3개 이상의 다중 카메라를 통하여 하나의 마커에 대한 교차 공분산을 계산하여 3차원 공간 상에서 마커의 위치를 추정하는 것을 특징으로 하는 가상공간 이동플랫폼 구축 방법.
KR1020200183428A 2020-12-24 2020-12-24 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법 KR102543653B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200183428A KR102543653B1 (ko) 2020-12-24 2020-12-24 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200183428A KR102543653B1 (ko) 2020-12-24 2020-12-24 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법

Publications (2)

Publication Number Publication Date
KR20220092053A true KR20220092053A (ko) 2022-07-01
KR102543653B1 KR102543653B1 (ko) 2023-06-15

Family

ID=82397228

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200183428A KR102543653B1 (ko) 2020-12-24 2020-12-24 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법

Country Status (1)

Country Link
KR (1) KR102543653B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102453561B1 (ko) * 2022-07-08 2022-10-14 이엑스 주식회사 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768958B1 (ko) 2016-10-31 2017-08-17 (주)코어센스 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템
KR102188480B1 (ko) 2018-11-29 2020-12-08 (주)코어센스 광학식 위치 트래킹 시스템 기반의 위치 추적 장치 및 그 방법
KR20200142392A (ko) * 2019-06-12 2020-12-22 (주)코어센스 동위의 3차원 마커 사이의 회전 및 이동 위치 추정 방법
KR20200143293A (ko) * 2019-06-13 2020-12-23 주식회사 두리번 실시간 다원 ar 방송을 위한 증강 현실 영상 생성 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768958B1 (ko) 2016-10-31 2017-08-17 (주)코어센스 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템
KR102188480B1 (ko) 2018-11-29 2020-12-08 (주)코어센스 광학식 위치 트래킹 시스템 기반의 위치 추적 장치 및 그 방법
KR20200142392A (ko) * 2019-06-12 2020-12-22 (주)코어센스 동위의 3차원 마커 사이의 회전 및 이동 위치 추정 방법
KR20200143293A (ko) * 2019-06-13 2020-12-23 주식회사 두리번 실시간 다원 ar 방송을 위한 증강 현실 영상 생성 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
David Szaloki 등, Optimizing Camera Placement for Localization Accuracy, CINTI 2013(2013.11.19.)* *
Zili Deng 등, Sequential convariance intersection fusion kalman filter, Information Sciences(2011.12.03.)* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102453561B1 (ko) * 2022-07-08 2022-10-14 이엑스 주식회사 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법
KR102549811B1 (ko) * 2022-07-08 2023-06-30 이엑스 주식회사 복수의 스테레오 카메라 장치를 활용한 포지셔닝 정보에 대한 보정 방법, 컴퓨터 프로그램
KR20240007591A (ko) * 2022-07-08 2024-01-16 이엑스 주식회사 6 dof와 slam 기반의 복수의 스테레오 카메라 장치의 포지셔닝 정보 추정 방법, 장치 및 프로그램

Also Published As

Publication number Publication date
KR102543653B1 (ko) 2023-06-15

Similar Documents

Publication Publication Date Title
WO2020054442A1 (ja) 関節位置の取得方法及び装置、動作の取得方法及び装置
US8335345B2 (en) Tracking an object with multiple asynchronous cameras
JP3631151B2 (ja) 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
US9746672B2 (en) Image processing apparatus, image processing method, program, and image processing system for displaying a virtual object shared among multiple users
CN109579843A (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
Higuchi et al. Flying head: a head motion synchronization mechanism for unmanned aerial vehicle control
JP3530772B2 (ja) 複合現実感装置及び複合現実空間画像の生成方法
US20150097937A1 (en) Single-camera motion capture system
US20100103196A1 (en) System and method for generating a mixed reality environment
CN110610547A (zh) 基于虚拟现实的座舱实训方法、系统及存储介质
Oskiper et al. Augmented reality binoculars
US11156830B2 (en) Co-located pose estimation in a shared artificial reality environment
JP2022122876A (ja) 画像表示システム
US20220092302A1 (en) Skeleton recognition method, computer-readable recording medium storing skeleton recognition program, skeleton recognition system, learning method, computer-readable recording medium storing learning program, and learning device
CN109242887A (zh) 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
US11269400B2 (en) Positioning system
US20070076096A1 (en) System and method for calibrating a set of imaging devices and calculating 3D coordinates of detected features in a laboratory coordinate system
Zou et al. Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking
KR102543653B1 (ko) 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법
CN111947650A (zh) 基于光学追踪与惯性追踪的融合定位系统及方法
US11506901B2 (en) Method and system for simultaneously tracking 6 DoF poses of movable object and movable camera
WO2022023142A1 (en) Virtual window
KR102478415B1 (ko) 교차 공분산을 이용한 3차원 좌표 추정 방법
Petrič et al. Real-time 3D marker tracking with a WIIMOTE stereo vision system: Application to robotic throwing
CN113345010A (zh) 基于改进ICP的多Kinect系统坐标标定与转换方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right