KR101850048B1

KR101850048B1 - 트래커 시스템을 최적화하는 시스템 및 방법

Info

Publication number: KR101850048B1
Application number: KR1020147007367A
Authority: KR
Inventors: 무스타파 야그치오글루; 에르칸 야부즈; 오즈구르 일마즈; 셀커크 샌딕치
Original assignee: 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티
Priority date: 2012-02-22
Filing date: 2012-02-22
Publication date: 2018-05-30
Also published as: ES2547321T3; PL2734977T3; JP2015513143A; EP2734977A1; US9430700B2; JP5912191B2; EP2734977B1; US20140212000A1; KR20140130096A; WO2013124706A1

Abstract

본 발명은 계산 및 시뮬레이선 분야에 관한 것으로, 가시도(visibility)를 시뮬레이션함으로써 광학 객체 트래킹 시스템에서 기준 마커 위치를 최적하하는 방법을 포함한다. 시스템을 최적화하기 위하여 카메라 및 기준 위치와 포즈 예측 알고리즘 파라미터를 시뮬레이션하기 위하여 실현되는 트래커 시스템을 최적화하는 방법은, 트래킹 객체에서 가능 능동 마커 위치 및 배향을 나타내는 메쉬 데이터와, 트래킹되는 객체의 가능 포즈를 나타내는 포즈 데이터와, 카메라 위치 및 배향을 획득하는 단계; 모든 카메라 뷰포트로부터 각 노드의 가시도를 계산하고 가시도 값 리스트를 생성하는 단계; 가장 높은 가시도 카운트를 갖는 노드를 마커 배치 노드로서 선택하는 단계; 임계보다 선택된 노드에 더 가까운 노드를 제거하는 단계; 미리 정해진 개수의 선택된 노드를 갖는 포즈(들)를 제거하는 단계; 모든 포즈 중 퍼센티지가 미리 정해진 개수의 선택된 노드를 갖는지 판단하는 단계; 선택된 노드 위치를 각 카메라 뷰포트의 이미지 평면에 투영하고, 최적화될 트래커 알고리즘을 이용하여 메쉬의 포즈를 계산하는 단계; 알고리즘 결과를 초기 데이터와 비교함으로써 포즈 에러 및 포즈 커버리지를 계산하는 단계; 결과를 기록 및 출력하는 단계; 및 결과 중에서 적어도 하나의 제한 사항을 만족하는 파라미터 세트를 선택하는 단계를 포함한다.

Description

트래커 시스템을 최적화하는 시스템 및 방법{SYSTEM AND METHOD FOR OPTIMIZING TRACKER SYSTEM}

본 발명은 계산 및 시뮬레이션 분야에 관한 것으로, 가시도(visibility)를 시뮬레이션함으로서 광학 객체 트래킹(traking) 시스템에서 기준(fiducial) 마커 위치를 최적화하는 방법을 포함한다.

환경에서 3차원 객체를 트래킹하고 미리 결정된 좌표계에 대하여 그 위치 및 배향(포즈(pose))을 계산하는 방법 및 모델이 있다는 것이 알려져 있다. 이러한 종류의 트래커(tracker) 시스템은 예를 들어 파일럿의 머리의 배향을 판단하기 위하여 항공기에서 사용된다. 배향이 예를 들어 디스플레이 장치의 좌표계에 대하여 획득되면, 이에 따라 이에 대한 그래픽을 생성하는 것이 가능하다. 자기적(magnetic), 기계적 또는 광학적 수단을 이용하여 장면에서 객체를 트래킹하는 상이한 방법이 있다. 또한, 종래에, 객체의 공간적 관계가 자기 센서 또는 레이저 빔을 이용하여 판단될 수 있지만, 본 발명은 카메라 기반의 (day-tv, 열, IR, 비행 시간(Time of Flight) 등) 트래커를 이용하는 시스템에 특히 관련된다.

광학 카메라 기반 시스템 중 하나에서, 파일럿은 패턴(기준 마커)를 갖는 헬멧을 착용하고, 적어도 하나의 트래커 카메라는 이러한 패턴에 기초하여 기하학적 계산을 이용하여 헬멧의 위치 및 배향을 판단한다. 따라서, 트래킹 패턴을 갖는 객체와 카메라 사이의 공간적인 관계를 계산하는 것이 종래 기술에서 잘 알려져 있다. 본 문헌을 통해서, 공간적 관계(spatial relation)가 언급될 때마다, 엔티티의 미리 정해진 기준계와 다른 것 사이의 관계를 의미하는 것이 이해되어야 한다. 기준을 이용하여 엔티티의 위치와 배향을 판단하는 것은 포즈 예측 문제라 불리고, 이는 다음과 같이 기술될 수 있다: 객체의 3차원(3D) 포인트와 이미지 평면으로의 그 객체의 2차원(2D) 투영 사이의 N 특징 관련성(feature correspondence) 세트가 주어지면, 카메라의 기준계에 대한 회전 및 평행 이동을 찾는다. 과제는, 객체의 3D 위치 및 배향이 알려지도록 카메라와 3D 객체 사이의 회전 및 평행 이동을 찾는 것이다. 이 기준계는 고려 대상인 객체의 해당하는 패턴에 일반적으로 기초한다. 다른 좌표계에 대한 트래커 카메라의 위치 및 배향이 트래커 시스템에서 알려져 있기 때문에(또는 계산되거나 측정될 수 있기 때문에), 트래커 카메라의 센서와 그리고 이에 따른 다른 좌표계와의 헬멧의 공간적 관계를 계산하는 것이 가능하다. 이와 연계하여, "트래킹되는 객체(tracked object)"는 트래킹 패턴(기준 마커)을 가지며 트래커 시스템에 의해 트래킹되는 객체를 의미한다. 이는 헬멧이 장착된 트래커 시스템에서와 같은 헬멧이나 또는 임의의 다른 객체일 수 있다.

카메라 기반의 트래커 시스템에서 사용되는 패턴은 가시 광선 카메라에 의해 트래킹되는 그래픽(일반적으로 흑백) 패턴(수동 마커)이거나 또는 광원 어레이(예를 들어 발광 다이오드(LED))(능동 마커)이다. 이러한 광원은 카메라 센서 또는 필터 세트를 적합하게 선택하여 전자기 스펙트럼의 적외선 범위에 있도록 선택될 수 있다. 또한, 다른 배치가 가능하지만, 그 중에서 가장 편리한 것은 적외선 LED를 갖는 것이며, 이는 이러한 시스템이 부적합한 조명 조건 하에서 작동할 수 있기 때문이다. 트래킹되는 객체에서의 이러한 LED의 위치(장소)는 작은 포즈 에러가 획득되고 포즈 커버리지(coverage)가 높은 것을 확실히 하도록 주의하여 결정되어야만 한다. 기준 마커의 위치를 판단하고 최적화하기 위하여 현재 사용되는 몇 가지 방법이 있다. 이러한 사용된 방법 중 하나에서, 가시적인(visible) 기준의 개수와, 광학 센서에 대한 이들의 상대적인 각도가 최적 기준 위치를 판단하기 위한 제한 사항(constraint)으로서 사용된다. 이 방법은 기준 마크로 큰 영역에서 사용되도록 의도되며, 고정 카메라에 의해 캡쳐되는 움직이는 트래킹되는 객체에서의 기준 위치를 최적화하는데 적용될 수 없다. 또한, 헬멧이 장착된 트래킹 시스템이 고려될 때, 기준 가시도(fiducial visibility)를 계산할 때 파일럿의 움직임 경향도 고려되어야 한다. 또한, 포즈 예측 알고리즘에 의해 사용되는 포즈 예측 파라미터는 종래의 방법에서 고려되지 않으며, 이는 시스템의 정확성에 직접 영향을 미친다.

종래의 방법은 시스템의 포즈 예측 정확성을 함께 최적화하기 위하여 트래커 시스템의 카메라 및 기준 위치를 시뮬레이션하는 효율적인 방법을 제공하지 않는다. 이 문제에 대한 해결책을 제공하기 위하여, 고정 카메라의 전방에서 이동하는 트래킹되는 객체에서 기준 위치를 판단하기 위한 추가 단계를 사용하는 새로운 방법이 도입되어야 한다.

최신 기술의 출원인 미국 특허 문헌 US2004239756은 다수의 가시적인 기준과 캡쳐 장치에 대한 이들의 상대적인 각도를 최적 기준 위치를 결정하고 에러의 경계가 있는 포즈를 계산하기 위한 제한 사항으로서 사용하는 방법을 개시한다.

본 발명의 과제는 트래커 시스템의 카메라와 기준 위치 및 포즈 알고리즘 파라미터를 시뮬레이션하여 시스템을 최적화하기 위한 것이다.

본 발명의 과제를 충족하기 위하여 실현되는 시스템 및 방법은 다음의 첨부된 도면에 도시된다:
도 1은 바람직한 실시예의 시스템에 대한 개략도이다.
도 2는 객체 상에서의 가능 기준 위치의 메쉬에 대한 그래프이다.
도 3은 최적화 루틴의 결과에 대한 그래프를 도시한다.
도 4는 본 발명의 바람직한 방법에 대한 플로우 차트이다.

트래커 시스템을 최적화하는 방법(100)은 기본적으로,

트래킹되는 객체 상의 가능 능동 마커 위치 및 배향을 나타내는 메쉬 데이터(mesh data); 작업 상태 하에서의 트래킹되는 객체의 가능 포즈를 나타내는 포즈 데이터; 및 적어도 하나의 카메라 위치 및 배향을 획득하는 단계(101);
포즈 데이터의 모든 포즈에 대하여 적어도 하나의 카메라 뷰포트(viewport)로부터 가능 능동 마커 위치를 나타내는 메쉬에서의 각 노드의 가시도(visibility)를 계산하고, 노드가 가시적인(visible) 횟수를 카운팅하는 가시도 값을 포함하는, 모든 노드를 나타내는 가시도 값 리스트를 생성하는 단계로서, 포즈당 임의의 카메라로부터의 가시도는 한 번 카운트되는, 계산 단계(102);
능동 마커 배치 노드로서 가장 높은 가시도 카운트를 갖는 이전에 선택되지 않은 노드를 선택하는 단계(103);
비최대 억제 임계(non-maxima suppression threshold)보다 선택된 노드에 더 가까운 노드를 제거하는 단계(104);
적어도 미리 결정된 개수의 선택된 노드를 갖는 포즈(들)를 제거하는 단계(105);
모든 포즈 중의 미리 결정된 퍼센티지가 미리 결정된 개수의 선택된 노드를 갖는지 판단하는 단계(106);
시험(106)이 부정적이면, 계산 단계(102), 선택하는 단계(103), 노드를 제거하는 단계(104), 포즈를 제거하는 단계(105) 및 시험을 하는 단계(106)를 반복하는 단계(106a);
각 포즈에 대한 각각의 카메라 뷰포트의 이미지 평면에 최종 선택된 노드 위치를 투영하고, 시스템이 최적화될 트래커 알고리즘을 이용하여 카메라 뷰포트에 대한 메쉬의 포즈를 계산하는 단계(107);
트래커 알고리즘 결과를 그라운드 검증 데이터(ground truth data)와 비교하여 트래커 알고리즘으로 예측될 수 있는 포즈의 퍼센티지인 포즈 커버리지 및 포즈 에러를 계산하는 단계(108);
포즈 에러 및 커버리지 결과를 능동 마커 배치 노드의 개수 및 위치와 함께 기록 및 출력하는 단계(109);
새로운 최적화 파라미터 세트, 포즈 예측 파라미터 세트, 카메라 위치 세트 또는 3D 객체 메쉬가 존재하는지 시험을 하는 단계(110);
시험(110)이 긍정적이면, 획득하는 단계(101)로부터 새로운 데이터로 방법을 시작하는 단계(110a); 및
결과 중에서, 최소 포즈 에러를 갖는 파라미터 세트를 선택하는 것, 최소의 숨겨진 포즈를 갖는 시스템을 선택하는 것 또는 최소 마커 개수를 갖는 시스템을 선택하는 것 중 하나인 적어도 하나의 제한 사항을 만족하는 카메라 위치 세트, 3D 메쉬 데이터, 선택된 노드의 3D 좌표인 마커 트리, 최적화 파라미터 세트 및 포즈 예측 알고리즘 파라미터 세트를 선택하는 단계(111)

를 포함하고, 숨겨진 포즈는 포즈 예측 알고리즘이 계산할 수 없는 포즈이다.

삭제

먼저, 트래킹되는 객체(예를 들어, 적외선 LED를 갖는 머리 트래킹 시스템을 위한 헬멧) 상의 능동 기준의 가능 위치가 수학적으로 모델링되어 문제를 개별 최적화 문제로 변환한다. 모델을 수학적으로 표현하기 위하여, 현재 다양하게 알려진 방법이 있으며, 매우 기본적인 예는 3차원 좌표로 객체 상의 각각의 위치를 나타낼 수 있다. 메쉬(모델)에서의 이러한 좌표는 공통 좌표계에 대하여 결정되며, 가능 카메라 위치에 관련 가능하여야만 한다는 것이 주목된다. 동시에, 작업 상태 하의 트래킹되는 객체의 가능 포즈를 나타내는 포즈 데이터도 도입되어야 한다. 본 발명의 바람직한 구성에서, 이러한 데이터는 실제 작업 상태 하에서 실제 객체에 배치된 관성 측정 유닛(IMU(inertial measurement unit))을 이용하여 획득되고, 객체의 움직임은 포즈 데이터로서 사용하기 위하여 기록된다. 다른 옵션은 정확하고 완전한 포즈 데이터를 생성할 수 있는 많은 고해상도 카메라를 갖는 광학 기반 포즈 예측 장치와 트래킹되는 객체에 장착된 능동 마커를 이용한다. 이 데이터 획득 시스템은 실제와 다르며, 따라서, 작업 상태 하의 객체의 포즈를 더욱 정확하고 완전하게 획득하는 것으로 기대된다. 이러한 데이터는 이산적이며(discrete), 다양한 모션 시나리오 하에서 객체의 많은 가능 포즈를 나타낸다. 표시된 바와 같이, 이 데이터는 실제 작업 상태를 효율적으로 시뮬레이션하도록 계산에서 고려되어야 한다. 예로서, 이는 머리 추적 시스템을 이용하는 항공기 내의 파일럿의 머리 모션을 나타낸다.

항공기의 경우, 머리 트래커가 동작하는 조종석(또는 조종실)이 일반적으로 알려져 있으며, 카메라(들)는 관심 대상인 사람(즉, 파일럿)의 명목(nominmal) 머리 위치에 대하여 조종석 3D 모델 내부에 실질적으로 위치될 수 있다. 카메라 위치에 기계 및 시스템 관련 한계가 있지만, 카메라가 배치될 수 있는 여유 공간이 있으며, 최적 위치는 제안된 최적화 알고리즘의 출력을 이용하여 탐색될 것이다.

트래킹되는 객체 및 카메라의 상대적인 공간 위치를 알면, 입력된 포즈 데이터를 수학적으로 이용하여 메쉬를 평행 이동 및 회전시키는 것이 가능하고, 기준(fiducial)의 가시도가 계산될 수 있다. 다음 단계(102)에서, 모든 포즈에 대하여 모든 카메라의 뷰포트로부터 메쉬 상의 각 노드의 가시도가 계산되고, 모든 노를 나타내는 가시도 값 리스트가 생성된다. 가시도 값은, 모든 포즈 데이터를 고려하여, 노드가 적어도 하나의 카메라 뷰포트로부터 가시적인 횟수를 나타낸다. 포즈당 임의의 카메라로부터의 가시도는 한 번만 카운트된다. 실제 포즈 예측 시스템에서 2 이상의 카메라가 있다면, 메쉬 상의 위치는 가시적인 것으로 카운트되기 위해서는 적어도 하나의 카메라로부터 가시적이어야만 한다; 그리고, 상이한 뷰포트로부터의 여러 가시도는 제거된다.

바람직한 구성에서, 폐색(occlusion) 모델이 포즈에 주어진 3D 모델 포인트(능동 마커)의 가시도를 예측하는데 사용된다(Davis 등, "A Method for Designing Marker-Based Tracking Probes", 2004). 이는 컴퓨터 그래픽에서 개발된 광선 추적 기술(ray tracing technique)에 기초한다. LED 기준의 경우에, 가시도 계산은 객체 좌표계에 대한 LED의 법선, LED 조명 원추각(cone angle) 및 머리의 알려진 포즈에 기초한다. 카메라 좌표계에서의 카메라 평면 법선과 LED의 법선 사이의 각도는 LED가 카메라를 향하여 얼마나 수직으로 지향되는지(LED 방향 각도)를 정의한다. LED 조명 원추각은 LED가 카메라에 대하여 가시적이 되기 위한 최소 LED 방향각 임계를 정의한다. 주어진 포즈에서, LED 방향각은 가시도를 결정하기 위하여 각 LED에 대하여 계산될 수 있다. 객체 좌표계에 대한 마커의 법선, 마커의 조명 원추각 및 객체의 알려진 포즈는 임의의 능동 마커 트래킹 시스템에 동등하게 적용될 수 있다.

그 다음, 단계(103)에서, 가장 높은 가시도 카운트를 갖는 노드가 능동 마커 배치 노드로서 선택된다. 이전에 마커 노드로서 판단되지 않은 가장 높은 가시도 카운트를 갖는 노드가 선택되며, 이는 대부분의 결정된 카메라 위치(들) 및 포즈 데이터에 대하여 가시적이기 때문이다. 이 노드는 마커 배치 위치를 나타낼 것이다. 마커 배치에 이어, 단계(104)에서, 비최대 억제 임계에 비하여 선택된 노드에 더 가까운 노드가 제거되어, 다음의 반복에서 매우 가까운 노드의 선택을 방지한다.

마커 배치 과정을 마치기 위하여, 알고리즘은 적어도 미리 결정된 개수(즉, K)의 배치된 마커가 가시적이게 하는 미리 결정된 퍼센티지(즉, X)의 포즈를 필요로 한다. 이 단계에서, 각 포즈에 대하여 가시적인 마커의 전체 개수(이 시점까지 선택되고 배치된)는 어느 포즈가 K 마커 한계를 초과하는지 검사하도록 계산된다. 마커 배치가 진행하는 동안, 일부 개수의 마커에서, 포즈의 X 퍼센티지는 적어도 K 개의 가시적인 마커를 가질 것으로 예측된다. 그러나, 이 과정 동안, 포즈가 이 상태를 만족한다면, 이 포즈는 포즈 데이터베이스로부터 배제되어야 한다. 이는, 메쉬 마커 가시도 분석에서, 마커 위치 소팅이 여전히 불충분한 개수의 가시적인 마커를 갖는 포즈에 대하여 실행되는 것을 보장한다. 이러한 배제는 이미 충분한 개수의 가시적인 마커를 갖는 포즈에 대한 마커의 불필요한 배치를 방지한다. 따라서, 단계(105)에서 미리 정해진 개수의 선택된 노드를 갖는 포즈(들)가 제거되고, 모든 포즈 중 충분한 퍼센티지가 충분한 선택된 노드를 가진다면, 마커 배치가 정지될 것이다(106).

모든 포즈 중 미리 정해진 퍼센티지가 적어도 K 마커를 가진 후에 마커 배치 절차가 종료하면, 선택된 노드의 3D 좌표(마커 트리(marker tree)라고 한다)가 광학 머리 트래킹 알고리즘으로 통과된다. 단계(107)에서, 마커가 각각의 카메라로부터 보여지고 있을 때 각 포즈에 대한 이미지 평면 상으로 마커가 투영된다. 또한, 이러한 2D 마커 이미지는 시뮬레이션된 시스템에서 사용될 포즈 예측 알고리즘으로 통과된다. LED 마커의 경우, 이는 2D 평면에서 점으로 표면되며, 바람직한 구성에서 소정의 양의 노이즈가 합성 LED 센터로이드(centeroid) 이미지를 생성하도록 추가된다. 포즈 예측 알고리즘은 주어진 마커 이미지(또는 LED 좌표 및 센터로이드 이미지)에 대하여 각 포즈에 대하여 독립적으로 포즈를 예측한다.

단계(108)에서, 카메라 위치-마커 트리-포즈 예측 알고리즘 구성에 대한 알고리즘의 정확성과 커버리지(포즈 예측 알고리즘으로 예측될 수 있는 포즈의 퍼센티지)가 시험된다. 포즈 에러가 계산되고, 알고리즘이 계산할 수 없는 포즈가 숨겨진 포즈(hidden pose)로서 허용된다. 입력된 메쉬 및 카메라 위치 데이터가 시뮬레이션에 먼저 공급될 때 마커의 실제 위치가 알려져 있기 때문에, 이를 포즈 예측 알고리즘 결과(그라운드 검증 데이터(ground truth data))와 비교함으로써 포즈 에러를 판단하는데 사용될 수 있다.

양호한 마커 트리 구성은 최소 개수의 마커로 작은 포즈 에러와 작은 퍼센트의 숨겨진 포즈(포즈 커버리지의 반대)를 갖는 것으로 기대된다. 마커 위치 최적화 및 포즈 예측에 있어서 많은 파라미터가 있다: 카메라 위치, 카메라의 시야(Field of View), LED 조명 각도(능동 LED 마커의 경우), K(각 포즈에 대하여 가시적인 마커의 최소 개수), 비최대 억제 거리 임계, 센트로이드에서의 이미지 노이즈 및 포즈 예측 알고리즘을 위한 많은 파라미터.

이러한 최적화 및 시뮬레이션 환경은 다음을 찾는데 사용될 수 있다:

1. 카메라 위치

2. 메쉬 데이터를 통한 객체의 3D 모델

3. 마커 트리 또는 최적화 파라미트 세트

4. 포즈 예측 파라미터

따라서, 이는 시스템 및 알고리즘 설계를 위한 완전한 환경이다. 파라미터는 바람직한 구성에서 체계적으로 바뀌며, 다음의 3가지 출력이 기록된다: 단계(108)에서의 포즈 에러, 숨겨진 포즈의 퍼센티지 및 배치된 마커의 개수. 전체 방법은 그 결과를 비교하기 위하여 상이한 입력 데이터 및 포즈 예측 알고리즘으로 구현될 수 있다. 단계(109)에서, 각 파라미터 세트에 대한 마커의 위치가 각각의 마커 카운트로 출력되어 기록된다. 또한, 포즈 정확성 및 커버리지 결과도 이 단계에서 기록된다. 트래킹되는 객체 모델, 포즈 공간 및 가능 카메라 위치가 시스템, 조종석 또는 기계적 설계(항공기의 예에서와 같이)에서의 변동에 따라 변동함기 때문에, 카메라 위치를 미세 조정하고, 마커 트리를 찾고, 포즈 예측 알고리즘을 조정하기 위하여 최적화 루틴이 재실행될 수 있다. 비교될 새로운 데이터 세트가 있다면, 체크(110)에 이어, 방법은 단계(101)로부터 새로운 데이터로 시작한다. 이러한 데이터는 최적화 파라미터 세트, 포즈 예측 파라미터 세트, 카메라 위치 세트 또는 처리될 3D 객체 메쉬를 포함한다.

파라미터 구성의 샘플 출력이 도시된다. X 및 Y는 포즈 에러와 숨겨진 포즈즈의 퍼센티지이며, 마커의 개수는 도트 크기로 인코딩되고 또한 그래프 상에서 문자로 기록된다. 시뮬레이션의 출력은 허용 가능한 능동 마커 개수 및 포즈 예측 정확성에 대한 제한 사항에 따라 구성을 선택하기 위하여 시스템 엔지니어에게 선택 사항을 제공한다. (도 3)

단계(111)에서, 결과를 생성하기 위하여 사용되는 파라미터의 이러한 최종 세트 중에서, 적어도 하나의 제한 사항을 만족하는, 카메라 위치 세트, 3D 메쉬 데이터, 머커 트리, 최적화 파라미터 세트 및 포즈 예측 알고리즘 파라미터 세트가 최적화된 포즈 예측 시스템 파라미터로서 선택된다. 최적화 파라미터는 기본적으로 비최대 억제 거리 임계와, 미리 정해진 개수의 선택된 노드를 갖는 미리 정해진 개수의 모든 포즈 중 선택되고 미리 정해진 퍼센티지이다. 바람직한 구성에서, 언급된 제한 사항은 다음 중 하나일 수 있다: 최소 포즈 에러를 갖는 파라미터 세트를 선택하는 것, 최소의 숨겨진 포즈를 갖는 시스템을 선택하는 것 또는 최소 마커 개수를 갖는 시스템을 선택하는 것. 다른 바람직한 구성에서, 제한 사항은 전술한 제한 사항의 조합이다. 예를 들어, 사용 가능한 마커 위치에 어떠한 제한 사항도 없을 때, 최소 포즈 에러 및 숨겨진 포즈 퍼센티지를 갖는 시스템이 선택될 수 있거나, 또는 숨겨진 포즈에 어떠한 제한 사항도 없을 때, 최소 개수의 마커 및 최소 마커 개수을 갖는 시스템이 선택된다.

본 방법의 바람직한 구성에서, 충분히 선택된 노드를 갖는 포즈(들)를 제거하는 단계(105)는 미리 정해진 개수의 마커를 초기 메쉬로 배치하기 전에 실행되지 않는다. 이는 단계(105)에서 적어도 하나의 포즈의 제거를 보장한다. 또 다른 실시예에서, 단계(103)에서 능동 마커 배치 노드로서 선택하기 위한 비어있는 사용 가능한 노드가 없다면, 과정은 단계(110)로 진행한다. 이 상황은, 현재의 메쉬가 주어진 파라미터 및 구성에 대하여 충분한 마커를 배치하기에 적합하지 않다는 것을 의미한다. 방법은, 가능하다면, 새로운 데이터를 수신함으로써 계속된다.

트래커 시스템을 최적화하는 시스템(1)은 기본적으로,

포즈, 메쉬 및 카메라 위치 데이터를 수신하고, 이 데이터를 이용하여 트래커 시스템을 최적화하는 방법(100)을 구현하고, 시스템이 최적화될 트래커 알고리즘을 구현하여 방법(100)에 의해 찾아진 결과를 출력하도록 구성된 적어도 하나의 처리 유닛(2);

처리 유닛(2)에 연결되고, 사용자와 같은 외부 소스로부터, 포즈, 메쉬 및 카메라 위치 데이터를 수신하여, 처리 유닛(2)에 의해 찾아진 결과를 출력하도록 구성된 적어도 하나의 입출력 장치(3); 및

처리 유닛(2)에 연결되고, 필요한 경우에, 처리 유닛(2)에 의해 찾아진 최적화 결과와, 임의의 포즈, 메쉬 및 카메라 위치 데이터를 저장하도록 구성된 적어도 하나의 메모리 유닛(4)

을 포함한다.

본 발명의 바람직한 실시예에서, 처리 유닛(2)은 입출력 장치(3)로부터 포즈, 메시 및 카메라 위치 데이터를 수신하도록 구성된다. 방법(100)은 각 데이터 세트에 대하여 포즈 데이터 시컨스(트래킹되는 객체의 가능 배향 및 위치를 나타냄)와 단일 메쉬 데이터(트래킹되는 객체에서의 가능 LED 위치를 나타냄)에 적용된다. 본 발명의 시스템(1)의 다른 실시예에서, 처리 유닛(2)은 메모리 유닛(4)으로부터 포즈, 메시 및 카메라 위치 데이터를 수신하도록 구성된다. 이러한 방법으로, 새로운 데이터 세트 획득에 대한 필요성 없이 이전에 기록된 데이터를 분석하고 시뮬레이션하는 것이 가능하다.

바람직하게는, 입출력 장치(3)는 광학/자기 또는 레이저 트래킹과 같은 임의의 공지된 수단에 의해 고려 중인 트래킹되는 객체의 적어도 하나의 포즈 데이터를 수신하도록 구성된다. 이 포즈 데이터는, 바람직하게는, 고려 중인 실제 트래킹 시스템에서의 적어도 하나의 카메라 위치에 상대적인 미리 정해진 기준 프레임에 상대적이다. 바람직한 실시예에서, 입출력 장치(3)는, 바람직하게는, 정확하고 완전한 포즈 데이터를 생성할 수 있는 광학 기반 고해상도 멀티 카메라 포즈 예측 데이터 획득 시스템 또는 그 객체에 장착된 관성 측정 유닛(IMU)을 이용하여 고려 중인 트래킹되는 객체의 적어도 하나의 포즈 데이틀 수신하도록 구성된다. 이렇게 함으로써, 실제 동작 상태 하의 트래킹되는 객체의 임의의 가능 위치 및 배향이 훨씬 더 실제적인 접근으로 처리 유닛(2)에서 시뮬레이션될 수 있다. 카메라 위치 데이터 및 메쉬 데이터는 현재 공지된 컴퓨터 보조 모델링 도구에 의해 입출력 장치를 통해 사용자에 의해 생성된다. 따라서, 입출력 장치(3)는 모니터, 키보드, 마우스, 카메라 또는 그 조합과 같은 본 발명이 속하는 기술 분야에서 알려진 임의의 인터페이스 장치이다.

메모리 유닛(4)은 RAM (random access memory), ROM (read-only memory), 플래시 메모리 또는 하드 디스크와 같은 본 발명이 속하는 기술 분야에서 알려진 임의의 휘발성 또는 비휘발성 메모리 장치이다. 이는 상기 방법(100)에 관련된 입력, 출력 또는 중간 데이터를 일시적으로 또는 영구적으로 저장하는데 사용된다.

시스템(1)과 함께 방법(100)은 시스템을 최적화하기 위하여 트래커 시스템의 카메라와 기준 위치 및 포즈 예측 알고리즘 파라미터를 효율적으로 시뮬레이션할 수 있다.

기본 개념의 범위 내에서, 본 발명의 "트래커 시스템 정확성을 측정하는 시스템(1) 및 방법(100)"에 대한 다양한 실시예를 개발하는 것이 가능하다. 본 발명은 여기에 설명된 예에 한정되지 않으며, 본질적으로 특허청구범위에 따른다.

도면에 도시된 구성요소는 다음과 같이 지칭되는 도면 부호를 개별적으로 가진다:
1 트래커 시스템을 최적화하는 시스템
2 처리 유닛
3 입출력 장치
4 메모리 유닛
100 트래커 시스템을 최적화하는 방법

Claims

트래커 시스템을 최적화하는 방법(100)에 있어서,
트래킹되는 객체 상의 가능 능동 마커 위치 및 배향을 나타내는 메쉬 데이터(mesh data); 작업 상태 하에서의 상기 트래킹되는 객체의 가능 포즈를 나타내는 포즈 데이터; 및 적어도 하나의 카메라 위치 및 배향을 획득하는 단계(101);
상기 포즈 데이터의 모든 포즈에 대하여 적어도 하나의 카메라 뷰포트(viewport)로부터 상기 가능 능동 마커 위치를 나타내는 상기 메쉬에서의 각 노드의 가시도(visibility)를 계산하고, 노드가 가시적인(visible) 횟수를 카운팅하는 가시도 값을 포함하는, 모든 노드를 나타내는 가시도 값 리스트를 생성하는 단계로서, 포즈당 임의의 카메라로부터의 가시도는 한 번 카운트되는, 계산 단계(102);
능동 마커 배치 노드로서 상기 노드 중 가장 높은 가시도 카운트를 갖는 선택하는 단계(103)로서, 상기 선택하는 단계가 복수회 수행될 때 상기 노드 중 이전에 수행된 상기 선택하는 단계에서 선택되지 않은 것 중에서 가장 높은 가시도 카운트를 갖는 노드를 상기 능동 마커 배치 노드로서 선택하는 단계;
비최대 억제 임계(non-maxima suppression threshold)보다 선택된 노드에 더 가까운 노드를 제거하는 단계(104);
모든 포즈에서 적어도 미리 결정된 개수의 선택된 노드를 갖는 포즈(들)를 제외한 포즈 중의 미리 결정된 퍼센티지가 미리 결정된 개수의 선택된 노드를 갖는지 시험을 하는 단계(105, 106);
상기 시험(105, 106)이 부정적이면, 상기 계산 단계(102), 상기 선택하는 단계(103), 상기 노드를 제거하는 단계(104), 상기 시험을 하는 단계(105, 106)를 반복하는 단계(106a);
각 포즈에 대한 각각의 카메라 뷰포트의 이미지 평면에 최종 선택된 노드 위치를 투영하고, 시스템이 최적화될 트래커 알고리즘을 이용하여 카메라 뷰포트에 대한 상기 메쉬의 포즈를 계산하는 단계(107);
트래커 알고리즘 결과를 그라운드 검증 데이터(ground truth data)와 비교하여 상기 트래커 알고리즘으로 예측될 수 있는 포즈의 퍼센티지인 포즈 커버리지 및 포즈 에러를 계산하는 단계(108);
포즈 에러 및 커버리지 결과를 능동 마커 배치 노드의 개수 및 위치와 함께 기록 및 출력하는 단계(109);
새로운 최적화 파라미터 세트, 포즈 예측 파라미터 세트, 카메라 위치 세트 또는 3D 객체 메쉬가 존재하는지 시험을 하는 단계(110);
상기 시험(110)이 긍정적이면, 상기 획득하는 단계(101)로부터 상기 시험하는 단계(110)까지 새로운 데이터로 상기 방법을 시작하는 단계(110a);
결과 중에서, 최소 포즈 에러를 갖는 파라미터 세트를 선택하는 것, 최소의 숨겨진 포즈를 갖는 시스템을 선택하는 것 또는 최소 마커 개수를 갖는 시스템을 선택하는 것 중 하나인 적어도 하나의 제한 사항을 만족하는 카메라 위치 세트, 3D 메쉬 데이터, 선택된 노드의 3D 좌표인 마커 트리, 최적화 파라미터 세트 및 포즈 예측 알고리즘 파라미터 세트를 선택하는 단계(111)
를 포함하고,
숨겨진 포즈는 상기 포즈 예측 알고리즘이 계산할 수 없는 포즈인,
트래커 시스템을 최적화하는 방법(100).
제1항에 있어서,
상기 단계(101)에서, 상기 포즈 데이터는 실제 작업 상태 하의 실제 객체 상에 배치된 관성 측정 유닛(IMU)을 이용하여 획득되고, 상기 객체의 움직임이 기록되는 것을 특징으로 하는,
트래커 시스템을 최적화하는 방법(100).
제1항에 있어서,
상기 단계(101)에서, 상기 포즈 데이터는 정확하고 완전한 포즈 데이터를 생성할 수 있는 멀티 고해상도 카메라 및 트래킹되는 객체 상에 장착된 능동 마커를 갖는 광학 기반 포즈 데이터 획득 시스템을 이용하여 획득되는 것을 특징으로 하는,
트래커 시스템을 최적화하는 방법(100).
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 단계(102)에서, 객체 좌표계에 대한 마커의 법선, 능동 마커의 조명 원추각 및 상기 객체의 알려진 포즈에 기초하는 폐색(occlusion) 모델이 3D 모델 포인트의 가시도를 예측하는데 사용되는 것을 특징으로 하는,
트래커 시스템을 최적화하는 방법(100).
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 단계(107)에서, 합성 이미지가, 노드 위치를 투영한 후 상기 이미지에 소정의 양의 노이즈를 추가함으로써 생성되는 것을 특징으로 하는,
트래커 시스템을 최적화하는 방법(100).
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 단계(111)에서, 상기 제한 사항은 최소 포즈 에러를 갖는 시스템을 선택하는 것을 특징으로 하는,
트래커 시스템을 최적화하는 방법(100).
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 단계(111)에서, 상기 제한 사항은 최소의 숨겨진 포즈를 갖는 시스템을 선택하는 것을 특징으로 하는,
트래커 시스템을 최적화하는 방법(100).
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 단계(111)에서, 상기 제한 사항은 최소 마커 개수를 갖는 시스템을 선택하는 것을 특징으로 하는,
트래커 시스템을 최적화하는 방법(100).
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 단계(105, 106)에서 모든 포즈에서 적어도 미리 결정된 개수의 선택된 노드를 갖는 포즈(들)를 제외하는 것은, 미리 정해진 개수의 마커를 초기 메쉬에 배치하기 전에 실행되지 않는 것을 특징으로 하는,
트래커 시스템을 최적화하는 방법(100).
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 단계(103)에서 능동 마커 배치 노드로서 선택할 임의의 비어 있는 사용 가능한 노드가 없다면, 과정이 상기 단계(110)로 진행하는 것을 특징으로 하는,
트래커 시스템을 최적화하는 방법(100).
트래커 시스템을 최적화하는 시스템(1)에 있어서,
포즈, 메쉬 및 카메라 위치 데이터를 수신하고, 상기 데이터를 이용하여 청구항 제1항에 따른 트래커 시스템을 최적화하는 방법(100)을 구현하고, 상기 시스템이 최적화될 트래커 알고리즘을 구현하여 상기 트래커 시스템을 최적화하는 방법(100)에 의해 찾아진 결과를 출력하도록 구성된 적어도 하나의 처리 유닛(2);
상기 처리 유닛(2)에 연결되고, 사용자와 같은 외부 소스로부터 포즈, 메쉬 및 카메라 위치 데이터를 수신하여, 상기 처리 유닛(2)에 의해 찾아진 결과를 출력하도록 구성된 적어도 하나의 입출력 장치(3); 및
상기 처리 유닛(2)에 연결되고, 상기 처리 유닛(2)에 의해 찾아진 최적화 결과와, 임의의 포즈, 메쉬 및 카메라 위치 데이터를 저장하도록 구성된 적어도 하나의 메모리 유닛(4)
을 포함하는,
트래커 시스템을 최적화하는 시스템(1).
제11항에 있어서,
상기 처리 유닛(2)은 상기 입출력 장치(3)로부터 포즈, 메쉬 및 카메라 위치 데이터를 수신하도록 구성된 것을 특징으로 하는,
트래커 시스템을 최적화하는 시스템(1).
제11항 또는 제12항에 있어서,
상기 처리 유닛(2)은 상기 메모리 유닛(4)으로부터 포즈, 메쉬 및 카메라 위치 데이터를 수신하도록 구성된 것을 특징으로 하는,
트래커 시스템을 최적화하는 시스템(1).
제11항 또는 제12항에 있어서,
상기 입출력 장치(3)는 관성 측정 유닛(IMU)을 이용하여 고려 중인 상기 트래킹되는 객체의 적어도 하나의 포즈 데이터를 수신하도록 구성된 것을 특징으로 하는,
트래커 시스템을 최적화하는 시스템(1).
제11항 또는 제12항에 있어서,
상기 입출력 장치(3)는 정확하고 완전한 포즈 데이터를 생성할 수 있는 멀티 고해상도 카메라를 갖는 광학 기반 포즈 데이터 획득 시스템을 이용하여 고려 중인 상기 트래킹되는 객체의 적어도 하나의 포즈 데이터를 수신하도록 구성된 것을 특징으로 하는,
트래커 시스템을 최적화하는 시스템(1).
제11항 또는 제12항에 있어서,
상기 입출력 장치(3)는 사용자가 생성한 카메라 위치 데이터 및 메쉬 데이터를 수신하도록 구성된 것을 특징으로 하는,
트래커 시스템을 최적화하는 시스템(1).
제11항 또는 제12항에 있어서,
상기 메모리 유닛(4)은 휘발성 메모리 장치인 것을 특징으로 하는,
트래커 시스템을 최적화하는 시스템(1).
제11항 또는 제12항에 있어서,
상기 메모리 유닛(4)은 비휘발성 메모리 장치인 것을 특징으로 하는,
트래커 시스템을 최적화하는 시스템(1).