KR20160016914A

KR20160016914A - 4개의 led들의 패턴으로부터의 포즈 결정

Info

Publication number: KR20160016914A
Application number: KR1020157036803A
Authority: KR
Inventors: 카디 하칸 바이서; 에르칸 오쿠얀
Original assignee: 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티
Priority date: 2013-06-11
Filing date: 2013-06-11
Publication date: 2016-02-15
Also published as: JP6240320B2; US9495585B2; KR101723765B1; KR20160007666A; WO2014199196A1; EP3008689A1; JP2016528479A; EP3057064B1; US20160148045A1; EP3057064A1; EP3008689B1; KR101723764B1

Abstract

본 발명은 필드 컴퓨테이션과 관련이 있고 트래킹된 객체 상의 기준 마커 및 광학 객체 트래킹 시스템의 카메라에 의해 캡쳐된 이미지 평면 상의 기준 마커 투사 간의 1대1 매칭을 발견하는 방법을 커버한다. 통신 문제를 해결하기 위한 방법은, 객체의 3D 위치 및 오리엔테이션을 찾는 데에 사용될 수 있도록, 객체의 3D 포인트 및 이미지 평면 상의 그 객체의 2D 투사 간의 통신을 발견하는 것으로 구현된다. 트래킹된 객체의 현재 포즈 없이 작업하도록 설계 되었고, 따라서 통신 문제로서 초기 통신 문제 상과 동일하게 효율적이다. 게다가, 작업 조건 하에서 트래킹된 객체의 파서블 포즈를 표시하는 포즈 데이터를 이용하는, 통신 문제를 해결하기 위해 이용되는 LED 그룹을 선택하는 방법도 표시된다, 따라서 이용 케이스 요건을 만족하기 위해 LEDS 그룹이 선택된다.

Description

4개의 LED들의 패턴으로부터의 포즈 결정{POSE DETERMINATION FROM A PATTERN OF FOUR LEDS}

본 발명은 필드 컴퓨테이션(the field of computation)과 관련되고, 트래킹된 객체 상의 기준 마커(fiducial marker) 및 광학 객체 트래킹 시스템의 카메라에 의해 평면(plane) 캡쳐된 이미지 상의 기준 마커 투사 간의 1대1 매칭을 발견하기 위한 방법을 다룬다.

어떤 환경 내에서 3차원 객체를 트래킹하고, 미리 정해진 좌표계(coordinate system)에 관해 그것의 위치 및 오리엔테이션(포즈)을 컴퓨트(compute)하는 는 방법 및 모델은 알려져 있다. 이러한 종류의 트래킹 시스템은 예를 들어, 기체(aircrafts) 에서 파일럿의 헤드 오리엔테이션 결정에 이용된다. 언급된 디스플레이의 좌표 시스템과 관련된 오리엔테이션이 획득되면, 그에 에 해당하는 그래픽 생성이 가능하다. 마그네틱(magnetic), 기계적 또는 광학적 수단을 이용하여 현장에서(in the scene) 객체를 트래킹하는 방법은 3가지가 있다. 현재(currently), 객체들의 공간적인 관계는 마그네틱 센서 또는 레이져 빔에 의해 결정될 수도 있으나, 본 발명은 특히 카메라-기반(day-tv, thermal, IR, Time of Flight etc.) 트랙커들(trackers)을 이용하는 시스템과 관련이 있다.

광학 카메라-기반 시스템에서 파일럿은 패턴(기준 마커)이 있는 헬멧을 착용하고, 적어도 하나의 트랙커 카메라가 이러한 패턴들에 기반한 기하학적 계산(geometric calculations)을 이용하여 헬멧의 포지션 및 오리엔테이션을 결정한다. 카메라-기반 트랙커 시스템에 이용되는 패턴은 가시광선 카메라에 의해 트래킹되는 그래피컬 (일반적으로 검은색 및 흰색) 패턴(수동 마커) 또는 광원(light sources)의 배열(예를 들어, 빛을 방출하는 다이오드 또는 LEDs)(능동 마커)이다. 이러한 광원은 카메라 센서 및 필터 셋의 적합한 셀렉션(suitable selection)이 있는 전자기(electromagnetic) 스펙트럼의 적외선 범위 내에서 선택될 수 있다. 이러한 시스템은 부적합한 조명 조건 하에서 수행될 수 있기 때문에 다른 어레인지먼트(arrangements) 역시 가능하지만, 그 중 가장 편리한 것은 적외선 LEDs를 이용한 방법이다. 그러므로 트래킹 패턴을 갖는 객체 및 카메라 간의 공간적인 관계를 컴퓨팅하는 것은 언급한 기술 분야 내에서 잘 알려져 있다. 명세서 전반에 걸쳐, 공간적인 관계가 언급될 때마다, 그것은 다른 것(other’s)과 관련된, 미리 정해진 참조 시스템 및 엔티티(entity) 간의 관계를 의미하는 것으로 이해되어야 한다. 목표는, 객체의 3D위치(location) 및 오리엔테이션이 알려지도록 카메라와 3D 객체 간의 회전(rotation) 및 번역(translation)을 발견하는 것이다. 이 참조 시스템은 일반적으로 고려되고 있는(under consideration) 객체 각각에 기반한다. 다른 좌표계와 관련된 트랙커 카메라의 포지션 및 오리엔테이션은 트랙커 시스템 내에 있다고 알려져(또는 계산되거나 측정될 수 있다고) 있기 때문에, 트랙커 카메라의 센서로 공간적인 관계를 계산한 다음, 다른 좌표계들과의 계산이 가능하다. 그것은 헬멧-마운트(helmet-mounted)된 트랙커 시스템 또는 임의의 다른 객체로서의 헬멧 중 하나일 수 있다.

광학 카메라-기반 트래킹 시스템이라 지칭되는 포즈 추정 문제는 다음과 같이 언급될 수 있다: 이미지 평면 상의 객체의 3차원 (3D) 포인트 및 그 객체의 2차원 (2D) 투사 간에 N 특징(feature) 통신의 특정한 셋은 카메라의 참조 시스템과 관련된 객체의 회전 및 번역을 발견한다. 목표는, 객체의 3D 위치 및 오리엔테이션이 알려질 수 있도록, 카메라 및 3D 객체 간의 회전 및 번역을 발견하는 것이다. 포즈 추정 문제의 공식적인(formal) 정의는 그것의 듀얼(dual), 즉 통신 문제에 대한 정확한(correct) 솔루션을 요구한다. 통신 문제는 다음과 같이 언급될 수 있다: 카메라의 참조 시스템과 관련된 객체의 특정한 (혹은 불특정한) 회전 및 번역은, 이미지 평면 상의 객체의 3D 포인트 및 그 객체의 투사 간의 N 특징 통신을 발견한다. 목표는 이것이 객체의 3차원 위치 및 오리엔테이션을 찾는 데에 이용될 수 있도록, 이미지 평면 상의 객체의 3D 포인트 및 그 객체의 2D 투사 간의 통신을 발견하는 것이다. 이 문제는 또한 언급된 기술 내에서 잘 알려져 있다. 그러나 우리는 그것의 듀얼에 대해 바르게 해결될 수 있는(be correctly solvable) 솔루션을 요구하는 두 가지 문제점을 가지고 있다. 따라서, 트랙커 시스템은 다른 포즈 추정 문제 또는 통신 문제에 대한 초기 솔루션을 요구한다.

카메라의 참조 시스템과 관련된 객체의 회전 및 번역이 특정되지 않은 경우, 통신 문제는 초기(initial) 통신 문제로 지칭된다. 어느 한 명이 초기 통신 문제를 해결하기로 선택한 경우, 그러면 그/그녀는 통신 문제를 해결하기 위한 컴플리션(completion) 시간을 가능한한 짧게 한다. 트래킹된 객체는 카메라의 뷰 프러스텀(view frustum)을 남기고 나서 되돌아올 수 있기 때문에 이러한 노력이 필요하다. 이러한 경우, 트래킹 프로세스(process) 재시작이 필요하다, 따라서 초기 통신 문제 해결은 스타트업(startup) 시간을 빠르게 단축시킨다. 일실시예의 하나로, 특히 파일럿 헤드가 많은 횟수의 카메라 뷰 프러스텀을 남길 경우, 빠른 스타트업은 헬멧 트래킹을 위한 블라인드(blind) 타임을 상당히 감소시킨다.

현재, 이미지 평면 상의 트래킹된 객체의 3D 포인트 및 그 객체의 2D 투사 간에 초기 통신을 결정하기 위해 이용되는 방법이 몇 가지 있다. 그 방법 중 하나에서는, 각각의 1회 이터레이션(iteration)에 의해 점등된(lit) LED들이 증가하는 곳에 많은 수의 연속적인 이미지가 이용된다. 그 다음, 그 포즈 변화는 연속적으로 캡쳐된 프레임 내에 많을 수 없다는 추정과 함께, 근사(proximity) 계산으로 3D 대(to) 2D 매칭 이 계산된다. 새롭게 점등된 LED는 매치 리스트(matched list)에 추가된 어떠한 2D 포인트에도 매치되지 않은 LED일 것이다. 통신 문제 해결은 작은 에러가 있는, 트래킹된 객체의 포즈가 어디에서 알려지는지 보다 쉽다. 다음 유사한 근사계산은 3D와 2D 매칭을 발견하기 위해 수행될 수 있다.

현재 방법으로 초기 통신 문제 해결하는 것은 많은 프레임 캡쳐를 요구한다, 따라서 그것은 긴 시간을 요구한다. 반면, 추척된 객체의 회전/번역 데이터는 초기에는 유효하지 않으므로 트래킹된 객체의 포즈를 이용하는 방법은 이용될 수 없다. 현재 방법은 초기 통신 문제의 효과적인 방법을 제시하지 않는다. 이 문제에 대한 솔루션을 제공하기 위해, 이 문제를 훨씬 효율적인 방법으로 해결하는 새로운 방법론이 소개되어야 한다. 게다가, 제안된 방법은 통신 문제(초기 케이스뿐만 아니라)를 해결하기 위해 이용될 수 있다. 따라서 통신 문제에 대한 전반적인(all around) 솔루션을 제시한다.

US 특허번호 US005828770A (Leis, Ristau), 언급된 기술의 출원은, 초기 통신 문제를 해결하기 위해 다수의 연속적인 프레임 캡쳐를 이용하는 근사 계산에 기반한 방법을 개시한다

동(同) 문서 내에서, 트래킹된 객체의 포즈가 알려질 때, 통신 문제를 해결하는 유사한 근사(proximity)에 기반한 방법도 표시된다.

현재(current)LED 그룹(group)을 턴 온(turning on)하는 단계 (101); 상기 현재 LED 그룹 내의 4개의 LED 모두가 카메라에 의해 가시적(visible)인지 여부를 결정(determining)하는 단계 (102); 상기 현재 LED 그룹 내의 상기 모든 LED가 가시적인지 센터(center)LED를 확인(Identifying)하는 단계 (103); 상기 센터 LED가 모호(ambiguous)한지 여부를 결정하는 단계 (104); 상기 센터 LED가 모호하지 않은 경우, 플랭크(flank)LED를 확인하는 단계 (105); 탑(top)및 바텀(bottom)LED들을 확인하는 단계 (106); 계산된 통신 (calculated correspondences) 을 이용하여 트래킹된 객체 포 (tracked object pose)를 계산하는 단계 (107); 상기 계산된 포즈가 모호한지 여부를 결정하는 단계 (108); 상기 현재 LED 그룹 내의 상기 모든 LED가 모두 비가시적인 경우 또는 상기 센터 LED가 모호한 경우 또는 상기 계산된 포즈가 모호한 경우 새로운 LED 그룹으로 스위칭(switching)하는 단계 (109) 를 포함하는 것을 특징으로 하는, 통신 문제를 해결하기 위한 방법 (100).

단계 101에서, ‘T’형 패턴(T shaped pattern)내에 특별히(specially) 위치하는 4개의 한 번에(at a time) 점등된(lit) LED를 이용하는 것을 특징으로 하는, 통신 문제를 해결하기 위한 방법 (100).

통신 문제를 해결하는 것은 4개의 LED가 모두 카메라에 의해 가시적인 경우에만 수행되는 것을 특징으로 하는, 통신 문제를 해결하기 위한 방법 (100).

센터 LED에 관한 통신의 확인은 모든 LED로부터 다른 3개의 잔여(remaining) LED 간의 거리를 계산하고, 단계 103의 3차원 공간 (3D space) 내에서 미들(middle) LED에 관련된 상기 센터 LED로서 최소(smallest) 총(total) 거리를 선택하여 얻어지는 것을 특징으로 하는, 통신 문제를 해결하기 위한 방법(100).

모호한 센터 LED에 관해 발견된 통신을 확인하고, 2개의 계산된 최소 총 거리가 서로 미리 정해진 퍼센티지 내에 있는 경우, 더 이용될 상기 센터 LED를 포기(discarding)하는 것을 특징으로 하는, 통신 문제를 해결하기 위한 방법 (100).

단계 105에서, 플랭크(flank) LED에 관한 상기 통신을 확인하는 단계는, 센터 LED로부터 잔여 LED까지 3개의 라인을 구성하는 단계; 다음 상기 잔여 2개의 LED로부터 각각의 라인에 대한 수직(orthogonal) 거리를 계산하는 단계; 다음 임의의(any) 라인에 대한 최소 수직 거리를 발견(finding) 하는 단계; 및 마지막으로 라인에 대해 최소 수직 거리를 갖거나 라인에 대해 최소 수직 거리를 갖지 않는 상기 라인을 구성하는데 이용되지 않는 상기 단일 LED를 플랭크로 선택하는 단계를 통해 얻어지는 것을 특징으로 하는, 통신 문제를 해결하기 위한 방법 (100).

단계 106에서, 탑/바텀 LED에 관한 통신을 확인하는 단계는, 플랭크 LED로부터 상기 센터 LED까지의 라인을 구성하는 단계; 및 탑 LED로서 상기 라인의 우측 및 바텀 LED로서 상기 라인의 좌측 상에서 상기 LED를 확인하는 단계를 통해 얻어지는 것을 특징으로 하는, 통신 문제를 해결하기 위한 방법 (100).

탑/바텀 LED통신은 플랭크 LED가 상기 LED그룹의 좌측에 위치하는 경우 스위칭되는 것을 특징으로 하는, 통신 문제를 해결하기 위한 방법 (100).

계산되는 통신(correspondences calculated)은 임의의 포즈 추정(estimation) 알고리즘에 의해 이용되고, 단계 108에서 상기 통신을 위한 하나 이상의 커렉트(correct)포즈가 가까이(at hand) 존재하는 경우, 발견된(found) 포즈는 모호하다고 지칭 되는(be said to) 것을 특징으로 하는, 통신 문제를 해결하기 위한 방법 (100).

포즈 모호성 (pose ambiguity), 센터 LED 모호성이 존재하거나 또는 카메라를 통해 가시적인 LED가 4개 미만인 경우, 새로운 스위치 LED 그룹으로의 스위칭을 실행하는 것을 특징으로 하는, 통신 문제를 해결하기 위한 방법 (100).

통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200)에 있어서,

액티브 마커 포지션(active marker positions)을 표시하는 메쉬 데이터(mesh data); 작업 조건 하에서 트래킹된 객체의 파서블 포즈(possible poses)를 표시하는 포즈 데이터; 및 하나의 카메라 포지션 및 오리엔테이션(orientation)을 획득하는 단계 (201); 포즈 데이터를 획득하기 위한 언커버드 포즈 셋(uncovered pose set)을 초기화 하는 단계 (202); T’형 패턴의 모든 4 LED 그룹을 나열 (생성) 하고, 비선택 LED 그룹 셋(non-selected LED group set)에 상기 4 LED 그룹을 추가하는 단계 (203); 현재 언커버드(uncovered) 포즈 셋 내의 각각의 포즈를 위해 비선택 LED 그룹을 카메라 배치 정보를 이용하는 2차원 공간(2D space)에 투사(project)하는 단계 (204); 4개의 LED가 모두 가시적인 경우, 각각의 페어(pair)를 위해 (비선택 LED 그룹, 현재 언커버드 포즈 셋 내의 포즈) 포즈를 비선택 LED 그룹에 등록하는 단계 (205); 대부분 커버드 되지 않은 포즈(most non-covered pose)를 커버하는 비선택 LED 그룹 내에서 LED 그룹을 확인하고, 확인된 LED 그룹을 선택된 LED 그룹에 추가하는 단계 (206); 언커버드 포즈 셋으로부터 커버드 포즈를 제거하고 비선택 LED 그룹 셋으로부터 선택 LED 그룹을 제거하는 단계 (207); 및 종료 조건이 충족되었는지 여부를 결정하고, 충족되었다면 종료하는 단계 (208) 를 포함하는 것을 특징으로 하는, 통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).

언커버드 포즈 셋은, 상기 선택된 LED 그룹에 의한 상기 언커버드 포즈의 셋이고, 실행 시작 시의 작업 조건 하에서 트래킹된 객체의 파서블 포즈(possible poses)를 표시하는 포즈 데이터로 초기화되는 것을 특징으로 하는, 통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).

네 개의 ‘T’형 LED 그룹 (groups of four) 이 후보 LED 그룹으로서 나열 (생성) 되는 것을 특징으로 하는, 통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).

현재 잔여 언커버드 포즈 셋 내의 각각의 포즈를 위해 카메라 배치 정보를 이용하여 비선택 LED 그룹이 투사되는 것을 특징으로 하는, 통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).

포즈에서 (at the pose) 그룹의 네 개의 LED가 모두 가시적인 경우, 언커버드 포즈 셋 내의 포즈가 비선택 LED 그룹에 등록되는 것을 특징으로 하는, 통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).

대부분의 언커버드 포즈 셋의 포즈를 커버하는 상기 LED 그룹이 선택되고, 상기 선택된 LED 그룹이 선택 LED 그룹에 추가되는 것을 특징으로 하는,

통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).

상기 선택 LED 그룹에 의한 커버드 포즈 (covered poses) 는 언커버드 포즈 셋으로부터 제거되고, 선택 LED 그룹은 비선택 LED 그룹으로부터 제거되는 것을 특징으로 하는, 통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).

상기 방법의 종료는 언커버드 포즈 셋이 비었거나(empty), 미리 정해진(predetermined) 개수의 LED 그룹이 선택되거나, 또는 임의의 LED 그룹이 적어도 하나의 언커버드 포즈를 커버하는데 실패한 경우 발생하는 것을 특징으로 하는, LED 그룹을 선택하는 방법(200).

본 발명의 목적을 실현하기 위해 구현된 시스템 및 방법이 첨부된 도면으로 도시된다:
도 1은 객체 상의 파서블 기준 포지션의 메쉬 그래프를 도시한다.
도 2는 4개의 LED 그룹의 샘플 위치를 도시한다.
도 3은 포즈 모호성 문제의 일실시예를 도시한다.
도 3-a는 객체 엘리베이션(elevation) 0 도(degrees)인 LED 그룹 투사의 일실시예를 도시한다.
도 3-b는 객체 엘리베이션(elevation) -45 도인 LED 그룹 투사의 일실시예를 도시한다.
도 3-c는 객체 엘리베이션(elevation) +45 도인 LED 그룹 투사의 일실시예를 도시한다.
도 4는 통신 문제를 해결하기 위한 방법의 흐름도이다.
도 5는 통신 문제를 해결하기 위해 이용되는 LED 그룹 선택에 대한 방법의 흐름도이다.

현재(current)LED 그룹(group)을 턴 온(turning on)하는 단계 (101);

상기 현재 LED 그룹 내의 4개의 LED 모두가 카메라에 의해 가시적(visible)인지 여부를 결정(determining)하는 단계 (102);

상기 현재 LED 그룹 내의 상기 모든 LED가 가시적인지 센터(center)LED를 확인(Identifying)하는 단계 (103);

상기 센터 LED가 모호(ambiguous)한지 여부를 결정하는 단계 (104);

상기 센터 LED가 모호하지 않은 경우, 플랭크(flank)LED를 확인하는 단계 (105);

탑(top)및 바텀(bottom)LED들을 확인하는 단계 (106);

계산된 통신 (calculated correspondences) 을 이용하여 트래킹된 객체 포 (tracked object pose)를 계산하는 단계 (107);

상기 계산된 포즈가 모호한지 여부를 결정하는 단계 (108);

상기 현재 LED 그룹 내의 상기 모든 LED가 모두 비가시적인 경우 또는 상기 센터 LED가 모호한 경우 또는 상기 계산된 포즈가 모호한 경우 새로운 LED 그룹으로 스위칭(switching)하는 단계 (109)

를 포함하는 것을 특징으로 하는,

통신 문제를 해결하기 위한 방법 (100).

단계 101에서, 우리는 그것들의 투사(projections)가 2D 공간 상에 보일 수 있도록 현재 LED 그룹을 턴 온 한다. 각각의 그룹은 바람직하게는 트래킹된 객체 상의 특정 패턴 내에서 선택된 4개의 LED들로 구성된다. 점등되는 4개의 LED를 선택하는 것은 두 개의 메인 팩터(main factor)에 기인한다. 우선, 통신을 발견하기 위해 정의됨이 필요한 몇몇 기하학적 규정 및 정의될 수 있고 더 적은 LED들을 이용하여 실행 될 수 있는 더 간단한(simpler) 규정이 필요하다. 둘째, 한 객체의 포즈를 계산하기 위한 통신 필요성의 이론적 최소 수는 4이다.

따라서, 단계 101에서, 점등된 LED들이 여전히 트래킹된 객체의 포즈 계산을 허용하는 동안 가급적 적은 LED가 점등된다. 2D 공간 상 점등된 LED의 투사는 영역(area) 효과를 가질 것이고, 각각의 픽셀은 고 집중도 값을 가질 것이고, 그리고 따라서 몇몇 이미지 프로세싱 양식이 적용될 필요가 있다. 이것은 단순한 임계, 연결된 구성요소 계산, 가까운 구성요소의 중력 중심 계산 등의 양식에 있을 수 있다. 이러한 프로세스들은 기술 언급 내에서 잘 알려져 있으므로 여기에서 논의되지 않을 것이다. 이 전(pre)-프로세스의 종단에서(at the end of this preprocess), 우리는, 하나의 가시적인 LED가 그들 중 다른 각각의 것과 통신하는 4페어의 값(x,y)을 가질 것이다. 단계 102에서, 우리는 모든 점등된 LED가 카메라의 뷰 포인트로부터 가시적인지 여부를 결정한다. 트래킹된 객체는 카메라에 의해 보여지는 LED를 블록(block)하는 포즈 내에 위치할 수 있고 또는 몇몇 LED는 카메라 뷰 프러스텀로부터 트래킹된 객체 상에 있을 수 있다. 이런 경우 정의된 기하학 규칙은 적용되지 않는다. 게다가, 통신 계산이 성공한다 하더라도, 적은 수의 통신은 이론적인 한계 4로 알려져 있으므로 포즈 추정은 이행될 수 없다. 이런 경우, 우리는 새로운LED 셋으로 스위칭 아웃하고 다시 시도한다.

LED그룹 내의 LED들은 특별 패턴 내에 위치된다. 하나의 라인에 3개의 LED가 위치되고 플랭크 포지션에 4번째 LED가 위치되어 있는 도면 2에서 샘플 패턴이 보여질 수 있다. 최종 위치는 매우 ‘T’ 처럼 보인다. 이 특별한 위치로, 우리는 센터, 플랭크, 탑 및 바텀 LED들을 확인하기 위한 특별한 기하학적 규정을 만들 수 있다. 단계 103에서, 우리는 센터 LED와 관한 통신을 발견한다. 센터 LED를 확인하기 위한 기하학적 규정은 다른 점등된 LED와의 최소 총 거리를 가진 센터 LED 추정으로 생성된다. 다른 LED의 미들에 센터 LED의 3D 포지션이 많거나 적기 때문에 이렇게 추정하는 것은 합리적이다. 따라서 그것이 LED의 2D 투사에 대한 것일 거라고 추정하는 것은 안전하다. 2개의 LED 간의 거리는 2D 공간 및 유클리드 거리 상에서 계산된다. 그 다음, 다른 LED에 대한 최소 총 거리를 가진 하나로서, 우리는 센터 LED 투사를 확인한다.

그러나, 항상 의심의 여지없이 센터 LED를 확인하는 것은 불가능하다. 다른 LED까지의 총 최소 거리를 가진 LED 서로 간의 거리가 매우 가까울 때, 우리는 센터 LED 결정이 낮다(low)고 확신한다. 이런 경우 카메라가 LED와 관한 사이드웨이(sideways) 포지션에 위치하면, 센터 LED와 플랭크LED를 혼동할 수 있고 또는 센터 LED와 탑/바텀LED를 혼동할 수 있다. 이론적으로, 3D to 2D 투사가 완벽하고, LED들이 동일 평면 상(coplanar)에 있다면, 우리는 이런 확신 측량(confidence metric)을 필요로 하지 않는다. 그러나 몇 개의 에러를 생산하는 광학 왜곡(distortion), 이미지 프로세싱 기술 및 비동일평면 방식(non-coplanar fashion) 에 위치한 LED는 그러한 측량 필요성을 만든다. 그러한 경우, 모호한 아이덴티피케이션(identification)이라 명명한다. 단계 104에서, 우리는 센터 LED 아이덴티피케이션이 모호한지 여부를 결정한다. 그러한 결정은 단순한 상대적 임계를 거쳐 얻어질 수 있다(만약 두 번째 최소 총 거리가 최소 총 거리의 미리 정해진 퍼센티지 이내라면, 우리는 LED 아이덴티피케이션이 모호하다고 말한다). 만약 모호한 결정이 있다면, 우리는 새로운 LED로 스위칭하고 다시 시도한다.

단계 105에서, 플랭크 LED의 아이덴티피케이션이 발생한다. 플랭크 LED를 확인하기 위해 정의된 기하학적 규정은 이미지에 센터LED로부터 다른 3개의 LED에 라인을 구성할 것을 우리에게 요구한다. 그 다음 각각의 라인에 대해 우리는 잔여 2개의 LED의 수직 거리를 계산한다, 따라서 우리는 총 6개(3x2)의 값을 계산한다. 계산된 6개의 값으로부터의 최소 값에 통신하는 LED는 탑/바텀 LED 중의 하나로 확인된다. 6개 값의 최소를 계산하기 위해 이용되는, 라인(센터LED를 따라)을 구성하기 위해 이용되는 LED는 다른 탑/바텀 LED로 확인된다. 센터 LED 및 탑/바텀 LED가 확인되기 때문에, 잔여 LED는 플랭크 LED가 된다.

이 지점에서 탑/바텀 LED로 확인되는 2 개의 LED는 노트(note)되어야 한다, 그러나 2개의 LED로부터 탑 및 바텀 포지션 간에는 1대1 매칭이 없다. 단계 106에서, 탑 및 바텀 LED의 계산이 발생한다. 탑 및 바텀 LED를 확인하기 위해 정의된 기하학적 규정은 플랭크LED로부터 센터 LED에 대해 라인을 구성할 것을 우리에게 요구한다. 그 다음, 우리는 탑 LED로서 라인의 우측 상 및 바텀 LED로서 라인의 좌측 상에서 LED를 확인할 수 있다(플랭크 LED로 추정하는 것은 우측 상에, 그렇지 않으면 바텀 LED를 탑 LED와 스위칭). LED의 특별한 위치는 센터 LED 모호성을 제외하고 통신 계산 상의 혼동을 허용하지 않음은 노트되어야 한다, 따라서 설명된 방법은 통신을 계산하는 강력한 방법을 표시한다.

단계 107에서, 계산된 4개의 통신을 이용하는 포즈의 계산이 발생한다. 4개의 통신을 이용하는 포즈를 계산하는 것은 가능하다. 그러나, 몇몇 경우에 있어, LED의 2D 뷰 및 포즈(예를 들어, LED의 특정한 2D 뷰로부터, 2개의 포즈 중 어떤 것이 커렉트 한지 판단하는 것은 가능하다) 간의 1대1 매칭은 없다. 이 경우 포즈 모호성이라고 불리고, 이것은 포즈 추정 문제의 상속(inherit) 문제이다. 포즈 모호성 문제의 예는 도면 3에 도시되어 있다. 도면 3에서 좌측 상의 그래프는 3D 공간 내의 LED 그룹의 포지션을 보여주고 우측 상의 그래프는 2D 공간 상에 그것들의 투사를 보여준다. 도면 3-a 는 LED 상에 참조하기 위한 어떠한 회전도 없는 노멀(normal) 투사이다. 도면 3-b 는 LED가 엘리베이션 축에서 -45도 회전한 것이고, 도면 3-c 는 LED가 엘리베이션 축에서 +45도 회전한 것이다. 도면으로부터 보여지는 것과 같이, 결과 이미지는 동일(identical)하다, 따라서 EL=45degree 및 EL=-45degree에서 발견된 포즈는 모두 수학적으로 커렉트하다. 그러나 실제로는 이 포즈들 중 오직 하나만 이미지 결과를 야기한다, 그러나 포즈 추정 방법을 이용하는 커렉트 포즈를 발견하는 방법은 없다. 완료하기 위해, 우리는 캡쳐된 이미지(각각의 LED에 대해 싱글(x, y)값을 발견하기 위한)의 프리프로세스 이후 입수된, 도면 3의 우측 상단 상의 그래프를 노트해야 한다. 도면 3-b의 캡쳐된 그대로(raw captured)의 이미지에서 탑 LED는 바텀 LED보다 클 것이다, 왜냐하면 카메라에 더 가깝고, 카메라에 가깝기 때문에 도면 3-c에서 바텀 LED는 탑 LED보다 클 것이기 때문이다. 우리는 또한 문제가 단일 축에 바운드 되지 않은 문제를 노트해야 한다, 그러나 그것은 싱글 2D와 통신하는 포즈가 대칭(symmetrical)일 때 존재한다.

단계 108에서, 우리는 포즈 계산이 모호한지 여부를 결정한다. 만약 모호하지 않다면, 계산된 통신은 커렉트하고 그 통신들은 포즈 계산에 이용될 수 있다. 우리는 포즈 추정의 노멀 이터레이션 및 통신 계산을 시작할 수 있다. 그러나 만약 포즈가 모호하다면, 통신의 결과가 커렉트 하더라도, 그 것은 포즈 추정 프로세스에 이용될 수 없다. 따라서, 계산된 통신은 포즈 추정 및 통신 계산의 노멀 이터레이션을 시작하기에 충분하지 않다. 이러한 경우, 우리는 새로운 LED 셋으로 스위칭하고 다시 시도한다.

통신 문제 (100)을 해결하기 위한 방법이 4개 LED 그룹 하나만을 이용하여 실행될 경우, 포즈 모호성 때문에 통신이 계산되지 않거나 객체의 포즈가 발견될 수 없는 경우가 발생한다. 이런 경우를 피하기 위해, 우리는 각각의 LED 그룹을 이용할 것을 제안한다. 그러나, LED 그룹은, 객체가 발생할 수 있는 모든 파서블 포즈를 커버링하는 동안 선택되어야 하는 LED 그룹 수가 최소가 되도록 신중히 선택되어야 한다. 통신 문제를 해결하기 위해 이용되는 LED 그룹을 선택하는 방법은, 이러한, 더 나은 방식의 경우를 이용하기 적합한 더 나은 LED 그룹 셀렉션을 위한 작업 조건 하에서 트래킹된 객체의 포즈를 이용하는 신중한 셀렉션 프로세스를 명시한다.

액티브 마커 포지션(active marker positions)을 표시하는 메쉬 데이터(mesh data); 작업 조건 하에서 트래킹된 객체의 파서블 포즈(possible poses)를 표시하는 포즈 데이터; 및 하나의 카메라 포지션 및 오리엔테이션(orientation)을 획득하는 단계 (201);

포즈 데이터를 획득하기 위한 언커버드 포즈 셋(uncovered pose set)을 초기화 하는 단계 (202);

‘T’형 패턴의 모든 4 LED 그룹을 나열 (생성) 하고, 비선택 LED 그룹 셋(non-selected LED group set)에 상기 4 LED 그룹을 추가하는 단계 (203);

현재 언커버드(uncovered) 포즈 셋 내의 각각의 포즈를 위해 비선택 LED 그룹을 카메라 배치 정보를 이용하는 2차원 공간(2D space)에 투사(project)하는 단계 (204);

4개의 LED가 모두 가시적인 경우, 각각의 페어(pair)를 위해 (비선택 LED 그룹, 현재 언커버드 포즈 셋 내의 포즈) 포즈를 비선택 LED 그룹에 등록하는 단계 (205);

대부분 커버드 되지 않은 포즈(most non-covered pose)를 커버하는 비선택 LED 그룹 내에서 LED 그룹을 확인하고, 확인된 LED 그룹을 선택된 LED 그룹에 추가하는 단계 (206);

언커버드 포즈 셋으로부터 커버드 포즈를 제거하고 비선택 LED 그룹 셋으로부터 선택 LED 그룹을 제거하는 단계 (207); 및

종료 조건이 충족되었는지 여부를 결정하고, 충족되었다면 종료하는 단계 (208)

를 포함하는 것을 특징으로 하는,

트래킹된 객체(적외선 LED에 의한 헤드 트래킹 시스템에 대한 헬멧을 지칭함) 상의 능동 기준의 포지션은 3차원 좌표와 함께 객체 상의 각각의 포지션이 제공된다. 메쉬(모델) 상의 이러한 좌표계가 커먼(common) 좌표계 시스템에 의해 결정되는 것을 노트하는 것은 중요하고, 카메라 위치에 관련될 수 있어야 한다. 동시에, 작업 조건 하에서 트래킹된 객체의 파서블 포즈를 표시하는 포즈 데이터도 소개되어야 한다. 본 발명의 바람직한 형태의 실시예에서, 이러한 실제(real) 작업 조건 하의 실제 객체 상에 위치된 IMU(inertial measurement units)를 이용하여 이러한 데이터가 획득되고, 객체의 움직임(movements)은 포즈 데이터로 활용되기 위해 기록된다.

단계 102에서, 언커버드 포즈 셋의 초기화가 일어난다. 언커버드 포즈 셋은 현재(currently) 언커버드 포즈들의 집합이고, 여기에서 "언커버드"는 상기 포즈를 이용하여 완전히 보이는, 현재 선택 그룹의 LED가 하나도 없다는 것을 의미한다. 이 셋은 초기의 전체(whole) 입력 포즈 데이터이다. 그러나, 이 방법이 진행되면서 더 많은 포즈를 커버하게 되는 만큼 이 셋은 빈(empty) 셋으로 감소할 것이다.

단계 203에서, ‘T’ 형 패턴을 가진 모든 LED그룹의 나열 (생성)이 일어난다. 이 단계는 트래킹된 객체 상의 능동 기준의 포지션에 지나치게(overly) 의존한다. 그러나 LED그룹의 생성은 다소 간단하다(somewhat straightforward). 일실시예에서, LED의 nxn 격자를 이용하도록 특정될 수 있다. 우리가 nxn 격자 상의 3x3 격자 LED를 이용하면, 3x3 격자의 미들 LED는 미들 LED가 ‘T’ 패턴을 가진 센터 LED가 있는 곳에서 8LED 그룹에 이용될 수 있다. (우리는 3사이즈 ‘+’ 및 ’x’ 형태의 3x3 격자를 가진 4개의 직선을 구성하고, 우측 혹은 좌측 상에 플랭크 LED를 위치시키는 것이 가능하다).

능동 기준 포지션 상의 명시적 입력과 유사한 전략(strategies)은 발견될 수 있다; 그러나, 임의의 프로세스 생성은 합리적으로 적은 수의 LED 그룹을 야기(result in)하도록 기대되어야 한다.

트래킹된 객체 및 카메라의 상대적 공간적 포지션을 아는 것, 입력 포즈 데이터를 수학적으로 이용하는 LED 그룹을 번역 및 회전하는 것은 가능하고, 가시성(visibilities) 기준은 계산될 수 있다. 단계 204에서, 언커버드 포즈 셋의 모든 포즈에 대한 카메라 포지션/오리엔테이션 입력으로부터의 메쉬 상의 각각의 비선택(non-selected) LED 그룹의 가시성은 계산된다; 그리고 단계 205에서, 모든 비선택 LED 그룹을 표시하는 가시성 값 목록이 생성된다. 가시성 값은 LED 그룹의 모든 노드(node) 중 현재 언커버드 포즈 셋을 고려하는, 카메라의 뷰포인트로부터 얼마나 많은 횟수(times)가 가시적이었는지를 표시한다.

본 발명의 바람직한 형태의 실시예에서, 모델 어클루젼(occlusion)은 특정한(given) 포즈(Davis et al., 2004) 3D 모델 포인트(능동 마커)의 가시성을 추정하기 위해 이용된다. 그것은 컴퓨터 그래픽 분야에서 발달한 광선 트래킹 기술에 기반한다. LED 기준의 경우, 가시성 컴퓨테이션은 객체 좌표계, LED 조명의 콘 앵글(cone angle) 및 알려진 객체의 포즈와 관련된 LED들의 노멀에 기반한다. LED들의 노멀 및 카메라 좌표계의 평면 노멀 간의 각도는 LED가 카메라를 향해 얼마나 수직(perpendicular)인지(LED 방향 각)를 정의한다. LED 조명의 콘 앵글은 LED가 카메라에 대해 가시적인 최소 LED 방향 각 임계를 정의한다. 특정 포즈에서, LED 방향 각은 그것의 가시성을 결정하는 각각의 LED에 대해 컴퓨팅(be computed)될 수 있다. 객체 좌표 시스템과 관련된 마커의 노멀, 마커의 조명 콘 앵글 및 알려진 객체의 포즈는 임의의 능동 마커 트래킹 시스템에도 동일하게(equivalently) 적용할 수 있다.

그 다음, 최고(highest) 가시성 카운트(count)된 비선택 LED그룹은 단계 206에서, 통신 문제 (100) 를 해결하기 위한 방법으로 이용되기 위해 선택된다.

결정된 포즈 데이터의 대부분에 대해 완벽히 가시적이기 때문에, 통신 문제를 해결하기 위한 방법(100)에 이용되는 LED그룹으로서 미리(previously) 결정되지 않은 최고 가시성 카운트의 LED이 선택된다.

단계 207에서, 우리는 언커버드 포즈 셋으로부터 최근(recently) 선택(selected) LED 그룹에 의해 커버되는 포즈를 제거하고, 다음 계산에 이용되는 비선택 LED 그룹으로부터 최근 선택 LED 그룹을 삭제한다.

이 실시예에서, 적어도 하나의 포즈는 새로운 선택 LED 그룹에 의해 커버되므로, 언커버드 포즈 셋의 요소(element) 수는 각각의(each) 반복(iteration) 마다 감소한다.

또한 이 실시예에서, 선택 LED 그룹의 수는 각각의 반복 마다 증가한다.

단계 208에서, 종료 조건이 체크된다. 초기 포즈 데이터의 모든 포즈가 적어도 하나의 선택 LED 그룹에 의해 커버될 경우, 메인 종료 조건이 발생한다. 이 경우는, 성공적으로 훈련된, 입력 포즈 데이터와 관련된 LED 그룹의 셀렉션과 일치(correspond)한다. 몇몇 예외적인 경우, 포즈 데이터, 카메라 포지션 및 능동 마커 포지션을 입력(inputs)하는 곳에서, 모든 포즈의 커버리지를 허용하지 않는다. 이 경우, 방법이 새로운 LED 그룹의 추가가 있는 적어도 하나의 포즈를 커버하는 것이 실패하면, 종료하는 것이 가능하다. 이 경우, 트레이닝 셋의 모든 포즈에 대해, 통신 문제를 해결하기 위한 방법 (100) 에 이용될 때, 통신 문제를 해결하기 위해 이용되는 LED 그룹을 선택하기 위한 방법 (200) 에 의해 생산된 LED 그룹은 유효한 통신 결과를 생산할 수 없을 것이다. 다른 종료 조건은 미리 정해진 LED 그룹의 수의 셀렉션으로서 명시될 수 있다. 이 실시예에서, 몇몇 포즈는 통신 문제를 해결하기 위한 방법 (100) 이 함께 작업하기 위해 더 적은 LED 그룹을 갖더라도(however) 커버되지 않을 것이다.

100. 통신 문제 해결을 위한 방법
200. 통신 문제 해결을 위해 이용되는 LED 그룹을 선택하기 위한 방법
C. 카메라
O0. 객체 엘리베이션 (0)
O1. 객체 엘리베이션(-45)
O2. 객체 엘리베이션(45)
B0. 객체 엘리베이션 0도의 바텀LED 투사
B1. 객체 엘리베이션 -45도의 바텀LED 투사
B2. 객체 엘리베이션 +45도의 바텀LED 투사
T0. 객체 엘리베이션 0도의 탑LED 투사
T1. 객체 엘리베이션 -45도의 탑LED 투사
T2. 객체 엘리베이션 +45도의 탑LED 투사
C0. 객체 엘리베이션 0도의 센터LED 투사
C1. 객체 엘리베이션-45도의 센터LED 투사
C2. 객체 엘리베이션 +45도의 센터LED 투사
F0. 객체 엘리베이션 0도의 플랭크LED 투사
F1. 객체 엘리베이션 -45도의 플랭크LED 투사
F2. 객체 엘리베이션 +45도의 플랭크LED 투사

Claims

현재(current)LED 그룹(group)을 턴 온(turning on)하는 단계 (101);
상기 현재 LED 그룹 내의 4개의 LED 모두가 카메라에 의해 가시적(visible)인지 여부를 결정(determining)하는 단계 (102);
상기 현재 LED 그룹 내의 상기 모든 LED가 가시적인지 센터(center)LED를 확인(Identifying)하는 단계 (103);
상기 센터 LED가 모호(ambiguous)한지 여부를 결정하는 단계 (104);
상기 센터 LED가 모호하지 않은 경우, 플랭크(flank)LED를 확인하는 단계 (105);
탑(top)및 바텀(bottom)LED들을 확인하는 단계 (106);
계산된 통신 (calculated correspondences) 을 이용하여 트래킹된 객체 포 (tracked object pose)를 계산하는 단계 (107);
상기 계산된 포즈가 모호한지 여부를 결정하는 단계 (108);
상기 현재 LED 그룹 내의 상기 모든 LED가 모두 비가시적인 경우 또는 상기 센터 LED가 모호한 경우 또는 상기 계산된 포즈가 모호한 경우 새로운 LED 그룹으로 스위칭(switching)하는 단계 (109)
를 포함하는 것을 특징으로 하는,
통신 문제를 해결하기 위한 방법 (100).
제1항에 있어서,
단계 101에서, ‘T’형 패턴(T shaped pattern)내에 특별히(specially) 위치하는 4개의 한 번에(at a time) 점등된(lit) LED를 이용하는 것을 특징으로 하는,
통신 문제를 해결하기 위한 방법 (100).
제2항에 있어서,
통신 문제를 해결하는 것은 4개의 LED가 모두 카메라에 의해 가시적인 경우에만 수행되는 것을 특징으로 하는,
통신 문제를 해결하기 위한 방법 (100).
제1항 내지 제3항 중 어느 한 항에 있어서,
센터 LED에 관한 통신의 확인은 모든 LED로부터 다른 3개의 잔여(remaining) LED 간의 거리를 계산하고, 단계 103의 3차원 공간 (3D space) 내에서 미들(middle) LED에 관련된 상기 센터 LED로서 최소(smallest) 총(total) 거리를 선택하여 얻어지는 것을 특징으로 하는,
통신 문제를 해결하기 위한 방법(100).
제4항에 있어서,
모호한 센터 LED에 관해 발견된 통신을 확인하고,
2개의 계산된 최소 총 거리가 서로 미리 정해진 퍼센티지 내에 있는 경우, 더 이용될 상기 센터 LED를 포기(discarding)하는 것을 특징으로 하는,
통신 문제를 해결하기 위한 방법 (100).
제1항 내지 제5항 중 어느 한 항에 있어서,
단계 105에서, 플랭크(flank) LED에 관한 상기 통신을 확인하는 단계는,
센터 LED로부터 잔여 LED까지 3개의 라인을 구성하는 단계;
다음 상기 잔여 2개의 LED로부터 각각의 라인에 대한 수직(orthogonal) 거리를 계산하는 단계;
다음 임의의(any) 라인에 대한 최소 수직 거리를 발견(finding) 하는 단계; 및
마지막으로 라인에 대해 최소 수직 거리를 갖거나 라인에 대해 최소 수직 거리를 갖지 않는 상기 라인을 구성하는데 이용되지 않는 상기 단일 LED를 플랭크로 선택하는 단계를 통해 얻어지는 것을 특징으로 하는,
통신 문제를 해결하기 위한 방법 (100).
제1항 내지 제6항 중 어느 한 항에 있어서,
단계 106에서, 탑/바텀 LED에 관한 통신을 확인하는 단계는,
플랭크 LED로부터 상기 센터 LED까지의 라인을 구성하는 단계; 및
탑 LED로서 상기 라인의 우측 및 바텀 LED로서 상기 라인의 좌측 상에서 상기 LED를 확인하는 단계를 통해 얻어지는 것을 특징으로 하는,
통신 문제를 해결하기 위한 방법 (100).
제7항에 있어서,
탑/바텀 LED통신은 플랭크 LED가 상기 LED그룹의 좌측에 위치하는 경우 스위칭되는 것을 특징으로 하는,
통신 문제를 해결하기 위한 방법 (100).
제1항 내지 제8항 중 어느 한 항에 있어서,
계산되는 통신(correspondences calculated)은 임의의 포즈 추정(estimation) 알고리즘에 의해 이용되고, 단계 108에서 상기 통신을 위한 하나 이상의 커렉트(correct)포즈가 가까이(at hand) 존재하는 경우, 발견된(found) 포즈는 모호하다고 지칭 되는(be said to) 것을 특징으로 하는,
통신 문제를 해결하기 위한 방법 (100).
제1항 내지 제9항 중 어느 한 항에 있어서,
포즈 모호성 (pose ambiguity), 센터 LED 모호성이 존재하거나 또는 카메라를 통해 가시적인 LED가 4개 미만인 경우, 새로운 스위치 LED 그룹으로의 스위칭을 실행하는 것을 특징으로 하는,
통신 문제를 해결하기 위한 방법 (100).
통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200)에 있어서,
액티브 마커 포지션(active marker positions)을 표시하는 메쉬 데이터(mesh data); 작업 조건 하에서 트래킹된 객체의 파서블 포즈(possible poses)를 표시하는 포즈 데이터; 및 하나의 카메라 포지션 및 오리엔테이션(orientation)을 획득하는 단계 (201);
포즈 데이터를 획득하기 위한 언커버드 포즈 셋(uncovered pose set)을 초기화 하는 단계 (202);
‘T’형 패턴의 모든 4 LED 그룹을 나열 (생성) 하고, 비선택 LED 그룹 셋(non-selected LED group set)에 상기 4 LED 그룹을 추가하는 단계 (203);
현재 언커버드(uncovered) 포즈 셋 내의 각각의 포즈를 위해 비선택 LED 그룹을 카메라 배치 정보를 이용하는 2차원 공간(2D space)에 투사(project)하는 단계 (204);
4개의 LED가 모두 가시적인 경우, 각각의 페어(pair)를 위해 (비선택 LED 그룹, 현재 언커버드 포즈 셋 내의 포즈) 포즈를 비선택 LED 그룹에 등록하는 단계 (205);
대부분 커버드 되지 않은 포즈(most non-covered pose)를 커버하는 비선택 LED 그룹 내에서 LED 그룹을 확인하고, 확인된 LED 그룹을 선택된 LED 그룹에 추가하는 단계 (206);
언커버드 포즈 셋으로부터 커버드 포즈를 제거하고 비선택 LED 그룹 셋으로부터 선택 LED 그룹을 제거하는 단계 (207); 및
종료 조건이 충족되었는지 여부를 결정하고, 충족되었다면 종료하는 단계 (208)
를 포함하는 것을 특징으로 하는,
통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).
제10항에 있어서,
언커버드 포즈 셋은,
상기 선택된 LED 그룹에 의한 상기 언커버드 포즈의 셋이고,
실행 시작 시의 작업 조건 하에서 트래킹된 객체의 파서블 포즈(possible poses)를 표시하는 포즈 데이터로 초기화되는 것을 특징으로 하는,
통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).
제10항 및 제11항에 있어서,
네 개의 ‘T’형 LED 그룹 (groups of four) 이 후보 LED 그룹으로서 나열 (생성) 되는 것을 특징으로 하는,
통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).
제10항 및 제12항에 있어서,
현재 잔여 언커버드 포즈 셋 내의 각각의 포즈를 위해 카메라 배치 정보를 이용하여 비선택 LED 그룹이 투사되는 것을 특징으로 하는,
통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).
제10항 및 제13항에 있어서,
포즈에서 (at the pose) 그룹의 네 개의 LED가 모두 가시적인 경우, 언커버드 포즈 셋 내의 포즈가 비선택 LED 그룹에 등록되는 것을 특징으로 하는,
통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).
제10항 및 제14항에 있어서,
대부분의 언커버드 포즈 셋의 포즈를 커버하는 상기 LED 그룹이 선택되고, 상기 선택된 LED 그룹이 선택 LED 그룹에 추가되는 것을 특징으로 하는,
통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).
제10항 및 제15항에 있어서,
상기 선택 LED 그룹에 의한 커버드 포즈 (covered poses) 는 언커버드 포즈 셋으로부터 제거되고, 선택 LED 그룹은 비선택 LED 그룹으로부터 제거되는 것을 특징으로 하는,
통신 문제 해결을 위해 이용되는 LED 그룹을 선택하는 방법 (200).
제10항 및 제16항에 있어서,
상기 방법의 종료는 언커버드 포즈 셋이 비었거나(empty), 미리 정해진(predetermined) 개수의 LED 그룹이 선택되거나, 또는 임의의 LED 그룹이 적어도 하나의 언커버드 포즈를 커버하는데 실패한 경우 발생하는 것을 특징으로 하는,
LED 그룹을 선택하는 방법(200).