KR20150140387A

KR20150140387A - 기준 마커 및 카메라 위치/배향의 최적화 시스템 및 방법

Info

Publication number: KR20150140387A
Application number: KR1020157032362A
Authority: KR
Inventors: 에르칸 오쿠얀; 오즈구르 일마즈
Original assignee: 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티
Priority date: 2013-04-12
Filing date: 2013-04-12
Publication date: 2015-12-15
Also published as: US20160063708A1; US9607387B2; KR101734746B1; JP6106803B2; TR201401751T1; JP2016517982A; EP2984623A1; EP2984623B1; WO2014167387A1

Abstract

본 발명은 계산 및 시뮬레이션의 영역과 관련되고 가시성을 시뮬레이팅함으로써, 광학 오브젝트 추적 시스템의 기준 마커 및 카메라 위치/배향을 최적화하는 방법과 관련된다. 기준 마커 및 카메라 위치/배향 최적화 방법은 최적의 가능한 마커/카메라 배치를 찾기 위해 카메라 및 기준 위치 및 포즈 평가 알고리즘을 시뮬레이션하기 위해 구현되고, 추적되는 오브젝트의 실현 가능한 배향 영역 및 가능한 액티브 마커 위치를 나타내는 메시 데이터; 작동 조건 하에서 상기 추적되는 오브젝트의 가능한 포즈를 나타내는 포즈 데이터를 획득하는 단계; 추적되는 오브젝트 환경의 실현 가능한 배향 영역 및 가능한 카메라 위치를 나타내는 메시 데이터를 획득하는 단계; 카메라 배치를 위한 전체 검색에 대해 국소 검색의 상기 상대적인 중요성을 결정하는 상기 제어 파라미터를 초기화하는 단계; 카메라 배치를 위한 초기 솔루션 스트링을 생성하는 단계; 현재 카메라 배치에 대한 마커 배치 문제를 해결하는 단계; 현재의 LED 및 카메라 배치 솔루션의 상기 품질을, 새로운 솔루션으로 참조되어 이어지는 배치되는 포즈 커버리지, 포즈 정확도, 배치되는 카메라의 수를 고려함으로써 평가하는 단계; 상기 정지 기준이 요구되는 포즈 에러, 포즈 커버리지, 사용되는 마커의 수의 상기 그룹으로부터 선택되어 만족되는지 여부를 결정하는 단계; 상기 정지 기준이 요구되는 포즈 에러, 포즈 커버리지, 사용되는 마커의 수의 상기 그룹으로부터 선택되어 만족되는지 여부를 결정하는 단계; 상기 정지 기준이 만족되는 경우, 최적의 마커 및 카메라 배치 솔루션을 출력하는 단계; 정지 기준이 만족되지 않는 경우, 새로운 솔루션이 이전의 솔루션보다 더 적은 비용을 가지는지 결정하는 단계; 상기 새로운 솔루션이 상기 이전의 반복의 상기 솔루션보다 더 적은 비용을 가지지 않는 경우, 새로운 비용, 원래의 비용 및 상기 제어 파라미터의 함수인 일부 확률을 가지고 상기 이전의 솔루션으로 롤링 백하는 단계; 카메라 배치를 위한 제어 파라미터를 감소시키는 단계; 상기 정지 기준이 만족될 때까지 상기 평가하는 단계(204)의 평가를 위한 새로운 솔루션을 생성하도록 상기 현재 솔루션을 교란하는 단계를 포함한다.

Description

기준 마커 및 카메라 위치/배향의 최적화 시스템 및 방법{A SYSTEM AND METHOD FOR OPTIMIZING FIDUCIAL MARKER AND CAMERA POSITIONS/ORIENTATIONS}

본 발명은 계산 및 시뮬레이션의 영역과 관련되고 가시성을 시뮬레이팅함으로써, 광학 오브젝트 추적 시스템의 기준 마커 및 카메라 위치/배향을 최적화하는 방법을 다룬다.

3차원 오브젝트를 환경에서 추적하고 미리 정해진 좌표 시스템에 관해 오브젝트의 위치 및 배향(포즈)를 계산하는 방법 및 모델이 알려져 있다. 이러한 종류의 추적 시스템은 예를 들어 파일롯 머리의 배향을 결정하는 비행기에서 이용된다. 일단 배향이 상기 디스플레이 장치의 좌표 시스템에 관해 획득되는 경우, 이에 따라 그래픽을 생성하는 것이 가능하다. 자성, 기계적 또는 광학적 수간을 이용하여 장면의 오브젝트를 추적하는 다른 방법이 있다. 현재, 오브젝트의 분리 관계는 또한 마그네틱 센서 또는 레이저 빔을 이용하여 결정될 수 있고, 이러한 발명은 카메라 기반의 (데이-tv, 열, IR, 비행시간) 추적기 등을 이용하는 시스템에 특히 관련된다.

광학 카메라 기반의 시스템 중 하나에서 파일럿은 (기준 마커의) 패턴을 가지는 헬멧을 착용하고 적어도 하나의 추적 카메라는 이러한 패턴에 기반하는 지리적 계산을 이용하여 헬멧의 위치와 배향을 결정한다. 추적 패턴을 가지는 오브젝트 사이에서 공간 관계를 계산하는 카메라가 종래의 기술에 알려져 있다. 이러한 문서를 통해 공간 관계가 언급되는 경우, 서로에 대해 기준 시스템에 의해 미리 정해지는 엔티티 사이의 관계에 의미가 있다는 것을 이해할 수 있다. 기준을 이용하는 엔티티의 위치 및 배향을 결정하는 것은 포즈 평가 문제라고 불리고 다음과 같이 주어질 수 있다: 오브젝트의 3차원 포인트와 이미지 평면 상의 오브젝트의 2차원 투영 사이에서 N 개의 특징이 주어지고, 카메라의 기준 시스템에 대해 오브젝트의 회전 또는 해석을 찾을 수 있다. 카메라와 3차원 오브젝트 사이의 회전 및 해석을 찾아서 오브젝트의 3차원 위치 및 배향을 아는 것이 목표이다. 기준 시스템은 일반적으로 고려 중인 오브젝트의 각각의 패턴에 기반한다. 추적 시스템의 다른 좌표 시스템에 대한 추적 카메라의 위치 및 배향이 (계산 또는 측정될 수 있거나) 알려져 있기 때문에, 헬멧을 추적 카메라와 관련 짓고 이에 따라 다른 좌표 시스템과 관련 지어 계산하는 것이 가능하다. 본 서에서, "추적되는 오브젝트"는 추적 패턴(기준 마커)을 가지고 추적 시스템에 의해 추적되는 오브젝트를 의미한다. 이는 헬멧에 탑재된 추적 시스템 또는 임의의 다른 오브젝트일 수 있다.

카메라 기반의 추적 시스템에 이용되는 패턴은 가시광선 카메라에 의해 추적되는 (일반적으로 흑백의) 그래픽 패턴 (패시브 마커) 또는 (발광 다이오드 또는 LED) (액티브 마커) 광원 배열일 수 있다. 이러한 광원은 적합하게 선택된 카메라 센서 및 필터 세트를 가지는 적외선 범위의 전자기 스펙트럼에서 선택될 수 있다. 다른 배열이 또한 가능하지만 이러한 시스템은 부적절한 광원 조건에서 동작할 수 있기 때문에 적외선 LED를 가지는 것이 대부분 이용된다. 추적되는 물체의 이러한 LED 위치(장소)는 포즈 에러는 작고 포즈 커버리지는 크도록 세심하게 결정될 수 있다. 기준 마커의 위치를 결정하고 최적화하도록 현재 이용되는 일부 방법이 있다. 이러한 방법 중 하나에서 가시성 기준의 수 및 광학 센서에 대한 상대각은 광학 기준 위치를 결정하는 제약으로서 이용된다. 이러한 방법은 기준 마크를 가지는 넓은 영역에서 이용되도록 의도되고, 정지 카메라에 의해 캡쳐되는 움직이는 추적되는 물체의 기준 위치를 최적화하도록 적용될 수는 없다. 추가로, 헬멧에 탑재되는 추적 시스템이 고려되는 경우, 파일럿의 모션 경향은 기준의 가시성을 계산하는 경우에 고려된다. 추가로, 포즈 평가 알고리즘에 의해 이용되는 포즈 평사 파라미터는, 시스템의 출력 정확도에 직접적으로 영향을 주는 파일럿의 모션 경향은 고려하지 않는다. 파일럿의 모션 경향 및 포즈 평가 파라미터가 포즈 평가 알고리즘에 의해 이용되는 경우에는 다른 일이 있다. 그러나 이러한 방법은 시스템을 최적하도록 시도되고, 이에 따라 전체 최적화 솔루션을 찾는 것 대신에 국소 최적화 솔루션에서 시도되는 것이 예상된다. 추가로 이러한 방법은 효율성이 제한되는 기준 배향을 최적화하는 임의의 메커니즘이 결여된다.

현재의 방법은 시스템의 포즈 평가 정확도를 추적 카메라 및 기준 포지션을 시뮬레이팅하는 효과적인 방법과 함께 제공하지 않는다. 이러한 문제에 대한 솔루션을 제공하기 위해, 새로운 방법론이 추적 환경의 추적되는 물체 및 카메라의 위치에서 기준 위치를 결정하는 추가의 단계를 이용하도록 소개되어야 한다.

미국 특허 제2004239756호에서 복수의 가시성의 기준 및 캡쳐 장치와의 상대적인 각도를 이용하는 방법이 개시되어 광학 기준 위치를 결정하고 에러 경계의 포즈를 결정한다.

국제 특허 PCT/IB12/050801는 파일럿의 모션 경향 및 포즈 평가 파라미터를 제시하여 광학 기준 위치를 결정하고 에러 경계의 포즈를 계산한다.

본 발명의 목전은 시스템을 최적화하는 추적 시스템의 카메라 및 기준 위치 및 포즈 평가 알고리즘 파라미터를 시뮬레이션하는 것이다.

도 1은 시스템의 선호되는 실시예의 도면이다.
도 2는 오브젝트의 가능한 기준 위치의 메시 그래프를 도시한다.
도 3은 기준 마커 위치 및 배향을 최적화하는 방법의 흐름도이다.
도 4는 기준 마커 및 카메라 위치/배향을 최적화하는 방법의 흐름도이다.

본 발명의 목적을 충족시키기 위해 구현되는 시스템 및 방법은 첨부되는 도면에서 설명된다.

도면에서 설명되는 성분은 다음의 부호와 기호를 개별적으로 참조한다.

1. 추적 시스템을 최적화하는 시스템

2. 프로세싱 유닛

3. 입/출력 장치

4. 메모리 유닛

100. 기준 마커 위치 및 배향을 최적화하는 방법

200. 기준 마커 및 카메라 위치/배향을 최적화하는 방법.

명세서의 다른 부분을 통해, 구성의 특별한 오브젝트(기준 마커 또는 카메라)의 위치 및 배향은 특별한 오브젝트의 배치로서 참조된다.

기준 마커 위치 및 배향 최적화 방법(100)은 추적되는 오브젝트의 실현 가능한 배향 영역 및 가능한 액티브 마커 위치를 나타내는 메시 데이터; 작동 조건 하에서 상기 추적되는 오브젝트의 가능한 포즈를 나타내는 포즈 데이터를 획득하는 단계(101); 전체 검색에 대해 상기 상대적인 국소 검색의 중요성을 결정하는 제어 파라미터를 초기화하는 단계(102); 마커의 상기 존재를 명시하는 비트 스트링 및 마커의 배향을 명시하는 벡터 스트링을 포함하는 상기 초기 솔루션 스트링을 생성하는 단계(103); 현재의 LED 마커 배치 솔루션의 상기 품질을, 새로운 솔루션(104)으로 참조되어 이어지는 배치되는 마커의 포즈 정확도 수, 포즈 커버리지를 고려함으로써 평가하는 단계(104); 상기 정지 기준이 요구되는 포즈 에러, 포즈 커버리지, 사용되는 마커의 수의 상기 그룹으로부터 선택되어 만족되는지 여부를 결정하는 단계(105); 상기 정지 기준이 만족되는 경우, 최적의 마커 배치 솔루션을 출력하는 단계(106); 정지 기준이 만족되지 않는 경우, 새로운 솔루션이 이전의 솔루션보다 더 적은 비용을 가지는지 결정하는 단계(107); 상기 새로운 솔루션이 상기 이전의 반복의 상기 솔루션보다 더 적은 비용을 가지지 않는 경우, 새로운 비용, 원래의 비용 및 상기 제어 파라미터의 함수인 일부 확률을 가지고 상기 이전의 솔루션으로 롤링 백하는 단계(108); 상기 제어 파라미터가 감소하는 단계(109); 및 상기 정지 기준이 만족될 때까지 상기 평가하는 단계(104)의 평가를 위한 새로운 솔루션을 생성하도록 상기 현재 솔루션을 교란하는 단계(110) -상기 솔루션의 교란은 상기 현재 솔루션에서 일련의 단순한 움직임으로서 모델링될 수 있음- 를 포함한다.

먼저, (적외선 LED를 갖춘 헤드 추적 시스템의 헬멧 등) 추적되는 오브젝트의 액티브 기준의 가능한 위치가 수학적으로 모델링된다. 수학적으로 모델을 표현하기 위해, 3차원 좌표를 가지는 각각의 위치를 나타내는 기본적인 예시가 표현될 수 있고 다양한 방법이 공지되어 있다. 메시 (모델)의 이러한 좌표는 일반적인 좌표 시스템에 관해 결정되고 가능한 카메라 위치에 관련될 수 있다는 것을 알아야 한다. 추가로, 추가되는 오브젝트의 마커 배치에 대한 기계적 제한 때문에, 마커 배치의 실현 가능한 배향이 획득될 수 있다(이러한 데이터는 기계적 설계의 직접적인 출력이다). 동시에, 동작 조건 하에서 추적되는 오브젝트의 가능한 포즈를 나타내는 포즈 데이터 또한 도입되어야 한다. 본 발명의 선호되는 구성에서, 이러한 데이터는 실제 동작 조건 하에서 실제 오브젝트에 배치되는 관성 측정 유닛(inertial measurement units; IMU)을 이용하여 획득되고 오브젝트의 움직임은 포즈 데이터로서 이용되도록 기록된다. 다른 옵션은 정확하고 완전한 포즈 데이터를 생성할 수 있는 복수의 고해상도의 카메라와 추적되는 오브젝트에 탑재되는 액티브 마커를 가지는 포즈 평가 셋업을 이용한다. 이러한 데이터 획득 시스템은 실제 조건 하에서 오브젝트의 포즈를 더 완전하고 정확하게 예상하기 때문에 실제와 다르다. 이러한 데이터는 다시 분산되어 다양한 모션 시나리오에서 오브젝트의 많은 가능한 포즈를 표현한다. 기술되는 바와 같이, 이러한 데이터는 실제 작동 조건을 효율적으로 시뮬레이션하는 계산에서 고려되어야 한다. 예를 들어, 이는 헤드 추적 시스템을 이용하는 비행기 파일럿의 헤드 모션을 표현한다.

제안되는 시스템은 반복되는 방식으로 동작한다. 각각의 동작에서, 시스템은 (이용되는 하드웨어의 수 및 그라운드 실제 데이터에 관한 시스템의 에러, 시스템의 실패 속도와 같은 비용 함수 성분-각각의 성분은 명세서에서 추가 설명됨-을 포함하고) 사용자에 의해 정의되는 비용 함수를 개선하려고 시도한다. 성부 비용 함수는 사용자 정의된 가중치를 이용하여 곱해지고 추가되어, 각각의 반복에서 시스템이 최적화하려고 시도하는 마지막 함수를 찾는다. 그러나, 최적화는 시스템이 때때로 전체 최적화 솔루션을 도출하기 위해 비용을 증가하게 하도록 시스템에 의해 꾸준히 감소하는 방식으로 수행된다.

제어 파라미터는 전체적으로 최적화 또는 국소적으로 최적화되는 방식으로 검색 공간을 횡단하는 제안된 시스템의 경향을 정의한다. 높은 제어 파라미터 값은 시스템의 증가하는 검색 성질과 상응한다. 전체 최적화 성질은 검색 공간의 횡단 동안 현재 솔루션이 국소적 최저를 가리키지 때문에 필요하지만, 전체 최적화에 도달할 수 있도록 국소적 최적화를 통과할 수 있다. 즉, 시스템의 전체 검색 능력은 (비용 최소화, 즉 훨씬 더 싼 비용을 찾기 위해 힐 솔루션의 비싼 비용을 수용하는) 힐 클라이밍 능력을 부여한다.

제안되는 시스템의 움직임은 마커/카메라의 현재 배치 솔루션의 변화로서 정의될 수 있다. 따라서, 움직임은 이전의 빈 위치로 마커/카메라를 추가할 수 있고, 이전의 점유된 위치로부터 마커/카메라를 제거할 수 있고, 마커/카메라의 배치 배향을 변경할 수 있거나 상기 세 움직임의 임의의 조합이 될 수 있다. 전체적으로 최적화되는 마커 배치를 위해 지시되어 제안되는 시스템의 움직임은 솔루션의 품질을 증가 또는 감소시킬 수 있다. 솔루션 품질의 증가가 요구되는 경우, 이는 가능하다. 그러나 솔루션 품질이 감소하는 경우에, 이러한 움직임은 국소적 최적화 지시로부터 전체적 최적화 지시로의 현재 솔루션을 이동시키는 가능성을 가지기 때문에, 제안되는 시스템은 이러한 움직임을 수용할 수 있다. 두 극한에서, 완전히 전체적으로 최적화되는 성질을 가지는 시스템은, 모든 움직임이 국소적 최적화로부터 전체적 최적화로 갈 수 있는 가능성을 가지고 이에 따라 모든 움직임은 비용 차이에 상관없이 수용되기 때문에, 완전히 랜덤한 방식으로 동작한다. 그러나, 완전히 국소적으로 최적화되는 성질을 가지는 시스템은 항상 (솔루션의 품질을 개선하는 움직임만을 수용하는) 그리디 선택을 선호하고, 이에 따라 초기 솔루션에 의존하여 국소적 최소값으로 가는 매우 높은 가능성을 가진다.

임의의 시간에서, 시스템의 성질을 완전히 전체적으로 최적화 또는 완전히 국소적으로 최적화된 것으로 구별하는 것은 불가능하지만 제안되는 시스템은 전체적 및 국소적 최적화 성질의 조합으로 확률적인 기계로서 동작한다. 제어 파라미터는 기술된 성질의 상대적인 중요성을 정의한다. 제어 파라미터를 초기화하는 단계(102)는 제안되는 시스템의 초기 최적화 성질을 결정한다. 시스템은 점진적으로 국소적으로 최적화되는 것으로 다가가지만, 초기 최적화 성직은 시스템의 출력에 크게 영향을 미친다.

마커 배치 문제에 대한 솔루션은 두 개의 스트링: 비트 스트링 및 벡터 스트링(둘 다 포지티브 액티브 마커 위치와 동일한 길이를 가짐)에 의해 표현될 수 있다. 비트 스트링은 MPF(Marker Placement Flag)를 이용하여 표시되고 벡터 스트링은 OoM (Orientations of Markers)을 이용하여 표시된다. MPF의 설정 비트(1 또는 참과 같음)는 추적되는 오브젝트의 상응하는 위치에 배치되는 마커가 있음을 의미한다. OoM의 기술된 비트의 상응하는 벡터는 추적되는 오브젝트의 액티브 마커 배치의 배향을 결정한다. MPF의 요소 및 이에 상응하는 OoM 요소를 결합함으로써 형성되는 2-쌍 (MPF(i), OoM(i))를 가상 마커라고 칭한다. 가상 마커는 OoM에 의해 지시되는 배향에서 실제 마커를 배치하는 것이 가능한 경우에 실현 가능한 것으로서 수용될 수 있다.

스트링 MPF 및 OoM는 도메인 특정 제약을 만족하는 경우 실현 가능한 것으로 기술되었고, 이 중 하나는 마커 위치에서 최대치가 없는 억제이고, MPF/OoM 에 의해 정의되는 각각의 가상 마커는 실현 가능하다. 마커 위치에서 최대치가 없는 억제는 두 개의 배치되는 마커가 일부 미리 정해지는 임계치보다 가까울 수 없는 것을 의미한다. 따라서 생성되는 초기화 솔루션 스트링은 실현 가능한 것이다(즉, 최대치가 없는 억제에 관련되고 오직 실현 가능한 가상 마커만을 포함한다).

초기화 솔루션 스트링(MPF, OoM)의 생성 단계(103)는 많은 방법으로 수행될 수 있다. MPF를 생성하는 하나의 좋은 방법은 (마커 위치의 최대치가 없는 억제 제약과 같이) 도메인 특정 제약에 관련하는 방법으로 비트를 랜덤하게 설정하는 것이다. MPF를 생성하는 다른 가능한 접근은 특허 PCT/IB12/050801에서 제안되는 그리드 접근법을 이용하는 것이다. OoM을 생성하기 위해, 상응하는 마커 위치에서 추적되는 오브젝트 표면의 노멀이 이용될 수 있다. 단계(103)의 임의의 생성에서, 솔루션은 (비록 계속 증가하는 품질이 아닐 수도 있지만) 후속 단계에서 반복적으로 개선될 수 있다.

단계(104)에서, MPF 및 OoM 스트링의 평가가 이뤄진다. 마커 배치 최적화는 다중 오브젝트 최적화 문제이다. 이러한 특별한 문제를 위한 일부 가능한 목표는 숨겨진 포즈(주어진 현재의 마커 배치에서 추적 시스템에 의해 계산될 수 없는 포즈)의 최소화, 포즈 에러의 최소화 및 이용되는 마커 수의 최소화이다. 따라서, 솔루션의 품질을 계산하기 위해 언급되는 메트릭스의 계산이 필요하다.

MPF 및 OoM 스트링이 생성/수정되는 경우, (마커 트리로 언급되는) 선택되는 노드의 3차원 좌표 및 마커의 배향은 광학 헤드 추적 알고리즘으로 패스된다. 마커는 단계(104)에서 각각의 카메라로부터 보여질 수 있는 것처럼 각각의 포즈에 대한 이미지 평면에 투영된다. 추가로, 이러한 2차원의 마커 이미지는 시뮬레이션되는 시스템에서 이용되는 포즈 평가 알고리즘으로 패스된다. LED 마커의 경우에, 2차원 평면의 포인트로서 표현되고 선호되는 구성에서 일정 양의 노이즈가 합성 LED 중심 이미지를 생성하도록 추가될 수 있다. 포즈 평가 알고리즘은 각각의 포즈에 독립적으로 주어진 마커 이미지 (또는 LED 좌표 및 중심 이미지)에서 포즈를 평가할 수 있다.

카메라 위치-마커 트리-포즈 평가 알고리즘 구성을 위한 알고리즘의 정확성 및 커버리지(포즈 평가 알고리즘을 가지고 평가될 수 있는 포즈의 퍼센트)가 테스트된다. 포즈 에러가 계산되고 알고리즘이 계산될 수 없는 포즈는 숨겨진 포즈로서 수용된다. 마커의 실제 위치는 입력 메시 및 카메라 위치 데이터가 시뮬레이션으로 공급되는 경우 알 수 있기 때문에, 포즈 평가 알고리즘 결과(그라운드 참 데이터)와 함께 포즈 에러를 비교함으로써 포즈 에러를 결정하기 위해 이용될 수 있다.

마커 배치 솔루션의 품질이 포즈 에러, 숨겨진 포즈의 퍼센트 및 사용되는 마커의 수의 선형 조합으로서 평가된다. 솔루션의 비용은 일부 비용 함수의 가중된 조합으로서 평가되기 때문에, 특정 목적의 가중을 증가/감소시키는 것이 가능하다. 다음으로 시스템은 많은 비중의 목적으로 최적화를 하고 (상대적으로) 가벼운 비중의 목적은 무시한다. 사용자는 그들의 목적에 따라 (목적의 중요성에 따라) 이러한 선형 조합의 가중을 조절하도록 예측된다. 단계(104)의 후반에서, 선형 조합으로서 계산되는 단일 스칼라는 현재 마커 배치의 품질로서 획득된다.

단계(105)에서 마커 배치 최적화의 중단 여부를 결정한다. 중단될 수 있는 두 개의 조건이 있다: 하나는 미리 정해진 횟수의 반복이 실행되는 것이고, 나머지 하나는 현재의 솔루션이 포즈 에러, 숨겨진 포즈의 퍼센트 및 사용되는 마커의 수의 최소값을 만족하는 것이다. 중단 조건이 존재하는 경우, 최적의 배치 솔루션 시스템은 단계(106)으로 넘어간다.

단계(107)에서 단계(110)에서 수행된 움직임이 솔루션 비용(즉, 포즈 에러, 숨겨진 포즈의 퍼센트 및 사용되는 마커의 수를 감소시키고 포즈 커버리지를 증가시켰는지)을 감소시켰는지 여부를 결정한다. 이를 가능하게 하기 위해, 이전 반복의 솔루션 품질을 보관할 필요가 있다(단계(108)에서 이용되는 MPF 및 OoM 스트링을 보관할 필요도 있다). 이전의 반복에 관해 비용이 감소한 경우, 다음의 반복에도 현재의 솔루션이 이어지도록 수용한다. 따라서, 솔루션의 품질이 증가하는 움직임(또한 솔루션의 비용은 감소)이 항상 수용된다. 비교할 수 있는 이전의 솔루션이 없는 경우, 단계(107)을 건너뛴다.

단계(108)은 현재의 솔루션이 이전의 솔루션보다 나쁜 품질을 가지는 경우에만 수행된다. 다음으로, 현재의 솔루션 또는 이전의 것으로 롤 백하는 것을 확률적으로 선택한다. 사용자는 잘 수행되는 세 개의 파라미터를 가지는 함수를 선택한다. 그러나 함수는 다음의 두 특성을 만족해야한다: 먼저 현재와 이전의 솔루션의 품질 차이가 충분히 큰 경우 이전의 솔루션으로 돌아가는 확률이 커지고, 두 번째로 제어 파라미터가 감소하면 이전의 솔루션으로 돌라가는 확률이 커진다. 이러한 특성은 시스템에게 국소적 최소값을 클라임 아웃할 수 있게 하기 때문에 비용이 증가하더라도 최적화 과정에서 현재 솔루션의 수용은 필수적이다. 그러나 최소값을 클라임 아웃하기 위한 아주 큰 비용이 좋은 접근이 아니라고 가정하면, 제1 특성이 남는다. 반면에, 실행의 다른 단계에서 시스템은 다른 특성을 가진다(이상적으로, 시스템은 초기 단계에서 전체적으로 최적화되고 후반 단계에서 국소적으로 최적화된다). 제2 특성은 이전의 솔루션 vs. 현재의 솔루션에 대한 확률적 선택이 시스템의 현재 특성(전체적으로 특성이 최적화되는 경우 비용이 증가되더라고 현재 솔루션을 수용하고, 국소적으로 최적화되는 경우, 현재 솔루션을 거절함)에 대해 수행될 수 있게 한다.

단계(109)에서 전체적 최적화로부터 국소적 최적화 특성으로 시스템을 변환시키는 제어 파라미터가 감소한다. 이러한 변환은 점진적이고 외적으로 연속적이다. 사용자는 (제어 파라미터를 빠르게 감소시키고 더 많은 시간을 국소적으로 최적화하거나 그 반대일 수도 있는) 시스템에서 잘 동작하는 이러한 파라미터를 감소시키는 알맞은 함수를 찾을 수 있다.

단계(110)에서, 다음의 반복에서 평가될 수 있는 새로운 솔루션을 찾기 위해 현재 솔루션을 교란한다. 최종 출력 스트링은 이번 단계에서 교란에 의해 형성될 수 있기 때문에 이번 단계는 매우 중요하다. 따라서, 이번 단계에서 구현되는 움직임(교란)의 좋은 디자인은 결과에 깊은 영향을 준다. 또한 솔루션 스트링의 최종 교란은, 최종 교란이 단계(110)에 의해 생성될 수 있기 때문에 도메인 특이 제약(최대값이 없는 억제)을 준수해야 하는 것을 알아야 한다.

단계(110)에서 이용될 수 있는 세 개의 기본적인 움직임이 있다. 다른 복잡한 움직임이 이용될 수 있지만, 복잡한 움직임은 항상 세 개의 기본적인 움직임으로 구성되어 있다. 세 개의 기본적인 움직임은 MPF에서 비트 위치를 설정하는 것, MPF에서 비트 위치를 클리어링하는 것 및 OoM에서 벡터의 방향을 바꾸는 것이다. 제1 움직임은 이전에 이용되지 않은 위치에 마커를 배치하는 것에 상응하고, 제2 움직임은 이전에 이용된 위치로부터 마커를 제거하는 것에 상응하고 제3 움직임은 (추적되는 오브젝트의) 마커의 배향을 바꾸는 것에 상응한다. 각각의 움직임은 솔루션의 품질을 개선하는 능력이 있다. 여분의 마커를 추가하는 것은 이전에 숨겨진 포즈를 커버하는 능력 및 포즈 에러를 개선하는 능력을 가진다. 여분의 마커를 제거하는 것은 이용되는 마커의 수를 감소시키고 이에 따라 배치 품질을 개선한다. 또한 마커는 (마커 위치의 최대값이 없는 억제와 같이 도메인 특이 디자인으로 인한) 다른 위치에 새로운 마커를 두는 능력(유연성)을 증가시킨다. 이미 존재하는 마커의 배치 배향을 바꾸는 것은 중요한 숨겨진 포즈를 커버하는 능력을 가지고 추적 루틴에 의해 획득되는 포즈 에러를 개선한다.

적어도 하나의 이러한 움직임은 새로운 솔루션을 찾기 위해 현재 솔루션에 적용된다. 선호되는 실시예에서, (변할 수 있거나) 미리 정해진 횟수의 움직임은 전체 랜덤 방식에서 수행된다. 이는 이번 단계에서 적용되는 휴리스틱이 로컬 최적화로 솔루션에게 지시할 수 있기 때문에 필수적이고, 랜덤 움직임은 전체적인 최적화 방향으로 솔루션을 향하게 할 수 있는 능력이 있다. 랜덤 움직임에 추가하여, 솔루션 품질을 개선하고 교란을 바른 방향으로 가이드하도록 휴리스틱 움직임이 디자인될 수 있다.

선호되는 실시예의 (마커를 추가하는) MPF에서의 비트 설정을 위해 게인 메트릭으로서 추가되는 마커에 의해 커버되는 숨겨진 포즈의 수를 이용할 수 있다. 추가되는 마커가 숨겨진 포즈에 의해 카메라에 의해 보여질 수 있는 경우, 커버되어 숨겨지는 포즈가 정의된다. 숨겨지는 포즈의 제거를 돕는 경우, 마커 추가의 확률이 증가된다. 다른 실시예에서, 게인 메트릭으로서 평가되는 포즈 에러 게인을 이용할 수 있다. 이러한 실시예에서, 현재 마커 배치와 함께 포즈를 평가하지 않고 포즈 에러를 찾을 수 없는 것은 확실하다. 그러나 높은 에러 포즈를 확인하기 위해, 이전에 평가되는 포즈 에러를 이용할 수 있다. 다음으로, 추가되는 마커가 높은 에러 포즈(추가되는 마커는 높은 에러 포즈를 위해 카메라에 의해 보여질 수 있다)를 커버하는 경우, 추가되는 마커는 포즈 에러(및 이에 따른 솔루션 품질)를 개선할 수 있다. 다른 실시예에서, 비용 메트릭(최대값이 없는 억제 임계치 내에 사용되지 않은 마커 공간이 있는 경우, 이것을 이용할 수 없고, 유연성에 손실이 있고 교란 지시에 이용될 수 있음)으로서 추가되는 마커를 이용함으로써 억제되는 마커 위치의 수를 이용할 수 있다. 추적 루틴에 특이적인 추가되는 휴리스틱 움직임이 제안될 수 있다. 전술되어 제안되는 구성 메트릭스(비용 및 게인)는 (가중된 조합으로) 조합될 수 있고 MPF에서 수행되는 움직임을 선택하도록 이용될 수 있다.

일실시예에서, MPF의 비트를 클리어링 하는 것(마커를 삭제)을 위해, 코스트 메트릭으로서 삭제되는 마커에 의해 생성되는 숨겨지는 포즈의 수를 이용할 수 있다. 각각의 포즈로부터 관찰되는 마커의 수를 추적함으로써 이를 계산할 수 있다. 다음으로, 마커의 제거가 포즈가 미리 정해진 임계치 밑으로 유도하는 경우, 마커의 제거는 숨겨지는 포즈를 생성할 수 있다(주어진 마커가 동일 평면 상에 있지 않은 경우, 미리 정해진 임계치의 이론상 최소값은 4이고, 실질적 목적에서의 임계치는 4보다 큰 수가 이용될 수 있음). 마커 제거의 확률이 많은 수의 숨겨진 포즈를 유도하는 경우, 마커 제거의 확률은 감소된다. 다른 실시예에서, 평가되는 포즈 에러는 비용 메트릭으로서 이용된다. 이러한 실시예에서, 현재 마커 배치와 함께 포즈를 평가하지 않은 채, 포즈 에러를 찾을 수 없는 것은 확실하다. 그러나 중요한 에러 포즈를 확인하기 위해 이전에 평가된 포즈 에러를 이용할 수 있다(수용할 수 있는 에러 -낮은 에러 포즈를 제외한 모든 포즈-와 가까이 근접하여 높은 에러 포즈가 있다). 다음으로 제거되는 마커가 중요한 에러를 커버하는 경우(제거되는 마커는 중요한 에러 포즈를 위해 카메라에 의해 관찰될 수 있다), 제거되는 마커는 포즈 에러를 증가시킨다(따라서, 솔루션 품질은 감소한다). 다른 실시예에서, 게인 메트릭(최대값이 없는 억제 임계치 내에 사용되지 않은 마커 공간이 있는 경우, 이것들을 제거 후에 이용할 수 있다. 이것은 유연성의 게인이고 직접적 교란에 이용될 수 있다.)으로서 삭제되는 마커로 인해 억제되는 이전의 마커 위치의 수를 이용할 수 있다. 추적 루틴에 명시적이고 추가되는 휴리스틱 움직임이 제안될 수 있다. 전술된 제안되는 구성 메트릭스(비용 및 게인)는 (가중된 조합으로) 조합될 수 있고 MPF에서 수행되도록 움직임을 선택하기 위해 이용될 수 있다.

(다른 배향에 마커를 배치하는) OoM에서의 배향 변경은 숨겨지는 포즈의 수를 증가/감소시킬 수 있고 포즈 에러를 증가/감소시킬 수 있다. 따라서, 배향 변경 움직임을 평가하기 위해, 움직임의 전후로 숨겨지는 포즈의 수를 계산하고 포즈 에러를 평가할 필요가 있다. 평가되는 포즈 에러의 계산 및 생성/제거되는 숨겨진 포즈의 수는 전술된 바와 같이 동일한 방법으로 수행된다. 일실시예에서, 배향이 변경된 움직임을 위해 게인 메트릭으로서(이러한 움직임이 높은 게인을 갖는 경우, 움직임을 변경시키는 이러한 배향을 수행하는 확률을 높혀야 함) 움직임에 의해 생성되는 숨겨지는 포즈의 마이너스 수에 의해 커버되는(움직임과 함께 제거되는) 숨겨진 포즈의 수를 이용할 수 있다. 다른 실시예에서, 비용 메트릭으로서 평가되는 포즈 에러 증가를 이용할 수 있다. 이러한 구성에서 현재의 마커 배치 (및 마커의 배향)를 이용하여 포즈를 평가하지 않은 채 포즈 에러를 찾을 수 없는 것은 확실하다. 그러나 높은 에러 포즈 및 중요한 에러 포즈를 확인하기 위해 이전에 평가되는 포즈 에러를 이용할 수 있다. 다음으로 게인 메트릭을 마커의 새로운 배향(더 높은 게인 메트릭은 포즈 에러의 가능성 있는 하락에 상응하는)과 함께 커버리지를 미스하는 중요한 에러 포즈의 마커 마이너스 수의 새로운 배향과 함께 커버되는 높은 에러 포즈의 수로서 정의할 수 있다. 높은 에러의 포즈를 커버하는 것은 전술된 높은 에러 포즈와 함께 관찰되는 마커의 추적을 유지함으로서 수행될 수 있다. 더 많은 마커는 마커의 새로운 배향을 이용하여 높은 에러 포즈를 위해 시인성이 있고, 배향 변경 뒤에 커버된다. 중요한 에러 포즈를 미스하는 것은 동일한 방식으로 계산될 수 있고, 중요한 에러는 마커의 새로운 배향과 함께 적은 마커를 가지고, 미스될 수 있다. 추적 루틴으로 명시되는 추가의 휴리스틱 움직임은 제안될 수 있다. 전술되는 제안되는 구성 메트릭스는 (가중된 조합으로) 조합될 수 있고 OoM에서 수행될 수 있는 움직임을 선택할 위해 이용된다.

단계(110)에서, 교란(과 이에 따른 이전의 것으로부터 새로운 솔루션을 생성하는 것)이 발생한다. 교란은 확률적인 방법으로 발생한다. 일부 이러한 움직임은 전체적으로 랜덤하게 수행된다: 이들 중 일부는 교란을 가이드하기 위해 휴리스틱을 이용한다. 휴리스틱은 높은 게인을 가지는 움직임을 수행하도록 (확률적으로) 의도되는 움직임 및 시스템의 게인 계산을 이용한다. 선호되는 실시예에서, 적어도 하나의 움직임이 단계(110)에서 발생한다. 단일 반복에서 세 개의 다른 타입의 움직임을 수행하는 것이 가능하고; 각각 타입의 움직임에서 적어도 하나의 반복이 또한 가능하다.

단계(110)에서 일부 포즈를 다른 것들에 우선하게 하는 것 또한 가능하다. 일부 포즈는 다른 것보다 커버하는 것이 어렵다. 다른 것들에 우선하게 하는 것은 이것들을 훨씬 쉽게 커버할 수 있게 도와준다. 이를 획득하기 위해, 각각의 포즈는 일부 미리 정해진 값으로 초기화되는 관련된 중요성 메트릭을 가질 수 있다. 이러한 중요성 메트릭은 일부 조건이 유지되는 경우 각각의 반복에서 업데이트된다. 다음으로, (각각의 포즈에 대한) 이러한 중요성 메트릭이 단계(110)에서 움직임 선택으로 고려되는 경우, 하드 포즈는 다른 것들에 우선될 수 있다(중요한 포즈의 게인/비용은 각각의 중요성 메트릭에 따라 확대될 수 있다).

이러한 포즈가 여전히 숨겨진 포즈 또는 높은 에러의 포즈인 경우, 각각의 반복에서 포즈를 위한 이러한 중요성 메트릭이 증가한다. 추가의 중요성 메트릭 증가는 반복 횟수에 직접적으로 비례할 수 있고, 즉 숨겨진 포즈가 x에 대해 반복 카운트가 중요성 메트릭 증가 1인 경우, 숨겨진 포즈가 100x에 대해 반복 카운트는 중요성 메트릭 증가 100이다. 이러한 접근은 시스템이 현재 반복에서 생성되는 숨겨진 포즈 (또는 높은 에러의 포즈)를 이전의 많은 반복의 숨겨진 것들과 차이를 두게 한다. 몇 번의 반복에서 지속되는 숨겨진 포즈(또는 높은 에러의 포즈)는 초기 단계의 수행에서 문제가 되었던 포즈보다 훨씬 중요하다. 선호되는 실시예에서, 숨겨진 포즈는 높은 에러의 포즈보다 더 많은 중요성 메트릭을 유발하는데, 이는 높은 에러의 포즈는 숨겨진 포즈가 더 문제-높은 에러-가 있다 하더라고 루틴을 추적함으로써 여전히 프로세스될 수 있기 때문이다.

기준 마커 및 카메라 위치 및 배향 최적화 방법(200)은 추적되는 오브젝트 환경의 실현 가능한 배향 영역 및 가능한 카메라 위치를 나타내는 메시 데이터; 작동 조건 하에서 상기 추적되는 오브젝트의 가능한 포즈를 나타내는 포즈 데이터를 획득하는 단계(201); 카메라 배치를 위한 전체 검색에 대해 국소 검색의 상기 상대적인 중요성을 결정하는 상기 제어 파라미터를 초기화하는 단계(202); 카메라의 존재를 명시하는 비트 스트링(CPF) 및 카메라의 배향(OoC)을 명시하는 벡터 스트링을 포함하는 상기 초기 솔루션 스트링을 생성하는 단계(203); 현재의 LED 및 카메라 배치 솔루션의 상기 품질을, 새로운 솔루션으로 참조되어 이어지는 배치되는 포즈 커버리지, 포즈 정확도, 배치되는 카메라의 수를 고려함으로써 평가하는 단계(204); 상기 정지 기준이 요구되는 포즈 에러, 포즈 커버리지, 사용되는 마커의 수의 상기 그룹으로부터 선택되어 만족되는지 여부를 결정하는 단계(205); 상기 정지 기준이 만족되는 경우, 최적의 마커 및 카메라 배치 솔루션을 출력하는 단계(206); 정지 기준이 만족되지 않는 경우, 새로운 솔루션이 이전의 솔루션보다 더 적은 비용을 가지는지 결정하는 단계(207); 상기 새로운 솔루션이 상기 이전의 반복의 상기 솔루션보다 더 적은 비용을 가지지 않는 경우, 새로운 비용, 원래의 비용 및 상기 제어 파라미터의 함수인 일부 확률을 가지고 상기 이전의 솔루션으로 롤링 백하는 단계(208); 카메라 배치를 위한 제어 파라미터를 감소시키는 단계(209); 및 상기 정지 기준이 만족될 때까지 상기 평가하는 단계(204)의 평가를 위한 새로운 솔루션을 생성하도록 상기 현재 솔루션을 교란하는 단계(210) -상기 솔루션의 교란은 상기 현재 솔루션에서 일련의 단순한 움직임으로서 모델링될 수 있음-를 포함한다.

기준 마커 및 카메라 위치 및 배향 최적화 방법(200)는 기준 마커 위치 및 배향 최적화 방법(100)와 유사하다. 이어지는 문단에서 두 방법 사이의 차이가 기술된다.

비행기의 경우에, 헤드 추적자가 작동하는 조종석(또는 룸)은 일반적으로 관심 대상의 사람(즉, 파일럿)의 노미널 헤드 위치에 관해 조종석의 3차원 모델 내부에 가상으로 위치할 수 있다고 알려져 있다. 비록 카메라 위치에 제한이 있는 기계적 시스템이지만, 카메라가 위치될 수 있는 여백은 있다. 먼저 추적되는 오브젝트 환경의 카메라의 가능한 위치는 수학적으로 모델링된다. 카메라의 위치는 추적되는 오브젝트의 마커 위치와 연관될 수 있음을 알아야 한다. 단계(201)에서 가능한 카메라 위치 및 배향을 나타내는 메시와 함께 마커 배치(100)의 최적화 공정의 입력이 획득될 수 있다.

공정은 제어 파라미터에 관한 마커 배치 최적화와 유사하다. 단계(202)에서, 카메라 배치에 대한 제어 파라미터 초기화 문제가 발생한다.

카메라 배치 문제에 대한 솔루션은 두 개의 스트링: 비트 스트링 및 벡터 스트링(둘 다 포지티브 액티브 카메라 위치와 동일한 길이를 가짐)에 의해 표현될 수 있다. 비트 스트링은 MPF(Marker Placement Flag)를 이용하여 표시되고 벡터 스트링은 OoC (Orientations of Cameras)을 이용하여 표시된다. MPF의 설정 비트(1 또는 참과 같음)는 추적되는 오브젝트의 상응하는 위치에 배치되는 카메라가 있음을 의미한다. OoC 의 기술된 비트의 상응하는 벡터는 추적되는 오브젝트의 액티브 카메라 배치의 배향을 결정한다. MPF의 요소 및 이에 상응하는 OoC 요소를 결합함으로써 형성되는 2-쌍 (MPF(i), OoC(i))를 가상 카메라라고 칭한다. 가상 카메라는 OoC에 의해 지시되는 배향에서 실제 카메라를 배치하는 것이 가능한 경우에 실현 가능한 것으로서 수용될 수 있다.

스트링 CPF 및 OoC의 실현 가능성은 MPF 및 OoM와 유사하게 정의된다. 초기 솔루션 스트링의 생성(단계(203)의 (CPF, OoC))은 단계(103)에 기술되는 방법과 유사하게 수행된다. 그러나 카메라의 배향을 설정하는 것은 (표면에 노멀을 이용하는 것은 이익이 되지 않기 때문에) 다소 다르다. 이런 경우에, 추적되는 오브젝트(디자인 아이 위치)의 노미널 포즈를 가리키는 카메라 배향이 이용될 수 있다.

기준 마커 및 카메라 위치 및 배향 최적화 방법(200)은 서브 시스템으로서 (예시가 실행되는 각각의 반복에서) 기준 마커 위치 및 배향 최적화 방법(100)을 이용한다.

마커 및 카메라 배치 솔루션의 품질은 포즈 에러, 숨겨진 포즈의 퍼센트 및 사용되는 마커의 수의 선형 조합으로서 평가된다. 솔루션의 비용은 일부 비용 함수의 가중된 조합으로서 평가되기 때문에, 특정 목적의 가중을 증가/감소시키는 것이 가능하다. 다음으로 시스템은 많은 비중의 목적으로 최적화를 하고 (상대적으로) 가벼운 비중의 목적은 무시한다. 사용자는 그들의 목적에 따라 (목적의 중요성에 따라) 이러한 선형 조합의 가중을 조절하도록 예측된다. 단계(204)의 후반에서, 선형 조합으로서 계산되는 단일 스칼라는 현재 마커 배치 및 관련되는 최적화 마커 배치의 품질로서 획득된다.

단계(205 및 206)은 사용되는 카메라의 수에 추가되는 제어 차이를 가진 채 단계(105 및 106)과 매우 유사하다(예를 들어 사용되는 카메라의 타겟 수에 따라 이용되는 마커의 타겟 수, 타겟 에러 속도, 타겟의 숨겨진 포즈 퍼센티지를 획득할 수 있는 경우 정지 조건을 유지함). 단계(207, 208 및 209)는 단계(107, 108 및 109)와 매우 유사하고, 전자는 카메라 배치 방법의 제어 파라미터, CPF, OoC를 이용하는 반면에, 후자는 마커 배치 방법의 제어 파라미터, MPF, OoM를 이용한다.

단계(210)은 단계(110)과 유사하여 다음의 반복에서 평가되는 새로운 솔루션을 찾기 위해 현재의 솔루션의 교란이 수행되지만, 이번에는 CPF와 OoC를 교란한다. 최종 출력 스트링은 이번 단계에서 교란에 의해 형성될 수 있기 때문에 이번 단계는 매우 중요하다. 따라서, 이번 단계에서 구현되는 움직임(교란)의 좋은 디자인은 결과에 깊은 영향을 준다.

단계(210)에서 이용될 수 있는 세 개의 기본적인 움직임이 있다. 다른 복잡한 움직임이 이용될 수 있지만, 복잡한 움직임은 항상 세 개의 기본적인 움직임으로 구성되어 있다. 세 개의 기본적인 움직임은 CPF에서 비트 위치를 설정하는 것, CPF에서 비트 위치를 클리어링하는 것 및 OoC에서 벡터의 방향을 바꾸는 것이다. 제1 움직임은 이전에 이용되지 않은 위치에 마커를 배치하는 것에 상응하고, 제2 움직임은 이전에 이용된 위치로부터 마커를 제거하는 것에 상응하고 제3 움직임은 (추적되는 오브젝트의) 마커의 배향을 바꾸는 것에 상응한다. 각각의 움직임은 전술한 바와 같이 솔루션의 품질을 개선하는 능력이 있다.

적어도 하나의 이러한 움직임은 새로운 솔루션을 찾기 위해 현재 솔루션에 적용된다. 단계(110)에서 이용되는 동일한 전략을 단계(210)에서 이용하여, 선호되는 실시예에서, (변할 수 있거나) 미리 정해진 횟수의 움직임은 전체 랜덤 방식에서 수행된다. 이는 이번 단계에서 적용되는 휴리스틱이 로컬 최적화로 솔루션에게 지시할 수 있기 때문에 필수적이고, 랜덤 움직임은 전체적인 최적화 방향으로 솔루션을 향하게 할 수 있는 능력이 있다. 랜덤 움직임에 추가하여, 솔루션 품질을 개선하고 교란을 바른 방향으로 가이드하도록 휴리스틱 움직임이 디자인될 수 있다.

카메라의 움직임(카메라 추가, 카메라 제거 및 카메라 배향의 변경)을 가이드하기 위한 휴리스틱에 관해 마커 트리(배향을 가지는 마커 배치)가 필요하다. 기준 마커 및 카메라 위치 및 배향 최적화 방법(200)을 위해, 이러한 마커 트리는 현재 카메라 배치 솔루션과 함께 공급되는 기준 마커 위치 및 배향 최적화 방법(100)에서 찾을 수 있는 하나일 수 있다. 다음으로, 이러한 마커 배치 구성에 관해 카메라 관련 움직임에 대한 게인 및 비용을 계산할 수 있다. 이어지는 문단은 카메라 배치 교란(단계(210))을 위해 알려져 있다. 주어진 포즈, (배향을 가지는) 마커 트리 및 이전의 카메라 위치에서 숨겨진 포즈의 제거된 수, 포즈 에러의 예상되는 감소를 계산할 수 있다. CPF의 비트를 설정/클리어링하는 게인 메트릭스 및 OoC에서 배향을 바꾸는 계산은 전술한 마커의 대응부와 매우 유사하다. 그러나 고정된 카메라 위치 및 마커 배치 솔루션을 변화시키는 것을 가정할 수도 있고, 고정된 마커 및 카메라 배치 솔루션을 변화시키는 것을 가정할 수도 있다. 마커 배치의 단계(110)의 설명이 이곳에 또한 적용 가능하다는 추가의 설명 없이 메트릭스가 주어진다.

선호되는 실시예의 CPF에서의 비트 설정을 위해 게인 메트릭으로서 추가되는 마커에 의해 커버되는 숨겨진 포즈의 수를 이용할 수 있다. 다른 실시예에서, 게인 메트릭으로서 평가되는 포즈 에러 게인을 이용할 수 있다. 추적 루틴에 특이적인 추가되는 휴리스틱 움직임이 제안될 수 있다. 전술되어 제안되는 구성 메트릭스(비용 및 게인)는 (가중된 조합으로) 조합될 수 있고 CPF에서 수행되는 움직임을 선택하도록 이용될 수 있다.

일실시예에서, CPF의 비트를 클리어링 하는 것을 위해, 코스트 메트릭으로서 삭제되는 마커에 의해 생성되는 숨겨지는 포즈의 수를 이용할 수 있다. 다른 실시예에서, 평가되는 포즈 에러는 비용 메트릭으로서 이용된다. 추적 루틴에 명시적이고 추가되는 휴리스틱 움직임이 제안될 수 있다. 전술된 제안되는 구성 메트릭스(비용 및 게인)는 (가중된 조합으로) 조합될 수 있고 MPF에서 수행되도록 움직임을 선택하기 위해 이용될 수 있다.

(다른 배향에 마커를 배치하는) OoM에서의 배향 변경은 숨겨지는 포즈의 수를 증가/감소시킬 수 있고 포즈 에러를 증가/감소시킬 수 있다. 일실시예에서, 배향이 변경된 움직임을 위해 게인 메트릭으로서(이러한 움직임이 높은 게인을 갖는 경우, 움직임을 변경시키는 이러한 배향을 수행하는 확률을 높혀야 함) 움직임에 의해 생성되는 숨겨지는 포즈의 마이너스 수에 의해 커버되는(움직임과 함께 제거되는) 숨겨진 포즈의 수를 이용할 수 있다. 다른 실시예에서, 비용 메트릭으로서 평가되는 포즈 에러 증가를 이용할 수 있다. 다음으로 게인 메트릭을 마커의 새로운 배향(더 높은 게인 메트릭은 포즈 에러의 가능성 있는 하락에 상응하는)과 함께 커버리지를 미스하는 중요한 에러 포즈의 마커 마이너스 수의 새로운 배향과 함께 커버되는 높은 에러 포즈의 수로서 정의할 수 있다. 추적 루틴으로 명시되는 추가의 휴리스틱 움직임은 제안될 수 있다. 전술되는 제안되는 구성 메트릭스는 (가중된 조합으로) 조합될 수 있고 OoM에서 수행될 수 있는 움직임을 선택할 위해 이용된다.

단계(210)에서, 교란(과 이에 따른 이전의 것으로부터 새로운 솔루션을 생성하는 것)이 발생한다. 교란은 확률적인 방법으로 발생한다. 일부 이러한 움직임은 전체적으로 랜덤하게 수행된다: 이들 중 일부는 교란을 가이드하기 위해 휴리스틱을 이용한다. 휴리스틱은 높은 게인을 가지는 움직임을 수행하도록 (확률적으로) 의도되는 움직임 및 시스템의 게인 계산을 이용한다. 선호되는 실시예에서, 적어도 하나의 움직임이 단계(210)에서 발생한다. 단일 반복에서 세 개의 다른 타입의 움직임을 수행하는 것이 가능하고; 각각 타입의 움직임에서 적어도 하나의 반복이 또한 가능하다.

단계(210)에서 일부 포즈를 다른 것들에 우선하게 하는 것 또한 가능하다. 선호되는 구성에서, 포즈는 반복 카운트에 직접적으로 비례하여 우선된다(그러나 포즈의 우선성은 프로세스(100 및 200)에 내재하고, 프로세스(100) 내의 우선성은 프로세스(200)에 영향을 주지 않고, 이들은 분리된 프로세스이다). 일실시예에서 숨겨진 포즈는 높은 에러의 포즈보다 더 많은 중요성 메트릭을 유발하는데, 이는 높은 에러의 포즈는 숨겨진 포즈가 더 문제-높은 에러-가 있다 하더라고 루틴을 추적함으로써 여전히 프로세스될 수 있기 때문이다.

기준 마커 및 카메라 위치/배향을 최적화하는 시스템은 적어도 하나의 프로세싱 유닛(2), -상기 프로세스 유닛은 포즈, 마커 매시 및 카메라 메시 데이터를 수신하고 상기 데이터를 이용하여 기준 마커 및 카메라 위치 및 배향 최적화를 위해 제1항 및 제2항의 방법(200)을 구현하고 제1항 내지 제84항 중 어느 한 항에 따른 방법(200)에 의해 도출된 결과를 출력하고 최적화되는 상기 시스템을 위한 상기 추적 알고리즘을 구현하도록 구성됨-; 적어도 하나의 입/출력 장치(3), -상기 입출력 장치는 상기 프로세싱 유닛(2)에 연결되고 사용자 등의 출력 소스로부터 포즈, 마커 메시 및 카메라 메시 데이터를 수신하고, 및 프로세싱 유닛(2)에 의해 도출되는 결과를 출력하도록 구성됨-; 적어도 하나의 메모리 유닛(4), -상기 메모리 유닛은 프로세싱 유닛(2)에 연결되어 필요한 경우, 상기 프로세싱 유닛(2)에 의해 도출되는 최적화 결과 및 임의의 포즈, 마커 메시 및 카메라 메시 데이터를 저장하도록 구성됨-를 포함한다.

본 발명의 선호되는 실시예에서, 프로세싱 유닛(2)은 입/출력 장치(3)로부터 포즈, 마커 메시 및 카메라 메시 데이터를 수신하도록 구성된다. 방법(200)은 각각의 데이터 세트에서 (추적되는 오브젝트의 위치 및 가능한 배향을 나타내는) 포즈 데이터의 시퀀스, 마커의 (추적되는 오브젝트의 가능한 LED 위치를 나타내는) 메시 데이터 및 카메라의 (추적하는 환경의 가능한 카메라 위치를 나타내는) 메시 데이터에 적용된다. 본 발명의 다른 실시예에서, 프로세싱 유닛은 상기 메모리 유닛(4)으로부터 포즈, 마커 메시 및 카메라 메시 위치 데이터를 수신하도록 구성된다. 이러한 방법으로 새로운 데이터 세트의 획득의 필요 없이 이전에 기록된 데이터를 시뮬레이트 및 분석할 수 있다.

입/출력 장치는 광/자기 또는 레이저 추적 같은 공지된 수단에 의해 고려 중인 추적 오브젝트의 포즈 데이터를 적어도 하나 수신하도록 구성된다. 이러한 포즈 데이터는 고려 중인 실제 추적 시스템에서 적어도 하나의 카메라 위치와 연관하는 미리 정해진 기준 프레임에 연관한다. 선호되는 실시예에서, 입/출력 장치(3)는 관성 측정 유닛(inertial measurement unit; IMU)을 이용하여 상기 추적되는 연구 중인 오브젝트의 적어도 하나의 포즈 데이터를 수신하도록 구성된다. 이를 통해 실제 동작 조건에서 추적되는 물체의 가능한 위치 및 배향은 더 실제적인 접근으로 프로세싱 유닛에서 시뮬레이션될 수 있다. 마커를 위한 메시 데이터 및 카메라를 위한 메시 데이터는 현재 알려진 컴퓨터 보조 모델링 장치에 의해 입/출력 장치를 통해 사용자에 의해 생성된다. 따라서 입/출력 장치(3)는 모니터, 키보드, 마우스, 카메라 또는 그 조합의 이미 알려진 장치이다.

메모리 유닛(4)은 RAM (random access memory), ROM (read-only memory), 플래시 메모리 또는 하드 디스크와 같은 공지된 휘발성 또는 비휘발성의 메모리 장치이다. 이는 상기 방법(200)과 연관된 입력, 출력 또는 중간 데이터를 임시적으로 또는 영구적으로 저장하기 위해 이용된다.

상기 시스템(1)과 함께 상기 방법(200)은 카메라 위치 및 배향뿐만 아니라 마커 위치를 최적화하는 추적자 시스템의 카메라 및 기준 위치 및 포즈 평가 알고리즘 파라미터를 효율적으로 시뮬레이션 할 수 있다.

Claims

기준 마커 위치 및 배향 최적화 방법(100)에 있어서,
추적되는 오브젝트의 실현 가능한 배향 영역 및 가능한 액티브 마커 위치를 나타내는 메시 데이터; 작동 조건 하에서 추적되는 오브젝트의 가능한 포즈를 나타내는 포즈 데이터; 및 적어도 하나의 카메라 위치 및 배향을 획득하는 단계(101);
상기 제어 파라미터를 초기화하는 단계(102);
상기 초기 솔루션 스트링을 생성하는 단계(103);
상기 현재의 LED 배치 솔루션의 상기 품질을, 배치되는 마커의 포즈 정확도 수, 포즈 커버리지를 고려하여 평가하는 단계(104);
정지 기준(요구되는 포즈 에러, 포즈 커버리지, 마커의 수가 허용할 수 있는 범위 내에서 이용되는지 여부)이 만족되었는지 여부를 결정하는 단계(105);
정지 기준이 만족되는 경우, 최적의 마커 배치 솔루션을 출력하는 단계(106);
정지 기준이 만족되지 않는 경우, 새로운 솔루션이 이전의 솔루션보다 더 적은 비용을 가지는지 결정하는 단계(107);
상기 새로운 솔루션이 상기 이전의 솔루션보다 더 적은 비용을 가지지 않는 경우, (새로운 비용, 원래의 비용 및 제어 파라미터의 함수인) 일부 확률을 가지고 이전의 솔루션으로 롤링 백하는 단계(108);
상기 제어 파라미터가 감소하는 단계(109); 및
정지 기준이 만족될 때까지 평가를 위한 새로운 솔루션을 생성하도록 현재 솔루션을 교란하는 단계(110) -(상기 솔루션의 교란은 상기 현재 솔루션에서 일련의 단순한 움직임으로서 모델링될 수 있음)-
에 의해 특징지어지는 방법(100).
제1항에 있어서,
마커 위치 및 마커 배향 최적화가 수행되는 것에 특징지어지는 방법(100).
제2항에 있어서,
마커 위치/배향 최적화가 국소적 및 전체적으로 최적화된 스펙트럼 모두에서 수행되는 것에 특징지어지는 방법(100).
제1항 내지 제3항 중 어느 한 항에 있어서,
제어 파라미터는 전체 검색에 대하여 국소 검색의 상대적인 중요성을 결정하는 것에 특징지어지는 방법(100).
제1항 내지 제4항 중 어느 한 항에 있어서,
제어 파라미터의 현재 값에 따라 시스템은 국소 검색 및 전체 검색 특성을 모두 가지는 것에 특징지어지는 방법(100).
제1항 내지 제5항 중 어느 한 항에 있어서,
단계(102)에서, 제어 파라미터의 초기화는 상기 시스템의 초기 검색 특성을 결정하는 것에 특징지어지는 방법(100).
제1항 내지 제6항 중 어느 한 항에 있어서,
마커 배치 문제에 대한 솔루션은 마커의 존재(MPF)를 명기하는 비트 스트링 및 마커의 배향(OoM)을 명기하는 벡터 스트링에 의해 결정되는 것에 특징지어지는 방법(100).
제1항 내지 제7항 중 어느 한 항에 있어서,
단계(103)에서, 마커 배치 문제에 대한 솔루션 스트링(MPF)은 도메인 특이 제약에 대한 충실도(fidelity)를 가지고 초기화되는 것에 특징지어지는 방법(100).
제1항 내지 제8항 중 어느 한 항에 있어서,
단계(103)에서, 마커 배치 문제에 대한 솔루션 스트링(OoM)은 기계적 제약에 대한 충실도(fidelity)를 가지고 초기화되는 것에 특징지어지는 방법(100).
제1항 내지 제9항 중 어느 한 항에 있어서,
단계(103)에서, 마커 배치 문제에 대한 솔루션 스트링(MPF)은 랜덤하게 초기화되거나 그리디 배치 방법을 이용하는 것에 특징지어지는 방법(100).
제1항 내지 제10항 중 어느 한 항에 있어서,
단계(103)에서, 마커 배치 문제에 대한 솔루션 스트링(OoM)은 추적되는 오브젝트의 표면에 대한 표준을 이용하여 초기화되는 것에 특징지어지는 방법(100).
제1항 내지 제11항 중 어느 한 항에 있어서,
단계(104)에서, 주어진 포즈 데이터 및 마커 배치에서, 현재 마커 배치의 품질은 이용되는 숨겨진 포즈, 포즈 에러의 수 및 마커의 수의 가중 선형 조합으로서 평가되는 것에 특징지어지는 방법(100).
제1항 내지 제12항 중 어느 한 항에 있어서,
단계(105)에서, 반복의 미리 정해진 횟수의 실행 또는 사용되는 마커의 수, 숨겨진 포즈의 수, 및 포즈 에러의 최소 요건의 달성은 시스템이 종료되도록 유도하는 것에 특징지어지는 방법(100).
제1항 내지 제13항 중 어느 한 항에 있어서,
단계(106)에서, 전체 실행에서 직면하는 최적의 배치 솔루션은 출력으로 패스되는 것에 특징지어지는 방법(100).
제1항 내지 제14항 중 어느 한 항에 있어서,
단계(107)에서, 현재 및 이전의 마커 배치 솔루션의 품질이 비교되는 것에 특징지어지는 방법(100).
제1항 내지 제15항 중 어느 한 항에 있어서,
첫 번째 반복에서 단계(107)은 실행되지 않는 것에 특징지어지는 방법(100).
제1항 내지 제16항 중 어느 한 항에 있어서,
현재 배치 솔루션의 솔루션 품질 증가는 후속 반복을 위해 현재 솔루션의 즉각적인 수용으로 이어지는 것에 특징지어지는 방법(100).
제1항 내지 제17항 중 어느 한 항에 있어서,
현재 배치 솔루션의 솔루션 품질 감소는 후속 반복을 위해 현재 솔루션의 가능성 있는 수용으로 이어지는 것에 특징지어지는 방법(100).
제1항 내지 제18항 중 어느 한 항에 있어서,
솔루션 품질 감소의 경우, 현재 배치 솔루션의 수용은 단계(108)에서 다음의 특성: 이전과 현재 솔루션 사이의 품질 차이가 작은 경우, 높은 수용 속도, 제어 파라미터가 큰 값을 가지는 경우, 높은 수용 속도를 가지는 함수에 의해 가이드되는 것에 특징지어지는 방법(100):
제1항 내지 제19항 중 어느 한 항에 있어서,
상기 시스템의 국소 검색 특성을 증가시키는 제어 파라미터의 감소는 단계(109)에서 발생하는 것에 특징지어지는 방법(100).
제1항 내지 제20항 중 어느 한 항에 있어서,
상기 다음 솔루션을 찾는 현재 솔루션의 교란은 단계(110)에서 수행되는 것에 특징지어지는 방법(100).
제1항 내지 제21항 중 어느 한 항에 있어서,
교란은 세 개의 다른 기본 움직임: MPF에서 비트 위치의 설정, MPF에서 비트 위치의 클리어링, OoM에서 벡터의 상기 방향 변화로 구성될 수 있는 것에 특징지어지는 방법(100).
제1항 내지 제22항 중 어느 한 항에 있어서,
교란은 단일 반복에서 세 개의 다른 타입의 움직임: 각각 타입의 움직임에 대한 적어도 한 번의 되풀이 또한 가능한 것에 특징지어지는 방법(100).
제1항 내지 제23항 중 어느 한 항에 있어서,
단계(110)에서, 교란은 도메인 특이 디자인 규칙 및 기계적 제약에 관련되는 것에 특징지어지는 방법(100).
제1항 내지 제24항 중 어느 한 항에 있어서,
단계(110)에서, 미리 정해진 (또는 변할 수 있는) 횟수의 움직임은 교란을 가이드하도록 휴리스틱 움직임을 따라 전체적으로 랜덤한 방식으로 수행되는 것에 특징지어지는 방법(100).
제1항 내지 제25항 중 어느 한 항에 있어서,
단계(110)에서, MPF의 비트를 설정하는 휴리스틱 움직임은 게인 및 비용 메트릭스에 의해 가이드되는 후보 움직임 사이에서 확률적으로 선택되는 것에 특징지어지는 방법(100).
제1항 내지 제26항 중 어느 한 항에 있어서,
MPF의 비트를 설정하는 휴리스틱 움직임은 상기 추가되는 마커에 의해 커버되는 숨겨진 포즈의 수의 상기 게인 메트릭에 의해 가이드되는 것에 특징지어지는 방법(100).
제1항 내지 제27항 중 어느 한 항에 있어서,
MPF의 비트를 설정하는 휴리스틱 움직임은 상기 추가되는 마커에 의해 커버되는 높은 에러 포즈의 수의 상기 게인 메트릭에 의해 가이드되는 것에 특징지어지는 방법(100).
제1항 내지 제28항 중 어느 한 항에 있어서,
MPF의 비트를 설정하는 휴리스틱 움직임은 상기 추가되는 마커에 의해 억제되는 마커 위치의 수의 상기 비용 메트릭에 의해 가이드되는 것에 특징지어지는 방법(100).
제1항 내지 제29항 중 어느 한 항에 있어서,
단계(110)에서, MPF의 비트를 설정하는 휴리스틱 움직임은 MPF 비트 설정을 위한 게인 및 코스트 메트릭스의 가중된 선형 결합에 의해 가이드되는 것에 특징지어지는 방법(100).
제1항 내지 제30항 중 어느 한 항에 있어서,
단계(110)에서, MPF의 비트를 클리어하는 휴리스틱 움직임은 게인 및 코스트 메트릭스에 의해 가이드되는 후보 움직임 사이에서 확률적으로 선택되는 것에 특징지어지는 방법(100).
제1항 내지 제31항 중 어느 한 항에 있어서,
MPF의 비트를 클리어하는 휴리스틱 움직임은 상기 검출되는 마커에 의해 생성되는 숨겨진 포즈의 수의 상기 코스트 메트릭에 의해 가이드되는 것에 특징지어지는 방법(100).
제1항 내지 제32항 중 어느 한 항에 있어서,
MPF의 비트를 클리어하는 휴리스틱 움직임은 검출되는 마커로 인해 커버리지가 미스되는 크리티컬 에러 포즈의 수의 상기 코스트 메트릭에 의해 가이드되는 것에 특징지어지는 방법(100).
제1항 내지 제33항 중 어느 한 항에 있어서,
MPF의 비트를 클리어하는 휴리스틱 움직임은 상기 검출되는 마커에 의해 이전에 억제되는 마커 위치의 수의 상기 게인 메트릭에 의해 가이드되는 것에 특징지어지는 방법(100).
제1항 내지 제34항 중 어느 한 항에 있어서,
단계(110)에서, MPF의 비트를 클리어하는 휴리스틱 움직임은 MPF 비트 클리어링을 위한 게인 및 코스트 메트릭스의 가중된 선형 조합에 의해 가이드되는 것에 특징지어지는 방법(100).
제1항 내지 제35항 중 어느 한 항에 있어서,
단계(110)에서, OoM의 벡터의 상기 배향을 바꾸는 휴리스틱 움직임은 게인 메트릭스에 의해 가이드되는 후보 움직임 사이에서 확률적으로 선택되는 것에 특징지어지는 방법(100).
제1항 내지 제36항 중 어느 한 항에 있어서,
OoM의 벡터의 상기 배향을 바꾸는 휴리스틱 움직임은 마커 배향 변경 움직임과 함께 생성되는 숨겨진 포즈의 마이너스 수에 의해 커버되는 숨겨진 포즈의 수의 상기 게인 메트릭에 의해 가이드되는 것에 특징지어지는 방법(100).
제1항 내지 제37항 중 어느 한 항에 있어서,
OoM의 벡터의 상기 배향을 바꾸는 휴리스틱 움직임은 마커 배향 변경 움직임과 함께 커버리지를 미스하는 크리티컬 에러 포즈의 마이너스 수에 의해 커버되는 하이 에러 포즈의 수의 상기 게인 메트릭에 의해 가이드되는 것에 특징지어지는 방법(100).
제1항 내지 제38항 중 어느 한 항에 있어서,
단계(110)에서, OoM의 벡터의 상기 배향을 바꾸는 휴리스틱 움직임은 OoM의 벡터의 수정을 위해 게인 메트릭스의 가중된 선형 조합에 의해 가이드되는 것에 특징지어지는 방법(100).
제1항 내지 제39항 중 어느 한 항에 있어서,
상기 포즈가 숨겨지거나 높은 에러 포즈인 경우, 각각의 포즈는 각각의 반복에서 증가되는 연관되는 중요성 메트릭을 가지는 것에 특징지어지는 방법(100).
제1항 내지 제40항 중 어느 한 항에 있어서,
단계(110)에서, 가능성 있는 움직임의 선택은 포즈 중요성을 이용하여 수행되는 것에 특징지어지는 방법(100).
제1항 내지 제41항 중 어느 한 항에 있어서,
포즈 중요성 값은 상기 시스템의 반복 카운트에 직접적으로 비례하여 증가되는 것에 특징지어지는 방법(100).
제1항 내지 제42항 중 어느 한 항에 있어서,
숨겨지는 포즈의 조건은 관련되는 중요성 값에서 높은 에러 포즈의 조건보다 더 큰 증가를 유발하는 것에 특징지어지는 방법(100).
기준 마커 및 카메라 위치/배향 최적화 방법(200)에 있어서,
추적되는 오브젝트의 상기 환경의 실현 가능한 배향 영역 및 가능한 카메라 위치를 나타내는 메시 데이터; 추적되는 오브젝트의 실현 가능한 배향 영역 및 가능한 액티브 마커 위치를 나타내는 메시 데이터; 작동 조건 하에서 추적되는 오브젝트의 가능한 포즈를 나타내는 포즈 데이터를 획득하는 단계(201);
카메라 배치를 위한 상기 제어 파라미터를 초기화하는 단계(202);
카메라 배치를 위한 상기 초기 솔루션 스트링을 생성하는 단계(203);
상기 현재 카메라 배치(100)를 위한 마커 배치를 해결하는 단계(100);
상기 현재의 LED 및 카메라 배치의 상기 품질을, 배치되는 카메라의 수, 배치되는 마커의 수, 포즈 정확도, 포즈 커버리지를 고려하여 평가하는 단계(204);
정지 기준(요구되는 포즈 에러, 포즈 커버리지, 마커의 수, 카메라의 수가 허용할 수 있는 범위 내에서 이용되는지 여부)이 만족되었는지 여부를 결정하는 단계(205);
정지 기준이 만족되는 경우, 최적의 마커 및 카메라 배치 솔루션을 출력하는 단계(206);
정지 기준이 만족되지 않는 경우, 새로운 카메라/마커 배치 솔루션이 이전의 솔루션보다 더 적은 비용을 가지는지 결정하는 단계(207);
상기 새로운 솔루션이 상기 이전의 솔루션보다 더 적은 비용을 가지지 않는 경우, (새로운 비용, 원래의 비용 및 제어 파라미터의 함수인) 일부 확률을 가지고 이전의 솔루션으로 롤링 백하는 단계(208);
카메라 배치를 위한 제어 파라미터가 감소하는 단계(209); 및
새로운 솔루션을 생성하도록 현재 솔루션을 교란하는 단계(110) -(상기 솔루션의 교란은 상기 현재 솔루션에서 일련의 단순한 움직임으로서 모델링될 수 있음)-
(현재 솔루션의 일련의 기본 움직임으로 구성되는) 정지 기준이 만족될 때까지 평가를 위한 새로운 솔루션을 생성하도록 현재 솔루션을 교란하는 단계(210)
에 의해 특징지어지는 방법(200).
제44항에 있어서,
카메라 위치 및 카메라 배향 최적화가 수행되는 것에 특징지어지는 방법(200).
제45항에 있어서,
카메라 위치/배향 최적화가 국소적 및 전체적으로 최적화된 스펙트럼 모두에서 수행되는 것에 특징지어지는 방법(200).
제44항 내지 제46항 중 어느 한 항에 있어서,
제어 파라미터는 전체 검색에 대하여 국소 검색의 상대적인 중요성을 결정하는 것에 특징지어지는 방법(200).
제44항 내지 제47항 중 어느 한 항에 있어서,
제어 파라미터의 현재 값에 따라 시스템은 국소 검색 및 전체 검색 특성을 모두 가지는 것에 특징지어지는 방법(200).
제44항 내지 제48항 중 어느 한 항에 있어서,
단계(202)에서, 제어 파라미터의 초기화는 상기 시스템의 초기 검색 특성을 결정하는 것에 특징지어지는 방법(200).
제44항 내지 제49항 중 어느 한 항에 있어서,
카메라 배치 문제에 대한 솔루션은 카메라의 존재(CPF)를 명기하는 비트 스트링 및 카메라의 배향(OoM)을 명기하는 벡터 스트링에 의해 결정되는 것에 특징지어지는 방법(200).
제44항 내지 제50항 중 어느 한 항에 있어서,
단계(103)에서, 카메라 배치 문제에 대한 솔루션 스트링(OoC)은 기계적 제약에 대한 충실도(fidelity)를 가지고 초기화되는 것에 특징지어지는 방법(200).
제44항 내지 제51항 중 어느 한 항에 있어서,
단계(203)에서, 카메라 배치 문제에 대한 솔루션 스트링(CPF)은 랜덤하게 초기화되거나 그리디 배치 방법을 이용하는 것에 특징지어지는 방법(200).
제44항 내지 제52항 중 어느 한 항에 있어서,
단계(203)에서, 카메라 배치 문제에 대한 솔루션 스트링(OoC)은 추적되는 오브젝트의 노미널(nominal) 포즈를 이용하여 초기화되는 것에 특징지어지는 방법(200).
제44항 내지 제53항 중 어느 한 항에 있어서,
기준 마커 위치 및 배향 최적화 방법(100)의 전체 예시는 각각의 반복에서 실행되는 것에 특징지어지는 방법(200).
제44항 내지 제54항 중 어느 한 항에 있어서,
단계(204)에서, 주어진 포즈 데이터 및 마커/카메라 배치에서, 현재 마커/카메라 배치의 품질은 이용되는 숨겨진 포즈, 포즈 에러의 수, 마커의 수 및 카메라의 수의 가중된 선형 조합으로서 평가되는 것에 특징지어지는 방법(200).
제44항 내지 제55항 중 어느 한 항에 있어서,
단계(205)에서, 반복의 미리 정해진 횟수의 실행 또는 사용되는 카메라의 수, 사용되는 마커의 수, 숨겨진 포즈의 수, 및 포즈 에러의 최소 요건의 달성은 시스템이 종료되도록 유도하는 것에 특징지어지는 방법(200).
제44항 내지 제56항 중 어느 한 항에 있어서,
단계(206)에서, 전체 실행에서 직면하는 최적의 전체 카메라 및 마커 배치 솔루션은 출력으로 패스되는 것에 특징지어지는 방법(200).
제44항 내지 제57항 중 어느 한 항에 있어서,
단계(207)에서, 현재 및 이전의 카메라 배치 솔루션의 품질이 비교되는 것에 특징지어지는 방법(200).
제44항 내지 제58항 중 어느 한 항에 있어서,
첫 번째 반복에서 단계(207)은 실행되지 않는 것에 특징지어지는 방법(200).
제44항 내지 제59항 중 어느 한 항에 있어서,
현재 배치 솔루션의 솔루션 품질 증가는 후속 반복을 위해 현재 솔루션의 즉각적인 수용으로 이어지는 것에 특징지어지는 방법(200).
제44항 내지 제60항 중 어느 한 항에 있어서,
현재 배치 솔루션의 솔루션 품질 감소는 후속 반복을 위해 현재 솔루션의 가능성 있는 수용으로 이어지는 것에 특징지어지는 방법(200).
제44항 내지 제61항 중 어느 한 항에 있어서,
솔루션 품질 감소의 경우, 현재 배치 솔루션의 수용은 단계(208)에서 다음의 특성: 이전과 현재 솔루션 사이의 품질 차이가 작은 경우, 높은 수용 속도, 제어 파라미터가 큰 값을 가지는 경우, 높은 수용 속도를 가지는 함수에 의해 가이드되는 것에 특징지어지는 방법(200):
제44항 내지 제62항 중 어느 한 항에 있어서,
상기 시스템의 국소 검색 특성을 증가시키는 제어 파라미터의 감소는 단계(209)에서 발생하는 것에 특징지어지는 방법(200).
제44항 내지 제63항 중 어느 한 항에 있어서,
상기 다음 솔루션을 찾는 현재 솔루션의 교란은 단계(210)에서 수행되는 것에 특징지어지는 방법(200).
제44항 내지 제64항 중 어느 한 항에 있어서,
교란은 세 개의 다른 기본 움직임: CPF에서 비트 위치의 설정, CPF에서 비트 위치의 클리어링, OoM에서 벡터의 상기 방향 변화로 구성될 수 있는 것에 특징지어지는 방법(200).
제44항 내지 제65항 중 어느 한 항에 있어서,
교란은 단일 반복에서 세 개의 다른 타입의 움직임: 각각 타입의 움직임에 대한 적어도 한 번의 되풀이 또한 가능한 것에 특징지어지는 방법(200).
제44항 내지 제66항 중 어느 한 항에 있어서,
단계(210)에서, 교란은 도메인 특이 디자인 규칙 및 기계적 제약에 관련되는 것에 특징지어지는 방법(200).
제44항 내지 제67항 중 어느 한 항에 있어서,
단계(210)에서, 미리 정해진 (또는 변할 수 있는) 횟수의 움직임은 교란을 가이드하도록 휴리스틱 움직임을 따라 전체적으로 랜덤한 방식으로 수행되는 것에 특징지어지는 방법(200).
제44항 내지 제68항 중 어느 한 항에 있어서,
단계(210)에서, CPF의 비트를 설정하는 휴리스틱 움직임은 게인 및 비용 메트릭스에 의해 가이드되는 후보 움직임 사이에서 확률적으로 선택되는 것에 특징지어지는 방법(200).
제44항 내지 제69항 중 어느 한 항에 있어서,
CPF의 비트를 설정하는 휴리스틱 움직임은 상기 추가되는 카메라에 의해 커버되는 숨겨진 포즈의 수의 상기 게인 메트릭에 의해 가이드되는 것에 특징지어지는 방법(200).
제44항 내지 제70항 중 어느 한 항에 있어서,
CPF의 비트를 설정하는 휴리스틱 움직임은 상기 추가되는 카메라에 의해 커버되는 높은 에러 포즈의 수의 상기 게인 메트릭에 의해 가이드되는 것에 특징지어지는 방법(200).
제44항 내지 제71항 중 어느 한 항에 있어서,
단계(210)에서, CPF의 비트를 설정하는 휴리스틱 움직임은 CPF 비트 설정을 위한 게인 및 코스트 메트릭스의 가중된 선형 결합에 의해 가이드되는 것에 특징지어지는 방법(200).
제44항 내지 제72항 중 어느 한 항에 있어서,
단계(210)에서, CPF의 비트를 클리어하는 휴리스틱 움직임은 게인 및 코스트 메트릭스에 의해 가이드되는 후보 움직임 사이에서 확률적으로 선택되는 것에 특징지어지는 방법(200).
제44항 내지 제73항 중 어느 한 항에 있어서,
CPF의 비트를 클리어하는 휴리스틱 움직임은 상기 검출되는 카메라에 의해 생성되는 숨겨진 포즈의 수의 상기 코스트 메트릭에 의해 가이드되는 것에 특징지어지는 방법(200).
제44항 내지 제47항 중 어느 한 항에 있어서,
CPF의 비트를 클리어하는 휴리스틱 움직임은 검출되는 카메라로 인해 커버리지가 미스되는 크리티컬 에러 포즈의 수의 상기 코스트 메트릭에 의해 가이드되는 것에 특징지어지는 방법(200).
제44항 내지 제75항 중 어느 한 항에 있어서,
단계(210)에서, CPF의 비트를 클리어하는 휴리스틱 움직임은 CPF 비트 클리어링을 위한 게인 및 코스트 메트릭스의 가중된 선형 조합에 의해 가이드되는 것에 특징지어지는 방법(200).
제44항 내지 제76항 중 어느 한 항에 있어서,
단계(210)에서, OoC의 벡터의 상기 배향을 바꾸는 휴리스틱 움직임은 게인 메트릭스에 의해 가이드되는 후보 움직임 사이에서 확률적으로 선택되는 것에 특징지어지는 방법(200).
제44항 내지 제77항 중 어느 한 항에 있어서,
OoC의 벡터의 상기 배향을 바꾸는 휴리스틱 움직임은 카메라 배향 변경 움직임과 함께 생성되는 숨겨진 포즈의 마이너스 수에 의해 커버되는 숨겨진 포즈의 수의 상기 게인 메트릭에 의해 가이드되는 것에 특징지어지는 방법(200).
제44항 내지 제78항 중 어느 한 항에 있어서,
OoC의 벡터의 상기 배향을 바꾸는 휴리스틱 움직임은 카메라 배향 변경 움직임과 함께 커버리지를 미스하는 크리티컬 에러 포즈의 마이너스 수에 의해 커버되는 하이 에러 포즈의 수의 상기 게인 메트릭에 의해 가이드되는 것에 특징지어지는 방법(200).
제44항 내지 제79항 중 어느 한 항에 있어서,
단계(210)에서, OoC의 벡터의 상기 배향을 바꾸는 휴리스틱 움직임은 OoC의 벡터의 수정을 위해 게인 메트릭스의 가중된 선형 조합에 의해 가이드되는 것에 특징지어지는 방법(200).
제44항 내지 제80항 중 어느 한 항에 있어서,
상기 포즈가 숨겨지거나 높은 에러 포즈인 경우, 각각의 포즈는 각각의 반복에서 증가되는 연관되는 중요성 메트릭을 가지는 것에 특징지어지는 방법(200).
제44항 내지 제81항 중 어느 한 항에 있어서,
단계(210)에서, 가능성 있는 움직임의 선택은 포즈 중요성을 이용하여 수행되는 것에 특징지어지는 방법(200).
제44항 내지 제82항 중 어느 한 항에 있어서,
포즈 중요성 값은 상기 시스템의 반복 카운트에 직접적으로 비례하여 증가되는 것에 특징지어지는 방법(200).
제44항 내지 제83항 중 어느 한 항에 있어서,
숨겨지는 포즈의 조건은 관련되는 중요성 값에서 높은 에러 포즈의 조건보다 더 큰 증가를 유발하는 것에 특징지어지는 방법(200).
기준 마커 및 카메라 위치/배향을 최적화하는 시스템에 있어서,
적어도 하나의 프로세싱 유닛(2), -상기 프로세스 유닛은 포즈, 마커 매시 및 카메라 메시 데이터를 수신하고 상기 데이터를 이용하여 기준 마커 및 카메라 위치/배향 최적화 방법(200)을 구현하고 제1항 내지 제84항 중 어느 한 항에 따른 방법(200)에 의해 도출된 결과를 출력하고 최적화되는 상기 시스템을 위한 상기 추적 알고리즘을 구현하도록 구성됨-;
적어도 하나의 입/출력 장치(3), -상기 입출력 장치는 프로세싱 유닛(2)에 연결되고 사용자 등의 출력 소스로부터 포즈, 마커 메시 및 카메라 메시 데이터를 수신하고, 및 프로세싱 유닛(2)에 의해 도출되는 결과를 출력하도록 구성됨-;
적어도 하나의 메모리 유닛(4), -상기 메모리 유닛은 프로세싱 유닛(2)에 연결되어 필요한 경우, 프로세싱 유닛(2)에 의해 도출되는 최적화 결과 및 임의의 포즈, 마커 메시 및 카메라 메시 데이터를 저장하도록 구성됨-
에 의해 특징지어지는 시스템.
제85항에 있어서,
상기 입/출력 장치(3)로부터 포즈, 마커 메시 및 카메라 메시 데이터를 수신하도록 구성되는 프로세싱 유닛에 의해 특성화되는 시스템.
제85항 또는 제86항에 있어서,
상기 메모리 유닛(4)으로부터 포즈, 마커 메시 및 카메라 메시 위치 데이터를 수신하도록 구성되는 프로세싱 유닛(2)에 의해 특성화되는 시스템
제85항 내지 제87항 중 어느 한 항에 있어서,
관성 측정 유닛(inertial measurement unit; IMU)을 이용하여 상기 추적되는 연구 중인 오브젝트의 적어도 하나의 포즈 데이터를 수신하도록 구성되는 입/출력 장치(3)에 의해 특성화되는 시스템.
제85항 내지 제88항 중 어느 한 항에 있어서,
정확하고 완전한 포즈 데이터를 생성할 수 있는 다중의 고해상도 카메라를 가지는 광학 기반의 포즈 데이터 획득 시스템을 이용하여 고려 중인 상기 추적되는 물체의 적어도 하나의 포즈 데이터를 수신하도록 구성되는 입/출력 장치(3)에 의해 특성화되는 시스템.
제85항 내지 제89항 중 어느 한 항에 있어서,
사용자 생성 카메라 위치 데이터 및 마커/카메라 메시 데이터를 수신하도록 구성되는 입/출력 장치(3)에 의해 특성화되는 시스템.
제85항 내지 제90항 중 어느 한 항에 있어서,
휘발성의 메모리 장치인 메모리 유닛(4)에 의해 특성화되는 시스템.
제85항 내지 제91항 중 어느 한 항에 있어서,
비휘발성의 메모리 장치인 메모리 유닛(4)에 의해 특성화되는 시스템.