KR20170032226A

KR20170032226A - 자동-조화를 이용한 차량용 증강현실을 위한 향상된 레지스트레이션

Info

Publication number: KR20170032226A
Application number: KR1020167033964A
Authority: KR
Inventors: 에릭 폭슬린
Original assignee: 탈레스 비저닉스 아이엔씨.
Priority date: 2014-05-02
Filing date: 2015-05-04
Publication date: 2017-03-22
Also published as: EP3136964A1; EP3136964B1; DK3136964T3; IL248584A0; ES2926177T3; EP3892196A1; ES2880229T3; IL248584B; EP3136964A4; US9766075B2; US20150317838A1; KR20220059560A; KR102391993B1; ES2965027T3; EP4104760A1; WO2015168675A1; DK4104760T3; EP3892196B1; EP4104760B1

Abstract

본 발명은 참조물(reference)의 외부 프레임에 관하여 움직이는 무빙 플랫폼에 관한 물체의 움직임을 추적하는 방법, 시스템 및 컴퓨터 프로그램 제품에 관한 것이다. 상기 시스템은, 외측 참조 프레임에 관하여 물체를 추적하기 위한 관성 센서, 무빙 플랫폼에 관하여 물체를 추적하기 위한 비-관성 센서, 및 상기 무빙 플랫폼에 관한 정확한 물체의 추적과 동시에 상기 비-관성 센서의 참조 프레임의 조정불량을 추정하도록 상기 센서가 관성 및 비-관성 측정값을 융합시키도록 하는 프로세서를 포함한다.

Description

자동-조화를 이용한 차량용 증강현실을 위한 향상된 레지스트레이션 {REGISTRATION FOR VEHICULAR AUGMENTED REALITY USING AUTO-HARMONIZATION}

본 발명은 일반적인 모션 추적, 보다 구체적으로, 예를 들어, 헤드 마운트 디스플레이(HMD, Head Mounted Display)를 포함하는 증강현실 시스템에 대한 모션 추적을 위한 방법, 시스템 및 컴퓨터 프로그램 제품에 관한 기술이다.

이 출원은 2014년 5월 2일 출원되고 발명의 명칭이 " 자동-조화를 이용한 차량용 증강현실을 위한 향상된 레지스트레이션"인 미국 임시 출원 시리얼 번호 제61/988,106호를 우선권으로 주장하며, 상기 미국 출원은 그 전체가 인용에 의해 본원에 포함된다.

최근 증강현실에 관한 관심이 ISMAR 컨퍼런스 초창기 및 그 이전(prequel)에 해당 분야가 구축된 연구 단체들을 넘어서 급증하고 있다. 저명한 언론은 증강 현실(AR)이 별도의 추가 훈련 없이 과제를 빠르고 정확하게 완료할 수 있도록 향상된 상황 인식과 시각적인 가이드를 제공함으로써 인간 수행(human performance)을 증강하는 필수적인 도구가 될 것으로 예상하는 선구적인 연구자들의 예측들을 다수 선정했다.

AR을 사용하는 방법으로서, 단순한 비디오 AR의 새로움을 보았던 사용자들 및 광고주들에게 광범위 하게 사용 가능해졌기 때문에, HMD 기반 AR이 지난 몇 년간 태블릿 및 폰 AR을 위한 방법으로서 주목되어 왔다. 웨어러블 AR 시스템은 사용자의 손을 자유롭게 하고, 필요시 빠른 증강(augmentations)을 제공할 준비가 되어있는 상시 작동 정보 디스플레이를 제공할 수 있다.

HMD 에서 다시 시작된 관심은, 충분한 관측 시야(FOV, Field Of View)를 갖는 작고 안락한 HMD를 제조하기 위한 광학 기술들, 실제 환경 내의 준비되지 않은 물리적 물체들에 대응하여 설득력 있는 증강의 시공간적(spatio-temporal) 레지스트레이션을 생성할 수 있는 헤드-추적(head-tracking) 기술을 포함한 도전과제들을 여전히 대상으로 한다.

추가적인 세부사항들은 본 명세서 상에서 참조되는 Azuma, R., and Bishop, G., “Improving Static and Dynamic Registration in a See- Through HMD”, Proceedings of SIGGRAPH 37 ‘94. In Computer Graphics, Annual Conference Series, Orlando, FL., pp. 197-204, 1994; Krevelen, D.W.F., & Poelman, R. A Survey of Augmented Reality Technologies, Applications and Limitations. The International Journal of Virtual Reality, 9(2):1-20, 2010; Daniel Wagner, Gerhard Reitmayr, Alessandro Mulloni, Tom Drummond, Dieter Schmalstieg. Pose tracking from natural features on mobile phones. Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality, pages 125-134. ISMAR 2008; Welch, G., Bishop, G., Vicci, L., Brumback, S., Keller, K. & Colluci, D. (2001). High-Performance Wide-Area Optical Tracking: The HiBall Tracking System. Presence: Teleoperators and Virtual Environments vol 10, issue 1, MIT Press; and Zhou, F., Been-Lirn Duh, Henry., Billinghurst, M. Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR. Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality, Pages 193-202. ISMAR 2008; and Roberts, D., Menozzi, A., Cook, J., Sherrill, T., Snarski, S., Russler, P., ... & Welch, G. Testing and evaluation of a wearable augmented reality system for natural outdoor environments. In SPIE defense, Security, and Sensing (pp. 87350A-87350A). International Society for Optics and Photonics. May 2013에서 발견할 수 있다.

마커(markers) 없이 작동하는 능력이 많은 실내 및 실외 환경들에서 인상적인 규모로 입증되었다. 그리고, 비디오-시-스루(video-see-through) AR (태블릿 및 폰 등) 을 위하여 시각-기반(vision-based) 기술들 또한 뚜렷한 스윔(swim) 또는 미스-레지스트레이션(mis-registration) 없이 록-솔리드 레지스트레이션(rock-solid registration)을 생성한다. 그러나, 물질계(physical world) 의 시야는 가상의 증강현실의 시야와 매치하기 위하여 딜레이될 수 없기 때문에, 그리고 정렬(alignment)은 디스플레이로의 상기 트래커(tracker)의 완벽한 6-자유도(6-dof) 포즈(pose) 정확도 및 상대적인 캘리브레이션 정확도(accuracy)를 요구하는 비디오 이미지 내에서 간단히 맞출 수 없기 때문에 광학 시-스루 레지스트레이션은 매우 어려운 문제이다.

따라서, 뚜렷한 “스윔(swim)” 없이 “락 솔리드(rock solid)”를 나타내는 레지스트레이션의 달성 방법을 위한 요구가 해당 기술분야에서 여전히 남아있다.

상술한 문제 및 충족되지 못한 요구사항과 관련하여, 증강 현실(AR) 시스템을 설계하고, 발전시키며, 테스트 하는 실시예가 이하 기술된다. 이 실시예들은 예를 들어, 엄중한(stringent) 정확도 및 강건한(robustness) 요구사항들을 달성하도록 우주항공 및 지상 차량들(ground vehicles)을 위하여 사용될 수 있다. 시-스루 HMD를 위한 전례없는(unprecedented)시공간적 레지스트레이션을 달성하는 시스템이 기술된다. 추가적인 실시예는 자동차의 정밀(precision) AR 시스템에 적용하기 위한 시스템 아키텍쳐, 모션-추적 알고리즘, 및 하모니제이션 기술을 포함한다.

실시예들은 낮은 레이턴시, 높은 추적 정확도, 및 정밀 얼라인먼트를 요구하고, 미스-레지스트레이션 및 “스윔”을 회피하기 위하여 모든 서브시스템들의 캘리브레이션을 요구하는 광학 시-스루 HMD를 사용하는 시스템을 포함할 수 있다. 실시예들은 광학/관성(inertial) 하이브리드 추적 시스템과, 자동차 및 HMD 시스템들 간의 광학, 알고리즘, 동기화, 및 정렬에 관한 도전들에 대한 새로운 솔루션들을 포함한다. 시스템 정확도 분석은 레지스트레이션 정확도를 예측하기 위한 시뮬레이션 결과와 함께 주어진다.

이 실시예들의 추가적인 장점들 및 새로운 특징들은 이하 기술된다. 그리고, 이하의 기술둘 또는 발명의 연구를 통하여 해당 기술 분야의 기술자들에게 보다 명확히 이해될 것이다.

본 발명의 시스템 및 방법들의 다양한 실시예들이 이하의 도면들의 참조를 통하여 상세히 기술된다.
도 1은 본 발명의 바람직한 실시예에 따라 사용되는 차량용 증강 현실 시스템의 일 실시예를 도시하는 다이어그램이다.
도 2는 본 발명의 바람직한 실시예에 따라 사용되는 태양(sun)이 바로 뒤에 있는 기점(fiducial)들의 이미지를 나타낸다.
도 3은 본 발명의 바람직한 실시예에 따른 추적 요소들을 나타낸다.
도 4는 역반사체(retro-reflector) 기점들의 깨끗한 분리를 보여주는 본 발명의 바람직한 실시예에 따른 추적 센서 어셈블리(302)에 포함된 추적 카메라를 통하여 캡쳐된 일 실시예의 이미지를 나타낸다.
도 5는 본 발명의 바람직한 실시예에 따른 외적 파라미터 최적화 후의 월드-프레임 중력 벡터들의 산포도를 나타낸다.
도 6은 본 발명의 바람직한 실시예에 따른 오토매핑 도구의 스크린샷을 나타낸다.
도 7은 본 발명의 바람직한 실시예에 따른 시스템의 5가지 다른 부분들과 관련한 좌표축들을 갖는 전투기 콕핏(fighter jet cockpit)을 나타낸다.
도 8은 본 발명의 바람직한 실시예에 따른 추적을 위한 알고리즘을 나타낸다.
도 9는 본 발명의 바람직한 실시예에 따른 무빙 플랫폼과 관련한 물체의 이동을 추적하는 방법을 나타내는 플로우차트이다.
도 10은 본 발명의 바람직한 실시예에 따른 무빙 플랫폼과 관련한 물체의 이동을 추적하는 방법을 나타내는 플로우차트이다.
도 11은 본 발명의 바람직한 실시예에 따른 다양한 하드웨어 요소들 및 다른 특징들의 시스템 다이어그램을 나타낸다.
도 12는 본 발명의 바람직한 실시예에 따른 프로세싱 시스템에 적용되는 장치를 위한 하드웨어 적용 실시예를 도시하는 다이어그램이다.

이하 첨부된 도면들과 관련하여 상세히 기술되는 사항들은 다양한 구성들을 기술하기 위한 목적으로 기술되었으나, 여기에 기술된 사항들에 한정되는 것은 아니다. 발명의 상세한 설명은 다양한 컨셉들을 완전히 이해하기 위한 목적으로서 특정 세부사항들을 포함하고 있다. 그러나, 해당 기술 분야의 기술자들은 이러한 특정 세부사항들 없이도 본 발명의 컨셉을 이해할 수 있을 것이다. 몇몇 사례에서, 컨셉의 불명확함을 피하기 위하여 블록 다이어그램 내에 공지된 구조들 및 요소들이 도시된다.

모션 추적 시스템들의 몇몇 실시예들이 다양한 장치들 및 방법들과 관련하여 제공될 것이다. 이러한 장치 및 방법들은 다양한 블록들, 모듈들, 요소들, 회로들, 단계들, 공정들, 알고리즘 등(총괄하여 “요소들”이라 함)으로서 이하의 상세 설명 내에 기술되고 첨부된 도면들에 도시될 것이다. 이 요소들은 전기 하드웨어, 컴퓨터 소프트웨어 또는 이들의 조합을 사용하여 실시될 수 있다. 이러한 요소들이 하드웨어로서 실시되거나 또는 소프트웨어로서 실시되는 것은 전체 시스템의 특정 어플리케이션 및 설계 상의 제한사항에 의존한다.

일 예로서, 요소, 요소들의 일부, 또는 요소들의 일부의 조합들이 하나 이상의 프로세서들을 포함하는 “프로세싱 시스템”과 함께 실시될 수 있다. 프로세서들의 예는 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서(DSP), 필드 프로그램 가능 게이트 어레이(FPGA, field programmable gate array), 프로그램 가능 로직 디바이스(programmable logic device), 상태 기계(state machine), 게이티드 로직(gated logic), 개별 하드웨어 회로(discrete hardware circuit), 및 본 명세서를 통하여 기술된 다양한 기능들을 수행하도록 설계된 다른 적절한 하드웨어를 포함한다. 상기 프로세싱 시스템 내의 하나 이상의 프로세서들은 소프트웨어를 실행할 수 있다. 소프트웨어는 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션 언어, 또는 기타로서 참조되는, 명령(instruction), 명령 세트들, 코드, 코드 세그먼트, 프로그램 코드, 프로그램, 서브프로그램, 소프트웨어 모듈, 어플리케이션, 소프트웨어 어플리케이션, 소프트웨어 패키지들, 루틴, 서브루틴, 오브젝트, 실행(executable), 실행 스레드, 프로시져(procedure), 기능 등을 의미하는 것으로 광범위하게 이해되어야 한다.

따라서, 하나 이상의 실시예들에서, 상기 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로서 실시되는 것으로 이해될 수 있다. 소프트웨어로 실시되는 경우, 상기 기능들은 컴퓨터-판독가능 매체 상에 저장되거나 또는 하나 이상의 명령 또는 코드로서 인코딩될 수 있다. 컴퓨터-판독가능 매체는 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에 의하여 접근가능한 사용가능한 어떠한 매체라도 될 수 있다. 예를 들어, 상기와 같은 컴퓨터-판독가능 매체는 랜덤-액세스 메모리(RAM, random-access memory), 리드-온리 메모리(ROM, read-only memory), EEPROM(electrically erasable programmable ROM), 컴팩트 디스크 ROM(CD-ROM), 또는 기타의 광학 디스크 저장수단, 마그네틱 디스크 저장수단, 또는 다른 마그네틱 저장 장치들, 또는 명령 또는 데이터 구조들의 형태로 이루어진 요구된 프로그램 코드를 운반하거나 저장가능하고, 컴퓨터에 의하여 접근가능한 기타의 매체들을 포함할 수 있으며, 이에 한정하는 것은 아니다. 여기에 기술된 디스크(disk and disc)는 CD, 레이저 디스크, 광학 디스크, DVD(digital versatile disc), 디스크들이 레이저에 의하여 광학적으로 데이터를 재생(reproduce)하는 반면, 일반적으로 자기적으로 데이터를 재생성하는 플로피 디스크를 포함한다. 상기 나열된 사항들의 조합 역시 컴퓨터-판독가능 매체의 범위 내에 포함된 것으로 이해되어야 한다.

이 어플리케이션은 2002년 11월 5일자로 허여된 미국 특허 번호 제 6,474,159호 “모션 추적”과 관련한 다양한 특징들을 수용하며, 상기 미국 출원은 그 전체가 인용에 의해 본원에 포함된다.

다양한 항공기 및 지상 차량의 AR을 위한 설득력 있는 어플리케이션이 존재한다. 사실, 이전의 헤드-추적 시-스루 HMD는 AR이라는 명칭이 사용되기 수십년 전에 항공기에 사용되었다. 추가적인 세부사항들은 Furness, T.A. (1986). The Super Cockpit and Human Factors Challenges. In Ung, M. Proceedings of Human Factors Society 30th Annual Meeting, pp. 48-52 에 기술되고, 그 전체가 인용에 의해 본원에 포함된다. 차량의 시각-기반 추적은 일반적인 지상(ground)-기반 AR과는 매우 다른 도전과제를 준다. 근접한 시각적 환경들(immediate visual surrounding)은 마커들의 사용이 완벽히 알맞은 차량의 내부이다. 그러나, 이러한 마커들(또는 차량 내의 기타의 시각적 특징들)은 증강현실이 안정될 필요가 있는 월드 프레임(world frame)과 관련하여 이동한다. 따라서, 충분한 정확도를 달성하기 위하여 차량, 차량과 관련한 머리, 및 이들의 조합을 추적하기 위한 정교한 기술이 요구된다.

예를 들어, 1991년도 이전에 항공기에 사용된 대체로 기계적, 광학적 및 자기적으로 이루어진 다양한 헤드-추적 장치가 F. Ferrin, “Survey of helmet tracking technologies”, SPIE, vol. 1456, pp 86-94, 1991에 기술되고, 그 전체가 인용에 의해 본원에 포함된다. 항공기를 위한 하이브리드 관성 헬멧 추적 장치가 Foxlin, E. Head-tracking relative to a moving vehicle or simulator platform using differential inertial sensors. Proceedings of Helmet and Head-Mounted Displays V, SPIE Vol. 4021, AeroSense Symposium, Orlando, FL, April 24-25, 2000에 기술되고, 그 전체가 인용에 의해 본원에 포함된다. 인사이드-아웃사이드-인(inside-outside-in) 광학을 포함하는 추가적인 실시예가 Foxlin, E., Altshuler, Y., Naimark, L., & Harrington, M. FlightTracker: A Novel Optical/Inertial Tracker for Cockpit Enhanced Vision. IEEE/ACM International Symposium on Mixed and Augmented Reality (Washington, D.C., ISMAR 2004), Nov. 2-5, 2004; Foxlin, E. & Naimark, L. (2003). VIS-Tracker: A Wearable Vision-Inertial Self-Tracker. IEEE Conference on Virtual Reality (Los Angeles, CA, 2003); and Atac, R. & Foxlin, E. Scorpion hybrid optical-based inertial tracker (HObIT). Proc. SPIE 8735, Head- and Helmet-Mounted Displays XVIII: Design and Applications, 873502, May 16, 2013에 기술되고, 그 전체가 인용에 의해 본원에 포함된다.

여기에 기술된 시스템 및 방법의 실시예 들은 군용 항공기 및 민간 항공기를 포함하는 다양한 이동수단들에 적용가능하다. 예를 들어, 항공기에 제공될 수 있는 다른 미션 컴퓨터(MC)들에 적용가능하도록 하기 위하여 , 본 발명의 바람직한 실시예에 따른 디스플레이 시스템은 예를 들어, 타게팅, 큐잉(cueing), 향상된 시야, 또는 합성 시야(synthetic vision)와 같은 미션-특화 기능을 제외한, 모든 이동수단용 AR 시스템들에 널리 사용되는 포괄적인 헤드-추적, 렌더링, 및 디스플레이 기능만을 실시할 수 있다. 시스템이 렌더링에 책임이 있으나, 무엇을 렌더링 해야할지 결정하지는 않는 것 처럼, 상기 MC로의 인터페이스는 상기 MC가 임의의 컬러 또는 두께의 라인 세그먼트들 및/또는 비트맵들과 관련한 임의의 2D 또는 3D 형상을 포함하는 심볼들의 임의 세트(arbitrary set)들을 규정하고 다운로드하도록 한다. 각 심볼은 지면-안정, 또는 헤드-안정, 또는 차량(vehicle)-안정되도록 상기 MC에 의하여 지정될 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 AR 시스템(100)의 전체적인 시스템 다이어그램이다. 도 1의 시스템은 추적 요소(tracking component) 및 디스플레이를 포함하는 HMD(102)를 포함한다. 컨트롤 유닛 및 이미지 생성기(104)는 상기 HMD와 관련한 추적 데이터를 수신하고, 생성된 이미지를 상기 HMD로 통신(communicate)한다. 또한, 컨트롤 유닛(104)은 예를 들어, 심볼 데이터 및 항공기 GPS/INS (108)로부터의 데이터를 포함하는 이동수단의 미션 컴퓨터(106)로부터의 입력(input)을 수신한다.

여기에 기술된 실시예는 상기 시스템이 콕핏-설치된 액티브 장치들(마그네틱 소스 또는 광학 카메라와 같은)을 포함하지 않도록 마그네틱 추적기를 교체하는 단계를 포함할 수 있다. 반면, 모든 관성(inertial) 및 광학 센서들은 예를 들어, 헬멧 등에 고정되는 자립(self-contained) 센서 내에 제공될 수 있다. 상기 센서는 콕핏 고정된 컨트롤 유닛과 같은 컨트롤 유닛과 헬멧-이동수단 인터페이스(HVI, Helmet-Vehicle Interface)를 통하여 통신할 수 있다. 상기 센서는 예를 들어, 디스플레이 포드(display pod)와 같은 동일한 HVI 케이블을 사용하여 상기 컨트롤 유닛과 통신할 수 있다. 기점 스티커(Fiducial sticker)들이 모션 추적을 도와주기 위하여 파일럿 또는 운전자의 머리 상부의 캐노피 상에 위치될 수 있다.

광학 및 이미지 처리

예를 들어, 상기 카메라가 항공기 캐노피로부터 대략 5-10cm만 존재하기 때문에, 항공기에 적용되는 광학 수단(Optic)들은 광각 어안 렌즈를 요구할 수 있다. 근접 범위, 예를 들어, 140 FOV의 좋은 클리어 이미징(good clear imaging)이 요구될 수 있다. 상기 카메라가 항공기의 캐노피의 방향을 지향하기 때문에, 태양이 상기 카메라의 FOV로 직접 들어갈 수 있다. 이는 몇몇 매우 어려운 동적 범위 문제를 만들 수 있다. 상기 캐노피를 직접 향하는 카메라에 의하여 야기된 잠재적인 도전과제들을 다루기 위하여, 태양에 의한 역광(backlit)시, 기점들이 보다 밝게 사용될 수 있다. 이러한 기점들을 밤에 사용하기 위하여 일루미네이터(illuminator)가 추가될 수 있다.

추가적인 옵션으로, 분산 기점들로부터의 역자승 손실(inverse square loss)을 극복하도록, 그리고 상기 렌즈로 일루미네이션들이 가능한한 많이 리턴(return)하도록 캐노피 상의 기점들을 위하여 역반사(retro-reflective) 스티커가 사용될 수 있다. 이러한 기점 설계와 함께, 상기 기점들은 대부분 140도의 FOV의 고 판독율(high read rate)을 획득하도록 NVG-적합 파장(NVG-compatible wavelength)과 함께 발광될 수 있다. 태양광 하에서의 기점 판독성(readability) 문제를 추가적으로 다루기 위하여, 상기 렌즈의 뒤에 타이트(tight) 밴드패스 필터가 설치될 수 있다. 충분한 량의 태양광을 거부하도록 가능한 노출이 최하 1 밀리세컨드에서 50마이크로세컨드로 저감될 수 있다. 이것은 특별한 발광부(illuminator) 설계와 함께 태양광 판독성과 NVG-적합성을 모두 제공할 수 있다. 도 2는 본 발명의 바람직한 실시예의 태양이 뒤에 있는 상태의 기점들의 이미지(200)를 나타낸다. 도 3은 본 발명의 바람직한 실시예에 따른, 헬멧에 고정될 수 있는 추적기(302), 기점 마커(304), 및 상기 추적기(302)내에 포함될 수 있는 관성 측정 장치(IMU, Inertial Measurement Unit)를 포함하는 추적 요소들을 도시한다. 역반사 타겟들을 직접 발광시킴으로서, 그림자 또는 차선(sub-optimal) 노출과 같은 주변광(ambient lighting)에 의하여 야기되는 문제들이 회피될 수 있다.

도 4는 본 발명의 바람직한 실시예에 따른, 역반사 기점들의 배경으로부터의 명확한 분리 상태와 고 기점 판독율(read rate)을 나타내는 HMD 카메라를 통하여 캡쳐된 이미지(400)를 도시한다.

카메라 캘리브레이션

모션 추적 시스템에 사용되는 어안 렌즈들의 내인성 왜곡(intrinsic distortion) 파라미터들은 예를 들어, 도 4에 도시된 바와 같이, 대략 40장 정도의 3-벽 기점-클래드(3-walled fiducial-clad) 캘리브레이션 픽스쳐(fixture) 이미지들을 촬영함으로써 캘리브레이션 될 수 있다. 상기 캘리브레이션은 향상된 정확도와 함께 상기 렌즈들을 모델링(model) 하기 위하여 적절한 왜곡(distortion) 파라미터의 세트를 맞추도록(fit) 적용될 수 있다.

상기 카메라와 상기 IMU 사이의 상대적인 자세(pose)의 외적 캘리브레이션을 해결하기 위하여, 각 캘리브레이션 프레임과 관련한 광학적 자세는 자세 추정 시스템(AHRS, Attitude Heading Reference System) 알고리즘으로 상기 IMU의 센서들로부터 계산된 동시(simultaneous) 피치 앤 롤 측정(pitch and roll measurement)과 관련할 수 있다. 외적 회전에 의하여 상기 IMU의 동체 기준축(body axes)으로부터 카메라 축으로 변형되고, 그 후, 상기 카메라 자세 회전에 의하여 월드 프레임으로 변형될 때 , AHRS의 모든 중력 벡터들을 캘리브레이션 스탠드(calibration stand)의 하방으로 정렬시키는 외적 파라미터들을 찾기 위하여 최적화 알고리즘이 사용될 수 있다. 도 5는 외적 파라미터 최적화 이후 월드-프레임 중력 벡터들의 산점도(scatter plot)를 도시한다. 본 발명의 바람직한 실시예에서, 도 5의 각 원형들은 5mrad 이다. 도 6은 오토매핑 툴의 스크린샷(602, 604)을 도시한다. 오른쪽 이미지(604)는 본 발명의 바람직한 실시예에 따라 노멀 벡터가 각 기점 내의 3개의 “눈(eye)”들의 위치를 찾고 외적(cross product)을 계산함으로써 자동으로 계산될 수 있는 일 실시예의 방법을 나타낸다.

매우 강력한(robust) 사진측량(robust photogrammetric) 3D 매핑 툴은 기점 필드(field)의 단순한 센서 스캐닝을 통하여 몇분 내에 기점들의 그룹을 정확히 매핑(map)할 수 있다. 상기 알고리즘은 두개의 시점(view)들 사이에서 공통으로 발견되는 5개의 기점들로부터 초기 복원(initial reconstruction)을 생성하는 니스터(Nister)의 5-점 알고리즘을 사용할 수 있다. 니스터의 5-점 알고리즘의 추가적인 세부사항들은 Nister, D, An Efficient Solution to the Five-Point Relative Pose, PAMI 2004에 기술되고, 그 전체가 인용에 의해 본원에 포함된다. 상기 매핑 툴은 추가적인 포인트들의 위치인식(localize)을 위한 삼각측량(triangulation), 추가적인 카메라 자세들을 추가하기 위한 자세 복원, 및 모션 및 구조(structure) 파라미터들과 폐기된 이상점(discard outliers)들을 개선하기 위한 광속 조정(bundle adjustment)들을 번갈아 수행(alternate)할 수 있다. 혼합된 기점 크기가 사용될 수 있다. 오토매퍼(automapper)는 사용자가 맵(map) 내의 가장 큰 기점의 지름(diameter)을 입력하면 자동으로 매핑 크기를 조정할 수 있다. 크기조정 후에, 보고된 포인트 고정 값(tightness value)은 예를 들어, 30cm 그리드에 대략 30 내지 70 미크론일 수 있다.

이동수단의 조화

설치의 최종 및 가장 어려운 단계는 조화이다. 일반적으로, 항공 전자 공학의 “조화 (harmonization)”는 관성 항법 장치(INS, Inertial Navigation System), 헤드-업-디스플레이(HUD, Heads-Up-Display), HMD 추적 시스템 참조물, 센서 포드, 또는 타게팅 포드, 및 무기들과 같은 다양한 항공기 시스템들 사이의 축들을 조정하는 공정이다. 항공기 축, 보다 상세하게는, INS 플랫폼이 심볼 생성기가 구동되는 참조물 프레임이므로 INS 축들의 기점 컨스틸레이션(constellation)을 정렬하기 위하여 다양한 실시예들이 사용될 수 있다. 항공기가 HUD를 포함하는 경우, 상기 HUD는 이미 상기 INS의 p-프레임에 정렬된 것으로 추정될 수 있다. 상부에 센서가 배열된 조준된 광학 스코프(scope)를 포함하는 툴이 사용될 수 있다. 상기 스코프를 상기 HUD 내의 워터마크(watermark)에 지향함(pointing)으로써, 플랫폼 x-축과 함께 정렬될 수 있다. 동시에, 상기 센서는 n-프레임과 상대적으로 상기 스코프의 자세를 결정하기 위하여 기점들로 지향될 수 있으며, 여기에서 n-프레임의 회전은 상기 p-프레임에 대하여 해결될(solved) 수 있다.

항공기 또는 지상 이동수단과 같은 이동수단에 HUD가 없는 경우, 상기 이동수단의 참조물 포인트로부터 물리적 측정이 이루어질 수 있다. 그러나, 이 절차는 대단히 복잡하고, 시간이 소비되며, 충분한 정확도를 가지고 수행되기 어렵다. 따라서, 여기에 기술된 실시예의 시스템은 상기 공정을 제외하고 정확도를 대단히 향상시킨다.

추적, 자동-조화 및 지연 추정 알고리즘

도 7은 본 발명의 바람직한 실시예에 따른 플랫폼 INS(704)(p), 디스플레이(d), 센서 바디(b), 기점 컨스틸레이션(710)(n) 및 지면(ground)(712)(i)과 관련한 좌표축들을 갖는 전투기 콕핏(702)의 실시예(700)를 도시한다. 표 1은 5개의 관련된 좌표 프레임들을 나열하고 있다.

i-프레임	i-프레임은 관성 프레임으로 간주되도록 천천히 회전하는 항공기 아래쪽 지면 상의 지역 단계의 북-동-저(NED, North-East-Down) 프레임인 관성 참조 프레임(inertial reference frame)이다.
p- 프레임	항공기 “플랫폼 INS” 프레임. 상기 “플랫폼 INS”는 상기 미션 컴퓨터(MC) 및 디스플레이 시스템으로 자세 데이터를 공급하는 관성 내비게이션 시스템이다.
n- 프레임	상기 추적 시스템의 참조물 프레임. 마그네틱 추적기를 위하여 상기 n-프레임은 원점(origin) 및 소스 코일 어셈블리와 명목상(nominally)으로 정렬된 축들을 가진다. 예를 들어, 상기 n-프레임은 기점들 중 하나에서 원점을 가지고, 그 축들은 지면(ground) 조화(harmonization) 절차 중 항공기 축들과 거의 (roughly)정렬될 수 있다.
b- 프레임	상기 추적기 센서의 바디 프레임. 예를 들어, 상기 b-프레임은 상기 헬멧에 대하여 거꾸로(upside-down), 뒤로(backward), 그리고 기울여 고정된 상기 센서 어셈블리 내의 내브칩(NavChip)에 의하여 정의될 수 있다.
d- 프레임	광 가이드 광학 요소(LOE, Lightguide Optical Element) 또는 디스플레이 포드 상의 “패들(paddle)”에 의하여 정의된 디스플레이 프레임

벡터들은 케이스 하부의 볼드체 문자로 표시되고, 행렬들(matrices)은 케이스 상부에 볼드체 문자로 표시된다. 벡터가 특정 좌표 시스템 내에 표현되면, 상기 5개의 프레임들 중 하나를 표시하는 윗첨자(superscript) 표기와 함께 표시된다. 회전 매트릭스는 아래첨자(subscript) 및 윗첨자를 가지고, 아래첨자 프레임에서 윗첨자 프레임으로벡터가 변화한다. 수량(quantity) 위의 모자부호(hat)는 추정된 값을 나타내고, 수단(mean) 위의 틸드부호(tilde)는 측정된 값을 나타내며, 추가 부호가 없는 심볼(symbol)은 실제 값을 나타낸다.

기본 지향 추적 필터

연장된 칼만 필터(EKF, Extended Kalman Filter)는 여기에 기술된 실시예들과 관련하여 사용될 수 있다. 롤링 셔터(rolling-shutter) 이미지 센서를 사용하는 시스템은 지향 뿐만 아니라 위치의 함수인 고(highly) 비 선형 베어링-온리(bearings-only) 측정 모델을 사용하여 각 개별 기점을 다른 시점에서 개별적으로 측정 하는 과정을 수행해야 할 필요가 있다. 글로벌 셔터 이미저(global shutter imager) 및 더욱 빠른 프로세싱 요소(ARM Cortex A8 at 1GHz)를 사용함으로써, 여기에 기술된 센서는 프레임 레이트에서 최대 20 기점들을 동시에 캡쳐하고 디코딩 할 수 있다. 모든 프레임에 정확한 자이로 드리프트에 사용될 수 있는 회전의 직접 측정을 야기하는 OpenCV 자세 복원 알고리즘의 수정된 버전을 사용함으로써, 자세를 해결한다. 따라서, 헤드 지향은 도 8에 도시된 바와 같이 단지 자이로 및 카메라 포즈 측정 및 회전 오류 및 자이로 바이어스들을 측정하기 위한 매우 단순한 6-상(state) 상보 칼만 필터(CKF, Complementary Kalman Filter)를 이용하여 위치(position)로부터 독립적으로 추적될 수 있다. 도 8은 본 발명의 바람직한 실시예에 따른 i-프레임과 관련하여 추적하고, 이후, 레거시 트래커의 적합성(compatibility)을 위하여 p-프레임으로의 출력을 컨버팅하는 알고리즘(800)을 나타낸다.

상기 헤드-트래커 자이로는 지면(i-프레임)과 관련한 상기 센서의 각속도(angular rate)(b-프레임)인

를 측정한다. 보다 복잡한 미분 관성 알고리즘을 사용하는 대신, 상기 각속도는 지면과 관련한 헤드 지향

을 측정하도록 통합될 수 있다. 그리고, 상보(complementary) 필터는 자이로 편향들(biases) 뿐만 아니라들 이 지면-관련 지향 에러들을 직접 바로잡는데 사용될 수 있다. 마지막 단계로서, 결과는 항공기 플랫폼 축들에 대한 헤드-트래커 지향을 제공하기 위하여 플랫폼 INS로부터 제공된 항공기 자세(attitude)의 도치(inverse)에 의하여 좌측 곱셈(pre-multiplied)될 수 있다. 이것은 예를 들어, 비-관성 트래커들을 위하여 설계된 레거시 미션 컴퓨터들에 의하여 요구될 수 있다.

광학 서브시스템이 기점 컨스틸레이션 n-프레임에 대하여 센서 b-프레임의 자세

를 측정하기 때문에, 상기 CKF는 아래와 같이 형성된 지면 관련 수도-측정을 받을 수 있다.

[식 1]

는 플랫폼 INS로부터 복원된 이동수단의 자세이고,

는 기점 컨스틸레이션 프레임과 관련한 센서 자세의 측정값이며,

는 상술한 조화 과정 중에 결정되는 플랫폼 INS 프레임과 관련한 컨스틸레이션 참조물 프레임의 정렬 회전(alignment rotation)이다.

상기 CKF(802)는 간단히 말해서 자세(attitude) 업데이트 알고리즘 내에 자이로 편향들(에러들을 생성하는데 일부분 책임이 있는)과 함께 축적하는 작은 에러들을 측정하는 선형 칼만 필터이다. 상태 벡터는

이다.

여기에서 소각(small-angle) 회전 에러 벡터

는 아래 식에 의하여 정의된다.

[식 2]

표기는 교대행렬(skew-symmetric matrix) 또는 외적 연산자(cross product operator)를 나타낸다:

[식 3]

Titterton, D. & Weston, J. Strapdown Inertial Navigation Technology, 2nd Edition, January 2004으로부터 기술함, 그 전체가 인용에 의해 본원에 포함된다. 상기 CKF를 위한 시간 업데이트 방정식(time update equation)은:

[식 4]

측정 업데이트 방정식의 도출(derivation)을 단순화하기 위하여, 상기 CKF를 위한 측정은 [식 1]로 계산된

량(quantity)이 아니라, 아래의 식으로부터 계산된 잔차(residual) 이다.

[식 5]

따라서, 역 교대행렬(skew-symmetric) 매트릭스 연산자는 교대행렬로부터 대응하는 벡터 요소를 얻는(extract) 것으로 나타난다. 입력(input) 매트릭스는 측정값

가 INS로부터의 매우 정확한(서브-밀리라디안(milliradian)) 항공기 자세와 결합된 매우 정확한 광학 자세 복원, 및 그리고, 사전에 정확하게 결정될 수 있는 조화 매트릭스에서 얻어지기 때문에 교대행렬과 매우 근접해질 수 있다. 작은 측정 에러를 무시하면, [식 5]는 아래와 같이 확장될 수 있다.

이것은 상기 CKF측정 업데이트 방정식을 아래와 같이 바람직하게 단순화한다.

[식 6]

.

자동-조화를 위한 필터 증강

설치 중에 결정되는 조화 정렬(alignment) 매트릭스 (

내의 에러는 시스템 에러 버짓에서 가장 클(dominate) 수 있다. 비록 조화 정확도를 향상시키는데 바람직하다 하더라도, 지면(ground) 조화의 고 정확도를 달성하는 것은, 선대(fleet)를 제공하기 위한 모든 필요 위치에 유지하는 것은 수송학적으로 어려운 까다롭고 비싼 정밀 측량 설비(surveying equipment) 및 매우 참을성 있고 기술을 가진 기술자들을 요구하는 너무 긴 정교한 수동 작동을 요구 한다. 추가로, 수동 측정-기반 조정 과정은 비행기의 가시적인 특징(HUD 내의 십자선(crosshair) 또는 조준 레티클(reticle) 유닛과 같은)을 갖는 기점 컨스틸레이션의 정렬을 가능하게 할 수만 있다. 그러나, 상기 AR 시스템의 정확도는 항공전자공학에 속하고 직접 측정 불가능한 상기 기점들의 플랫폼 INS와의 정렬을 필요로 한다. 따라서, 수동 조화는 상기 INS를 HUD와 함께 정렬해야 하는 몇몇 종래의 조화를 필요로 한다. 불행하게도, 많은 경우들에서 이동수단은 우리의 컨스틸레이션과 정렬되기 위한 HUD를 갖지 않는다.

따라서, [식 2]의 트래커 에러 각과 유사하게 정의되는 조화 에러 각(angle)(

)을 추정하기 위하여 칼만 필터가 3개의 추가적인 상태(state)와 함께 증강될 수 있다.

[식 7]

이 상태들은 상수(constant)이므로, 시간 전달(propagation) 방정식은 추가된 상태와 함께 기본적으로 동일하다.

[식 8]

새로운 측정 방정식을 얻기 위하여, [식 7]의 우변을 [식 1] 내의

을 대체하고, 이것을 [식 5]로 대체한다

[식 9]

마지막줄은 p-프레임 외적 연산자

의 i-프레임으로의 닮음 변환(similarity transformation)은

을 사용하는 i-프레임 외적 연산자와 기하학적으로 동등해야 한다는 한다는 사실을 이용한다. 한번더, 우리는 결국 측정값 잔차(residual)(z)를 트래커 에러(

) 및 실질적으로(effectively) 안정된 측정값 바이어스(

)와 관련시키는 명쾌하게(elegantly) 단순한 CKF 측정 업데이트 방정식과 함께 하게 된다.

[식 10]

[식 11]

가 이동수단의 자세와 함께 변하기 때문에, 가관측성(observability) 그라미안(Gramian)은 상기 이동수단이 이륙(take off) 후 기동(maneuver)을 시작하면 최대 랭크(full rank)가 되고, 따라서, 헤드 지향 및 조화 에러 공분산(covariances)은 작은 값으로 수렴한다.

지연된 INS 데이터 보상을 위한 필터 증강

INS 내에서 샘플링된 시간과 추적 시스템에 도달하는(reach) 시간 간의 항공기 INS 데이터 내에 상당량의 지연이 존재한다면, 상기 측정값은 칼만 필터를 차선의 성과(performance)를 야기하는 조정된(tunes) 측정 노이즈 매트릭스 보다 현저히 큰 측정 에러들을 수신하도록 업데이트한다. 상기 필터를 훨씬 많은 측정 노이즈를 기대하도록 재조정하는 것 보다는, 항공기의 느린 동역학(slow dynamics)을 고려해볼 때, 보상을 위하여 공지된 지연시간(latency) 동안의 항공기의 자세의 경로 예측을 통하여 대부분의 에러를 제거할 수 있다. 데이터 지연시간에 자동으로 추정하고 적용하기 위하여, 현재 측정 데이터 지연시간을 보상하는 예측 구간(prediction interval)의 에러를 추정하기 위한 하나의 추가 상태가 상기 CKF에 추가될 수 있다.

먼저, (

)의 회전각(rotation angle)에 의한 플랫폼 INS 자세(

)의 예측(forward prediction)을 수행하기 위하여 블록이 추가될 수 있다. 여기에서 플랫폼 각속도(

)는 플랫폼 자세의 마지막 두 샘플들을 통하여 추정되고,

는 100ms의 불확도(uncertainty)를 갖는 50ms로 초기화된다. 결과적으로, 우리는 측정 방정식 내의

를 아래와 같이 교체한다.

[도 12]

이것은 우리의 최종 10-상태 측정 모델 내에서 이하의 수식을 야기한다.

[도 13]

포텐셜 어플리케이션

추가적으로, 항공기의 모션 추적 실시예를 위한 몇몇 포텐셜 어플리케이션이 존재한다. 예를 들어, 지상 이동수단들의 AR 어플리케이션이다. 눈의 양이 많은 알라스카와 같은 환경에서는 제설차(snow ploughs)의 운전자가 도로의 가이드 기둥을 볼 수 없을 정도로 눈 더미(snow piles)가 매우 높아질 수 있었다. 이 경우, AR 시스템은 제설차의 운전자를 가이드하는데 유용할 수 있다.

다른 가능성은 CAD 모델로 계획된 요구된 결과를 보다 효과적으로 그리고 보다 정확하게 달성하도록 돕는 지면-이동 설비(earth-moving equipment)와 그것들을 위한 기타 중장비의 사용자들을 위한 AR 가이드이다. AR 헤드셋은 응답자(responder)가 현장으로 운전하는 동안, 그리고, 그들이 현장에서 이동수단으로부터 내리는 동안에 상황 인식(situational awareness)을 제공하는데 있어 가치가 클 수 있다.

여기에 기술된 새로운 자동-조화 알고리즘은 종래의 조화의 방법을 사용하도록 HUD가 설치되지 않은 이러한 이동수단 방식(type)들의 모션 추적을 고려할 수 있게 한다. 비록 이러한 많은 이동수단들이 현재 MEMS 분야의 최신 개발된 GPS/INS 시스템들을 설치하지 않았다 하더라도, 충분한 성능을 내기 위한 비용은 신속하게 떨어지고 있으며, 이미 사실상 이동수단의 AR 패키지의 일부로서 MEMs GPS/INS가 추가되고 있다.

도 9는 본 발명의 바람직한 실시예에 따른 무빙 플랫폼과 관련한 물체의 이동을 추적하기 위한 일 실시예의 방법(900)을 나타낸다. 상기 무빙 플랫폼은 참조물의 외부 프레임과 관련하여 움직인다.

902에서, 참조물의 외부 프레임에 대한 관성 지향 추정치(inertial orientation estimate)는, 상기 물체에 고정된 센서 유닛 내에 포함된 최소한 하나 이상의 각도(angular rate) 센서를 이용하여 업데이트된다.

상기 참조물의 외부 프레임은 예를 들어, 상기한 이동하는 물체와 함께 회전하지 않는 월드 프레임이 될 수 있다. 따라서, 물체는 예를 들어, 항공기와 같은 이동하는 이동수단과 관련하여 움직이는 HMD가 될 수 있다. 유사하게, 항공기는 참조물의 월드 프레임과 같은 참조물의 외부 프레임과 관련하여 움직인다. 각도 센서는 예를 들어, 자이로스코프가 될 수 있다.

904에서, 측정값들은 상기 참조물의 외부 프레임에 대한 플랫폼 좌표 프레임의 지향(orientation)의 플랫폼-고정 INS로부터 획득된다. 어떤(certain) 실시예에서, 상기 측정값들은 상기 물체에 고정된 센서 유닛 보다 더 낮은 비율로 플랫폼-고정 INS로부터 획득된다.

이후, 906, 908, 및 910는 임의의(certain) 측정 시간에서 실시된다. 906에서, 측정값들은 각각의 플랫폼에 고정된 측정값 참조물 좌표 프레임에 대한 상기 센서 유닛의 지향의 비-관성 센서로부터 획득된다.

908에서, 상기 플랫폼-참조 비-관성 지향 측정값들은 상기 참조물의 외부 프레임에 대한 상기 물체의 지향의 간접적인 측정값을 형성하기 위하여, 예를 들어, 가장 최근의 INS 측정값과 같은 플랫폼 지향의 INS 측정값과 조합된다. 도 10은 1002에서 플랫폼-참조 비-관성 지향 측정의 유효시간(effective time)으로의 예측 인터벌(interval) 타우(tau)를 통하여 예측한 상기 INS의 측정을 포함할 수 있는 908에 조합되는 일 실시예를 나타낸다. 선택적 실시예들은 점선으로 도시되었다.

상기 예측 인터벌 타우는 플랫폼-참조 비-관성 지향 측정의 유효시간 빼기(minus) INS 플랫폼 지향 측정의 유효시간의 추정값(estimate)이 될 수 있다. 도 10에 도시된 바와 같이, 타우의 추정은 INS 측정값 및 플랫폼-참조 비-관성 지향 측정값의 도착 타임스탬프하는(timestamping) 단계(1004), INS 측정값 및 플랫폼-참조 비-관성 지향 측정값의 도착 시간의 차이를 계산하는 단계(1006), 도착시 비-관성 측정값의 나이(age)의 추정값을 빼는 단계(1008), 및 도착시 INS 측정값의 나이의 추정값을 더하는 단계(1010)를 포함할 수 있다. 도착한 INS 측정값의 나이의 추정값은 러닝 타임 동안 데이터 상에 수행되는 알고리즘을 이용하여 형성될 수 있다. 상기 알고리즘은 최소한 하나 이상의 예측 인터벌, 예측 인터벌의 일부, 및 예측 인터벌 에러를 위하여 추가된 상태(state)를 갖는 칼만 필터(Kalman filter)를 포함할 수 있다.

910에서, 간접 측정값은 상기 참조물의 외부 프레임에 대한 물체의 지향의 향상된 추정값을 형성하기 위하여, 상기 관성 물체 추정값과 융합(fuse)된다. 상기 간접 측정값과 상기 관성 지향 추정값과의 융합은 예를 들어, 칼만 필터를 사용하여 수행될 수 있다. 예를 들어, 칼만 필터와 같은 상태 벡터는 지향 에러들을 나타내는 세가지 상태들을 포함할 수 있고, 측정값 모델은 이 상태들과 선형 관계를 갖는 측정값 잔차를 포함할 수 있다. 예를 들어, 상기 측정값 잔차는

형태로 이루어질 수 있다. 세가지 지향 에러 상태들에 대한 상기 측정값 잔차의 자코비안(Jacobian)은 항등행렬(identity matrix)을 포함할 수 있다.

912에서, 상기 참조물의 외부 프레임에 대한 물체 지향의 향상된 추정값은 상기 무빙 플랫폼과 관련한 상기 물체의 상대적인 지향의 추정값을 형성하기 위하여 상기 참조물의 외부 프레임과 관련하여 플랫폼 지향의 INS 측정값과 조합될 수 있다.

최소한 하나 이상의 실시예에서 상기 플랫폼 좌표 프레임에 대한 측정값 참조 좌표 프레임의 조정불량(misalignment)이 추적 작업의 시작(commencement)에 앞서 완전히 알려지지 않을 수 있다. 추적 중에 알려지지 않은 좌표 프레임 조정불량을 추정하기 위하여 알고리즘이 사용될 수 있다. 이러한 알고리즘은 측정 참조물 프레임으로 전환된 관성 각도를 상기 센서 유닛과 플랫폼 INS로부터의 플랫폼 프레임의 각도를 비교하는 것을 포함한다. 상기 알고리즘은 측정 참조물 프레임으로 전환된 상기 센서 유닛의 관성 각도의 적분(integration)의 지향과 플랫폼 INS로부터의 플랫폼 지향을 비교하는 것을 포함한다. 이러한 추적은 참조물의 외부 프레임과 관련한 물체 지향의 최소한 하나 이상의 실시예 및 상기 참조물의 외부 프레임과 관련한 물체 지향 에러의 최소한 하나 이상의 실시예 중 하나의 상태를 포함하는 칼만 필터를 사용하는 것을 포함할 수 있다. 상기 칼만 필터의 상태 벡터는 알려지지 않은 실시예 및 상기 좌표 프레임 조정불량 실시예 중 최소한 하나를 더 포함할 수 있다.

도 11은 본 발명의 바람직한 실시예에 따른 다양한 하드웨어 요소들 및 다른 특징들을 나타내는 시스템 다이어그램이다. 이 실시예는 하드웨어, 소프트웨어 또는 이들의 조합을 사용하여 실시될 수 있고, 하나 이상의 컴퓨터 시스템 또는 다른 처리 시스템 내에서 실시될 수 있다. 예를 들어, 일 실시예는 도 9 및 도 10과 관련하여 여기에 기술된 기능을 수행할 수 있는 하나 이상의 컴퓨터 시스템을 포함할 수 있다. 이러한 컴퓨터 시스템(1100)의 일 예가 도 11에 도시된다.

컴퓨터 시스템(1100)은 프로세서(1104)와 같은 하나 이상의 프로세서들을 포함한다. 상기 프로세서(1104)는 통신 인프라스트럭쳐(infrastructure)(1106)(예를 들어, 통신 버스, 크로스-오버 바(cross-over bar), 또는 네트워크 등)와 연결된다. 다양한 소프트웨어 실시예들이 이 일 실시예의 컴퓨터 시스템과 관련하여 기술된다. 이 설명을 읽은 후, 해당 기술 분야의 기술자들은 여기에 기술된 실시예를 다른 컴퓨터 시스템들 및/또는 아키텍쳐들에 어떻게 적용할지 쉽게 이해할 수 있을 것이다. 컴퓨터 시스템(1100)은 디스플레이 유닛(1130)에 표시하기 위하여 통신 인프라스트럭쳐(1106)로부터(또는, 프레임 버퍼(미도시)로부터) 그래픽, 텍스트 및 다른 데이터들을 포워딩(forward)하는 디스플레이 인터페이스(1102)를 포함할 수 있다. 컴퓨터 시스템(1100)은 또한 메인 메모리(1108), 바람직하게는 램(RAM, Random Access Memory)를 포함할 수 있고, 또한, 세컨더리 메모리(1110)를 포함할 수 있다. 상기 세컨더리 메모리(1110)는 예를 들어, 하드 디스크 드라이브(1112) 및/또는 플로피 디스크 드라이브, 마그네틱 테이프 드라이브, 광학 디스크 드라이브 등으로 대표되는 이동식 저장 드라이브(1114)를 포함할 수 있다. 상기 이동식 저장 드라이브(1114)는 공지된 방법으로 이동식 저장 유닛(1118)로부터 읽기 및/또는 쓰기를 한다. 이동식 저장 유닛(1118)은 이동식 저장 드라이브(1114)에 의하여 읽기 및 쓰기를 하는 플로피 디스크, 마그네틱 테이프, 광학 디스크 등으로 대표된다. 이해되는 바와 같이, 상기 이동식 저장 유닛(1118)은 컴퓨터 소프트웨어 및/또는 데이터를 저장하는 컴퓨터 사용가능 저장 매체를 포함한다.

다른 실시예에서, 세컨더리 메모리(1110)는 컴퓨터 시스템(1100)에 로딩되는 컴퓨터 프로그램 또는 다른 명령들을 수용하기 위한 다른 유사한 장치들을 포함할 수 있다. 이러한 장치들은, 예를 들어, 이동식 저장 유닛(1122) 및 인터페이스(1120)를 포함할 수 있다. 이 들의 예는, 프로그램 카트리지 및 카트리지 인터페이스(비디오 게임 장치에서 발견할 수 있는 것과 같은), 이동식 메모리 칩(EPROM, Erasable Programmable Read Only Memory와 같은), 또는 프로그램 가능한 읽기 전용 메모리(PROM, Programmable Read Only Memory) 및 관련 소켓, 및 이동식 저장 유닛(1122)로부터 컴퓨터 유닛(1100)으로 소프트웨어 및 데이터의 전송을 가능하게 하는 다른 이동식 저장 유닛들(1122) 및 인터페이스들(1120)을 포함할 수 있다.

또한, 컴퓨터 시스템(1100)은 통신 인터페이스(1124)를 포함할 수 있다. 통신 인터페이스(1124)는 컴퓨터 시스템(1100)과 외부 장치(external device)들 사이의 소프트웨어 및 데이터 전송을 가능하게 한다. 통신 인터페이스(1124)의 예는, 모뎀, 네트워크 인터페이스(이더넷 카드와 같은), 통신 포트, PCMCIA(Personal Computer Memory Card International Association) 슬롯 및 카드, 등을 포함할 수 있다. 통신 인터페이스(1124)를 통하여 전송되는 소프트웨어 및 데이터는 전기 신호, 전자기 신호, 광학 신호, 또는 통신 인터페이스(1124)에 수신될 수 있는 다른 신호들이 될 수 있는 신호(1128)의 형태로 이루어진다. 이 신호들(1128)은 통신 경로(예를 들어, 채널)(1126)를 통하여 통신 인터페이스(1124)로 제공된다. 이 경로(1126)는 신호들(1128)을 전송(carry)하고, 와이어 또는 케이블, 광섬유, 전화선, 셀룰러 링크(cellular link), 무선 주파수(RF, radio frequency) 및/또는 다른 통신 채널들을 사용하여 실시될 수 있다. 이 명세서 내에서, “컴퓨터 프로그램 매체” 및 “컴퓨터 사용가능 매체”의 표기는, 일반적으로 이동식 저장 드라이브(1180), 하드 디스크 드라이브(1170)에 설치된 하드 디스크, 및 신호들(1128)과 같은 매체들을 참조하도록 사용되었다. 이 컴퓨터 프로그램 제품들은 상기 컴퓨터 시스템(1100)으로 소프트웨어를 제공한다. 여기에 기술된 실시예들은 이러한 컴퓨터 프로그램 제품들을 포함할 수 있다.

컴퓨터 프로그램(또한 컴프토 제어 로직으로도 참조됨)은 메인 메모리(1108) 및/또는 세컨더리 메모리(1110)에 저장된다. 또한, 컴퓨터 프로그램들은 통신 인터페이스(1124)를 통하여 수신될 수 있다. 상기 컴퓨터 프로그램은, 실행시 상기 컴퓨터 시스템(1100)을 여기에 기술된 특징들을 실행시킬 수 있게 한다. 특히, 상기 컴퓨터 프로그램들은, 실행시 상기 프로세서(1110)을 여기에 기술된 특징들을 실행시킬 수 있게 한다. 따라서, 이러한 컴퓨터 프로그램들은 상기 컴퓨터 시스템(1100)의 컨트롤러를 대표한다.

소프트웨어를 사용하는 실시예에서, 상기 소프트웨어는 컴퓨터 프로그램 제품 내에 저장되고, 이동식 저장 드라이브(1114), 하드 드라이브(1112), 또는 통신 인터페이스(1120)을 사용하여 컴퓨터 시스템(1100)으로 로딩될 수 있다. 프로세서(1104)에 의하여 실행시, 제어 로직(소프트웨어)은 상기 프로세서(1104)를 여기에 기술된 특징들을 실행시킨다. 다른 실시예에서, 기본적으로 예를 들어, ASICs(Application Specific Integrated Circuits)와 같은 하드웨어 요소를 사용하는 하드웨어를 주로 사용하도록 실시될 수 있다. 여기에 기술된 기능들을 수행하도록 하드웨어 상태 머신(hardware state machine)을 사용하는 것은 해당 기술분야의 깃루자들에게 쉽게 이해될 수 있다.

또 다른 실시예에서는, 하드웨어 및 소프트웨어의 조합을 사용할 수 있다.

도 12는 프로세싱 시스템(1214)을 사용하는 장치(1200)를 위한 하드웨어 실시예를 나타내는 다이어그램이다. 프로세싱 시스템(1214)은 프로세서(1204), 모듈(1230, 1232, 1234, 1236, 1238, 및 1240), 및 컴퓨터 판독가능 매체/메모리(1206)으로 대표되는 하나 이상의 프로세서 및/또는 모듈들을 포함하는 다양한 회로들과 서로 연결되는 아키텍쳐와 함께 실시될 수 있다.

프로세싱 시스템(1214)은 도 1의 HMD(102)와 같은 디스플레이에 연결될 수 있다. 또한, 상기 프로세싱 시스템은 추적 센서(302), INS(108), 미션 컴퓨터(106), 컨트롤 유닛 및 이미지 생성기(104), 등과 같은 다양한 센서들과 연결될 수 있다. 관성 지향 모듈(1230)은 물체에 고정된 센서 유닛 내에 포함된 최소한 하나 이상의 각도 센서를 사용하여 참조물의 외부 프레임과 관련하여 물체의 관성 지향 추정을 업데이트하도록 이루어질 수 있다. 플랫폼 지향 모듈(1232)는 상기 참조물의 외부 프레임에 대한 플랫폼 좌표 프레임 지향의 플랫폼-고정 INS로부터 측정값을 획득하도록 이루어질 수 있다.

비-관성 지향 모듈(1234)은 플랫폼에 대하여 고정된 측정값 참조물 좌표 프레임과 관련한 상기 센서 유닛 지향의 비-관성 센서로부터 측정값을 획득하도록 이루어질 수 있다.

향상된 추정 모듈(1238)은 상기 참조물의 외부 프레임에 대한 상기 물체의 지향의 간접 측정값을 형성하기 위하여 플랫폼 지향의 가장 최신의 INS 측정값과 함께 플랫폼-참조 비-관성 지향 측정값들을 조합하도록 이루어질 수 있고, 상기 참조물의 외부 프레임에 대한 물체 지향의 향상된 측정값을 형성하기 위하여 상기 간접 측정값을 물체의 관성 지향 측정값과 융합하도록 이루어질 수 있다.

특정 실시예에서, 장치(1200)는 상기 무빙 플랫폼에 대한 물체의 상대적인 지향의 추정값을 형성하기 위하여 상기 참조물의 외부 프레임과 관련한 물체 지향의 향상된 추정값을 상기 참조물의 외부 프레임과 관련한 플랫폼 지향의 INS 측정값에 조합하도록 이루어진 조합 모듈(combining module)을 포함할 수 있다.

프로세싱 시스템(1214)은 컴퓨터 판독가능 매체/메모리(1206)과 연결된 프로세서(1204)를 포함한다. 상기 프로세서(1204)는 컴퓨터-판독가능 매체/메모리(1206)에 저장된 소프트웨어의 실행을 포함하는 일반적인 처리를 담당한다. 소프트웨어는, 상기 프로세서(1204)에 의한 실행시, 상기 프로세싱 시스템(1214)을 임의의 특정 장치를 위하여 위에 기술된 다양한 기능들을 수행하게 한다. 또한, 컴퓨터-판독가능 매체/메모리(1206)는 소프트웨어를 실행할 때 상기 프로세서(1204)에 의하여 조작되는 저장 데이터를 위하여 사용될 수 있다. 프로세싱 시스템은 최소한 하나 이상의 모듈(1230, 1232, 1234, 1236, 1238, 및 1240)들을 포함한다. 상기 모듈들은 상기 프로세서(1204) 내에서 작동하는 소프트웨어 모듈, 컴퓨터-판독가능 매체/메모리(1206)내에 상주(resident)하는/저장된 모듈, 상기 프로세서(1204)와 연결된 하나 이상의 모듈들, 또는 이들의 조합으로 이루어질 수 있다. 프로세싱 시스템(1214)는 도 1의 이동수단의 증강현실 시스템의 요소로 이루어질 수 있다.

일 실시예에서, 장치(1200)는 무빙 플랫폼과 관련한 물체의 움직임을 추적하고, 참조물의 외부 프레임과 관련하여 움직이는 무빙 플랫폼은 물체에 부착된 센서 유닛 내에 포함된 최소한 하나 이상의 각도 센서를 사용하여 물체의 관성 지향 측정을 참조물의 외부 프레임에 대하여 업데이트하는 수단과, 상기 참조물의 외부 프레임과 관련하여 플랫폼-고정 관성 내비게이션 시스템(INS)으로부터 플랫폼 좌표 프레임의 지향의 측정값을 획득하는 수단을 포함한다. 상기 장치는 플랫폼에 대하여 고정된 측정값 참조물 좌표 프레임에 관한 센서 유닛의 지향의 비-관성 센서로부터 측정값을 획득하고, 참조물의 외부 프레임에 대하여 상기 물체의 지향의 간접 측정값을 형성하기 위하여 플랫폼-참조 비-관성 지향 측정값들을 플랫폼 지향의 가장 최근의 INS 측정값과 함께 조합하며, 상기 참조물의 외부 프레임에 관한 물체 지향의 향상된 추정값을 형성하기 위하여 상기 간접 측정값을 물체의 관성 지향 추정값과 융합(fusing)하는 수단을 더 포함할 수 있다. 상기 수단은 상기한 수단들에 의하여 나열된 기능들을 수행하도록 구성된 장치(1200) 및/또는 장치(1200)의 프로세싱 시스템(1214)의 상기한 모듈들 중 하나 이상일 수 있다.

따라서, 실시예들은 무빙 플랫폼에 관한 물체의 움직임을 추적하는 장치를 포함할 수 있고, 상기 무빙 플랫폼은 참조물의 외부 프레임에 관하여 움직이고, 메모리와 상기 메모리에 연결되며 예를 들어, 도 9 및 도 10에 기술된 실시예를 수행하도록 이루어진 최소한 하나 이상의 프로세서를 포함한다.

상기 장치는 상술한 도 9 및 도 10의 플로우 차트들 내의 알고리즘의 각 블록들을 수행하는 추가적인 모듈들을 포함할 수 있다. 따라서, 도 9 및 도 10에 기술된 플로우차트들의 각 블록은 모듈에 의하여 수행될 수 있고, 장치는 하나 이상의 이러한 모듈들을 포함할 수 있다. 상기 모듈들은 명시된(stated) 프로세스들/알고리즘을 수행하도록 이루어지거나, 명시된(stated) 프로세스들/알고리즘을 수행하도록 이루어진 프로세서에 의하여 시행되거나(implemented), 프로세서에 의한 시행(implementation)을 위하여 컴퓨터 판독가능 매체에 저장되거나, 이들 몇몇의 조합으로 이루어진 하나 이상의 하드웨어 요소들로 이루어질 수 있다.

따라서, 실시예들은 무빙 플랫폼에 관한 물체의 움직임을 추적하기 위한 컴퓨터 프로그램 제품을 포함할 수 있고, 상기 무빙 플랫폼은 참조물의 외부 프레임에 관하여 움직이며, 상기 컴퓨터 프로그램 제품은 컴퓨터가 예를 들어, 도 9 및 도 10과 관련하여 기술된 실시예들을 수행하도록 저장된 제어 로직을 갖는 컴퓨터 사용가능 매체를 포함한다.

여기에 기술된 실시예들이 비록 상술한 실시예들로서 기술되었다 하더라도, 공지되거나 또는 현재 존재하거나 또는 예측하지 못한 다양한 대안, 수정, 변경, 향상 및/또는 실질적인 균등물 역시 해당 기술 분야의 기술자들에게 이해될 수 있을 것이다. 따라서, 실시예들은 상술한 실시예로서 명확히 이해되도록 이루어져 있으나, 이에 한정하는 것은 아니다. 본 발명의 기술사상을 벗어나지 않는 범위 내의 다양한 변경이 이루어질 수 있다. 따라서, 본 발명은 공지되거나 차후-개발되는 대안, 수정, 변경, 향상 및/또는 실질적인 균등물들을 모두 수용한다.

따라서, 청구항들은 여기에 기술된 실시예에 한정되는 것은 아니고, 청구항들에 기술된 내용의 전체 실시예를 따른다. 단일 요소는 특정하지 않는 한 “하나 및 단 하나”를 의미하는 것은 아니고 “하나 이상”을 의미한다. 해당 기술 분야에 공지되거나 공지될 본 명세서 상에 기술된 다양한 실시예의 요소들의 모든 구조적 및 기능적 균등물들은 참조에 의하여 여기에 포함되고, 청구항에 의하여 포함되는 것으로 간주된다. 또한, 여기에 기술되지 않은 사항은 청구항에 의하여 명확하게 인용되어 기술된 사항과 무관하게 공용의 사항으로 간주된다. 청구항의 요소가 “수단(means for)”을 추가하여 기술되지 않았다 하더라도, 해당 요소는 기능을 수행하는 수단으로 해석된다.

Claims

참조물(reference)의 외부 프레임에 관하여 움직이는 무빙 플랫폼에 관한 물체의 움직임을 추적하는 방법에 있어서,
상기 물체에 고정된 센서 유닛을 포함하는 최소한 하나 이상의 각도 센서를 사용하여 참조물의 외부 프레임에 관한 물체의 관성 지향 추정값(estimate)을 업데이트하는 단계;
상기 참조물의 외부 프레임에 대하여 플랫폼 좌표 프레임의 지향의 플랫폼-고정 관성 내비게이션 시스템(INS)으로부터 측정값을 획득하는 단계; 및
특정한 측정 시간에서, 플랫폼에 대하여 고정된 측정값 참조물 좌표 프레임에 관한 센서 유닛의 지향의 비-관성 센서로부터 측정값을 획득하는 단계, 참조물의 외부 프레임에 대하여 상기 물체의 지향의 간접 측정값을 형성하기 위하여 플랫폼-참조 비-관성 지향 측정값들을 플랫폼 지향의 가장 최근의 INS 측정값과 함께 조합하는 단계, 및 상기 참조물의 외부 프레임에 관한 물체 지향의 향상된 추정값을 형성하기 위하여 상기 간접 측정값을 물체의 관성 지향 추정값과 융합(fusing)하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
참조부의 외부 프레임은 상기 무빙 플랫폼과 함께 회전하지 않는 외측 월드 프레임인 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 측정값들은 상기 물체에 고정된 센서 유닛 보다 더 낮은 비율로 플랫폼-고정 INS로부터 획득되는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 무빙 플랫폼과 관련한 물체의 상대적인 지향의 추정값을 형성하기 위하여 상기 참조물의 외부 프레임과 관련한 물체 지향의 향상된 추정값을 상기 참조물의 외부 프레임과 관련한 플랫폼 지향의 INS 측정값에 조합하는 단계;
를 더 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 간접 측정값과 관성 지향 추정값의 융합은 칼만 필터(Kalman filter)를 사용하여 수행되는 것을 특징으로 하는 방법.
제 5항에 있어서,
상기 칼만 필터의 상태 벡터(state vector)는 지향 에러들을 나타내는 세가지 상태들을 포함하고, 측정값 모델은 이 상태들과 선형 관계를 갖는 측정값 잔차(residual)를 포함하는 것을 특징으로 하는 방법.
제 6항에 있어서,
상기 측정값 잔차는,

의 형태인 것을 특징으로 하는 방법.
제 6항에 있어서,
세가지 지향 에러 상태들과 관련한 상기 측정값 잔차의 자코비안(Jacobian)은 항등행렬(identity matrix)을 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
플랫폼-참조 비-관성 지향 측정값들을 플랫폼 지향의 가장 최근의 INS 측정값과 함께 조합하는 단계는;
플랫폼-참조 비-관성 지향 측정값의 유효시간(effective time)으로의 예측 인터벌(interval) 타우(tau)를 통하여 상기 INS의 측정값을 예측하는 단계;
를 더 포함하는 것을 특징으로 하는 방법.
제 9항에 있어서,
상기 예측 인터벌 타우는,
플랫폼-참조 비-관성 지향 측정값의 유효시간에서 INS 플랫폼 지향 측정값의 유효시간을 뺀(minus) 추정값(estimate)인 것을 특징으로 하는 방법.
제 10항에 있어서,
타우의 추정값은,
INS 측정값 및 플랫폼-참조 비-관성 지향 측정값의 도착을 타임스탬프하는(timestamping) 단계;
INS 측정값 및 플랫폼-참조 비-관성 지향 측정값의 도착 시간의 차이를 계산하는 단계;
도착시 비-관성 측정값의 나이(age)의 추정값을 빼는(subtracting) 단계; 및
도착시 INS 측정값의 나이의 추정값을 더하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 11항에 있어서,
도착시 INS 측정값의 나이의 추정값은 러닝 타임(run time) 중에 데이터 상에서 수행되는 알고리즘을 이용하여 형성되는(formed) 것을 특징으로 하는 방법.
제 12항에 있어서,
상기 알고리즘은 최소한 하나 이상의 예측 인터벌, 예측 인터벌의 일부, 및 예측 인터벌 에러를 위하여 추가된 상태(state)를 갖는 칼만 필터(Kalman filter)를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
최소한 하나 이상의 실시예에서 상기 플랫폼 좌표 프레임에 대한 측정값 참조 좌표 프레임의 조정불량(misalignment)이 추적 작업의 시작(commencement)에 앞서 완전히 알려지지 않는 것을 특징으로 하는 방법.
제 14항에 있어서,
추적단계 중, 알려지지 않은 좌표 프레임 조정불량을 추정하기 위하여 알고리즘이 사용되는 것을 특징으로 하는 방법.
제 15항에 있어서,
상기 알고리즘은,
측정 참조물 프레임으로 전환된 관성 각도를 상기 센서 유닛과 플랫폼 INS로부터의 플랫폼 프레임의 각도를 비교하는 것을 포함하는 것을 특징으로 하는 방법.
제 15항에 있어서,
상기 알고리즘은,
측정 참조물 프레임으로 전환된 상기 센서 유닛의 관성 각도의 적분(integration)의 지향과 플랫폼 INS로부터의 플랫폼 지향을 비교하는 것을 포함하는 것을 특징으로 하는 방법.
제 15항에 있어서,
상기 추적은,
참조물의 외부 프레임과 관련한 물체 지향의 최소한 하나 이상의 실시예, 및
상기 참조물의 외부 프레임과 관련한 물체 지향 에러의 최소한 하나 이상의 실시예;
중 하나의 상태를 포함하는 칼만 필터를 사용하는 것을 특징으로 하는 방법.
제 18항에 있어서,
상기 칼만 필터의 상태 벡터는,
알려지지 않은 실시예 및 상기 좌표 프레임 조정불량 실시예 중 최소한 하나를 더 포함하는 것을 특징으로 하는 방법.
참조물의 외부 프레임과 관련하여 움직이는 무빙 플랫폼에 관한 물체의 움직임을 추적하는 시스템에 있어서,
물체에 부착된 센서 유닛 내에 포함된 최소한 하나 이상의 각도 센서를 사용하여 물체의 관성 지향 측정을 참조물의 외부 프레임과 관련하여 업데이트하는 수단;
상기 참조물의 외부 프레임과 관련하여 플랫폼-고정 관성 내비게이션 시스템(INS)으로부터 플랫폼 좌표 프레임의 지향의 측정값을 획득하는 수단;
플랫폼에 대하여 고정된 측정값 참조물 좌표 프레임에 관한 센서 유닛의 지향의 비-관성 센서로부터 측정값을 획득하는 수단; 및
참조물의 외부 프레임에 대하여 상기 물체의 지향의 간접 측정값을 형성하기 위하여 플랫폼-참조 비-관성 지향 측정값들을 플랫폼 지향의 가장 최근의 INS 측정값과 함께 조합하며, 상기 참조물의 외부 프레임에 관한 물체 지향의 향상된 추정값을 형성하기 위하여 상기 간접 측정값을 물체의 관성 지향 추정값과 융합(fusing)하는 수단;
을 포함하는 것을 특징으로 하는 시스템.
제 20항에 있어서,
상기 무빙 플랫폼과 관련한 물체의 상대적인 지향의 추정값을 형성하기 위하여 상기 참조물의 외부 프레임과 관련한 물체 지향의 향상된 추정값을 상기 참조물의 외부 프레임과 관련한 플랫폼 지향의 INS 측정값에 조합하는 수단을 더 포함하는 것을 특징으로 하는 시스템.
제 20항에 있어서,
플랫폼-참조 비-관성 지향 측정값들을 플랫폼 지향의 가장 최근의 INS 측정값과 함께 조합하는 수단은 플랫폼-참조 비-관성 지향 측정값의 유효시간(effective time)으로의 예측 인터벌(interval) 타우(tau)를 통하여 상기 INS의 측정값을 예측하는 것을 특징으로 하는 시스템.
제 20항에 있어서,
최소한 하나 이상의 실시예에서 상기 플랫폼 좌표 프레임에 대한 측정값 참조 좌표 프레임의 조정불량(misalignment)이 추적 작업의 시작(commencement)에 앞서 알려지지 않고(unknown), 추적단계 중, 알려지지 않은 좌표 프레임 조정불량을 추정하기 위하여 알고리즘을 사용하기 위한 수단을 더 포함하는 것을 특징으로 하는 시스템.
참조물의 외부 프레임에 관하여 움직이는 무빙 플랫폼에 관한 물체의 움직임을 추적하는 장치에 있어서,
메모리;
참조물의 외부 프레임에 대한 관성 지향 추정치(inertial orientation estimate)를 상기 물체에 고정된 센서 유닛 내에 포함된 최소한 하나 이상의 각도(angular rate) 센서를 이용하여 업데이트하고,
상기 참조물의 외부 프레임에 대한 플랫폼 좌표 프레임의 지향(orientation)의 플랫폼-고정 INS로부터 측정값들을 획득하며,
각각의 플랫폼에 고정된 측정값 참조물 좌표 프레임과 관련한 상기 센서 유닛의 지향의 비-관성 센서로부터 측정값들을 획득하고, 상기 참조물의 외부 프레임에 대한 상기 물체의 지향의 간접적인 측정값을 형성하기 위하여 상기 플랫폼-참조 비-관성 지향 측정값들을 플랫폼 지향의 INS 측정값과 조합하도록 상기 메모리에 연결되는 최소한 하나 이상의 프로세서;
를 포함하는 것을 특징으로 하는 장치.
제 24항에 있어서,
상기 프로세서는,
상기 무빙 플랫폼과 관련한 물체의 상대적인 지향의 추정값을 형성하기 위하여 상기 참조물의 외부 프레임과 관련한 물체 지향의 향상된 추정값을 상기 참조물의 외부 프레임과 관련한 플랫폼 지향의 INS 측정값에 조합하도록 이루어지는 것을 특징으로 하는 장치.
제 24항에 있어서,
상기 프로세서는,
플랫폼-참조 비-관성 지향 측정값의 유효시간(effective time)으로의 예측 인터벌(interval) 타우(tau)를 통하여 상기 INS의 측정값을 예측하는 것을 특징으로 하는 장치.
제 24항에 있어서,
최소한 하나 이상의 실시예에서 상기 플랫폼 좌표 프레임에 대한 측정값 참조 좌표 프레임의 조정불량(misalignment)이 추적 작업의 시작(commencement)에 앞서 알려지지 않고(unknown), 추적단계 중, 알려지지 않은 좌표 프레임 조정불량을 추정하기 위하여 알고리즘을 사용하기 위한 수단을 더 포함하는 것을 특징으로 하는 장치.
제어 로직을 내부에 저장한 컴퓨터 사용가능 매체를 포함하고, 컴퓨터를 참조물의 외부 프레임에 관하여 움직이는 무빙 플랫폼에 관한 물체의 움직임을 추적하도록 하는 컴퓨터 프로그램 제품에 있어서,
참조물의 외부 프레임에 대한 관성 지향 추정치(inertial orientation estimate)를 상기 물체에 고정된 센서 유닛 내에 포함된 최소한 하나 이상의 각도(angular rate) 센서를 이용하여 업데이트하고,
상기 참조물의 외부 프레임에 대한 플랫폼 좌표 프레임의 지향(orientation)의 플랫폼-고정 INS로부터 측정값들을 획득하며,
각각의 플랫폼에 고정된 측정값 참조물 좌표 프레임과 관련한 상기 센서 유닛의 지향의 비-관성 센서로부터 측정값들을 획득하고, 상기 참조물의 외부 프레임에 대한 상기 물체의 지향의 간접적인 측정값을 형성하기 위하여 상기 플랫폼-참조 비-관성 지향 측정값들을 플랫폼 지향의 INS 측정값과 조합하는;
것을 특징으로 하는 컴퓨터 프로그램 제품.
제 28항에 있어서,
컴퓨터로 하여금, 상기 무빙 플랫폼과 관련한 물체의 상대적인 지향의 추정값을 형성하기 위하여 상기 참조물의 외부 프레임과 관련한 물체 지향의 향상된 추정값을 상기 참조물의 외부 프레임과 관련한 플랫폼 지향의 INS 측정값에 조합하도록 하는 코드(code)를 더 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
제 28항에 있어서,
컴퓨터로 하여금, 플랫폼-참조 비-관성 지향 측정값의 유효시간(effective time)으로의 예측 인터벌(interval) 타우(tau)를 통하여 상기 INS의 측정값을 예측하도록 하는 코드(code)를 더 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
제 28항에 있어서,
최소한 하나 이상의 실시예에서 상기 플랫폼 좌표 프레임에 대한 측정값 참조 좌표 프레임의 조정불량(misalignment)이 추적 작업의 시작(commencement)에 앞서 알려지지 않고(unknown), 컴퓨터로 하여금 추적단계 중, 알려지지 않은 좌표 프레임 조정불량을 추정하기 위하여 알고리즘을 사용하도록 하는 코드를 더 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.