KR20230028562A

KR20230028562A - 확장된 동적 범위를 갖는 소형 비전-관성 내비게이션 시스템

Info

Publication number: KR20230028562A
Application number: KR1020237004176A
Authority: KR
Inventors: 토마스 캘로웨이
Original assignee: 탈레스 디펜스 앤드 시큐리티, 인크.
Priority date: 2016-06-02
Filing date: 2017-06-02
Publication date: 2023-02-28
Also published as: WO2017218213A2; US10482668B2; JP2021005397A; JP6920523B2; JP2019521429A; EP3466048A4; EP3466048A2; KR20190013868A; KR20210056459A; WO2017218213A3; IL263357A; JP6763975B2; KR102253629B1; KR102497864B1; US20170352190A1; ZA201808511B; IL263357B

Abstract

넓은 범위의 조명 조건에서 실제 장면의 객체의 위치를 트래킹하는 시스템 및 방법. 예를 들어, 전형적인 실내 조명 조건으로부터 직사 태양광 내지 사실상 빛이 없는 동굴에 이르는 조명 조건에서 관심 객체의 상대적인 위치를 트래킹하도록 구성될 수 있는 비전-관성 내비게이션 시스템이 제공된다. 내비게이션 시스템은 상이한 조명 조건에서 실제 장면의 영상을 포착하도록 각각 구성되는 2개 이상의 헬멧-장착 카메라를 포함할 수 있다. 원격 처리 요소는 2개 이상의 헬멧-장착 카메라로부터의 데이터를 헬멧-장착 관성 센서로부터의 데이터와 조합하여 객체의 위치(예를 들어, 3D 위치)를 추정할 수 있다. 내비게이션 시스템은, 사용자의 관점으로부터, 각 객체에 대한 추정된 위치가 대응하는 객체에 중첩되고 그리고/또는 사용자의 및/또는 객체의 위치에 관한 다른 정보가 표시되도록 각각의 객체에 대한 추정된 위치를 투명한 표시 장치에 표시할 수 있다.

Description

확장된 동적 범위를 갖는 소형 비전-관성 내비게이션 시스템 {MINIATURE VISION-INERTIAL NAVIGATION SYSTEM WITH EXTENDED DYNAMIC RANGE}

관련 출원에 대한 교차 참조

본 출원은 2016년 6월 2일자로 출원된 미국 가출원 제62/344,843호 및 2017년 5월 31일자로 출원된 미국 비-가출원 제15/609,669호에 대한 우선권을 주장하며, 각각의 이들 출원의 내용은 그 전문이 참조로 본원에 통합된다.

본 개시내용은 일반적으로 내비게이션 시스템에 관한 것으로, 더 구체적으로는 확장된 동적 범위를 갖는 소형 비전-관성 내비게이션 시스템(vision-inertial navigation system)에 관한 것이다.

군인, 경찰 및 소방관은 실제 장면을 보면서 지도와 같은 전술 정보를 표시하기 위해 머리-장착 디스플레이를 사용한다. 예를 들어, 머리-장착 디스플레이는 전술 정보를 실제 장면에 중첩하여 증강 현실(AR)을 생성하기 위해 사용될 수 있다. AR을 생성하기 위한 기술적 과제 중 하나는 실제와 컴퓨터 생성 객체 사이의 정확한 트래킹(tracking)을 유지하는 것이다. 사용자가 그들의 시점을 이동함에 따라, 컴퓨터 생성 객체는 실제 객체의 관측된 위치 및 배향과 정렬된 상태를 유지해야 한다. 비전-관성 내비게이션 시스템은 장치 자세를 추정하기 위해 카메라 및 관성 센서, 특히 자이로스코프 및 가속도계로부터의 정보를 융합시킴으로써 상대 위치 및 배향 정보를 추정할 수 있다.

그러나, 많은 비전-관성 내비게이션 시스템은 군대 및 정부 용례로서의 사용에는 적합하지 않다. 예를 들어, 많은 비전-관성 내비게이션 시스템은 태양광 조건에서만 작동하며, 다른 시스템은 야간에만 작동한다. 넓은 범위의 주변 조명 조건에서 작동할 수 있는 비전-관성 내비게이션 시스템은 착용할 수 없는 매우 큰 센서 또는 장치를 이용한다. 다른 비전-관성 내비게이션 시스템은 또한 사용자가 카메라와 관성 센서 사이의 보어사이트 교정(boresight calibration)을 수동으로 수행하고 디스플레이 밝기와 같은 설정을 수동으로 구성하는 것을 필요로 한다.

따라서, 머리에 착용할 수 있을 정도로 작고, 예를 들어 전형적인 실내 조명 조건으로부터 직사 태양광 조건 내지 사실상 빛이 없는 동굴에 이르기까지, 넓은 범위의 동적 조명 조건에서 기능할 수 있는 비전-관성 내비게이션 시스템에 대한 충족되지 않은 요구가 남아있다. 또한, 플러그 앤드 플레이(plug and play) 방식인 비전-관성 내비게이션 시스템에 대한 요구가 남아있다.

상술한 문제점 및 충족되지 않은 요구의 견지에서, 본 개시내용은 넓은 범위의 조명 조건에서 관찰 영역(본원에서는 실제 장면으로도 상호교환가능하게 지칭됨)의 객체의 위치를 트래킹하는 시스템 및 방법을 제공한다. 일 양태에서, 예를 들어 전형적인 실내 조명 조건으로부터 직사 태양광 내지 사실상 빛이 없는 장소(예를 들어, 동굴)에 이르는 조명 조건에서 실제 장면의 관심 객체(예를 들어, 사람, 차량, 건물)의 상대적인 위치(예를 들어, 3D 좌표)를 트래킹하도록 구성될 수 있는 비전-관성 내비게이션 시스템이 제공된다. 예를 들어, 일 양태에서, 비전-관성 내비게이션 시스템은 상이한 조명 조건에서 실제 장면의 영상 데이터를 포착하도록 각각 구성되는 2개 이상의 헬멧-장착 카메라를 포함할 수 있다. 그리고, 원격(예를 들면, 휴대용) 처리 요소는 실제 장면의 객체의 위치를 실시간으로 정확하게 추정하기 위해서 2개 이상의 헬멧-장착 카메라로부터의 영상 데이터를 헬멧-장착 관성 센서로부터의 관성 측정 데이터와 조합할 수 있다. 그리고, 비전-관성 내비게이션 시스템은, 사용자의 관점으로부터, 각 객체에 대한 추정된 위치가 실제 장면에서 보여지는 바와 같은 대응하는 객체에 중첩되도록 하는 투명한 디스플레이 장치 등에 각 객체에 대한 추정된 위치를 표시할 수 있다.

이들 양태의 추가적인 장점 및 신규한 특징은 이하의 설명에서 부분적으로 설명될 것이고, 부분적으로는 이하를 검토하거나 본 개시내용의 실시에 의한 학습에 의해 통상의 기술자에게 더 명확해질 것이다.

본 명세서에 통합되며 본 명세서의 일부를 구성하는 첨부된 도면은 본 개시내용의 하나 이상의 예시적인 양태를 도시하며, 상세한 설명과 함께 그 원리 및 구현을 설명하는 역할을 한다.
도 1은 본 개시내용의 양태에 따른 예시적인 비전-관성 내비게이션 시스템의 예시적인 동작 환경을 도시하는 도면이다.
도 2는 본 개시내용의 양태에 따른 단안 내비게이션 시스템의 일례의 정면도 및 측면도를 도시하는 도면이다.
도 3은 본 개시내용의 양태에 다른 HMD 시스템의 일례를 도시하는 도면이다.
도 4는 본 개시내용의 양태에 따른 단안 내비게이션 시스템의 넓은 동적 범위의 일례를 도시하는 예를 도시하는 도표이다.
도 5는 본 개시내용의 양태에 따른 시각적 특징물의 3차원(3D) 위치를 트래킹하는 방법의 흐름도이다.
도 6은 본 개시내용의 양태에 따른 HMD 시스템에 장착된 표시 장치와 관성 센서 사이의 보어사이트 교정을 수행하기 위한 방법의 흐름도이다.
도 7은 본 개시내용의 양태에 따른 스테레오 내비게이션 시스템을 교정하기 위한 방법의 흐름도이다.
도 8은 본 개시내용의 양태에 따른 스테레오 내비게이션 시스템의 일례를 도시하는 도면이다.
도 9는 본 개시내용의 양태에 따른 처리 시스템을 채용하는 시스템을 위한 하드웨어 구현의 예시적인 양태를 도시하는 도면이다.
도 10은 본 개시내용의 양태에 따른 사용을 위한 다양한 예시적인 시스템 구성요소를 도시하는 블록도이다.

첨부된 도면과 관련하여 아래에서 설명되는 상세한 설명은 다양한 구성의 설명으로 의도되며 여기에 설명된 개념이 실행될 수 있는 유일한 구성을 나타내지는 않는다. 상세한 설명은 다양한 개념에 대한 철저한 이해를 제공하기 위한 구체적인 세부사항을 포함한다. 그러나, 통상의 기술자는 이들 개념이 이들 구체적인 세부사항 없이 실시될 수 있다는 것을 명백히 알 것이다. 일부 경우에는, 이러한 개념을 모호하게 하지 않도록 잘 알려진 구조와 구성요소가 블록도 형태로 표시된다.

이제 다양한 시스템, 장치 및 방법을 참조하여 내비게이션 특징의 여러 양태를 제시한다. 이들 시스템, 장치 및 방법은 다음의 상세한 설명에서 설명될 것이고 첨부된 도면에서 다양한 블록, 모듈, 구성요소, 회로, 단계, 프로세스, 알고리즘 등(집합적으로 "요소"라 칭함)에 의해 도시될 것이다. 이들 요소는 전자 하드웨어, 컴퓨터 소프트웨어 또는 이들의 임의의 조합을 사용하여 구현될 수 있다. 이들 요소가 하드웨어 또는 소프트웨어로서 구현되는지의 여부는 특정 용례와 전반적인 구현에 부과된 설계 제약에 따라 달라진다.

예를 들어, 하나의 요소, 또는 하나의 요소의 임의의 부분, 또는 요소들의 임의의 조합은 하나 이상의 프로세서를 포함하는 "처리 시스템"으로 구현될 수 있다. 프로세서의 예는 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서(DSP), 필드 프로그래머블 게이트 어레이(FPGA), 프로그래머블 로직 디바이스(PLD), 상태 머신, 게이트 로직, 개별 하드웨어 회로, 및 본 개시내용 전체를 통해 설명되는 다양한 기능을 수행하도록 구성되는 다른 적절한 하드웨어를 포함한다. 처리 시스템의 하나 이상의 프로세서가 소프트웨어를 실행할 수 있다. 소프트웨어는, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어, 또는 기타로 지칭되는지에 관계없이, 명령어, 명령어 세트, 코드, 코드 세그먼트, 프로그램 코드, 프로그램, 서브프로그램, 소프트웨어 구성요소, 어플리케이션, 소프트웨어 어플리케이션, 소프트웨어 패키지, 루틴, 서브루틴, 오브젝트, 익스큐터블(executables), 실행 스레드, 프로시저(procedure), 함수 등을 포함하도록 광범위하게 구성될 것이다.

따라서, 하나 이상의 예시적인 실시예에서, 설명된 기능은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능은 컴퓨터 판독가능 매체 또는 매체들에 하나 이상의 명령어 또는 코드로서 저장되거나 인코딩될 수 있다. 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용한 매체일 수 있다. 예를 들어 그리고 비제한적으로, 이러한 컴퓨터 판독가능 매체는 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 전자적 소거가능 프로그래머블 ROM(EEPROM), 콤팩트 디스크 ROM(CD-ROM), 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스, 또는 명령어 또는 데이터 구조 형태의 원하는 프로그램 코드를 운반 또는 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스 될 수 있는 임의의 다른 매체를 포함할 수 있다. 본원에서 사용되는 바와 같은 디스크(disk) 및 디스크(disc)는 CD, 레이저 디스크, 광학 디스크, 디지털 다기능 디스크(DVD), 및 플로피 디스크를 포함하며, 여기서 디스크(disk)는 일반적으로 자기적으로 데이터를 재현하며, 디스크(disc)는 레이저로 광학적으로 데이터를 재현한다. 상기의 조합 또한 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.

일반적으로, 다른 것들 중에서, 본원에 개시된 비전-관성 내비게이션 시스템 및 방법은 넓은 범위의 조명 조건에서 실제 장면의 객체의 위치를 트래킹하는 것에 관한 것이다. 일 양태에서, 비전-관성 내비게이션 시스템은 상이한 조명 조건에서 실제 장면의 영상 데이터를 포착하도록 각각 구성될 수 있는 2개 이상의 카메라를 갖는 하나 이상의 헬멧-장착 내비게이션 서브시스템을 포함할 수 있다. 헬멧-장착 내비게이션 서브시스템은 지면에 대하여 헬멧의 배향의 측정을 제공하도록 구성된 관성 센서를 더 포함할 수 있다. 비전-관성 내비게이션 시스템은 또한 2개 이상의 카메라로부터 얻어진 영상 데이터를 관성 센서로부터 얻어진 데이터와 조합함으로써 실제 장면의 객체의 상대적인 위치를 추정하도록 구성된 원격 처리 요소를 포함할 수 있다. 일 양태에서, 원격 처리 유닛은 추정된 위치 각각이 실제 장면에서 사용자가 보는 바와 같은 대응하는 객체에 중첩되도록 헬멧-장착 디스플레이 포드(pod)에 추정된 위치를 제공하도록 구성될 수 있다. 예를 들어, 도 1을 참조하면, 실제 장면(100)(예를 들어, 실내 오피스 공간)의 객체(예를 들어, 조명 고정물)의 추정된 위치(102)는, 비전-관성 내비게이션 시스템을 착용하고 있는 사람의 관점으로부터, 실제 장면(100)의 사용자의 시야에 중첩될 수 있다. 사용자가 주위로 이동함에 따라, 객체의 각각의 추정된 위치의 값은 사용자의 위치에 대한(예를 들어, 비전-관성 내비게이션 시스템에 대한) 객체의 위치의 변화를 반영하도록 갱신될 수 있다. 원격 처리 유닛은 또한 사용자가 2개 이상의 카메라로부터의 조합된 영상 데이터 및 관성 센서로부터의 데이터에 기초한 경로를 따라 이동함에 따라 사용자의(예를 들어, 비전-관성 내비게이션 시스템의) 위치 및 배향을 추정하고 트래킹하도록 구성될 수 있다. 추가의 또는 대안적인 양태에서, 원격 처리 유닛은, 사용자의 트래킹된 경로를 나타내는 시각적 정보가 실제 장면(100)의 사용자의 시야에 중첩되도록, 헬멧-장착 디스플레이 포드에 사용자의 추정된 위치 및 배향을 제공하도록 구성될 수 있다. 사용자의 및/또는 객체의 위치에 관한 다른 정보가 실제 장면(100)의 사용자의 시야에 중첩될 수 있다는 것을 인식해야 한다.

도 2 및 도 3은 본 개시내용의 양태에 따라 사용하기 위한 예시적인 내비게이션 시스템 구성요소(예를 들어, 비전-관성 내비게이션 시스템의 부분)의 다양한 양태의 전반적인 시스템 도면을 도시한다. 도 2 및 도 3의 예시적인 내비게이션 시스템은, 넓은 범위의 동적 조명 조건에서 실제 장면의 영상(예를 들어, 개별 사진 또는 비디오의 프레임)을 포착하기 위한 예를 들어, 직사 태양광 촬상 장치(230), 실내 조명 촬상 장치(232) 또는 야간 비전 촬상 장치(night vision imaging apparatus)(234) 중 2개 이상을 갖는 헬멧-장착 디스플레이(HMD)(300)를 포함할 수 있다. 일 양태에서, 직사 태양광 촬상 장치(230)는 제1 범위의 조명 조건에서 영상 데이터를 포착하기 위한 제1 단안 카메라(도시되지 않음)를 포함할 수 있고, 실내 조명 촬상 장치(232)는 제2 범위의 조명 조건에서 영상 데이터를 포착하기 위한 제2 단안 카메라(도시되지 않음)를 포함할 수 있으며, 야간 비전 장치(234)는 제3 범위의 조명 조건에서 영상 데이터를 포착하기 위한 제3 단안 카메라(도시되지 않음)를 포함할 수 있다.

예를 들어, 도 4를 참조하면, 직사 태양광 촬상 장치(230)는 제1 범위의 조명 조건(예를 들어, 태양광)(422)에서 영상 데이터를 포착할 수 있다. 실내 조명 촬상 장치(232)는 제2 범위의 조명 조건(예를 들어, 실내 광)에서 영상 데이터를 포착할 수 있다. 야간 비전 촬상 장치(234)는 제3 범위의 조명 조건(예를 들어, 낮은 광)(426)에서 영상 데이터를 포착할 수 있다. 제1 범위의 조명 조건(422)은 제2 범위의 조명 조건(424)보다 밝을 수 있고, 제2 범위의 조명 조건은 제3 범위의 조명 조건(426)보다 밝을 수 있다.

제1 범위의 조명 조건(422)의 일부는 제1 중첩 영역에서 제2 범위의 조명 조건(424)의 일부와 중첩할 수 있다는 것을 인식해야 한다. 일 양태에서, 직사 태양광 촬상 장치(230) 및 실내 조명 촬상 장치(232)의 양자 모두는 제1 중첩 영역에서 영상 데이터를 포착하도록 구성될 수 있다. 유사하게, 제2 범위의 조명 조건(424)은 제2 중첩 범위에서 제3 범위의 조명 조건(426)과 중첩할 수 있다. 다른 양태에서, 실내 조명 촬상 장치(232) 및 야간 비전 촬상 장치(234)는 제2 중첩 영역에서 영상 데이터를 포착하도록 구성될 수 있다.

또한, 야간 비전 장치(234)는 HMD(300)의 환경에 빛이 존재하지 않을 때 영상 데이터를 포착할 수 없다는 것을 인식해야 한다. 이 경우, 예를 들어 야간 비전 촬상 장치(234)가 환경(예를 들어, 실제 장면)의 영상 데이터를 포착할 수 있도록, HMD(300)의 환경의 조명상태를 선택적으로 보조하기 위해 야간 비전 촬상 장치(234)에 조명기(236)가 결합될 수 있다. 조명기(236)는 예를 들어 적어도 하나의 발광 다이오드(LED)를 포함할 수 있다. LED는 자외선(UV) 범위 또는 야간 비전 촬상 장치(234)가 민감하지 않은 가시 스펙트럼의 특정 부분에서 동작할 수 있다.

도 2 및 도 3을 다시 참조하면, 직사 태양광 촬상 장치(230), 실내 조명 촬상 장치(232) 및/또는 야간 비전 촬상 장치(234) 중 2개 이상이 HMD(300)에 장착될 수 있다. 예를 들어, 일 양태에서, 직사 태양광 촬상 장치(230) 및 실내 조명 장치(232)가 HMD(300)의 하나 이상의 측면-장착 레일(330)에 장착될 수 있다. 다른 태양에서, 직사 태양광 촬상 장치(230), 실내 조명 장치(232) 및 야간 비전 촬상 장치(234)가 HMD(300)의 하나 이상의 측면-장착 레일(330)에 장착될 수 있다. 이 양태에서, 조명기(236)가 또한 야간 비전 촬상 장치(234)에 결합될 수도 있다. 또한, 일 양태에서, 직사 태양광 촬상 장치(230), 실내 조명 장치(232), 및 야간 비전 장치(234) 각각은 HMD(300)의 하나 이상의 측면-장착 레일(330)에 제거가능하게 장착될 수 있다. 예를 들어, 직사 태양광 촬상 장치(230), 실내 조명 촬상 장치(232), 및/또는 야간 비전 촬상 장치(234)는 HMD(300)의 하나 이상의 측면-장착 레일(330)로부터 분리가능할 수 있다.

도 2 및 도 3의 예시적인 내비게이션 시스템은 또한 관성 센서(238)를 포함할 수 있다. 일 양태에서, 관성 센서(238)는 또한 HMD(300)의 하나 이상의 측면-장착 레일(330)에 장착될 수 있다. 관성 센서(238)는 예를 들어, 미국 특허 제8,762,091호에 설명된 관성 측정 시스템의 양태이거나 또는 이 양태를 포함할 수 있으며, 그 내용은 전문이 본원에 참조로 통합된다. 관성 센서(238)는 관성 센서(238)의 현재 가속도를 측정하기 위한 가속도계 및/또는 관성 센서(238)의 회전 속성(예를 들어, 배향)의 변화를 측정하기 위한 자이로스코프, 및/또는 관성 센서(238)와 연관된 압력을 측정하기 위한 압력 센서를 포함할 수 있다. 관성 센서(238)는 또한 가속도계의 바이어스, 자이로스코프의 바이어스 및 압력 센서의 바이어스를 추정하기 위한 처리 시스템을 포함할 수 있다. 이러한 처리는 또한 이들 장치로부터 원격으로 수행될 수 있다. 일 양태에서, 관성 센서(238)는 관성 센서(238)의 현재 가속도, 관성 센서(238)의 배향, 가속도계의 바이어스, 자이로스코프의 바이어스, 및 압력 센서의 바이어스 같은 관성 측정을 제공하도록 구성될 수 있다.

도 2 및 도 3의 예시적인 내비게이션 시스템은 또한 디스플레이 드라이버(도시되지 않음) 및 자이로스코프(310)를 포함하는 헬멧-장착 디스플레이 포드를 포함할 수 있다. 일 양태에서, 헬멧-장착 디스플레이 포드는 예를 들어 HMD(300)의 이마부 에지에 장착될 수 있다. 또한, 디스플레이 드라이버(도시되지 않음)는 이것으로 제한되는 것은 아니지만 광 도파관 광학 요소(LOE)와 같은 투명한 디스플레이 장치(320)에 증강 현실 정보를 표시하도록 구성될 수 있다. 예를 들어, 일 양태에서, 디스플레이 드라이버(도시되지 않음)는 HMD(300)의 환경의 시각적 랜드마크(예를 들어, 객체)의 3D 위치를 LOE(320)에 표시하도록 구성될 수 있다. 헬멧-장착 디스플레이 포드는 LOE(320)가 HMD(300)의 사용자의 눈 중 하나의 전방에 위치되도록 구성될 수 있다. 또한, 디스플레이 드라이버(도시되지 않음)는 투명한 디스플레이 장치(320)에 표시되는 증강 현실 정보의 밝기를 자동으로 조정하도록 구성될 수 있다. 일 양태에서, 헬멧-장착 디스플레이 포드의 자이로스코프(310)는 예를 들어 3축 미세 전자 기계 시스템(MEMS) 자이로스코프일 수 있다. 자이로스코프(310)는 헬멧-장착 디스플레이 포드의 회전 속성(예를 들어, 피치, 롤 및/또는 요우)의 변화에 관한 배향 데이터를 측정하고 제공하도록 구성될 수 있다.

도 2 및 도 3을 계속 참조하면, 예시적인 내비게이션 시스템은 또한 처리 요소(340)를 포함할 수 있다. 일 양태에서, 처리 요소(340)는 인터페이스 박스 및 하나 이상의 케이블 및/또는 와이어(240)(예를 들어, 하나 이상의 USB(Universal Serial Bus), 이더넷 및/또는 광섬유 케이블)를 통해 헬멧-장착 디스플레이 포드, 관성 센서(238), 직사 태양광 촬상 장치(230), 실내 조명 촬상 장치(232), 및 선택적으로는 야간 비전 장치(234)에 결합될 수 있다. 처리 요소(340)는 헬멧으로부터 떨어진 위치에 제공될 수 있다는 것을 인식해야 한다. 예를 들어, 일 양태에서, 처리 요소(340)는 HMD(300)(도 3)에 장착되지 않을 수 있다. 처리 요소(340)는 단일 회로 기판에 구축된 내장 컴퓨터와 같은 시스템 온 모듈(system on module)(SOM)을 포함할 수 있다. SOM은 RAM을 갖는 마이크로프로세서, 입출력 컨트롤러 및 신호 처리에 필요한 모든 다른 특징을 포함할 수 있다. 또한, 처리 요소(340)는 이것으로 제한되는 것은 아니지만 다른 내비게이션 시스템(도 10에 도시된 바와 같음) 같은 외부 장치와 통신하기 위한 Bluetooth®무선 송수신기, Wi-Fi 송수신기, LTE 송수신기 및/또는 RFID 송수신기를 포함할 수 있다. 배터리(도시되지 않음)가 또한 예를 들어 케이블 및/또는 와이어(도시되지 않음)를 통해 처리 요소(340)에 결합될 수 있으며, 처리 요소(340), 직사 태양광 촬상 장치(230), 실내 조명 촬상 장치(232), 또는 야간 비전 촬상 장치(234) 중 하나 이상을 급전하기 위해 사용될 수 있다.

일 양태에서, 처리 요소(340)는 직사 태양광 촬상 장치(230), 실내 조명 촬상 장치(232) 또는 야간 비전 장치(234) 중 2개 이상의 존재를 자동으로 검출하도록 구성될 수 있다. 그리고, 처리 요소(340)는, 예를 들어 하나 이상의 케이블 및/또는 와이어(240)를 통해 직사 태양광 촬상 장치(230), 실내 조명 촬상 장치(232) 또는 야간 비전 장치(234) 중 검출된 2개 이상으로부터 영상 데이터를 얻도록 구성될 수 있다. 처리 요소는 추가로 예를 들어 하나 이상의 케이블 및/또는 와이어(240)를 통해 관성 센서(238)로부터의 관성 측정 데이터뿐만 아니라 헬멧-장착 디스플레이 포드로부터의 자이로스코프(310)의 배향 데이터를 얻도록 구성될 수 있다.

일 양태에서, 처리 요소(340)는 직사 태양광 촬상 장치(230), 실내 조명 촬상 장치(232) 또는 야간 비전 장치(234) 중 2개 이상으로부터 얻어진 영상 데이터에서 시각적 특징물의 3D 위치를 식별하고 트래킹하도록 구성될 수 있다. 이 양태에서, 처리 요소(340)는 추가로 트래킹된 3D 위치가 LOE(320)에 표시될 수 있도록 예를 들어 하나 이상의 케이블 및/또는 와이어(240)를 통해 헬멧-장착 디스플레이 포드에 트래킹된 3D 위치를 제공하도록 구성될 수 있다. 다른 양태에서, 처리 요소(340)는 HMD(300)에 장착된 관성 센서(238)의 배향을 헬멧 장착 디스플레이 포드의 자이로스코프(310)의 배향과 자동으로 정렬시키도록 구성될 수 있다. 또한, 다른 양태에서, 처리 요소(340)는 예시적인 내비게이션 시스템의 강건성을 향상시키기 위해 스테레오 카메라 구성(도 8에 도시된 바와 같음)을 검출하고 자동으로 정렬시키도록 구성될 수 있다.

도 5는 HMD(300)의 환경에서 시각적 특징물의 3D 위치를 트래킹하고 트래킹된 3D 위치를 HMD(300)의 환경의 대응하는 랜드마크에 표시하는 방법의 흐름도(500)이다. 상기 방법은 내비게이션 시스템(예를 들어, 도 2 및 도 3에 도시된 예시적인 내비게이션 시스템)에 의해 수행될 수 있다.

블록 502에서, 내비게이션 시스템의 처리 요소(340)(도 3)는 HMD(300)(도 3)에 장착된 직사 태양광 촬상 장치(230)(도 2), 실내 조명 촬상 장치(232)(도 2) 또는 야간 비전 촬상 장치(234)(도 2) 중 2개 이상으로부터의 영상 데이터를 얻을 수 있다. 예를 들어, 일 양태에서, 처리 요소(340)(도 3)는, 예를 들어 하나 이상의 케이블 및/또는 와이어(240)(도 2)를 통해, 직사 태양광 촬상 장치(230)(도 2) 및 실내 조명 촬상 장치(232)(도 2)에 의해 포착된 영상 데이터를 수신할 수 있다. 다른 양태에서, 처리 요소(340)는, 예를 들어 하나 이상의 케이블 및/또는 와이어(240)(도 2)를 통해, 야간 비전 촬상 장치(234)(도 2)에 의해 포착된 영상 데이터뿐만 아니라, 직사 태양광 촬상 장치(230)(도 2) 및 실내 조명 촬상 장치(232)(도 2)에 의해 포착된 영상 데이터를 수신할 수 있다.

일 양태에서, 처리 요소(340)(도 3)는 직사 태양광 촬상 장치(230)(도 2), 실내 조명 촬상 장치(232)(도 2), 또는 야간 비전 촬상 장치(234)(도 2) 중 2개 이상으로부터 얻어진 영상 데이터로부터 N개의 시각적 특징물의 세트를 추출할 수 있다. 그 후, 처리 요소(340)(도 2)는 현재 카메라 자세에 대한 N개의 시각적 특징물의 세트의 각 특징물(i)의 3D 위치를 추정할 수 있다. 예를 들어, 일 양태에서, 처리 요소(340)(도 3)는 직사 태양광 촬상 장치(230)(도 2)의 자세에 관하여 특징물(i)의 제1 거리 파라미터(ρAi) 및 특징물(i)에 대한 제1 베어링 벡터(first bearing vector)(μAi)를 추정할 수 있다. 유사하게, 처리 요소(340)(도 3)는 실내 조명 촬상 장치(232)(도 2)의 자세에 관하여 특징물(i)의 제2 거리 파라미터(ρBi) 및 특징물(i)에 대한 제2 베어링 벡터(μBi)를 추정할 수 있다.

블록 504에서, 처리 요소(340)(도 3)는 HMD(300)(도 3)에 장착된 관성 센서(238)(도 2)로부터 관성 측정 데이터를 얻을 수 있다. 예를 들어, 일 양태에서, 처리 요소(340)(도 3)는, 예를 들어 하나 이상의 케이블 및/또는 와이어(340)(도 3)를 통해, 관성 센서(238)로부터, 관성 센서(238)(도 2)의 현재 가속도, 관성 센서(238)(도 2)의 배향(q), 관성 센서(238)(도 2)의 가속도계의 바이어스(bf), 관성 센서(238)(도 2)의 자이로스코프의 바이어스(bw), 및 관성 센서(238)(도 2)의 압력 센서의 바이어스(bp)를 수신할 수 있다. 일 양태에서, 처리 요소(340)는 현재 가속도를 적분함으로써 관성 센서(238)(도 2)의 속도(v)를 계산할 수 있다. 처리 요소(340)(도 3)는 또한 결정된 속도(v)를 적분함으로써 관성 센서(238)(도 2)의 위치(r)를 계산할 수 있다.

블록 506에서, 처리 요소(340)(도 3)는 예를 들어 블록 502에서 획득된 영상 데이터 및 예를 들어 블록 504에서 획득된 관성 측정 데이터를 확장 칼만 필터(extended Kalman filter)(EKF)를 사용하여 필터링할 수 있다. 예를 들어, 일 양태에서, 처리 요소(340)(도 3)는 다음의 필터 상태를 사용하여 영상 데이터 및 관성 측정 데이터를 필터링할 수 있다:

x :=(r, v, q, b _f , b _w , b _p , μA ₀ , ..., μA _n , ρA ₀ , ... ρA _n , μB ₀ , ...,μB _n , ρB ₀ , ... ρB _n )

r: 관성 센서의 위치

v: 관성 센서의 속도

q: 관성 센서의 배향

b _f : 가속도계 바이어스

b _w : 자이로스코프 바이어스

b _p : 압력 센서 바이어스

μA _i : 특징물(i)에 대한 베어링 벡터

ρA _i : 특징물(i)의 거리 파라미터

μB _i : 특징물(i)에 대한 베어링 벡터

ρB _i : 특징물(i)의 거리 파라미터

처리 요소(340)(도 3)는 EKF를 사용하여 모든 영상 데이터(예를 들어, μAi, ρAi, μBi 및 ρBi) 및 관성 측정 데이터(예를 들어, r, v, q, bf, bw, 및 bp)를 처리하여 각 특징물(i)에 대한 3D 위치의 종합적인 최선의 추정치를 산출한다.

블록 508에서, 처리 요소(340)(도 3)는 N개의 시각적 특징물의 각 특징물의 위치(예를 들어, 3D 위치)를 트래킹할 수 있다. 예를 들어, 일 양태에서, 처리 요소(340)(도 3)는 예를 들어 블록 502에서 직사 태양광 촬상 장치(230)(도 2), 실내 조명 촬상 장치(232)(도 2 ), 또는 야간 비전 촬상 장치(234)(도 2) 중 2개 이상으로부터 새로운 영상 데이터를 얻을 수 있다. 새롭게 얻어진 영상 데이터는 상이한 카메라 자세로부터 포착될 수 있다. 예를 들어, HMD(300)(도 3)에 장착된 직사 태양광 촬상 장치(230)(도 2), 실내 조명 촬상 장치(232)(도 2) 또는 야간 비전 촬상 장치(234)(도 2) 중 2개 이상의 자세는, HMD의 사용자가 그들의 머리를 좌측 및/또는 우측으로 돌리거나, 새로운 위치로 이동하거나, 그렇지 않으면 HMD(300)(도 3)의 위치 및/또는 배향을 조정함에 따라 변경될 수 있다. 따라서, 처리 요소(340)(도 3)는 상이한 카메라 자세에 대해 획득된 영상 데이터의 각 특징물(i)의 3D 위치를 재추정할 수 있다. 처리 요소(340)(도 3)는 또한, HMD의 사용자가 HMD(300)(도 3)의 위치 및/또는 배향을 조정할 때, 예를 들어 블록 504에서 관성 센서(238)(도 2)로부터 새로운 관성 측정 데이터를 얻을 수 있다. 그 후, 처리 요소(340)(도 3)는 새롭게 획득된 영상 데이터 및/또는 관성 측정 데이터에 기초하여 예를 들어 블록 506에서 EKF 필터 상태의 하나 이상의 파라미터를 갱신하여, N개의 특징물의 각 특징물(i)의 3D 위치의 새로운 종합적인 최선의 추정치를 산출할 수 있다.

블록 510에서, 헬멧-장착 디스플레이 포드는 N개의 시각적 특징물의 트래킹된 3D 위치를 표시할 수 있다. 일 양태에서, 처리 요소(340)(도 3)는 N개의 시각적 특징물의 각 특징물(i)의 3D 위치의 종합적인 최선의 추정치를 헬멧-장착 디스플레이 포드(도 3)에 연속적으로 송신하도록 구성될 수 있다. 예를 들어, 처리 요소(340)(도 3)는, 예를 들어 블록 508에서 얻어진 N개의 시각적 특징물의 3D 위치의 종합적인 최선의 추정치를 하나 이상의 케이블 및/또는 와이어(240)(도 2)를 통해 헬멧 장착 디스플레이 포드에 송신할 수 있다. 그 후, 헬멧-장착 디스플레이 포드(도 3)는 N개의 시각적 특징물의 3D 위치의 종합적인 최선의 추정치를 대표 위치 시각 영상 정보에 합치고 대표 위치 시각 영상 정보를 LOE(320)(도 3)에 표시하도록 구성될 수 있다. 예를 들어, HMD의 관점의 사용자로부터, 각각의 시각적 특징물의 추정된 위치가 실제 세계의 대응하는 랜드마크에 투영되도록, 대표 위치 시각 영상 정보가 LOE(320)(도 3)에 표시될 수 있다.

추가적인 또는 대안적인 양태에서, 헬멧-장착 디스플레이 포드는 LOE(도 3)(320)에 사용자(예를 들어, HMD(300))의 위치를 나타내는 시각적 영상 정보를 표시하도록 구성될 수 있다. 예를 들어, 일 양태에서, 처리 요소(340)(도 3)는 N개의 시각적 특징물의 트래킹된 3D 위치에 기초하여 HMD(300)가 시작된 곳에 대한 HMD(300)의 위치를 추정할 수 있다. 헬멧-장착 디스플레이 포드는 또한 사용자의 및/또는 시각적 특징물의 위치와 관련된 다른 시각적 영상 정보를 표시하도록 구성될 수 있다는 것을 인식해야 한다.

도 6은 도 2 및 도 3의 예시적인 내비게이션 시스템에서 관성 센서(238)(도 2)와 헬멧-장착 디스플레이 포드(도 3) 사이의 보어사이트 교정을 자동적으로 수행하는 방법의 흐름도(600)이다. 예를 들어, 일 양태에서, 관성 센서(238)(도 2)의 배향(예를 들어, 회전) 및 헬멧-장착 디스플레이 포드(도 3)의 배향은 자동적으로 정렬될 수 있어, 각 특징물의 추정된 위치를 나타내는 시각적 정보가 실제 장면의 대응하는 랜드마크에 정확하게 투영된다.

블록 602에서, 자이로스코프(310)(도 3)는 HMD(300)(도 3)에 장착된 헬멧-장착 디스플레이 포드(도 3)의 회전을 검출하도록 구성될 수 있다. 예를 들어, HMD(300)(도 3)의 제1 사용자는 헬멧-장착 디스플레이 포드(도 3)의 LOE(320)(도 3)가 제1 사용자의 눈 앞에 위치되도록 HMD(300)(도 3)의 이마부 에지에 대해 제1 장착 각도로 헬멧-장착 디스플레이 포드(도 3)를 장착할 수 있다. 그러나, HMD(300)(도 3)의 제2 사용자는 LOE(320)(도 3)가 제2 사용자의 눈 앞에 위치되도록 HMD(300)(도 3)의 이마부 에지에 대해 제2 장착 각도로 헬멧-장착 디스플레이(도 3)를 장착하도록 선택할 수 있다. 따라서, HMD(300)(도 3)의 제2 사용자는 헬멧-장착 디스플레이 포드(도 3)를 제1 장착 위치로부터 제2 장착 위치로 이동(예를 들어, 회전)시킬 수 있다. 또한, HMD(300)(도 3)의 헬멧-장착 디스플레이 포드는 제2 사용자가 그의 또는 그녀의 머리를 좌측, 우측, 위 및/또는 아래로 움직임에 따라 회전할 수 있다. 일 양태에서, 헬멧-장착 디스플레이 포드(도 3)의 자이로스코프(310)(도 3)는 헬멧-장착 디스플레이 포드(도 3)의 회전(예를 들어, 롤, 피치 및 요우)을 검출 및 측정할 수 있다.

블록 604에서, 관성 센서(238)(도 2)의 자이로스코프(도시되지 않음)는 HMD(300)(도 3)에 장착된 관성 센서(238)의 회전을 검출하도록 구성될 수 있다. 관성 센서(238)는, 예를 들어, HMD(300)의 제2 사용자가 머리를 좌측, 우측, 위 및/또는 아래로 움직임에 따라 회전할 수 있다. 일 양태에서, 관성 센서(238)(도 2)의 자이로스코프는 관성 센서(238)(도 2)의 회전을 검출 및 측정할 수 있다.

관성 센서(238)(도 2)는 직사 태양광 촬상 장치(230)(도 2), 실내 조명 촬상 장치(232)(도 2), 또는 야간 비전 촬상 장치(234)(도 2) 중 2개 이상에 매우 가깝게(예를 들어, 몇 인치 이내)에 HMD(300)(도 3)에 장착될 수 있다는 것을 인식해야 한다. 따라서, 관성 센서(238)(도 2)의 회전은 직사 태양광 촬상 장치(230)(도 2), 실내 조명 촬상 장치(232)(도 2) 또는 야간 비전 촬상 장치(234)(도 2) 중 2개 이상의 회전에 대략 대응할 수 있다.

블록 606에서, 처리 요소(340)(도 3)는 예를 들어 블록 602 및 604에서 얻어진 회전 정보에 기초하여 관성 센서(238)(도 2)의 회전과 헬멧-장착 디스플레이 포드(도 3)의 회전 사이의 오프셋을 결정하도록 구성될 수 있다. 일 양태에서, 처리 요소(340)(도 3)는 예를 들어 인터페이스 박스 및 하나 이상의 케이블 및/또는 와이어(240)(도 2)를 통해 헬멧-장착 디스플레이 포드(도 3)의 자이로스코프(310)(도 3)와 관성 센서(238)(도 2)의 자이로스코프(도시되지 않음)의 양자 모두로부터 회전 정보를 얻을 수 있다. 일 양태에서, 처리 요소(340)는 예를 들어 지면에 관하여 헬멧-장착 디스플레이 포드(도 3)의 자이로스코프(310)(도 3)의 회전과 관성 센서(238)(도 2)의 자이로스코프의 회전 사이의 회전 오프셋을 계산할 수 있다.

블록 608에서, 처리 요소(340)(도 3)는 헬멧-장착 디스플레이 포드(도 3)의 자이로스코프(310)(도 3)의 회전을 관성 센서(238)(도 2)의 자이로스코프의 회전과 정렬(예를 들어, 교정)시키도록 구성될 수 있다. 예를 들어, 일 양태에서, 처리 요소(340)는 자이로스코프 사이의 회전 오프셋이 0으로 감소되도록 자이로스코프(310)(도 3)의 회전 및/또는 관성 센서(238)(도 2)의 회전을 조정하도록 구성될 수 있다.

관성 센서(238)(도 2)의 배향을 자이로스코프(310)(도 3)의 배향과 자동적으로 정렬시키는 방법(600)은, HMD(300)의 환경의 시각적 특징물의 3D 위치를 트래킹 및 표시하는 방법(500)(도 5)이 처리 요소(340)(도 3)에 의해 실행되기 전, 실행되는 도중, 및/또는 실행된 후에 구현될 수 있다는 것을 인식해야 한다.

도 7은 본 개시내용의 양태에 따라 스테레오 카메라 구성(예를 들어, 제1 단안 내비게이션 시스템 및 제2 단안 내비게이션 시스템)을 검출하고 자동적으로 교정하는 방법의 흐름도(700)이다. 예를 들어, 일 양태에서, 도 8을 참조하면, 제1 단안 내비게이션 시스템(810)은, HMD(300)(도 3)의 제1 측면에 장착되는, 관성 센서(238)(도 2)와, 직사 태양광 촬상 장치(230)(도 2), 실내 조명 촬상 장치(232)(도 2), 또는 야간 비전 촬상 장치(234)(도 2) 중 2개 이상을 포함할 수 있다. 이 양태에서, 제2 단안 내비게이션 시스템(820)은, HMD(300)(도 3)의 제2 측면에 장착되는, 관성 센서(238)(도 2)와, 직사 태양광 촬상 장치(230)(도 2), 실내 조명 촬상 장치(232)(도 2) 및/또는 야간 비전 촬상 장치(234)(도 2) 중 2개 이상을 포함할 수 있다. 일 양태에서, 헬멧-장착 디스플레이 포드(도 3)는 또한 HMD(300)(도 3)의 이마부 에지에 장착될 수 있다. 예를 들어, 일 양태에서, 제1 단안 내비게이션 시스템(810)은 헬멧-장착 디스플레이 포드(도 3)에 대한 제1 위치 오프셋에서 HMD(300)의 제1 측면에 장착될 수 있다. 유사하게, 이 양태에서, 제2 단안 내비게이션 시스템(820)은 헬멧-장착 디스플레이 포드(도 3)에 대한 제2 위치 오프셋(예를 들어, 제1 위치 오프셋보다 더 큰 위치 오프셋)에서 HMD(300)의 제2 측면에 장착될 수 있다. 또한, 일 양태에서, 처리 요소(340)는 제1 단안 내비게이션 시스템(810), 제2 단안 내비게이션 시스템(820) 및/또는 헬멧-장착 디스플레이 포드(도 3)에 결합되고 이들과 통신할 수 있다.

또한, 스테레오 카메라 구성의 사용은 강건성을 향상시킬 뿐만 아니라 다른 특징 및/또는 장점을 제공할 수 있다는 것을 인식해야 한다. 예를 들어, 일 양태에서, 제1 단안 내비게이션 시스템(810) 및 제2 단안 내비게이션 시스템(820)은 도 5와 관련하여 본원에 설명된 바와 같이 HMD(300)의 환경의 시각적 랜드마크의 위치 및 배향을 독립적으로 트래킹하도록 각각 구성될 수 있다. 제1 단안 내비게이션 시스템(810) 및 제2 단안 내비게이션 시스템(820)이 교정되면, 처리 요소(340)는 제1 단안 내비게이션 시스템(810) 및 제2 단안 내비게이션 시스템(820)으로부터 얻어진 정보를 조합하여 시각적 랜드마크의 위치 및/또는 사용자(예를 들어, 스테레오 내비게이션 시스템)의 위치를 더 정확하게 추정할 수 있다. 그 후, 헬멧-장착 디스플레이 포드(도 3)는 시각적 랜드마크의 추정된 위치를 실제 장면의 대응하는 랜드마크 및/또는 실제 장면에서의 사용자의 추정된 위치뿐만 아니라, 사용자의 및/또는 랜드마크의 위치에 관련된 다른 정보에도 중첩시키도록 구성될 수 있다.

다시 도 7을 참조하면, 본 개시내용의 양태에 따라 사용하기 위한 제1 단안 내비게이션 시스템(810)(도 8) 및 제2 단안 내비게이션 시스템(820)(도 8)을 검출하고 자동적으로 교정하는 방법이 도시된다. 블록 702에서, 처리 요소(340)(도 3)는 제1 단안 내비게이션 시스템(810)(도 8)이 HMD(300)(도 3)의 좌측 또는 우측에 장착되었는지의 여부를 결정하도록 구성될 수 있다. 예를 들어, 일 양태에서, 제1 단안 내비게이션 시스템(810)(도 8)의 제1 관성 센서의 제1 가속도계는 제1 관성 센서의 가속도(예를 들어, 관성력)를 측정할 수 있다. 제1 관성 센서는 가속도의 값을 처리 유닛(340)(도 3)에 송신할 수 있다. 그 후, 처리 유닛(340)(도 3)은 가속도의 값이 양 또는 음인지의 여부를 결정할 수 있다. 가속도가 양의 값이면, 처리 유닛(340)은 제1 내비게이션 시스템이 헬멧의 좌측에 장착되었다고(예를 들어, 제1 관성 센서가 상측이 아래쪽으로 장착되었다고) 결정할 수 있다. 가속도가 음의 값이면, 처리 유닛(340)은 제2 내비게이션 시스템이 헬멧의 우측에 장착되었다고(예를 들어, 제1 관성 센서가 하측이 아래쪽으로 장착되었다고) 결정할 수 있다.

블록 704에서, 처리 요소(340)(도 3)는 제2 단안 내비게이션 시스템(820)(도 8)이 HMD(300)(도 3)의 좌측 또는 우측에 장착되어 있는지의 여부를 결정하도록 구성될 수 있다. 예를 들어, 일 양태에서, 제2 단안 내비게이션 시스템(820)(도 8)의 제2 관성 센서의 제2 가속도계는 제2 관성 센서의 가속도(예를 들어, 관성력)를 측정할 수 있다. 제2 관성 센서는 가속도의 값을 처리 유닛(340)(도 3)에 송신할 수 있다. 그 후, 처리 유닛(340)(도 3)은 가속도의 값이 양 또는 음인지의 여부를 결정할 수 있다. 가속도가 양의 값인 경우, 처리 유닛(340)은 제2 내비게이션 시스템이 헬멧의 좌측에 장착되었다고(예를 들어, 제2 관성 센서가 상측이 아래쪽으로 장착되었다고) 결정할 수 있다. 가속도가 음의 값인 경우, 처리 유닛(340)(도 3)은 제2 내비게이션 시스템이 헬멧의 우측에 장착되었다고(예를 들어, 제2 관성 센서가 하측이 아래쪽으로 장착되었다고) 결정할 수 있다.

블록 706에서, 처리 요소(340)(도 3)는 헬멧-장착 디스플레이 포드(도 3)에 대한 제1 단안 내비게이션 시스템(810)의 위치 오프셋을 결정하도록 구성될 수 있다. 일 양태에서, 제1 단안 내비게이션 시스템(810)의 위치 오프셋은 예를 들어 테이블 또는 데이터 어레이에 저장된 값일 수 있다. 예를 들어, 예컨대 블록 702에서 제1 내비게이션 시스템이 HMD(300)(도 3)의 좌측 또는 우측에 장착되었다고 결정되는 경우, 처리 요소(340)(도 3)는 테이블 또는 데이터 어레이로부터 각각 좌측 및 우측에 대응하는 제1 위치 오프셋 또는 제2 위치 오프셋을 검색할 수 있다.

블록 708에서, 처리 요소(340)(도 3)는 헬멧-장착 디스플레이 포드(도 3)에 대한 제2 단안 내비게이션 시스템(820)의 위치 오프셋을 결정하도록 구성될 수 있다. 일 양태에서, 제2 단안 내비게이션 시스템(820)의 위치 오프셋은 예를 들어 테이블 또는 데이터 어레이에 저장된 값일 수 있다. 예를 들어, 예컨대 블록 702에서, 제2 내비게이션 시스템이 HMD(300)(도 3)의 좌측 또는 우측에 장착되었다고 결정되면, 처리 요소(340)(도 3)는 테이블 또는 데이터 어레이로부터 각각 좌측 및 우측에 대응하는 제1 위치 오프셋 또는 제2 위치 오프셋을 검색할 수 있다.

블록 710에서, 처리 요소(340)(도 3)는 제1 단안 내비게이션 시스템(810)(도 8) 및 제2 단안 내비게이션 시스템(820)(도 8)을 정렬시키도록 구성될 수 있다. 예를 들어, 일 양태에서, 처리 요소(340)(도 3)는 예컨대 블록 706에서 결정된 제1 단안 내비게이션 시스템의 위치 오프셋에 기초하여 제1 단안 내비게이션 시스템(810)(도 8)을 HMD(300)(도 3)의 헬멧-장착 디스플레이 포드(도 3)와 자동적으로 정렬(예를 들어, 교정)시킬 수 있다. 처리 요소는 유사하게 예컨대 블록 708에서 결정된 제2 단안 내비게이션 시스템(820)의 위치 오프셋에 기초하여 제2 단안 내비게이션 시스템(820)(도 8)을 HMD(300)(도 3)의 헬멧-장착 디스플레이 포드(도 3)로 교정할 수 있다. 따라서, 제1 단안 내비게이션 시스템(810)(도 8) 및 제2 단안 내비게이션 시스템(820)(도 8)의 상대적인 위치는 서로 정렬될 수 있다.

도 9는 본원에 제시된 양태에 따라 사용하기 위한 다양한 하드웨어 구성요소 및 다른 특징의 예시적인 시스템 도면을 나타낸다. 양태는 하드웨어, 소프트웨어 또는 이들의 조합을 이용하여 구현될 수 있으며 하나 이상의 컴퓨터 시스템 또는 다른 처리 시스템에서 구현될 수 있다. 일례에서, 양태는 예를 들어 도 5, 도 6 및 도 7과 관련하여 본원에서 설명되는 기능을 실행할 수 있는 하나 이상의 컴퓨터 시스템을 포함할 수 있다. 이러한 컴퓨터 시스템(900)의 일례가 도 9에 도시되어 있다.

컴퓨터 시스템(900)은 프로세서(904)와 같은 하나 이상의 프로세서를 포함한다. 프로세서(904)는 도 2 및 도 3과 관련하여 설명되는 처리 요소(340)에 대응할 수 있다. 프로세서(904)는 통신 인프라스트럭쳐(906)(예를 들어, 통신 버스, 크로스오버 바아, 또는 네트워크)에 연결된다. 다양한 소프트웨어 양태가 이 예시적인 컴퓨터 시스템의 관점에서 설명된다. 이 설명을 읽은 후에, 다른 컴퓨터 시스템 및/또는 아키텍처를 사용하여 본원에 제시된 양태를 구현하는 방법은 통상의 기술자에게 명백해질 것이다.

컴퓨터 시스템(900)은 디스플레이 유닛(930)에의 표시를 위해 통신 인프라스트럭쳐(906)로부터 (또는 도시되지 않은 프레임 버퍼로부터) 그래픽, 텍스트, 및 다른 데이터를 전송하는 디스플레이 인터페이스(902)를 포함할 수 있다. 컴퓨터 시스템(900)은 또한 주 메모리(908), 바람직하게는 랜덤 액세스 메모리(RAM)를 포함할 수 있고, 또한 보조 메모리(910)를 포함할 수 있다. 보조 메모리(910)는 예를 들어 하드 디스크 드라이브(912), 및/또는 플로피 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브 등을 나타내는 제거가능 저장 드라이브(914)를 포함할 수 있다. 제거가능 저장 드라이브(914)는 잘 알려진 방식으로 제거가능 저장 유닛(918)에 대해 읽기 및/또는 쓰기를 행한다. 제거가능 저장 유닛(918)은 제거가능 저장 드라이브(914)에 의해 읽히고 쓰여지는 플로피 디스크, 자기 테이프, 광학 디스크 등을 나타낸다. 인식되는 바와 같이, 제거가능 저장 유닛(918)은 내부에 컴퓨터 소프트웨어 및/또는 데이터가 저장된 컴퓨터 이용가능 저장 매체를 포함한다.

대안적인 양태에서, 보조 메모리(910)는 컴퓨터 프로그램 또는 다른 명령어가 컴퓨터 시스템(900)에 로딩되는 것을 허용하는 다른 유사한 장치를 포함할 수 있다. 이러한 장치는 예를 들어 제거가능 저장 유닛(922) 및 인터페이스(920)를 포함할 수 있다. 이러한 것의 예는 프로그램 카트리지 및 카트리지 인터페이스(비디오 게임 장치에서 발견되는 것과 같은 것), 제거가능 메모리 칩(소거가능 프로그래머블 리드 온리 메모리(EPROM), 또는 프로그래머블 리드 온리 메모리(PROM) 같은 것), 및 연관된 소켓과, 다른 제거가능 저장 유닛(922) 및 소프트웨어 및 데이터가 제거가능 저장 유닛(922)으로부터 컴퓨터 시스템(900)에 전송되는 것을 허용하는 인터페이스(920)를 포함할 수 있다.

컴퓨터 시스템(900)은 또한 통신 인터페이스(924)를 포함할 수 있다. 통신 인터페이스(924)는 소프트웨어 및 데이터가 컴퓨터 시스템(900)과 외부 장치 사이에서 전송되는 것을 허용한다. 통신 인터페이스(924)의 예는 모뎀, 네트워크 인터페이스(이더넷 카드 같은 것), 통신 포트, 개인용 컴퓨터 메모리 카드 국제 연합(Personal Computer Memory Card International Association)(PCMCIA) 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(924)를 통해 전송되는 소프트웨어 및 데이터는, 통신 인터페이스(924)에 의해 수신될 수 있는 전자, 전자기, 광학 또는 다른 신호일 수 있는 신호(928)의 형태이다. 이들 신호(928)가 통신 경로(예를 들어, 채널)(926)을 통해 통신 인터페이스(924)에 제공된다. 이 경로(926)는 신호(928)를 운반하며, 와이어 또는 케이블, 광섬유, 전화선, 셀 방식 링크, 무선 주파수(RF) 링크 및/또는 다른 통신 채널을 이용하여 구현될 수 있다. 이 문서에서, "컴퓨터 프로그램 매체" 및 "컴퓨터 이용가능 매체"라는 용어는 일반적으로 제거가능 저장 드라이브(914), 하드 디스크 드라이브(912)에 설치된 하드 디스크 및 신호 (928)와 같은 매체를 지칭하기 위해 사용된다. 이들 컴퓨터 프로그램 제품은 소프트웨어를 컴퓨터 시스템(900)에 제공한다. 본원에 제시된 양태는 이러한 컴퓨터 프로그램 제품을 포함할 수 있다.

컴퓨터 프로그램(또한, 컴퓨터 제어 로직이라고도 칭함)은 주 메모리(908) 및/또는 보조 메모리(910)에 저장된다. 컴퓨터 프로그램은 또한 통신 인터페이스(924)를 통해 수신될 수 있다. 이러한 컴퓨터 프로그램은, 실행될 때, 컴퓨터 시스템(900)이 본원에서 논의된 바와 같이 본원에 제시된 특징을 수행할 수 있게 한다. 특히, 컴퓨터 프로그램은 실행될 때 프로세서(904)가 본원에 제시된 특징을 수행할 수 있게 한다. 따라서, 이러한 컴퓨터 프로그램은 컴퓨터 시스템(900)의 컨트롤러를 나타낸다.

소프트웨어를 이용하여 구현되는 양태에서, 소프트웨어는 제거가능 저장 드라이브(914), 하드 드라이브(912) 또는 통신 인터페이스(920)를 이용하여 컴퓨터 프로그램 제품에 저장되고 컴퓨터 시스템(900)에 로딩될 수 있다. 제어 로직(소프트웨어)은, 프로세서(904)에 의해 실행될 때, 프로세서(904)가 본원에서 설명된 바와 같은 기능을 수행하게 한다. 다른 예에서, 양태는 예를 들어 응용 주문형 집적 회로(ASIC)와 같은 하드웨어 구성요소를 사용하여 주로 하드웨어로 구현될 수 있다. 본원에서 설명된 기능을 수행하기 위한 하드웨어 상태 머신의 구현은 통상의 기술자에게 명백할 것이다.

또 다른 예에서, 본원에 제시된 양태는 하드웨어 및 소프트웨어의 양자 모두의 조합을 이용하여 구현될 수 있다.

도 10은 본 개시내용의 양태에 따라 사용될 수 있는 다양한 예시적인 시스템 구성요소의 블록도를 도시한다. 시스템(1000)은 하나 이상의 접근자(1060, 1062)(본원에서는 하나 이상의 "사용자"라고도 상호교환가능하게 지칭됨) 및 하나 이상의 터미널(1042, 1066)(이러한 터미널은 예를 들어 도 2, 도 3 및 도 8에 도시된 내비게이션 시스템의 다양한 특징이거나 이러한 특징을 포함할 수 있음)을 포함한다. 일 양태에서, 본 개시내용의 양태에 따라 사용하기 위한 데이터는, 예를 들어 개인용 컴퓨터(PC), 미니컴퓨터, 메인프레임 컴퓨터, 마이크로컴퓨터, 전화 장치, 또는 개인용 디지털 보조기("PDA") 같은 무선 장치 등의 터미널(1042, 1066), 또는 PC, 미니컴퓨터, 메인프레임 컴퓨터, 마이크로컴퓨터, 또는 프로세서 및 데이터를 위한 저장소 및/또는 예를 들어 인터넷 또는 인트라넷 같은 네트워크(1044)와 커플링(1045, 1046, 1064)을 통해 데이터를 위한 저장소에의 연결부를 갖는 다른 장치 등의 서버(1043)에 결합되는 휴대용 무선 장치를 통해, 접근자(1060, 1062)에 의해 입력 및/또는 액세스된다. 커플링(1045, 1046, 1064)은 예를 들어 유선, 무선 또는 광섬유 링크를 포함한다. 다른 예시적인 변형에서, 본 개시내용의 양태에 따른 방법 및 시스템은 독립형 환경, 예를 들어 단일 터미널에서 동작한다.

본원에 설명된 양태를 위에서 요약된 예시적인 양태와 관련하여 설명하였지만, 공지 여부에 관계없는 또는 현재 예측되지 않았거나 예측되지 않았을 수 있는 다양한 대안, 수정, 변형, 개선 및/또는 실질적인 등가물이 통상의 기술자에게는 명백해질 수 있다. 따라서, 전술한 바와 같은 예시적인 양태는 예시적인 것으로 의도된 것이지 제한하려는 것은 아니다. 본 개시내용의 사상 및 범위 내에서 다양한 변경이 이루어질 수 있다. 그러므로, 본 개시내용은 모든 공지된 또는 후발-개발된 대안, 수정, 변형, 개선 및/또는 실질적 등가물을 포함하는 것으로 의도된다.

따라서, 청구항은 본원에 나타낸 양태에 한정되는 것이 아니라, 언어 청구항과 일치하는 전체 범위를 부여하는 것이며, 여기서 요소에 대한 단수 언급은 구체적으로 그렇게 설명되지 않는 한 "하나의 유일한 요소"를 의미하는 것이 아니라 "하나 이상"을 의미하는 것이다. 통상의 기술자에게 알려져 있거나 나중에 알려지게 될 본 개시내용 전체에서 설명된 다양한 양태의 요소에 대한 모든 구조적 및 기능적 등가물은 참조에 의해 본원에 명백히 통합되며 청구항에 의해 포함되도록 의도된다. 또한, 본원에 개시된 어떠한 것도 그러한 개시가 청구항에서 명시적으로 언급되는지에 관계없이 공공에게 헌납되도록 의도되지 않는다. 청구되지 않는 요소는 "~을 위한 수단"이라는 문구를 사용하여 명시적으로 언급되지 않는 한 수단 더하기 기능으로서 해석되어야 한다.

개시된 프로세스/흐름도의 블록의 특정 순서 또는 계층은 예시적인 접근법의 예시라는 것을 이해해야 한다. 설계 선호도에 기초하여, 프로세스/흐름도의 블록의 특정 순서 또는 계층은 재배열될 수 있다는 것을 이해해야 한다. 또한, 일부 블록은 조합되거나 생략될 수 있다. 첨부된 방법 청구항은 다양한 블록의 요소를 표본적인 순서로 제시하며, 제시된 특정 순서 또는 계층으로 한정되는 것을 의미하지 않는다.

이전의 설명은 통상의 기술자가 본원에 설명된 다양한 양태를 실시할 수 있도록 제공된다. 이들 양태에 대한 다양한 변형은 통상의 기술자에게 쉽게 명백해질 것이며, 본원에 규정된 일반적인 원리는 다른 양태에 적용될 수 있다. 따라서, 청구항은 본원에 나타낸 양태에 한정되는 것이 아니라, 언어적 청구항과 일치하는 전체 범위가 부여되는 것이며, 여기서 요소에 대한 단수 언급은 구체적으로 그렇게 설명되지 않는 한 "하나의 유일한 요소"를 의미하는 것이 아니라 "하나 이상"을 의미하는 것이다. "예시적"이라는 단어는 본원에서 "일례, 경우, 또는 예시로서의 역할을 한다"는 의미이다. "예시적"으로서 본원에 기재된 어떠한 양태도 반드시 다른 양태에 비해 바람직하거나 유리한 것으로 해석되는 것은 아니다. 달리 구체적으로 명시되지 않는 한, "일부"라는 용어는 하나 이상을 지칭한다. "A, B 또는 C 중 적어도 하나", "A, B 및 C 중 적어도 하나", 및 "A, B, C 또는 이들의 임의 조합"과 같은 조합은 A, B 및/또는 C의 임의의 조합을 포함하며, A의 다수, B의 다수 또는 C의 다수를 포함할 수 있다. 구체적으로, "A, B 또는 C 중 적어도 하나", "A, B 및 C 중 적어도 하나" 및 "A, B, C 또는 그 임의의 조합" 같은 조합은 A만, B만, C만, A와 B, A와 C, B와 C 또는 A와 B와 C일 수 있으며, 임의의 이러한 조합은 A, B 또는 C의 하나 이상의 멤버 또는 멤버들을 포함할 수 있다. 통상의 기술자에게 공지되어 있거나 나중에 공지될 본 개시내용 전체를 통해 설명되는 다양한 양태의 요소에 대한 모든 구조적 및 기능적 등가물은 참조에 의해 본원에 명시적으로 통합되며 청구항에 의해 포함되도록 의도된다. 또한, 본원에 개시된 어떠한 것도 그러한 개시가 청구항에서 명시적으로 언급되는지에 관계없이 공공에게 헌납되도록 의도되지 않는다. 청구되지 않는 요소는 "~을 위한 수단"이라는 문구를 사용하여 명시적으로 언급되지 않는 한 수단 더하기 기능으로서 해석되어야 한다.

Claims

비전-관성 내비게이션을 위한 방법에 있어서,
제 1 내비게이션 서브시스템의 제1 태양광 촬상 장치, 제1 실내 조명 촬상 장치, 및 제1 야간 비전 촬상 장치로 구성된 그룹에서 선택된 2개 이상의 장치로부터 영상 데이터를 수신하는 단계로서, 상기 영상 데이터는 환경의 시각적 특징물을 포착하는 것인, 상기 영상 데이터 수신 단계;
상기 제1 내비게이션 서브시스템의 제1 관성 센서(IMU)로부터 제1 관성 측정 데이터를 수신하는 단계;
상기 제1 태양광 촬상 장치, 상기 제1 실내 조명 촬상 장치 및 상기 제1 야간 비전 촬상 장치 중 2개 이상의 장치로부터 수신된 영상 데이터 및 상기 제1 IMU로부터 수신된 제1 관성 측정 데이터에 기초하여 상기 시각적 특징물의 위치를 트래킹하는 단계;
복수의 트래킹 위치를 대표 위치 시각 영상 정보에 합치는 단계; 및
상기 대표 위치 시각 영상 정보를 표시하는 단계를 포함하는 방법.
청구항 1에 있어서,
상기 제1 태양광 촬상 장치, 상기 제1 실내 조명 촬상 장치 및 상기 제1 야간 비전 촬상 장치 중 2개 이상의 장치로부터 수신된 영상 데이터와, 상기 제1 IMU로부터 수신된 제1 관성 측정 데이터에 확장 칼만 필터(Extended Kalman Filter)(EKF)를 적용하는 단계를 더 포함하는 방법.
청구항 1에 있어서,
상기 제1 태양광 촬상 장치, 상기 제1 실내 조명 촬상 장치 및 상기 제1 야간 비전 촬상 장치 중 2개 이상의 장치는 헬멧-장착 디스플레이(HMD)에 장착되며, 상기 제1 IMU는 상기 HMD에 장착되는 것인 방법.
청구항 3에 있어서,
상기 HMD에 장착된 디스플레이 포드에 상기 대표 위치 시각 영상 정보를 송신하는 단계를 더 포함하고,
상기 디스플레이 포드는 상기 대표 위치 시각 영상 정보를 투명한 디스플레이 장치에 표시하도록 구성되는 것인 방법.
청구항 4에 있어서,
제2 내비게이션 서브시스템의 제2 태양광 촬상 장치, 제2 실내 조명 촬상 장치 및 제2 야간 비전 촬상 장치로 구성된 그룹에서 선택된 2개 이상의 장치로부터의 영상 정보의 적어도 일부를 수신하는 단계; 및
상기 제2 내비게이션 서브시스템의 제2 IMU로부터 제2 관성 측정 데이터를 수신하는 단계를 더 포함하고,
상기 제2 내비게이션 서브시스템의 제2 태양광 촬상 장치, 제2 실내 조명 촬상 장치, 및 제2 야간 비전 촬상 장치 중 2개 이상의 장치는 상기 HMD에 장착되며,
상기 제2 내비게이션 서브시스템의 제2 IMU는 상기 HMD에 장착되는 것인 방법.
청구항 5에 있어서,
상기 시각적 특징물의 위치를 트래킹하는 단계는 추가로 상기 제2 태양광 촬상 장치, 상기 제2 실내 조명 촬상 장치 및 상기 제2 야간 비전 촬상 장치 중 2개 이상의 장치로부터 수신된 영상 데이터, 및 상기 제2 IMU로부터 수신된 제2 관성 측정 데이터에 기초하는 것인 방법.
청구항 5에 있어서,
상기 디스플레이 포드의 회전과 상기 제1 IMU 및 상기 제2 IMU 중 적어도 하나의 회전 사이의 회전 오프셋을 결정하는 단계; 및
상기 회전 오프셋이 감소되도록 상기 디스플레이 포드와 상기 제1 IMU 및 상기 제2 IMU 중 적어도 하나를 정렬시키는 단계를 더 포함하는 방법.
청구항 5에 있어서,
상기 제1 내비게이션 서브시스템이 상기 HMD의 좌측 또는 우측에 장착되었는지의 여부를 결정하는 단계;
상기 제2 내비게이션 서브시스템이 상기 HMD의 좌측 또는 우측에 장착되었는지의 여부를 결정하는 단계; 및
각각의 서브시스템이 좌측 또는 우측에 장착되었는지의 여부에 기초하여 상기 제1 내비게이션 서브시스템 및 상기 제2 내비게이션 서브시스템을 교정하는 단계를 더 포함하는 방법.
비전-관성 내비게이션 시스템에 있어서,
영상 데이터를 얻기 위한 제1 태양광 촬상 장치, 제1 실내 조명 촬상 장치, 및 제1 야간 비전 촬상 장치를 포함하는 그룹에서 선택된 2개 이상의 장치와, 제1 내비게이션 서브시스템과 연관된 관성 측정 데이터를 얻기 위한 제1 관성 측정 유닛(IMU)을 포함하는 제 1 내비게이션 서브시스템으로서, 상기 영상 데이터는 환경의 시각적 특징물을 포착하는 것인, 상기 제 1 내비게이션 서브시스템;
명령어를 저장하도록 구성되는 메모리; 및
상기 메모리 및 상기 제1 내비게이션 서브시스템에 통신 가능하게 결합되는 프로세서를 포함하고,
상기 프로세서는 명령어를 실행시켜,
상기 제1 태양광 촬상 장치, 상기 제1 실내 조명 촬상 장치 또는 상기 제1 야간 비전 촬상 장치 중 2개 이상의 장치로부터 영상 데이터를 수신하고;
상기 제1 IMU로부터 관성 측정 데이터를 수신하고;
상기 제1 태양광 촬상 장치, 상기 제1 실내 조명 촬상 장치 및 상기 제1 야간 비전 촬상 장치 중 2개 이상의 장치로부터 수신된 영상 데이터, 및 상기 제1 IMU로부터 수신된 관성 측정 데이터에 기초하여 상기 시각적 특징물의 위치를 트래킹하고;
복수의 트래킹 위치를 대표 위치 시각 영상 정보에 합치며;
상기 대표 위치 시각 영상 정보를 표시하도록
구성되는 것인 비전-관성 내비게이션 시스템.
청구항 9에 있어서,
적어도 하나의 발광 다이오드(LED)가 환경을 조명하기 위해 상기 제1 야간 비전 촬상 장치에 결합되는 것인 비전-관성 내비게이션 시스템.
청구항 9에 있어서,
상기 프로세서는 추가로,
상기 제1 태양광 촬상 장치, 상기 제1 실내 조명 촬상 장치 및 상기 제1 야간 비전 촬상 장치 중 2개 이상의 장치로부터 수신된 영상 데이터와, 상기 제1 IMU로부터 수신된 제1 관성 측정 데이터에 확장 칼만 필터(Extended Kalman Filter)(EKF)를 적용하도록 구성되는 것인 비전-관성 내비게이션 시스템.
청구항 9에 있어서,
헬멧-장착 디스플레이(HMD)를 더 포함하며,
상기 제1 IMU와, 상기 제1 태양광 촬상 장치, 상기 제1 실내 조명 촬상 장치 및 상기 제1 야간 비전 촬상 장치가 상기 HMD에 장착되는 것인 비전-관성 내비게이션 시스템.
청구항 12에 있어서,
상기 HMD에 장착된 디스플레이 포드를 더 포함하고,
상기 프로세서는 상기 디스플레이 포드에 통신가능하게 결합되며, 상기 프로세서는 추가로
상기 대표 위치 시각 영상 정보를 상기 디스플레이 포드에 송신하도록 구성되고, 상기 디스플레이 포드는 상기 대표 위치 시각 영상 정보를 투명한 디스플레이 장치에 표시하도록 구성되는 것인 비전-관성 내비게이션 시스템.
청구항 13에 있어서,
제2 내비게이션 서브시스템을 더 포함하고, 상기 제2 내비게이션 서브시스템은,
영상 데이터의 적어도 일부를 얻기 위한 제2 태양광 촬상 장치, 제2 실내 조명 촬상 장치, 및 제2 야간 비전 촬상 장치로 구성된 그룹에서 선택된 2개 이상의 장치로서, 상기 제2 태양광 촬상 장치, 상기 제2 실내 조명 촬상 장치 및 상기 제2 야간 비전 촬상 장치 중 2개 이상의 장치는 상기 HMD에 장착되는 것인, 상기 2개 이상의 장치와;
상기 제2 내비게이션 서브시스템과 연관된 관성 측정 데이터를 얻기 위한 제2 IMU로서, 상기 제2 IMU는 상기 HMD에 장착되는 것인, 상기 제2 IMU를 포함하고,
상기 프로세서는 상기 제2 내비게이션 서브시스템에 통신 가능하게 결합되고, 추가로,
상기 제2 태양광 촬상 장치, 상기 제2 실내 조명 촬상 장치 및 상기 제2 야간 비전 촬상 장치 중에서 선택된 2개 이상의 장치로부터 영상 데이터의 적어도 일부를 수신하고;
상기 제2 IMU로부터 관성 측정 데이터를 수신하도록 구성되는 것인 비전-관성 내비게이션 시스템.
청구항 14에 있어서,
적어도 하나의 발광 다이오드(LED)가 환경을 조명하기 위해 상기 제2 야간 비전 촬상 장치에 결합되는 것인 비전-관성 내비게이션 시스템.
청구항 14에 있어서,
상기 프로세서는, 상기 제2 태양광 촬상 장치, 상기 제2 실내 조명 촬상 장치, 및 상기 제2 야간 비전 촬상 장치 중 2개 이상의 장치로부터 수신된 영상 데이터와, 상기 제2 IMU로부터 수신된 관성 측정 데이터에 기초하여 상기 시각적 특징물의 위치를 트래킹하도록 또한 구성되는 것인 비전-관성 내비게이션 시스템.
청구항 14에 있어서,
상기 프로세서는,
상기 디스플레이 포드의 회전과 상기 제1 IMU 및 상기 제2 IMU 중 적어도 하나의 회전 사이의 회전 오프셋을 결정하며;
상기 회전 오프셋이 감소되도록 상기 디스플레이 포드와 상기 제1 IMU 및 상기 제2 IMU 중 적어도 하나를 정렬시키도록 또한 구성되는 것인 비전-관성 내비게이션 시스템.
청구항 14에 있어서,
상기 프로세서는,
상기 제1 내비게이션 서브시스템이 상기 HMD의 좌측 또는 우측에 장착되었는지의 여부를 결정하고,
상기 제2 내비게이션 서브시스템이 상기 HMD의 좌측 또는 우측에 장착되었는지의 여부를 결정하도록 또한 구성되는 것인 비전-관성 내비게이션 시스템.
청구항 18에 있어서,
상기 프로세서는,
상기 디스플레이 포드의 위치에 대한 상기 제1 내비게이션 서브시스템의 제1 위치 오프셋을 결정하고 - 상기 제1 위치 오프셋은 상기 제1 내비게이션 서브시스템이 상기 HMD의 좌측 또는 우측에 장착되었는지의 여부에 기초하여 결정됨 -;
상기 디스플레이 포드의 위치에 대한 상기 제2 내비게이션 서브시스템의 제2 위치 오프셋을 결정하고 - 상기 제2 위치 오프셋은 상기 제2 내비게이션 서브시스템이 상기 HMD의 좌측 또는 우측에 장착되었는지의 여부에 기초하여 결정됨 -;
상기 제1 위치 오프셋 및 상기 제2 위치 오프셋에 기초하여 상기 제1 내비게이션 서브시스템 및 상기 제2 내비게이션 서브시스템을 교정하도록 또한 구성되는 것인 비전-관성 내비게이션 시스템.
청구항 18에 있어서,
상기 제1 내비게이션 서브시스템이 상기 HMD의 좌측 또는 우측에 장착되었는지의 여부를 결정하기 위해, 상기 프로세서는 상기 제1 IMU의 가속도계에 의해 측정된 가속도가 양 또는 음의 값인지의 여부를 결정하도록 또한 구성되며,
상기 제2 내비게이션 서브시스템이 상기 HMD의 좌측 또는 우측에 장착되었는지의 여부를 결정하기 위해, 상기 프로세서는 상기 제2 IMU의 가속도계에 의해 측정된 가속도가 양 또는 음의 값인지의 여부를 결정하도록 또한 구성되는 것인 비전-관성 내비게이션 시스템.