KR101761751B1

KR101761751B1 - 직접적인 기하학적 모델링이 행해지는 hmd 보정

Info

Publication number: KR101761751B1
Application number: KR1020160131451A
Authority: KR
Inventors: 키즐레 이리나; 시미오노프 첸체프 마가릿; 유안 스텔라; 제토 사이먼; 아바드풀 아라쉬
Original assignee: 세이코 엡슨 가부시키가이샤
Priority date: 2014-07-10
Filing date: 2016-10-11
Publication date: 2017-07-26
Also published as: KR20160007423A; KR20160121798A; CN109040738B; US10198865B2; EP2966863A1; CN105320271A; CN105320271B; TW201610471A; EP2966863B1; JP2016018213A; TWI591378B; CN109040738A; US20160012643A1

Abstract

광학 투시(OST) 머리 장착형 디스플레이(HMD)는 보정 행렬을 사용하고, 이 보정 행렬은 그의 모든 파라미터 내에서 고정된 부분 세트의 조정가능한 파라미터를 갖는다. 보정 행렬에 대한 초기 값들은 모델 머리에 근거한다. 사전에 정해진 점증적 조정 값의 세트가 각각의 조정가능한 파라미터를 위해 제공된다. 보정 중에, 보정 행렬은 사전에 규정된 그의 점증적 파라미터 변화를 통해 사이클링되고, 각각의 점증적 변화에 대해 가상 대상물이 투영된다. 결과적으로 얻어진 투영된 가상 대상물은 기준 실제 대상물에 정렬되며, 가장 잘 정렬되는 투영된 가상 대상물이 식별된다. 가장 잘 정렬되는 가상 대상물을 나타나게 하는 보정 행렬의 설정 값들은 OST HMD에 사용될 최종 보정 행렬로 간주 된다.

Description

직접적인 기하학적 모델링이 행해지는 HMD 보정{HMD CALIBRATION WITH DIRECT GEOMETRIC MODELING}

본 출원은 2014년 7월 10일에 출원된 가특허 출원 제 62/023,090 호의 35 U.S.C. 119(e) 하의 이익을 주장하며, 이 가특허 출원은 그 전체로서 본원에 참조로 관련되어 있다.

대체로, 본 발명은 카메라 보정 분야, 보다 구체적으로는, 가상 카메라 보정 분야에 관한 것으로, 여기서 가상 카메라 보정은 증강 현실(augmented reality; AR) 유닛의 일 부분인 인간 눈/광학 투시(OST) 머리 장착형 디스플레이(HMD) 시스템으로 이루어진다. 보다 구체적으로, 본 발명은 OST HMD의 가상 뷰(virtual view)의 보정에 관한 것이다. 상세하게 말하면, 본 발명은 상기 가상 뷰의 입체 보정 및 인지된 가상 3D 대상물을 실제의 3D 환경에 결부시키는 것에 관한 것이다.

머리 장착형 디스플레이는 3D 시각화, 특히 실제 환경을 가상의 대체물로 교체하는 것에 있어 점점 더 인기가 증가하고 있다. 이와 더불어, 증강 현실(AR)의 분야도 마찬가지로 성장하고 있다. AR 시스템에서, 실제 환경은 가상적인 아이템의 중첩으로 풍부하게 되는데, 그 가상적인 아이템은 참조 대상이 되는 실제 대상물에 의해 떠 있는 것처럼 보이는 가상 대상물 또는 텍스트를 포함할 수 있다. 따라서, AR 기술에는 2가지의 주요한 점이 있는데, 즉 시각적인 내용을 향상시킬 수 있는 능력 및 실세계와의 사용자 상호 작용을 확장시키고 향상시킬 수 있는 가능성이 그것이다.

AR 유닛은 가상 카메라에 의해 "보여진"(또는 캡쳐된) 것 같은 시각적 내용의 뷰(또는 디스플레이 또는 이미지)를 제공할 수 있다. 당업계에 알려져 있는 바와 같이, 가상 카메라는, 실제 카메라가 사전에 정해진 각도로 위치되어 있고 또한 가상 대상물이 실제 대상물이라고 할 때 실제 카메라에 의해 캡쳐된 또는 보여진 것과 같이, 사전에 정해진 각도(또는 시야(FOV; field of view))에서 가상 대상물의 이미지를 나타내게 된다. 결과적인 뷰는 실제 장면에 있는 실제의 물리적 아이템 뿐만 아니라 그 실제 장면에 삽입되어 있는 가상 대상물도 포함한다. 그러한 증강 현실(AR) 유닛에서, 가상 카메라의 뷰는 광학 투시(OST) 머리 장착형 디스플레이(HMD) 시스템(즉, OST HMD 시스템)에 의해 제공될 수 있다.

인간 눈/광학 투시 디스플레이에서, 개별 이미지가 인간 사용자의 선택된 눈(들)에 대해 나타내지고 또한 그 눈으로 볼 수 있다. 인간 눈 OST가 단안적인(monoscopic) 디스플레이면, 사용자의 두 눈 중 한 눈(또는 양 눈)에 대한 하나의 이미지만 제공된다. 인간 눈 OST가 입체적인(stereoscopic) 디스플레이면, 서로 별개인 2개의 이미지(사용자의 두 눈 각각에 대해 하나씩 주어짐)가 제공된다. 예컨대, 인간 눈 OST는 인간 사용자의 한쪽 눈 바로 위에서 하나의 디스플레이를 가질 수 있고, 또한 인간 사용자의 다른 쪽 눈 바로 위에서 다른 별개의 디스플레이를 선택적으로 가질 수 있다. 대안적으로, 인간 눈 OST는 인간 사용자의 개별적인 눈들에 직접 개별적인 이미지를 투영할 수 있고, 또는 개별적인 이미지들을 인간 사용자의 한쪽 눈 또는 두 눈 각각에 의해 개별적으로 보여지도록 제어할 수 있다.

일반적으로, 이는 실세계 장면의 실세계 좌표와 그 실세계 장면에 대응하는 컴퓨터 생성 가상 장면에 있는 가상 좌표 사이의 일관적인 변환을 행하는 방법을 확립하는 것을 포함한다. AR 시스템이 몰입적인 경험을 제공하도록 하기 위해서는, 가상 대상물이 3차원(3D)적으로, 즉 입체적인 이미지 또는 표시로 가상 카메라 표시 내에 주어지고 배치되는 것이 바람직하다. 그리고 이는 실세계 장면의 3D 정보를 획득하는 것을 필요로 한다. 그러한 3D 정보는 "비행 시간(time-to-flight)" 센서, 시각적인 추적, 관성 센서, 기계적으로 연결된 추적기, 위상차 센서 및/또는 복합 시스템과 같은 수단으로 얻어질 수 있다. 사용되는 3D 획득 방법에 상관 없이, AR 시스템은 실세계의 획득된 정보와 컴퓨터 생성 가상 세계 정보 사이의 보정을 필요로 한다. 이는 AR의 가상 카메라 뷰를 실세계의 획득된 데이터로 보정하는 것을 필요로 한다.

가상 카메라를 실세계의 획득된 정보로 보정하는 방법은 많이 있지만, 그러한 방법은 종종 시간 소모적이며 그리고/또는 높은 계산 자원 요건을 갖는다. AR 시스템은 인간 사용자에 의해 휴대 및 착용가능한 것이 바람직한데, 이는 컴퓨터 구조를 제한하며 그래서 또한 이용가능한 계산 자원을 제한하게 된다. AR 시스템은 실시간으로 가상 카메라 표시를 제공하는 것이 또한 바람직한데, 이는 이용가능한 계산 자원에 대한 제한에 의해 방해된다.

실세계 장면/대상물의 획득된 실세계 데이터와 컴퓨터 생성 가상 장면/대상물의 보정을 간단하게 해주는 시스템이 필요하다.

본 발명의 일 목적은, AR 시스템을 실세계 장면으로 보정하는 것을 간단하게 해주는 시스템/방법을 제공하는 것이다.

본 발명의 다른 목적은, 실시간으로 실세계의 획득된 정보를 가상 대상물의 정보와 실시간으로 결합하여 가상 카메라 표시를 렌더링(rendering)할 수 있는 AR 시스템을 제공하는 것이다.

상기 목적들은, 입체 이미지(즉, 입체 표시)를 제공하기 위해 좌우측 눈 뷰를 갖는 (가상) 광학 투시(OST) 머리 장착형 디스플레이(HMD)의 입체 보정을 위한 시스템/방법으로 달성된다. 좌우측 뷰(view)를 규정하는 것은, 규정된 세계 좌표계에서의 실제 기준 대상물의 3D 좌표와 OST HMD의 투영된 좌우측 이미지에서의 대응하는 가상 대상물의 2D 위치 사이의 3D-2D 점 대응을 규정하는 좌우측 보정 행렬(개별적인 보정 행렬에서 개별적으로 모델링되는 고유 및 외래 파라미터를 가짐)을 모델링하는 것을 포함한다. 3D 가상 대상물을 포함하는 좌우측 2D 이미지의 입체 투영으로 나타나는 가상 대상물의 3D 자세는, 세계 좌표계에서 알려져 있다고 가정한다(가상 대상물의 그의 대응하는 3D 기준 대상물에의 사전 3D 결부로 인해). 머리 추적 장치의 좌표계에서의 (실제) 기준 대상물의 3D 자세도 마찬가지로 알려져 있다고 가정한다. 실제 기준 대상물의 3D 자세는, 초기 보정 절차의 일 부분으로서 사전에 결정될 수 있고/있거나 HMD에 장착되고/장착되거나 실제 기준 대상물에 부착되고/부착되거나 그 실제 기준 대상물이 위치되어 있는 장면 전체에 걸쳐 분산되어 있는 하나 이상의 추적 장치로 기록되는 데이터를 처리하여 추정될 수 있다. 평균적인 머리 모델(즉, HMD 사용자)의 좌우측 눈에 대한, 추적 장치(들)에 의해 제공되는 정보(예컨대, 병진 이동 및 회전)을 포함하는 기하학적 정보는, 각각의 눈에 대한 외래 보정 행렬에 직접 포함되어 있다. 고유 파라미터는, 2개의 HMD 디스플레이(즉, 좌우측 입체 디스플레이)에 대한 평균적인 머리 모델의 눈의 위치, 평균적인 머리 모델의 두 눈으로부터 가상 이미지 면까지의 거리, 투영된 좌우측 이미지의 크기와 해상도(이미지 왜곡은 무시가능하다고 가정함)에 대한 정보를 고려하여 규정된다. 이렇게 해서, 좌우측 눈에 대한 디폴트 보정(default calibration) 행렬이 전달된다.

주문 맞춤화 과정에서, 개별 사용자는 보정 파라미터를 원하는 정확도로 조정할 수 있는 기회를 얻게 된다. 표준적인 수준의 정확도가 적용되는 경우, 주문 맞춤화 과정은, 사용자의 동공간 거리를 조정하고 촛점 길이를 보정하는 것으로 이루어질 수 있다. 촛점 길이 보정의 일 부분으로서, 사용자는 이 주문 맞춤화 과정 중에 사용자에게 보일 수 있는 마커(marker) 좌표계에서의 투영된 가상 대상물의 인지된 크기, 위치 및/또는 회전을 조정할 수 있다. 상기 마커 좌표계는 주문 맞춤화 과정을 실행하지 않을 때는 보이지 않을 수 있음을 이해할 것이다. 촛점 길이를 보정한 후에, 동공간 거리에 대한 보정은 가상 대상물의 깊이 보정에 직접 관계될 수 있고, 그래서 가상 대상물의 위치 보정의 일 부분으로서 은연 중에 수행될 수 있다. 주문 맞춤화 과정의 결과를 사용하여 관련된 고유 디폴트 보정 행렬과 외래 디폴트 보정 행렬을 업데이트하게 된다. 결과적으로, 이들 행렬은 3D 가상 대상물을 3D 실제 기준 대상물에 결부시키는데 사용되는 것이다. 보정 절차는 빠르고 간단하며 또한 사용자 친화적이다.

위에서 설명한 보정 시스템/방법은 시각적 머리 추적용 장착형 카메라를 구비하는 OST HMD 에 적용될 수 있다. 대안적으로, 본 보정 시스템/방법은 사전에 특정된 세계 좌표계에서의 자세가 알려져 있는 어떤 다른 추적 센서에도 적용가능하다. 그럼에도 불구하고, 상기 보정 방법의 복잡성은 사용 중인 증강 현실 시스템의 구체적인 사항에 따라 변할 수 있다. 또한, 바람직한 실시 형태는 입체 OST HMD 보정의 일부로서 나타나 있는데, 하지만 본 발명을 단안(monoscopic) 및 2D-뷰 OST HMD 시스템으로 수정하는 것이 간단하며, 이에 의해 시스템 및 보정 절차의 복잡성이 줄어들 것이다.

상기 목적들은, 증강 현실(AR) 시스템의 광학 투시(OST) 머리 장착형 디스플레이(HMD)의 보정 방법으로 달성되는데, 본 보정 방법은, OST HMD가 사용될 장면내의 실제 목표 대상물을 제공하는 단계 - 상기 장면 내에서의 그 실제 목표 대상물의 치수, 위치 및 배향은 알려져 있음 -; 사전에 정해진 머리 모델에 근거하여 디폴트 보정(default calibration) 행렬 세트를 규정하는 단계; 상기 디폴트 보정 행렬 세트를 사용하여 실제 목표 대상물의 가상 대상물 표현을 생성하고 그 가상 대상물의 뷰(view)를 투영하는 단계; 상기 가상 대상물의 투영된 뷰를 실제 목표 대상물 상에 가능한 한 많이 중심 정렬시키는 단계; 상기 디폴트 보정 행렬 세트 내에서 적어도 하나의 사전에 정해진 파라미터에서 사전에 정해진 횟수 만큼 점증적 변화를 통해 사이클링하는 단계; 상기 사전에 정해진 파라미터의 각 점증적 변화에 대해, 새로운 가상 대상물을 생성하고 투영하며, 그 새로운 가상 대상물을 실제 목표 대상물에 재정렬하며, 그리고 현재의 새로운 가상 대상물의 현재 재정렬을 이전에 투영된 가상 대상물의 이전 정렬과 비교하는 단계; 실제 목표 대상물과 가장 잘 정렬된 투영된 가상 대상물을 식별하고 그 가상 대상물을 보정된 가상 대상물로 지정하는 단계; 및 상기 보정된 가상 대상물에 대응하는 사전에 정해진 상기 파라미터의 값을 갖는 보정 행렬 세트를 사용하기 위해 OST HMD를 설정하는 단계를 포함한다.

바람직하게는, 상기 OST HMD는 투영된 가상 대상물의 쌍안 이미지를 제공하는 입체 AR 시스템이다.

더 바람직하게는, 상기 쌍안 이미지는 좌측 이미지와 우측 이미지로 구성되어 있고, 상기 새로운 가상 대상물을 실제 목표 대상물에 재정렬하는 상기 단계는 상기 좌측 이미지와 우측 이미지 각각에 대해 개별적으로 수행되며, 상기 보정된 가상 대상물은, 좌측 이미지 가상 대상물 투영 및 우측 이미지 가상 대상물 투영이 서로 가장 잘 정렬되는 투영된 가상 대상물로서 규정된다.

추가적으로, 상기 디폴트 보정 행렬 세트는 외래 파라미터 행렬과 고유 파라미터 행렬을 포함하며, 이들 두 행렬은 OST HMD 및 머리 모델의 직접적인 기하학적 측정치로부터 규정되고, 상기 외래 파라미터 행렬과 고유 파라미터 행렬은 핀홀 카메라 모델에 근거한다.

이 경우, 외래 파라미터 행렬에 대한 업데이트는, 실제 목표 대상물의 알려져 있는 치수, 위치 및 배향 그리고 그 실제 목표 대상물의 좌표계를 사용하여, 투영되어 정렬된 가상 대상물의 3D 자세(3D 회전 + 3D 병진 이동)의 직접적인 기하학적 측정치로부터 얻어진다.

또한, 상기 실제 목표 대상물의 좌표계에서의 값은 상기 투영된 가상 대상물의 좌표계에서의 값으로 변환된다.

또한, 각각의 투영된 가상 대상물은 가상 카메라를 사용하여 생성된다.

바람직한 실시 형태에서, 투영된 가상 대상물은 상기 핀홀 카메라 모델에 근거하며, 상기 고유 파라미터 행렬 내의 파라미터는 다음과 같은 기하학적 측정치, 즉 촛점 길이를 규정하는데 사용되는, 상기 가상 핀홀 카메라의 중심에서 그 가상 핀홀 카메라의 가상 이미지 면의 중심까지의 거리; 및 상기 머리 모델에 대한 상기 가상 이미지 면의 중심 위치, 투영된 이미지의 중심 화소(pixel) 위치를 규정하는 상기 투영된 이미지의 이미지 해상도, 및 투영된 가상 대상물의 화소 밀도를 사용하여 규정된다.

이 경우, 상기 OST HMD는 투영된 가상 대상물의 쌍안 이미지를 제공하는 입체 AR 시스템이고, 상기 쌍안 이미지는 좌측 이미지와 우측 이미지로 구성되고, 각 이미지는 각각의 외래 파라미터 행렬 및 고유 파라미터 행렬을 가지며, 상기 규정된 촛점 길이는 좌측 이미지와 우측 이미지 모두에 대해 사용된다.

추가적으로, 상기 하나의 사전에 정해진 파라미터는 동공간 거리(IPD)이고, 최적의 IPD는, 새로운 가상 대상물을 실제 목표 대상물에 재정렬시키는 상기 단계를 좌측 이미지와 우측 이미지에 각각에 대해 개별적으로 수행하고, 또한 좌측 이미지의 재정렬된 새로운 가상 대상물이 우측 이미지의 재정렬된 새로운 가상 대상물에 정렬되게 하는 파라미터 값을 식별함으로써 구해진다.

또한, 상기 최적의 IPD는 사용자의 실제 IPD와 반드시 일치할 필요는 없다.

바람직하게는, 사전에 정해진 횟수 만큼의 점증적 변화를 통해 사이클링하는 상기 단계는 사용자 제어 입력에 따라 행해진다.

상기 언급한 하나의 사정에 정해진 파라미터는 상기 사전에 정해진 복수의 파라미터들 중의 하나일 수 있고, 상기 복수의 사전에 정해진 파라미터의 점증적 변화로 인해 상기 투영된 가상 대상물의 병진 이동이 일어나게 되며, 실제 목표 대상물에 대한 상기 투영된 가상 대상물의 배향의 차이는 상기 투영된 가상 대상물의 병진 이동을 조정하여 보정된다.

상기 목적들은 현재의 바람직한 실시 형태의 보정 방법을 계산 장치로 실행하는 지시를 구현하는 비일시적 컴퓨터 판독가능 매체로도 달성된다.

본 발명의 더 충분한 이해와 함께 다른 목적 및 성취는 첨부 도면과 함께 이하의 설명 및 청구 범위로부터 명확히 알 수 있을 것이다.

도면에서 유사한 참조 부호는 유사한 부분을 나타낸다.

도 1 은 이미지들을 함께 이어 더 큰 복합 이미지를 생성하기 위해 서로 다른 이미지들에 있는 대응하는 특징점을 사용하는 것을 도시한 도면이다.
도 2 는 에피폴라(Epipolar) 기하의 원리를 도시한 도면이다.
도 3 은 에피폴라 기하를 사용하여 입체 구속 조건을 규정하는 일 예를 보여준 도면이다.
도 4 는 입체 구속 조건으로부터 호모그래피 구속 조건을 확립하는 것을 도시한 도면이다.
도 5 는 이미지들의 입체 쌍으로부터 원근적인(즉, 3D) 뷰를 재확립하는 호모그래피를 도시하는 것으로, 그 이미지들은 공통 장면의 이미지이지만, 각 이미지는 다른 시야(FOV)를 갖고 있는 도면이다.
도 6 은 샘플 이미지로부터 특징점을 추출하는 것을 도시한 도면이다.
도 7 은 SIFT 변환을 사용하여 특징점 대응을 이루는 것을 도시한 도면이다.
도 8 은 ASIFT 변환을 사용하여 특징점 대응을 이루는 것을 도시한 도면이다.
도 9 는 서로 다른 시야(즉, FOV)에서 찍은 공통 장면의 두 이미지에서의 특징점 대응의 일 예를 나타낸 도면이다.
도 10 은 SIFT의 특징점 추출 기능의 개관을 나타낸 도면이다.
도 11 은 n 개의 이미지로부터 추출된 다수 세트의 특징점을 도시하는 것으로, 여기서 이미지는 ID1 ∼ IDn 로 식별되어 있는 도면이다.
도 12 는 일 전형적인 머리 장착형 디스플레이를 도시한 도면이다.
도 13 은 본 발명의 바람직한 실시 형태에 따른 HMD의 몇몇 외래 파라미터와 고유 파라미터를 도시한 도면이다.
도 14 는 가상 카메라의 몇몇 기하학적 특징을 도시한 도면이다.
도 15 는 HMD 디스플레이를 통해 본 가상 대상물을 도시한 도면이다.
도 16 은 AR 시스템의 일반화된 개관을 나타낸 도면이다.
도 17 은 가상 카메라의 핀홀 모델을 나타낸 도면이다.
도 18 은 투영된 가상 대상물을 사용하는 촛점 길이 조정을 나타낸 도면이다.
도 19 는 서로 촛점 맞춤되고 일치하는 좌측 및 우측 단안 뷰(monoscopic view)를 나타낸 도면이다.
도 20 은 동공간 거리(IPD)가 최적이 아니어서 우측 눈으로 인지된 가상 대상물이 좌측 눈으로 인지된 다른 가상 대상물과 일치하지 않는 경우를 나타낸 도면이다.
도 21 은 병진 이동 에러를 보정하여 회전 에러를 보상하는 것을 도시한 도면이다.
도 22 는 주어진 IPD로 인한 계산된 불일치를 도시한 도면이다.
도 23 은 눈 좌표계를 도시한 도면이다.
도 24 는 보정 좌표계를 도시한 도면이다.
도 25 는 고글형 HMD를 보정하는 사용자를 도시한 도면이다.
도 26a 및 26b는 사용자 보정 절차의 다양한 단계들을 도시한 도면이다.
도 27, 28a, 28b, 29 및 30은 보정 절차의 몇몇 단계들을 그래픽으로 도시한도면이다.
도 31 및 32 는 본 발명의 바람직한 실시 형태에서 사용되는 수학 식 및 기호를 나타낸 도면이다.

머리 장착형 디스플레이는 증강 현실(AR) 분야에서 널리 사용되고 있는데, 이러한 디스플레이는 컴퓨터 생성 가상 내용으로 실세계의 장면을 증강시킨다. AR 시스템에 있는 머리 장착형 디스플레이(HMD)는, 가상 대상물이 편입되는 투시 디스플레이인 인간 눈/광학 투시(OST) 디스플레이, 또는 비디오 투시(VST) 디스플레이를 포함할 수 있고, 그 비디오 투시 디스플레이는 가상 대상물을 실제 장면의 표시된 이미지에 통합시키는 비디오 디스플레이(예컨대, 스크린)이다. 두 경우에, 가상 대상물은 실세계의 장면의 뷰(view)와 혼합되게 된다. 두 접근법은, 실세계 장면의 정보를 추적하기 위해(그리고/또는 획득하기 위해) 추적 센서(예컨대, "비행 시간" 센서, 시각적인 추적(예컨대, 입체 카메라 쌍), 관성 센서, 기계적으로 연결된 추적기, 위상차 센서 및/또는 복합 시스템과 같은 3D 장면 획득 장치)를 사용할 수 있다.

이러한 AR 시스템에서, 컴퓨터는 가상 대상물의 그래픽을 생성하는데, 이 가상 대상물은 추적 센서에 의해 이미지화된 그의 실제 대상물 상대(즉, 대응하는 물리적 기준 대상물)와 이상적으로는 실시간으로 순차적으로 정렬된다. 목표는, 가상 대상물을 사전에 정해진 실세계 좌표에 부착시키거나 결부시켜 실제 및 가상 환경의 지각적 융합(perceptual fusion)을 가능하게 하는 것이다. 적절한 지각적 융합을 위해서는, 추적 센서 및 가상 카메라 파라미터를 측정/보정하고 추적기 좌표계에서 실제 및 가상 대상물의 위치(및/또는 자세)를 아는 것이 필요하다.

추적기 좌표계에서의 실세계 대상물의 위치는, 위에서 열거한 바와 같은 다른 종류의 추적 센서(즉, 센서 및/또는 추적기)에 기초할 수 있는 추적 기구를 통해 얻어진다. 추적 센서로부터 얻은 정보는 가상 카메라에 의해 제공되는 복합 이미지에 결합된다. 본질적으로, 가상 카메라는 적어도 HMD에서 제공되는 가상 대상물의 뷰를 규정하는 시야를 규정한다. 가상 카메라와 사용되는 센서 사이의 관계는 실세계에의 가상 대상물의 결부 및 융합을 가능하게 해주며, 그 관계는 보정 절차를 통해 얻어질 수 있다.

상기 보정 절차는 3D의 가상 및 실제 대상물이 점 대 점 대응을 하도록 가상 카메라 파라미터를 설정하는 것을 포함한다. 카메라 파라미터는 고유 파라미터(촛점 길이, 화소 밀도 및 이미지 주 점(image principal point)의 좌표와 같은)와 외래 파라미터(추적기 좌표계에 대한 가상 카메라의 위치와 같은) 모두를 포함한다.

위에서 언급한 바와 같이, AR 시스템에서 가상 정보를 주는 2개의 주 수단이 있는데, 즉 비디오 투시와 광학 투시가 그것이다. 비디오 투시의 경우, 컴퓨터 생성 가상 대상물은 HMD에 부착되어 있는 실제 카메라에 의해 제공되는 비디오 스트림에 중첩된다. 실세계 장면의 이미지에 접근하고 관련 데이터를 처리할 수 있음으로 해서, 비디오 투시 시스템의 보정은 에러에 덜 취약하게 된다. 즉, HMD는 실세계 장면의 캡쳐된 이미지를 컴퓨터 생성 가상 대상물과 결합하는 구성된 이미지를 제공하므로, 사용자는 가상 대상물과 사실적인 실세계 장면 사이의 정렬 불량을 덜 인식하게 된다.

한편, 광학 투시 시스템의 보정은 추가적인 어려움이 있는데, 왜냐하면 HMD는 사용자로부터 진정한 실세계 뷰를 바람직하게 숨길 수 없기 때문이다. 이러한 시스템을 눈-HMD 라고 칭할 수 있는데, 왜냐하면 광학 투시(OST) 디스플레이가 HMD의 한(입체 영상의 경우에는 바람직하게는 2개) 눈의 위치(들) 위에 배치될 수 있기 때문이다. 인간 눈-HMD 표시 결합의 가상 카메라를 보정함에 있어서의 일부 어려움은, 정렬(특히, 입체 영상의 경우) 및 신호 지연의 동적 관리와 관련 있다. 즉, 눈-HMD로 실세계 장면을 사용자가 보는 것은 즉각적이고, 반면 가상 대상물의 생성 및 표시는 그렇지 않을 수 있다.

눈-HMD 보정 문제는 한 동안 연구되었다. 실제 물리적 카메라의 보정과 같이, 가상 카메라의 보정은, 투영되는 가상 3D 대상물과 2D 이미지에 있는 그의 상대(가상 OST HMD 이미지 면 상으로 투영된)의 좌표들을 대응시키는 방정식을 풀어서 수행될 수 있다. 예상되는 가상 3D 대상물 위치의 좌표는, 알려져 있는 좌표의 실제 3D 기준 대상물과의 지각적인 정렬(결부)로부터 알 수 있다고 가정한다.

따라서, 추적 센서에 대해 가상 카메라를 보정하는 것은 AR 시스템의 중요한 점인데, 이는 그의 본래의 복잡성 외에도 인간 사용자의 인지에 의존(즉, 사용자가 결합된 가상 및 실제 대상물을 인지하는 방법에 의존)하기 때문에 더 복잡하다. 따라서, AR 시스템을 더 잘 상용화하기 위해 해결할 필요가 있는 기술적 난제가 많다. 많은 유망한 결과에도 불구하고, 보정은 사용자 의존적인 절차로 남을 것 같은데, 이러한 절차는 이전에는 다소 성가신 사용자 상호 작용을 필요로 했다. 본 발명은 사용자 친화적이고 쉽게 이용가능하면서 원하는 정확도 수준에 이를 수 있는 보정 방법을 제공한다.

그러나, 본 발명을 상세히 설명하기 전에, 먼저 입체 카메라 쌍, 이미지 변환, 3D 영상화, 특징점 검출 및 다른 이미지 처리 문제에 대한 일부 배경 기술 정보를 제공하는 것이 유익할 수 있다.

장면 또는 목표 대상물의 3D 이미지는, 3D 레이저 스캐너, MICROSOFT CORP.KINECT 센서, 레인지(range) 카메라 또는 임의의 많은 다른 종류의 비행 시간 장치와 같은 3D 영상화 시스템에 의해 생성될 수 있다. 3D 이미지는 2D 이미지의 입체 쌍으로부터도 생성될 수 있다. 이들 방법은 점 구름(point cloud)을 생성하는데 사용될 수 있는데, 이 점 구름은 3D 대상물의 표면을 규정하는 3차원 공간 내에 점들이 모여 있는 것이다. 3D 점 구름의 점들은 목표 대상물의 2D 이미지(또는 형상 윤곽)에 있는 개별 점(예컨대, 화소)과 상호 관련될 수 있는 것이 바람직할 수 있다. 즉, 상기 점 구름의 점(또는 영역)들은 2D 이미지의 대응하는 점(또는 영역)들, 보다 구체적으로는 2D 이미지의 분할(segmentation)과 상호 관련될 수 있는 것이 바람직할 수 있다.

위에서 언급한 바와 같이, 3D 이미지는 2D 이미지의 입체 쌍(즉, 입체적인(또는 입체) 이미지 쌍)으로부터 생성될 수 있다. 입체적인 이미지 쌍에 있는 두 2D 이미지 각각은 공통 장면에 대한 2개의 뷰(즉, 2개의 시야(FOV) 또는 앵글 뷰)를 제공하기 위해 서로 떨어져 있는 2개의 2D 영상화 카메라 중 각각의 카메라에 의해 생성된다. 입체 구속 조건에 의해, 두 뷰에 있는 대응 화소의 점(또는 화소) 정보가 결합되어 원근적인(즉, 3D) 뷰를 생성하게 되는데, 이 원근적인 뷰는 점 구름 정보를 포함한다. 따라서, 입체적인 이미지 쌍으로부터 생성된 점 구름은 본래 점 구름의 점과 입체적인 이미지 쌍의 두 2D 이미지에 있는 점(예컨대, 화소 또는 영역) 사이의 상호 관계를 포함한다.

입체적인 이미지 쌍으로부터 3D 정보를 추출하기 위해서는, 먼저 그 입체적인 이미지 쌍에서 공통적으로 이미지화된 아이템을 식별하는 것이 필요하다. 이를 행하는 일 방법은, 2개의 카메라를 보정하고 특정 장면에서 알려져 있는 기준점을 식별하는 것이 될 것이다. 덜 제한적인 접근법에서는 카메라를 특정 장면으로 보정할 필요가 없다. 그러나, 입체적인 이미지 쌍의 두 이미지는 공통 장면의 서로 다른 뷰를 제공하므로, 이는 어려운 일이 될 수 있다. 두 2D 이미지 장면에서 공통 대상물의 다른 뷰들을 확인하고 그 공통 대상물의 특정 부분들을 상호 관련시키는 것이 필요하다.

따라서, 대상물 인식(또는 대상물 확인)은 컴퓨터 비젼의 필수적인 부분이 되며, 또한 대상물 인식의 일 필수적인 부분은 패턴 매칭이다. 이미지(및 특히 2D 이미지)에서 패턴 매칭의 중요한 요소는 특징 검출(또는 특징점 검출)인데, 이는 이미지의 일 부분 또는 이미지의 개별 특징점(개별 화소화 같은)을 식별하는 것을 말하는 것이며, 그 일 부분 또는 개별 특징점은 이것이 이미지에서 찾고자 하는 대상물의 일 부분이 될 수 있는지를 판단하는 조사를 위한 좋은 후보가 된다.

이미지화된 장면을 기술하는데 사용될 수 있는 특유한 특징을 이미지에서 식별하기 위한 다양한 기술이 알려져 있다. 특유한 특징은 이미지의 구별 형상 또는 이미지의 단면 또는 개별 점(즉, 화소)를 포함할 수 있다. 설명을 쉽게 하기 위해, 본 예는 특징점(개별 화소를 포함하는)을 사용하는 것으로 설명될 것인데, 다른 특유한 특징(및 특유한 특징을 식별하는 방법)도 사용될 수 있음을 이해해야 한다.

특유한 특징이 어떻게 사용될 수 있는 가에 대한 일 예로서, 대상물을 기술하는 식별 특징의 라이브러리(목표 대상물의 훈련 이미지(즉, 이미지 샘플)의 수집 또는 대상물 종류로부터 얻은 것과 같은)를 갖고 있다면, 입력된 시험 이미지에 목표 대상물의 일 예가 존재하는지를 판단하기 위한 노력으로 그들 식별 특징을 위한 입력된 시험 이미지를 조사할 수 있다. 컴퓨터 비젼의 분야에서, 이러한 아이디어는, 한 이미지의 특징점(즉, 화소)를 다른 이미지의 특징점에 인덱싱시키기 위해(예컨대, 매칭시키거나 상호 관련시키기 위해) 서로 다른 화각(즉, 다른 FOV)에서 찍힌 공통 장면의 다수의 디지털 이미지에서 공통 장면의 공통적인 특징들을 매칭시키는 것까지 확장되었다. 이리하여, 다수의 디지털 이미지의 결합된 처리가 가능하게 된다.

도 1 의 예에서, 이미지(7A, 7B, 7C, 7D) 각각은 실세계 장면의 건물의 부분적인 겹친 뷰를 제공하지만, 전체 건물의 완전한 뷰는 제공하지 않는다. 그러나, 에지 검출을 적용하고 또한 실세계 장면 내의 동일한 실제 특징점과 상호 관련 있는 4개의 부분 이미지(7A, 7B, 7C, 7D)에 있는 특징점을 인덱싱하여(즉, 그 특징점의 매칭 쌍을 식별하여), 4개의 부분 이미지를 함께 이어(예컨대, 이미지 이음 도구를 이용하여) 전체 건물의 하나의 복합 이미지(7E)를 생성할 수 있다. 도 1 의 예에서, 4개의 부분 이미지(7A, 7B, 7C, 7D)는 동일한 화각(view angle)(즉, 단일 FOV)에서 찍힌 것이지만, 이 접근법은 대응 매칭(correspondence matching) 분야까지 확장될 수 있고 또한 다른 FOV에서 찍힌 이미지에도 적용될 수 있다.

상기 대응 매칭은 2개 이상의 이미지에 공통적인 대상물 또는 대상물 특징의 매칭(또는 보다 일반적으로는 개별 화소(pixel)와 같은 특징점의 매칭)을 말하는 것이다. 대응 매칭은, 제 1 이미지를 찍은 카메라가 움직이고, 시간이 경과했으며 그리고/또는 촬영된 대상물이 움직인 후에 제 2 이미지가 찍혔다는 가정하에서, 제 1 이미지의 어느 부분이 제 2 이미지의 어느 부분에 대응하는지(즉, 매칭되는지) 결정하려는 것이다. 예컨대, 제 1 이미지는 제 1 시야(즉, FOV)를 규정하는 제 1 화각에서 찍힌 실세계 장면일 수 있고, 제 2 이미지는 제 2 FOV 를 규정하는 제 2 화각에서 찍힌 동일한 실세계 장면일 수 있다. 제 1 및 2 FOV가 적어도 부분적으로 겹친다고 가정하면, 대응 매칭은 제 1 및 2 이미지의 겹친 부분에 있는 공통적인 특징점들을 매칭시키는 것을 말하는 것이다.

따라서, 대응 매칭은 컴퓨터 비젼, 특히 입체 영상, 뷰 합성, 및 3D(또는 원근)재구성에 있어 중요한 문제이다. 2개의 화각에서 찍힌 두 이미지에 있는 많은 이미지 특징 또는 대상물이 매칭되었다고 가정하면, 에피폴라 기하(epipolar geometry)를 사용하여, 매칭된 이미지 특징들 사이의 위치 관계를 식별하여 입체 뷰 합성 또는 3D 재구성을 이룰 수 있다.

상기 에피폴라 기하는 기본적으로 입체 영상의 기하이다. 예컨대 도 2에서, 2개의 카메라(11, 13)가, 큰 구체(19)와 작은 구체(21)로 이루어진 공통 3D 장면(10)의 두 2D 이미지(15, 17)를 각각 생성한다. 2D 이미지(15, 17)는 2개의 개별적인 화각(23, 25)에서 찍힌 것이다. 에피폴라 기하는 3D 장면(10)(예컨대, 구체(19, 21)) 내의 점과 2D 이미지(15, 17)에서의 그의 상대적인 투영점 사이의 기하학적 관계를 설명한다. 이 기하학적 관계는 이미지 점들 사이의 구속 조건을 이끄는데, 에피폴라 구속 조건 또는 입체 구속 조건의 근거가 된다.

도 2 는 수평 시차(parallax)를 도시하는데, 카메라(11)의 관점으로부터, 작은 구체(21)는 큰 구체(19)의 앞에 있는 것처럼 보이고(2D 이미지(15)에 나타나 있는 바와 같이), 하지만 카메라(13)의 관점으로부터, 작은 구체(21)는 큰 구체(19)의 옆으로 좀 떨어져 있는 것처럼 보인다(2D 이미지(17)에 나타나 있는 바와 같이). 그럼에도 불구하고, 두 2D 이미지(15, 17)는 동일한 3D 장면(10)의 이미지이므로, 그 두 2D 이미지는 큰 구체(19)와 작은 구체(21)의 상대적인 위치를 사실적으로 나타내는 것이다. 따라서, 카메라(11), 카메라(13), 작은 구체(21) 및 큰 구체(19) 사이의 위치 관계는, 에피폴라 구속 조건(즉, 입체 구속 조건)이 알려져 있는 한, 2D 이미지(15, 17)만 주어져도 3D 장면(10)을 재구현할 수 있게 해주는, 2D 이미지(15, 17)에 대한 기하학적 구속 조건을 확립한다.

에피폴라 기하는 잘 알려져 있는 핀홀 카메라 모델에 기초하고 있는데, 도 3 에 이 모델이 단순화되어 나타나 있다. 핀홀 카메라 모델에서, 카메라들은 각각의 카메라 촛점에서 좌측 점(O_L) 및 우측 점(O_R)과 같은 점으로 나타나 있다. 점(P_O)은 촬영되고 있는 3D 장면 내의 관심 대상 점(즉, 대상물)을 나타내는데, 이는 본 예에서 2개의 교차선으로 나타나 있다.

일반적으로, 이미지 면(즉, 촬영된 3D 장면의 2D 표시가 캡쳐되는 면)은 카메라의 촛점 뒤에 있고 반전된다. 설명을 쉽게 하고 또한 캡쳐된 반전 이미지가 복잡하게 되는 것을 피하기 위해, 2개의 가상 이미지 면(ImgL, ImgR)을 각 촛점(O_L _,O_R) 앞에 나타내어, 캡쳐된 이미지의 비반전 표시를 도시한다. 이들 가상 이미지 면을 3D 장면을, 보는 창(window)으로서 생각할 수 있다. 점(P_L)은 좌측 가상 이미지 면(ImgL)에 대한 점(P_O)의 2D 투영점이고, 점(P_R)은 우측 가상 이미지 면(ImgR)에 대한 점(P_O)의 2D 투영점이다. 이러한 3D-2D 변환은, 당업계에 알려져 있는 바와 같이, 원근적인 투영 또는 이미지 투영이라고 할 수 있고 핀홀 카메라 모델로 설명된다. 일반적으로, 카메라에서 출사되어 그 카메라의 촛점을 통과하는 광선으로 이 투영 작업을 모델링한다. 각각의 모델링된 출사 광선은 캡쳐된 이미지 내의 단일 점에 대응할 것이다. 본 예에서, 이들 출사 광선은 점선(27, 29)으로 표시되어 있다.

에피폴라 기하는 또한 서로에 대한 각 카메라의 위치들을 관련시키는 구속 조건을 규정한다. 이는 촛점(O_L, O_R)의 상대적인 위치를 이용하여 행해질 수 있다. 제 1 카메라의 촛점은 제 2 카메라의 이미지 면 상의 별개의 점 상으로 투영될 것이며, 그 반대도 가능하다. 본 예에서, 촛점(O_R)은 가상 이미지 면(ImgL) 상에 있는 이미지 점(E_L) 상으로 투영되며, 촛점(O_L)은 가상 이미지 면(ImgR) 상에 있는 이미지 점(E_R) 상으로 투영된다. 이미지 점(E_L, E_R)을 에피폴(epipole) 또는 에피폴 점이라고 한다. 에피폴 및 이 에피폴이 투영되는 촛점은 단일 선, 즉 선(3l) 상에 있다.

촛점(O_L)에서 점(P_O)까지의 선(27)은 가상 이미지 면(ImgL)에서 단일 점(P_L)으로 보이는데, 왜냐하면 점(P_O)이 촛점(O_L) 바로 앞에 있기 때문이다. 이는, 도 2 의 이미지(15)에서 작은 구체(21)가 어떻게 큰 구체(19)의 앞에 있는 것처럼 보이는가와 유사하다. 그러나, 촛점(O_R)에서 보면, 촛점(O_L)에서 점(P_O)까지의 동일한 선(27)은 이미지 점(E_R)에서 점(P_R)까지의 변위 선(33)으로 보이게 된다. 이는, 도 2 의 이미지(17)에서 작은 구체(21)가 어떻게 큰 구체(19)의 옆으로 변위되어 있는 것처럼 보이는가와 유사하다. 이 변위 선(33)을 에피폴라 선이라고 할 수 있다. 반대로, 촛점(O_R)에서 보면, 선(29)은 가상 이미지 면(ImgR) 내에 있는 단일 점(P_R)으로 보이지만, 촛점(O_L)에서 보면, 선(29)은 가상 이미지 면(ImgL) 상에 있는 변위 선 또는 에피폴라 선(35)으로 보이게 된다.

따라서 에피폴라 기하는 삼각 측량의 기초를 형성한다. 예컨대, 카메라(O_R, O_L)의 상대적인 병진 이동 및 회전이 알려져 있다고 가정하고, 좌측 가상 이미지 면(ImgL) 상의 투영점(P_L)이 알려져 있다고 하면, 우측 가상 이미지 면(ImgR) 상의 에피폴라 선(33)은 에피폴라 기하로 알 수 있다. 또한, 점(P₀)은, 이 특정의 에피폴라 선(33) 상에 있는 점(P_R)에서 우측 가상 이미지 면(I_mgR) 상으로 투영되어야 한다. 본질적으로, 한 이미지 면 내에서 관찰되는 각각의 점에 대해, 그 동일한 점은 알려져 있는 에피폴라 선 상에서 다른 이미지 면에서 관찰되어야 한다. 이는 서로 다른 이미지 면 상에 있는 대응하는 이미지 점들이 만족해야 하는 에피폴라 구속 조건을 제공한다.

다른 에피폴라 구속 조건은 다음과 같이 규정될 수 있다. 투영점(P_L, P_R)이 알려져 있으면, 이들의 대응하는 투영선(27, 29)도 알 수 있다. 또한, 투영점(P_L, P_R)이 동일한 3D 점(P₀)에 대응하면, 그들의 투영선(27, 29)은 3D 점(P₀)에서 정확히 교차해야 한다. 이는, 3D 점(P₀)의 3차원 위치가 두 투영점(P_L, P_R)의 2D 좌표로부터 계산될 수 있음을 의미하는 것이다. 이 과정을 삼각 측량이라고 한다.

에피폴라 기하는 또한 호모그래피(homography), 즉 투영 변환의 기초를 형성한다. 호모그래피는 관찰자의 시점이 변할 때 피관찰 대상물의 인지된 위치에 무슨 일이 일어나는지를 설명해 준다. 이의 일 예가 도 4 에 나타나 있는데, 여기서 정사각형(12)의 형상은, 2개의 서로 다른 시점(V1, V2)에서 각각 보았을 때 두 이미지 투영면(14, 16)에서 왜곡되어 나타나 있다. 앞에서와 마찬가지로, 이미지 면(14, 16)은 정사각형(12)을 보는 창으로 생각할 수 있다.

상기 호모그래피는 이미지 투영면(14, 16)과 정사각형(12) 사이의 공통적인 점을 식별한다(즉, 점 등록). 예컨대, 정사각형(12)의 네 코너(A, B, C, D)는 이미지 투영면(14)에 있는 점(A', B', C', D')에 각각 대응하고, 또한 이미지 투영면(16)에 있는 점(A", B", C", D")에 각각 대응한다. 따라서, 이미지 투영면(14)에 있는 점(A', B', C', D')은 이미지 투영면(16)에 있는 점(A", B", C", D")에 각각 대응한다.

핀홀 모델이 적용된다고 가정하면, 에피폴라 기하에 의해, 호모그래피를 통해 공간 내의 동일한 평면의 임의의 두 이미지들을 서로 관련시킬 수 있으며, 이리하여 이미지 수정, 이미지 등록, 또는 두 이미지 사이의 카메라 운동(회전 및 병진 이동)의 계산이 가능하게 된다. 일단 카메라의 회전 및 병진 이동이, 추정된 호모그래피 행렬로부터 추출되면, 이 정보는 내비게이션에 사용되거나 또는 3D 대상물의 모델을 이미지 또는 비디오에 삽입하는데 사용될 수 있고, 그래서 3D 대상물은 정확한 원근을 갖게 되며 원래 장면의 일 부분인 것처럼 보이게 된다.

예컨대 도 5 에서, 카메라(22, 24) 각각은 다른 시점에서 정육면체(26)의 3D 장면을 촬영한다. 카메라(22)의 시점에서 보면, 정육면체(26)는 2D 이미지(28)에 나타나 있는 바와 같이 보이고, 카메라(24)의 시점에서 보면, 정육면체(26)는 2D 이미지(30)에 나타나 있는 바와 같이 보이게 된다. 호모그래피로 상호 관련 점들을 식별할 수 있는데, 이러한 점들의 일부가 점선으로 예시적으로 나타나 있다. 호모그래피에 의해 두 2D 이미지(28, 30)가 함께 이어져, 이미지(32)에 나타나 있는 바와 같은 3D 이미지가 생성된다. 따라서, 이미지 쌍들 간의 대응을 자동적으로 찾는 것은 입체 영상 분야에서는 고전적인 문제이다. 그러나 이에는, 이미지 쌍들에서 특징점들을 식별하고 또한 그 이미지 쌍들에서 대응하는 특징점들을 매칭시키는 것이 필수적이다.

에피폴라 기하 및 호모그래피와 같은 입체 영상에 대한 상기 설명을 특히 입체 이미지 쌍에 적용될 때 총칭적으로 원근적인 구속 조건이라고 할 수 있다.

특징 기반 대응 매칭 알고리즘은 원근적인(즉, 3D) 정보를 얻는데 있어서의 그의 용도 때문에, 이 컴퓨터 비젼에서 널리 이용되고 있다. 특징 기반 대응 매칭 알고리즘의 예를 들면, 구배 위치 배향 히스토그램(Gradient Location and Orientation Histogram; GLOH), 고속의 강건한 특징(Speeded Up Robust Feature; SURF), 스케일 불변 특징 변환(Scale-Invariant Feature Transform; SIFT) 및 어파인(Affine) SIFR(또는 ASIFT)가 있다. 각각의 특징 추출 알고리즘은 장단점이 있다. 예컨대, SIFT 와 어파인 SIFT는 그의 분석에서 에지점은 의도적으로 배제하는데, 그래서 에지 검출에는 잘 적합하지 않다. 여기서는 SIFT 기반 알고리즘을 예시적으로 설명한다.

당업계에 알려져 있는 바와 같이, SIFT 알고리즘은 이미지를 스캔하고 관심 대상 점 또는 특징점(개별적인 화소일 수 있음)을 식별하고, 동일한 특징점(또는 화소)이 다른 이미지에서 개별적으로 식별될 수 있도록 이점들을 충분히 기술한다(일반적으로 주변 창(window) 내의 그의 이웃하는 화소에 대해). SIFT 변환에 대한 설명은 Lowe의 미국 특허 제6,711,293호에 제공되어 있는데, 이 특허는 그 전체로서 본원에 참조로 편입되어 있다. 본질적으로, SIFT는 특정 대상물에게 특유한 특징점을 확인하기 위해 훈련 이미지의 라이브러리를 사용한다. 일단 대상물의 특유한 특징점(예컨대, 화소)의 라이브러리가 식별되면, 그 특징점을 사용하여, 대상물의 일례가 새로 받은 시험 이미지에서 발견되는지를 판단할 수 있다.

주로, 대상물의 특징점(즉, 관심 대상 점)을 추출하여, 특정 대상물의 "특징 기술(description)"을 제공한다. 그리고, 훈련 이미지에서 추출된 이 기술을 사용하여, 많은 종류의 대상물을 포함하는 시험 이미지에서 특정 대상물을 식별할 수 있다. 신뢰적 평가를 위해서는, 훈련 이미지에서 추출된 특징이 이미지 스케일, 노이즈, 조명, 및 회전의 변환하에서 검출될 수 있는 것이 바람직하다. 특징점은 보통 이미지의 고 콘트라스트(contrast) 영역 근처에 있다. 그러나, 대상물의 왜곡(특징점이 대상물의 연결 부분 또는 가요적인 부분에 위치하는 경우에 생기는 왜곡과 같은)으로 인해 특징점의 이웃하는 화소에 대한 그 특징점의 기술이 변할 수 있기 때문에, 대상물의 내부 기하학적 구조로의 변경은 에러를 유발시킬 수 있다. 이 에러를 보상하기 위해, 이들 국부적인 변화로 인한 에러의 영향이 감소될 수 있도록 SIFT는 일반적으로 많은 수의 특징점을 검출하여 사용한다.

일반적인 SIFT 적용시, 대상물의 특징점이 먼저 일 세트의 훈련 이미지에서 추출되어 데이터베이스에 저장된다. 새로운 이미지(즉, 시험 이미지)에서 대상의 인식은, 그 새로운 이미지에서 추출된 각 특징점을 그 데이터베이스에 있는 특징점과 개별적으로 비교하고 후보 매칭 특징을 그의 특징점 벡터의 유클리디안 거리에 근거하여 찾아 이루어진다. 전체 세트의 매치에서, 대상물 및 그의 위치, 스케일 그리고 새로운 이미지에서의 배향에 있어 일치하는 부분 세트(sub set)의 특징점을 식별하여 양호한 매치를 걸러 내게 된다. 그리고, 양호한 매치의 일관된 클러스터(cluster)가 확인된다. 일반적으로, 대상 및 그의 자세에 있어 일치하는 3개 이상의 특징점의 각 클러스터는 추가의 상세한 모델 입증을 받게 되며 이어서 아웃라이어(outlier)는 버려지게 된다. 마지막으로, 가능성 있는 거짓 매치의 수 및 피트(fit)의 정확도가 주어지면, 특정 세트의 특징이 특정 대상물의 존재를 나타내는 확률이 계산된다. 이들 모든 시험을 통과한 대상물 매치는 정확한 것으로 식별될 수 있다.

SIFT를 이용하여 이미지에서 특징점을 결정하는 일 예가 도 6 에 도시되어 있다. 이미지(8A)에서 어두운 점으로 나타나 있는 바와 같이, 가능성 있는 특징점이 먼저 식별된다. 그런 다음, 이미지(8B)에 나타나 있는 바와 같이, 낮은 콘트라스트를 갖는 가능성 있는 특징점은 버려진다. 마지막으로, 에지에 위치하는 가능성 있는 특징점이 제거되며, 이렇게 해서, 이미지(8C)에 나타나 있는 최종 세트의 특징점만 남게 된다.

그래서, SIFT를 통해 한 이미지에 있는 식별된 대상물의 특징점을 다른 이미지에 있는 특징점에 매칭시킬 수 있다. 이는 도 7 에 도시되어 있는데, 이 도에는 동일한 대상물(즉, 행복한 표정의 얼굴)에 대한 3개의 이미지가 나타나 있다. 예시의 목적으로, 눈과 입의 코너 근처에 있는 점들에 대응하는 4개의 특징점만 나타나 있다. 도 7 에 나타나 있는 바와 같이, SIFT는 스케일의 변환에 상관 없이 제 1 얼굴(36)의 특징점을 제 2 얼굴(37)의 특징점에 매칭시킬 수 있다. SIFT는 또한 회전에 상관 없이 제 1 얼굴(36)의 특징점을 제 3 얼굴(38)의 특징점에 매칭시킬 수 있다. 그러나, SIFT는 이미지의 어파인(affine) 변환에 대한 제한된 면역을 갖는 것으로 밝혀졌다. 즉, SIFT는, 촬영되는 대상물이 받을 수 있고 또한 여전히 식별될 수 있는 화각의 변화량으로 제한된다.

어파인 변환을 더 잘 다루기 위해 SIFT 변환을 확장하는 방법이, 2009년 2월에 발간된 영상 과학에 관한 SIAM 저널 2권에 있는 모렐(Morel) 등의 "ASIFT: A New Framework for Fully Affine Invariant Image Comparison"에 설명되어 있으며, 이는 전체적으로 본원에 참조로 관련되어 있다.

도 8 을 참조하면, 행복한 표정의 얼굴(39, 40, 41)로 도시되어 있는 바와 같이, 어파인 SIFT는 제 1 얼굴(36)의 특징점을 어파인 변환을 받은 동일 대상물의 표현에 더 잘 매칭시킬 수 있을 것이다.

어파인 SIFT 변환을 적용한 일 예가 도 9 에 도시되어 있는데, 여기서 다수의 특징점이 제 1 화각에서 본 자유의 여신상의 제 1 이미지(9A)로부터, 다른 화각에서 본 다른 스케일의 자유의 여신상의 제 2 이미지(9B)에 매칭된다.

SIFT 필터/알고리즘/모듈/프로세서의 특징점 추출 기능의 신속한 개관이 도 10 및 11 에 도시되어 있다. 도 10 을 참조하면, 각 추출된 특징점(ID_1)(도 5 내지 8 에 도시되어 있는 것과 같은)은, 창, 예컨대 창_1(window_1)로 나타나 있는 화소 어레이 내의 수개의 카테고리, 즉 구별 특성에 속하는 일련의 메트릭스(metrics)로 기술된다. 창 내의 중심점(또는 중심 화소)는 그 창에 대한 특징점으로서 식별될 수 있다. 원한다면, 각 특징점에는 신속한 참조를 위해 식별 코드(ID)가 할당된다. 예컨대, 특징점(ID1_1)은 특징점을 이미지("ID1")에서 추출된 특징점 수 "1" 인 것으로 식별할 수 있다.

피관찰 메트릭스는 대응하는 히스토그램에 배치되고, 따라서 각 특징 창에 대해 다수의 히스토그램이 생성된다. 결과적으로, 전형적인 SIFT 처리 알고리즘은 일련의 또는 일 세트의 SIFT 히스토그램(66)을 생성하게 되며, 각 세트의 히스토그램은 전체적으로 개별 특징점(또는 SIFT 기술자(descriptor))를 기술한다. 각 SIFT 히스토그램은, 처리되는 이미지에서 특징점(또는 아이템 기술자)을 둘러싸고 있는 화소 부근(또는 화소 창)에 대한 특징점의 구별 특성을 통계적으로 기술한다.

그런 다음, 일련의 SIFT 히스토그램(66)이 모여(또는 결합되어) 단일 벡터(68)로 되는데, 이 벡터는 하나의 특징점을 규정한다. 즉, 각 벡터(68)는 이미지 내의 개별 화소(또는 특징점)를 식별하는데 충분한 데이터를 제공한다. 그러므로, 각 벡터(68)는 단일 아이템 기술자(즉, 특징점 또는 특유한 특징 또는 (특징) 화소)를 기술하며 일반적으로 128 개의 기술(descriptive) 데이터로 이루어져 있다. 따라서, 각 특징점은 128-차원 벡터(68)에 의해 규정된다(즉, 기술되거나 식별된다).

도 11 은 n 개의 이미지에서 추출된 다수의 특징점 세트를 도시하는데, 여기서 이미지는 ID1 내지 IDn으로 식별되어 있다. 각 이미지는 개별적으로 식별되는 일 세트의 특징점(원으로 도시되어 있음)을 갖는 것으로 나타나 있다. 예컨대, i 개의 특징점이 이미지(ID1)에서 추출되고, ID1_1 내지 ID1_i으로 표시된다. 유사하게, p 개의 특징점이 이미지(IDn)에서 추출되고, IDn_1 내지 IDn_p으로 표시된다. 각 특징점은 128-차원 벡터(즉, 128개의 데이터 셀을 갖는 벡터)이다. 그리고, 한 이미지에서 추출된 특징점은 다른 이미지에서 추출된 특징점에 매칭될 수 있다(즉, 비교되어 그 다른 이미지에서 추출된 특징점과의 매치를 찾을 수 있다).

위에서 설명한 특징점을 사용하여, 입체 이미지 쌍에서의 대응 점을 식별할 수 있지만, 입체 이미지 캡쳐 시스템에서 카메라의 적절한 보정으로 상기 많은 처리를 최소화하거나 없앨 수 있다.

전술한 바와 같이, 본 발명은 머리 장착형 디스플레이(HMD)에 관한 것이다. 예시의 목적으로, 일 전형적인 HMD(50)가 도 12 에 도시되어 있다. 본 예에서, HMD(50)는 안경과 유사한 형상을 갖는 것으로 나타나 있고 안경과 유사한 방식으로 착용될 수 있다. 모든 계산 자원이 HMD(50)에 포함될 수 있고 또는 대안적으로 HMD(50)와 보조 제어부(53) 또는 몇몇 다른 원격 계산 자원(예컨대, 개인 컴퓨터, 서버 등)으로 나누어질 수 있다. 원한다면, 보조 제어부(53)는 HMD(50)를 제어하기 위한 사용자 인터페이스를 제공할 수 있다. 대안적으로, 모든 사용자 인터페이스 제어기는 HMD(50)에 포함될 수 있다.

바람직하게는, HMD(50)는 우측 광학 투시 디스플레이부(51) 및 좌측 광학 투시 디스플레이부(52)를 포함하는데, 이들 디스플레이부는 함께 협력하여, 가상의 3D 대상물을 나타내는 입체 이미지 쌍의 좌우측 이미지를 제공하게 된다. 본 경우에, 사용자는 가상 3D 대상물의 디스플레이되는 좌우측 이미지 둘다를 보게 될 것이며 또한 좌우측 디스플레이부(51, 52)를 통해 외부 장면도 보게 될 것이다. 즉, 좌우측 디스플레이부(51, 52)는, 가상의 대상물이 적극적으로 디스플레이되지 않는 영역에서는 투명하게 만들어질 수 있다. 원한다면, 사용자가 디스플레이되는 가상 대상물을 선택적으로 투시할 수 있도록, 디스플레이되는 가상 대상물은 원하는 수준의 투명도를 가질 수 있다. 좌우측 광학 투시 디스플레이부(51, 52)는 이미지 투영, 투명한 OLED 또는 LCD 디스플레이 또는 당업계에 알려져 있는 다른 종류의 투명한 표시 수단으로 이미지를 제공할 수 있다.

본 예에서, HMD(50)는 사용자에게 오디오 정보를 제공하기 위해 우측 이어폰(51b) 및 좌측 이어폰(52b)을 포함한다. 바람직하게는, 우측 광학 투시 디스플레이부(51)는 통합된 우측 디스플레이 구동부(51a)에 의해 제어되고, 좌측 광학 투시 디스플레이부(52)는 통합된 좌측 디스플레이 구동부(52a)에 의해 제어된다.

본 예에서, HMD(50)는 하나의 통합된 카메라(54)를 갖는데, 좌우측 광학 투시 디스플레이부(51, 52)에 대한 그리고 미리 정해진 세계 좌표에 대한 그 카메라의 위치와 자세는 알려져 있다. 그러나, HMD(50)는 입체 이미지 쌍을 캡쳐하여 그 주변의 실제 장면에 대한 3D 정보를 얻기 위해 2개의 카메라를 선택적으로 포함할 수도 있다. 대안적으로, HMD(50)는 주변 장면에 대한 3D 정보를 획득하기 위한 임의의 다른 공지된 3D 촬상 시스템(즉, 3D 정보 획득 장치), 예컨대 3D 레이저 스캐너, MICROSOFT CORP.KINECT 센서, 레인지(range) 카메라 또는 임의의 많은 다른 종류의 비행 시간 장치를 포함할 수 있다. 또한 대안적으로, 하나 이상의 3D 정보 획득 장치는 주변 장면 전체에 걸쳐 분산되어 있을 수 있고 그의 획득된 3D 정보는 HMD(50) 및/또는 보조 제어부(53)에 전송되거나 다른 식으로 전달뒬 수 있다.

일 전형적인 HMD에 대한 더 완전한 설명이 본 출원과 동일한 양수인에게 양도된 미국 공보 제2013/0234914호에 제공되어 있으며 이는 그 전체로서 본원에 참조로 편입된다.

이제 눈-HMD 시스템에서 입체 이미지를 생성하기 위해 좌우측 뷰(view)의 현재 바람직한 사용에 대해 설명하면, 제 1 단계는 HMD 시스템이 사용자에 제공하는 좌우측 뷰를 보정하는 것이다. 가상의 광학 투시(OST) 머리 장착형 디스플레이(HMD)의 좌우측 뷰를 입체 보정하기 위한 방법은, 세계 좌표계(즉, 모든 국소 좌표계들의 기준이 될 수 있는 대역적 좌표계)에 있는 기준 대상물의 3D 좌표와 좌우측의 OST HMD 투영 이미지에서의 가상 대상물의 2D 위치 사이의 3D-2D 점 대응을 규정하는 좌우측 보정 행렬을 모델링하는 것으로 이루어진다. 바람직하게는, 고유 파라미터와 외래 파라미터는 개별적으로 고려되며, 고유 파라미터와 외래 파라미터에 대한 개별적인 보정 행렬을 가질 수 있다.

3D 가상 대상물의 좌우측 2D 이미지(즉, 입체적인 투영)의 표시로 나타나는 가상 대상물의 3D 자세는 세계 좌표계에서 알려져 있다고(예컨대, 3D 실제 기준 대상물에의 3D 결부에 의해) 가정한다. 머리-추적 장치의 좌표계에서의 (실제) 기준 대상물의 3D 자세도 마찬가지로 알려져 있다고 가정한다. 이는 상기 추적 장치로 기록되는 데이터를 처리하여 추정될 수 있다. 평균적인 머리 모델(즉, 평균적인 인간 사용자의 머리)의 좌우측 눈에 대한 추적 장치의 자세(예컨대, 병진 이동 및 회전)을 포함하는 기하학적 정보는 각각의 눈에 대한 외래 보정 행렬에 직접 포함되어 있다. 고유 파라미터는, 2개의 HMD 디스플레이에 대한 평균적인 머리 모델의 눈의 위치, 두 눈으부터 가상 이미지의 거리, 투영된 이미지의 크기와 해상도(이미지 왜곡은 무시가능하다고 가정함)에 대한 정보를 고려하여 규정된다. 이렇게 해서, 좌우측 눈에 대한 디폴트 보정 행렬이 전달된다.

주문 맞춤화 과정에서, 개별 사용자는 보정 파라미터를 원하는 정확도로 조정할 수 있는 기회를 얻게 된다. 표준적인 수준의 정확도가 적용되는 경우, 주문 맞춤화 과정은, 마커(marker) 좌표계에서 사용자의 동공간 거리, (바람직하게 관찰되는) 대상물의 크기, 및 가상 대상물의 위치(병진 이동 및/또는 회전)을 조정하는 것으로 이루어진다. 촛점 길이를 보정한 후에, 동공간 거리에 대한 보정은 가상 대상물의 깊이 보정에 직접 관계될 수 있고, 그래서 가상 대상물의 위치 보정의 일 부분으로서 은연 중에 수행될 수 있다. 주문 맞춤화 과정의 결과를 사용하여 관련된 고유 디폴트 보정 행렬과 외래 디폴트 보정 행렬을 업데이트하게 된다. 결과적으로, 이들 행렬은 3D 가상 대상물을 3D 실제 기준 대상물에 결부시키는데 사용되는 것이다. 보정 절차는 빠르고 간단하며 또한 사용자 친화적이다.

현재 바람직한 실시 형태는 시각적 머리 추적용 장착형 카메라를 구비하는 OST HMD 이다. 그러나, 본 보정 방법은 사전에 특정된 세계 좌표계에서의 자세가 알려져 있는 어떤 다른 추적 센서의 경우에도 완전히 적용가능하다. 그럼에도 불구하고, 상기 보정 방법의 복잡성은 사용 중인 증강 현실 시스템의 구체적인 사항에 따라 변할 수 있다. 또한, 현재 바람직한 실시 형태는 입체 OST HMD 보정을 사용하지만, 본 발명은 단안(monoscopic) 및 2D-뷰 OST HMD 보정으로 쉽게 수정될 수 있으며, 이에 의해 보정 절차가 줄어들 것이다.

본질적으로, 본 발명은 인간 사용자의 눈과 광학 투시(OST) 머리 장착형(HMD) 디스플레이로 구성된 광학 시스템의 입체 보정을 다룬다. 이 보정의 결과는, 증강 현실(AR) 시스템의 프레임워크 내에서 가상의 3D 대상물을 실제 환경(즉, 실제 장면)에 결부시키고 또한 그들의 뷰를 지각적으로 융합하기 위해 사용된다.

보정은 평균적인 머리 모델에 관련된 두 좌우측 가상 카메라에 대한 복합적인 눈 - 0ST HMD 시스템(이하의 설명에서는 "가상 카메라"라고 함)의 고유 파라미터와 외래 파라미터를 특정하는 것에 기초하고 있고 또한 개별 사용자를 위해 파라미터를 조정하는 것에도 기초하고 있다.

바람직한 실시 형태에서, OST HMD에는 시각적 머리 추적을 위한 장착형 카메라가 구비된다. 그러나, 바람직한 보정 방법은, 사전에 특정된 세계 좌표계에서의 자세가 알려져 있는 어떤 다른 추적 센서(들)에도 완전히 적용가능하다. 그럼에도불구하고, 상기 보정 방법의 복잡성은 사용 중인 증강 현실 시스템의 구체적인 사항에 따라 변할 수 있다.

보정시에는, 예컨대 도 13 내지 15 에 나타나 있는 바와 같이, HMD의 기하학 구조, 좌우측 HMD 디스플레이에 대한 추적 센서의 상대 위치, HMD 스크린에 대한 평균적인 머리 모델의 눈의 위치, 이미지 면과 (좌우측) 가상 카메라의 각 촛점 사이의 거리, 및 투영된 이미지의 크기와 해상도에 대한 이용가능 정보가 사용된다.

도 13 은 본 발명의 바람직한 실시 형태에 따른 HMD의 몇몇 외래 파라미터와 고유 파라미터를 도시한다. 외래 파라미터에 대해서는, 우측 및 좌측 HMD 스크린(101, 103)이 알려져 있는 위치에 위치된다. 위에서 설명한 바와 같이, 적어도 하나의 실제 카메라가 HMD에 장착되어 있고, 그 실제 카메라는 사용자의 눈으로 본 것 같은 가상 대상물을 나타내는 가상 카메라에 관련되어 있다.

도 14 를 참조하면, 이는 가상 카메라는 이상적으로는 사용자 눈(105, 107)의 위치에 배치되는 것을 의미한다. 도 14 에서, HMD 스크린(101, 103)은 사용자 눈(105, 107) 바로 앞에 있는 것으로 나타나 있다. 현재의 설명을 위해, 눈(105, 107)은 가상 카메라를 나타내는 것으로 생각할 수 있는데, 왜냐하면 그 카메라는 사용자가 보게될 가상 대상물을 이상적으로 "볼" 것이기 때문이다. 따라서, 도 14 는 2개의 겹쳐진 가상 이미지 면(109, 111)을 또한 나타낸다. 좌우측 가상 카메라(좌우측 눈(107, 105)으로 나타낸 바와 같은)의 HMD 좌측 광축(112) 및 HMD 우측 광축(114)도 각각 나타나 있다. 가상 카메라에서 그의 대응하는 가상 이미지 면까지의 촛점 길이(113)는 카메라의 고유 파라미터로서 나타나 있는데, 하지만 아래에서 설명하는 바와 같이, 사용자는 이 촛점 길이를 조정하여 각 가상 이미지 면(109, 111)의 위치를 조정할 수 있다.

도 15 는 예컨대 좌우측 HMD 스크린(103, 101)을 통해서 본 좌우측 이미지(103a, 101b)를 도시한다. 이 두 이미지는 위에서 설명한 바와 같이 입체 이미지 쌍을 포함할 것이다. 이상적으로는, 좌우측 이미지(103a, 101b)는, 도 14 의 중간에 도시되어 있는 바와 같이 가상 대상물을 실제 대상물에 중첩시켜 대응하는 실제의 물리적 대상물(117)에 결부되는 가상 대상물(117a, 117b)이다.

도 14 를 참조하면, 투영된 가상 대상물(117a/117b)의 실제 대상물(117)에의 중첩은, 광축선(116, 118)을 실제 대상물(117)의 중심에서 교차시켜(즉, 수렴시켜) 나타나 있다. 사용자가 실제 대상물(117)에 대한 가상 카메라의 인지된 이미지(즉, 가상 대상물(117a, 117b))를 조정할 수 있게 함으로써, HMD 시스템은, 아래에서 더 충분히 설명하는 바와 같이, 실제 대상물(117)까지의 거리 및 다른 파라미터를 결정할 수 있다.

도 13 을 참조하면, 정사각형(115)은 HMD의 실제 카메라의 위치 및 자세 정보를 가상 카메라에 전달하기 위해 병진 이동 벡터를 사용하는 것을 도시한다. 또한 도 13 에는, 사용자 동공들 사이의 동공간 거리(120)가 나타나 있다. 위에서 설명한 바와 같이, HMD는 모델 머리에 근거하여 초기 동공간 거리를 가정하는데, 하지만 개별 사용자는 이 초기 동공간 거리를 선택적으로 조정하여 HMD의 고유 파라미터를 조정할 수 있다. 나타나 있는 다른 고유 파라미터는 우측 및 좌측 스크린(103, 101) 사이의 거리 및 스크린의 크기와 해상도이다.

상기 주문 맞춤화 과정은 조정가능한 정확도를 가질 수 있고 사용자 친화적이다. 사용자 상호 작용은 최소화되고 바람직하게는 단지 5개의(전체 12개 중에서) 파라미터(2개의 고유 파라미터 및 3개의 외래 파라미터)를 조정하는 것으로 줄어든다. 2개의 고유 파라미터는 촛점 길이와 동공간 거리(IPD)이다. 3개의 외래 파라미터는 x 병진 이동, y 병진 이동 및 z 병진 이동이고, 여기서 x 및 y는 HMD 스크린의 주 방향에 평행한(예컨대, HMD 스크린의 면에 평행한) 방향을 나타내고, z는 HMD 스크린에 수직이다. 바람직하게는, 가상 이미지 면에서 절대 이미지 좌표가 변하지 않는다는 가정하에서, 두 가상 카메라의 주 점(즉, 광축과 이미지 면의 교차점)의 변화가 두 가상 카메라의 면내 병진 이동 파라미터의 변화에 비례하여 내부적으로 업데이트된다.

표준 목표 정확도가 적용되는 경우, 회전 에러는 작다고 가정하고 병진 이동 에러에 대한 보정으로 최소화될 수 있다.

가상 카메라의 입체 보정 방법은, 시스템의 직접적인 기하학적 특성을 사용하여 좌우측 가상 카메라에 대한 디폴트 보정 행렬을 규정하고 개별 사용자에 대한 원하는 정확도에 이르기 위해 그들 행렬을 동시에 주문 맞춤화하는 것으로 이루어진다. 다음 설명의 일부는 단일 가상 카메라에 관한 것이지만, 입체 영상화 시스템(즉, 입체 보정의)의 두 가상 카메라 각각에 유사한 설명이 적용될 것임을 이해해야 할 것이다.

도 13 내지 15 를 참조하면, 좌우측 가상 카메라에 대한 디폴트 보정 행렬은 다음과 같은 2가지 사항으로 규정된다:

1. 고유 보정 파라미터에 대해서는, 핀홀 가상 카메라 모델을 가정한다. 촛점 길이는 이미지 면과 (좌우측) 가상 카메라의 각 촛점까지의 거리와 같게 설정된다. 주 이미지 점의 좌표는, 투영된 이미지의 크기와 해상도에 대해, 눈에서 나오는 법선(즉, 수직 방향)과 이미지 면의 교차점에서 설정된다. 화소 밀도는 투영된 이미지의 해상도와 각 이미지 크기의 비로 주어진다.

2. 외래 보정 파라미터에 대해서는, 병진 이동 파라미터 및 회전 파라미터는 추적 센서의 좌표계에서 각 병진 이동 벡터 및 각 가상 카메라의 회전 행렬로 설정된다.

디폴트 보정 행렬의 주문 맞춤화는 다음과 같은 3개의 요소를 포함한다:

1. IPD의 알려져 있는 값을 입력 및 조정하거나 모델 기준 파라미터를 측정하여 IPD를 수동으로 조정함.

2. 촛점 길이 파라미터를 단안적으로 조작하여 가상 대상물의 크기를 조정함(예컨대, 두 입체 카메라 중의 하나만 사용하여, 즉 하나의 눈만 사용하여).

3. 좌측 눈과 우측 눈에 대해 동시에 기준 좌표계에서 x, y 및 z 방향을 따라 가상 대상물을 중심 맞춤한다. 기준 좌표계는 바람직하게는 추적 센서의 좌표계 및, 가상 카메라 좌표계, 추적 장치의 좌표계 및 기준 3D 대상물의 좌표계와 같은 모든 다른 용도의 국소 좌표계에 대한 관계가 알려져 있는 임의의 좌표계 또는 추적기 좌표계로의 변환이 알려져 있는 미리 정해진 좌표계이다.

기준(결부) 대상물의 위치는 추적 센서로부터 얻은 데이터를 실시간으로 처리하여 알려진다. 지각적 추적의 경우, 세계 좌표계는 일반적으로 기준 3D 또는 2D 대상물(예컨대, 마커)에 부착되고, 머리 자세가 기준 대상물에 대해 추적된다.

바람직한 실시 형태에 대한 아래의 설명은 입체 OST HMD 보정을 가정하지만, 본 방법을 수정하고, 보정 절차를 단안 및 2D 뷰 OST HMD 보정으로 줄이는 것도 간단하다.

이제, 본 발명의 바람직한 방법을 도 13 내지 도 15 를 참조하여 설명한다. 수학적인 모델은 OST HMD 및 사용자로 구성된 시스템에 대한 이용가능한 기하학적 정보를 사용하고, 이들 도면은 보정 파라미터와 눈 + OST HMD 시스템의 직접적인 기하학적 측정치(즉, 기하학적 파라미터) 사이의 관계를 도시한다. 카메라(115)(또는 일반적으로, 임의의 주어진 추적 센서)는 HMD의 우측에 배치되어 있는 것으로 나타나 있는데, 하지만 일반적인 경우에는 HMD 프레임 상의 어떤 일반적인 위치에도 있을 수 있다.

도 16 은 AR 시스템의 일반화된 개관을 나타낸다. 목표는 세계 좌표계를 가상 카메라(눈 + OST HMD) 좌표계에 맵핑하는 것이다. 가상 카메라 좌표계는 실제로 얻기가 어려울 수 있기 때문에, 머리 추적 시스템(동작 센서(121))의 도움으로 변환은 바람직하게는 두 부분으로 나누어진다. 세계 좌표는 센서 좌표계에 맵핑되고, 이때 동작 센서(121)로부터 가상 카메라 좌표계로의 맵핑이 수행된다.

현재 바람직한 실시 형태는 AR과 관련하여 대부분의 종래 기술 OST HMD 보정 방법과는 다른 보정 방법을 사용한다. 일반적으로 행해지는 것과 같이 점 대응을 모으는 대신에, 바람직한 실시 형태는 디폴트 보정 행렬을 규정하기 위해 OST HMD와 HMD 사용자로 이루어진 시스템의 직접적인 기하학적 측정치를 사용한다. 그리고 개별 사용자는 주문 맞춤화 과정을 거치게 되는데, 이 과정은 2D 좌우측 입체 이미지 쌍의 형성에 관계되어 있는 개별적인 보정 파라미터를 직접 조작하여 가상 및 실제의 3D 대상물을 지각적으로 정렬하는 것으로 이루어진다. 그럼에도 불구하고, 이 방법에 의하면, 사용자 상호작용이 여전히 최소화 된다.

강조하고자 할 점으로, 본 방법은 표지점을 사용하지 않으며 그래서 개별 표지점들의 점별 정렬을 피하고 있다(예컨대, 점 대응을 피하고 있음). 현재 바람직한 실시 형태에서는, 사용자는 가상의 대상물 및 실제 기준 대상물을 정렬시키기 위해 어떤 점도 물리적으로 이동시키지 않으므로, 사용자 상호 작용 및 이에 따른 사용자 에러가 최소화된다. 오히려 사용자는 보정 파라미터의 감소된 수의 점증적인 변화로 인한 가상 대상물의 점증적으로 다른 자세를 선택할 수 있다. 정확한 점 위치를 향함에 있어서의 사용자 에러 및 사용자 움직임을 추적함에 있어서의 에러가 이렇게 해서 완전히 회피된다.

본 방법은 사용자와 HMD 사이의 상호 작용을 더 최소화한다. 본 접근법에서, 사용자는 완전한(즉, 전체적인) 가상 대상물의 다른 표현을 초래하는 몇개의 보정 파라미터를 차동적이고 점증적인 단계로 개별적으로 검토하고 가장 좋은 파라미터 세트를 선택하기만 하면 된다.

본 보정 절차를 더 단순화시키기 위해, 사용자가 변경가능한 보정 파라미터의 수는 아래에 열거된 많은 가정을 따름으로써 감소된다. 동시에, 다른 보정 파라미터(예컨대, 본 명세서에서 더 설명하는 바와 같이 작은 회전을 보상할 수 있는 병진 이동 파라미터)의 영향을 보상할 수 있는 기능을 가진 파라미터가 있다. 본 절차는 다른 파라미터의 최적화를 적절히 주문하여 다른 파라미터에 대한 반복을 피하도록 더 설계되어 있다.

본 실시 형태에서는 또한, 3D 자세 미분을 파라미터 벡터 미분과 연계시키는 동적/기계적 방정식을 푼 결과로 생길 수 있는 잠재적인 수치적 에러가 생기지 않는다.

사용자를 위해 본 보정 절차를 더 단순화시키기 위해, 본 시스템은 작업할 좌표계에 대한 선택권을 사용자에게 제공한다.

요컨대, 디폴트 보정 행렬을 규정하기 위해 데이터 점 수집에 의존하는 종래 기술의 보정 방법과는 달리, 본 방법은 시스템의 직접적인 기하학적 정보를 사용하고 그래서 데이터 수집이 필요 없다. 또한 디폴트 보정 행렬을 규정하기 위해 대수적 또는 수치적 해법을 사용하는 이전의 보정 방법과는 달리, 본 방법에서는 이 단계가 완전히 없다. 본 방법은 주문 맞춤화 단계를 위해서만 사용자 상호 작용을 필요로 하고 그래서 시각적으로 만족하는 가장 좋은 보정 세트를 일정한 점증적 선택 세트에서 선택하기 위해 최소한의 사용자 상호 작용만 필요로 하게 되는데, 반면 이전의 보정 방법에서는 개별 데이터 점을 조작하기 위해 광범위한 사용자 상호 작용 및 노력이 필요했다. 또한 고정된 좌표계에서 작용했던 보정 개량을 위한 이전의 방법과는 달리, 본 바람직한 실시 형태는 작용할 좌표계에 대한 선택권을 사용자에게 준다(디폴트 선택은 시각적 머리 추적을 위한 마커 좌표계임).

바람직한 실시 형태의 기본적인 보정 절차는 시스템의 11개의 사항 또는 가정 특징을 가정한다. 본 발명의 목적은, 기본적인 보정 절차가 표준 적용 정확도의 요건을 만족하는 것이다. 원하는 수준의 정확도를 유지하면서, 보정 절차를 단순화시키고 사용자 상호 작용을 최소화하기 위해, 다음과 같은 가정(즉, 사항)이 만들어진다:

1. 도 17 에 나타나 있는 바와 같이, 가상 카메라(좌우측 OST HMD-눈 시스템)의 핀홀 모델이 가정된다(즉, 사용된다).

2. 가상 카메라의 주 이미지 점은 사용자의 동공으로부터의 직접적인 수직 투영점에 있다. 평행한 보기 축선이 가정된다.

3. 가상 카메라의 촛점 길이는 좌측 눈과 우측 눈 모두에 대해 동일하다고 가정한다.

4. 촛점 길이가 단안으로(즉, 당시에 한 눈으로만 보는 것) 적절히 조정될 때, 대상물 크기는 정확하다. 즉, 도 18 에 도시되어 있는 바와 같이, 촛점 길이가 가상 카메라의 핀홀 모델에 적합하지 않으면(예컨대, 그 모델에 맞게 조정되지 않으면), 마커 면에서의 가상 대상물의 인지된 크기(단안으로 봤을 때)는 정확하지 않다. 도 18 에서, 더 어두운 수직 바아(즉, 더 어두운 색)는 정확하게 추정된 촛점 길이 및 대상물/이미지 크기에 대응하고, 더 밝은 수직 바아(즉, 더 밝은 색)는 부정확하게 추정된 촛점 길이 및 대상물/이미지 크기에 대응한다. 도시되어 있는 바와 같이, 가상 대상물과 HMD 사이의 가상 거리는 조정된 촛점 길이로부터 얻어질 수 있다.

5. 사용자가 정확한 깊이에 촛점을 둘 때, 촛점 길이가 적절히 조정되면, 좌우측 눈에 대한 가상 대상물의 단안 뷰(즉, 각 눈은 한번에 하나씩 개별적으로 사용됨)들이 겹치면 동공간 거리(IPD)가 조정된 것으로 가정한다. 예컨대, 도 19 는 좌우축 단안 뷰들이 서로 촛점 맞춰져 있고 또한 일치하는 것을 보여준다. 본 예에서, 인지된 가상 대상물은 실제 기준 대상물(117)과 일치하는 것으로 가정한다. 이와는 달리, 도 20 은, 우측 눈으로 인지된 가상 대상물(117b)이 좌측 눈으로 인지된 다른 가상 대상물(117a)과 일치하지 않고 그래서 IPD는 정확하지 않으며(촛점 길이는 이미 정확하게 설정된 것으로 가정함) 또한 더 조정될 필요가 있는 경우를 나타낸다. 이렇게 해서, 사용자는 그의 정확한 IPD를 쉽게 결정할 수 있다.

6. 종횡비는 HMD 광학 기구(16:9)에 의해 결정되므로, 그 종횡비는 서로 다른 사용자들 간에 일정하다고 가정한다.

7. 도 21 에 도시되어 있는 바와 같이, 회전 에러는 작다고 가정하고 또한 병진 이동 에러를 보정하여 보상될 수 있다.

8. 이미지 왜곡은 작다고 가정한다.

9. 센서(121)는 도 16 에 도시되어 있는 고글 같은 HMD 프레임에 고정 장착된다.

10. 위의 2 및 7 번 사항은, 좌우측 보정 행렬 사이의 차이만 동공간 거리로 인한 것임을 암시한다. 그러므로, 중심 맞춤된 평균적인 머리 모델에 대해서는, 주 이미지 점은 각각의 가상 이미지 면에서 좌우측 가상 카메라에 대해 동일하다고 가정한다.

11. 2번 사항에서 언급한 바와 같이, 도 17 에 도시되어 있는 바와 같이, 핀홀 카메라 모델 및 보기 축선에 수직하게 배치되는 고정된 가상 이미지 면은 좌우측 눈에 대한 평행한 보기 축선을 암시한다. 따라서, 도 22 에 도시되어 있는 바와 같이, 계산된 불일치는 엄밀하게는 주어진 IPD로 인한 것이다.

더 높은 정확도의 사용을 위해, 3번, 6번 및 7번 사항은 완화될 수 있고, 사용자가 유익하다고 생각한다면 그 사용자에게 조정할 가능한 더 많은 파라미터 세트가 제공될 수 있다. 그러나, 이러한 방안은 경험이 더 많은 OST HMD 사용자를 필요로 하고 또한 잠재적인 이익은 증가된 투입된 노력을 상쇄하지 못할 수 있기 때문에 처음에는 검사받을 필요가 있음에 유의해야 한다.

보정 행렬을 구성하는 변수들을 완벽하게 알고 있더라도, 보정 결과는 완벽하지 않을 수 있고, 일반적으로 완벽하지 않다. 이는 핀홀 가상 카메라 모델의 가정 때문인데, 하지만 아래에서 더 설명하는 같이 증강 현실에서의 몇몇 지각적인 문제의 결과이기도 하다.

다음, 보정 주문 맞춤화를 위한 좌표계 선택에 대해 설명한다. 처음에, 추적 카메라 좌표계에서 보정 행렬이 규정된다(본 방법은 가상 추적이 행해지는 OST HMD 시스템과 관련하여 설명되지만, 본 방법은 다른 유형의 추적 방법 또는 추적 방법들의 조합을 이용하는 OST HMD 시스템으로 쉽게 확장가능함을 상기해야 한다). 이 좌표계는 도 23 에 도시되어 있는 바와 같이 인간의 눈이 그 자신의 좌표계의 관점에서 세계를 보기 때문에 대상물 조작을 위한 자연적인 좌표계가 아니다. 그래서, 가상 및 실제 대상물의 뷰를 지각적으로 정렬하는 것에 의존하는 보정을 용이하게 하기 위해, 바람직한 실시 형태는 초기 좌표계를 실제 좌표계에서 가상 카메라 좌표계로 변환시킨다. 그리고 관련된 보정 파라미터는 가상 카메라 좌표계에서 점증적으로 수정된다.

뷰를 가상 카메라 좌표계로 변환한 후에도, 사용자는, 예컨대 사용자가 가상 대상물 뷰(도 24 에 도시되어 있는 것과 같은)를 결부시키고자 하는 기준 3D(또는 2D) 대상물의 좌표계(예컨대, 가상 추적의 경우에 사용되는 마커)와 같은 사전에 정해진 기준 좌표계에서 작용하는 것 보다 덜 직관적이라고 생각할 수 있다. 이를 위해, 바람직한 실시 형태는, 기준 좌표축을 변환하여 도 24 에 설명되어 있는 바와 같은 연쇄적인 변환을 이용하여 실제 대상물을 가상 카메라 좌표계에 결부시키고 또한 결부 대상물의 좌표계에서 보정을 수행하게 된다. 유사하게, 본 실시 형태는 사용자가 특정한 어떤 좌표계에서도 작용할 수 있으며, 그 좌표계에 대해서는, 고정된 세계 좌표계 또는 추적기 카메라 좌표계로의 변환은 알려져 있다(임의의 주어진 추적 장치 또는 조합된 둘 이상의 추적 장치를 사용하는 OST HMD 시스템에도 동일한 논리가 적용된다).

다음, 가상 카메라의 차동 운동을 실행하는 것에 대해 설명한다.

임의의 주어진 좌표계에서의 운동을 성공적으로 변환시키기 위해, 바람직한 실시 형태는 눈 좌표계의 x, y 및 z 축을 따르는 미소 운동이 어떻게 보정 파라미터 상으로 투영되는지를 규정한다. x-y 면 내에서의 운동은 두 가상 카메라 좌표계(좌측 및 우측)의 x-y 면에서의 병진 이동 파라미터의 변화로 직접 이어지게 된다. 깊이 방향(z 를 따르는)의 운동은, 가상 카메라 x 축을 따르는 좌우측 병진 이동 파라미터의 직접적인 변화로 나타나는 IPD 변화로 이어진다.

도 31을 참조하면, ΔT_x _(y)는 외래 병진 이동 파라미터의 미소 변화를 나타낸다. ΔX(Y)는 눈 좌표계에서 X(Y) 좌표의 미소 변화이고, ΔZ는 깊이의 미소 변화(눈 좌표계에서)를 나타낸다. 하첨자 x 및 y 는 해당 축을 나타내고, 하첨자 L 및 R 은 좌측 및 우측 가상 카메라를 각각 나타낸다. 두 식 (1) 및 (2)는 투영된 가상 이미지 면에서 절대 점 위치는 일정하다는 가정하에서 유도된 것이다.

ΔT_x _(y)에서의 변화는 본질적으로 도 31 의 식(3)에 나타나 있는 바와 같이 이미지 주 점(C_0x _(y))의 변화를 나타내고, 여기서 S_x _(y)(px/mm)은 화소 밀도이다.

일단 이들 미소 운동이 규정되면, 가상 카메라 좌표계에 있는 좌표축들의 어떤 조합(도 24 및 식(1), (2) 및 (3)에 나타나 있는 바와 같은, 그리고 선택된 기준 좌표계에 있는 개별적인 좌표축을 따르는 미소 변환의 결과로)이라도 적절히 계산될 수 있다.

다음, 보정 파라미터에 대한 이론 값과 실제 값 사이의 불일치에 대해 설명한다.

증강 현실에서의 지각적인 문제와 관련하여, 인간의 시각계는 자연적으로 볼 때 다양한 깊이 단서를 사용하여 깊이 정보를 추론하게 된다. 그래서, 실세계에서는, 서로에 따라 존재하는 다양한 깊이 단서로 정확한 깊이 인지가 가능하게 된다. 이와는 달리, 입체적 표시는 부분 세트의 이용가능한 깊이 단서만 전달할 수 있다. 없어진 또는 제어되지 않는 깊이 단서는 부족하거나 거짓 깊이 정보를 제공할 수 있고 그래서 왜곡된 인지를 초래할 수 있다. 예컨대, 수용(즉, 세트의 조정량)은 약한 깊이 단서일 수 있지만, 여전히 깊이와 크기 인지를 크게 변경할 수 있다. 이미지 면이 작용 거리 보다 훨씬 더 멀리 있으면(바람직하게는 5 m 이고, 반면 작용 거리는 일반적으로 팔 길이로 유지됨), 이미지 면에 더 가까운, 그래서 사용자로부터 더 멀리 있는 대상물을 인지하는 효과가 생기게 될 것이다. 그래서, 최적의 IPD는 실제 사용자의 IPD 보다 크게 될 것이다. 이는 최적으로 보정된 IPD가 실제 IPD 보다 클 수 있는 이유에 대한 일 가능한 설명이 된다. 유사하게, 실제 대상물이 가상 대상물 뷰와 동일한 깊이에 있더라도, 실제 대상물과 가상 대상물 사이의 수용 불일치는 틀린 깊이에서 가상 대상물을 인지할 수 있는 사용자를 혼란스럽게 할 수 있는데, 두 대상물 사이의 수용 차이로 인해 다른 깊이 단서들이 생길 수 있다.

또한, 인간의 시각계는 자극물의 형상과 크기에 상관 없이 7 mm 한계 보다 작은 깊이는 구별할 수 없는 것으로 나타났다.

상기한 바는, 완벽하게 설정된 디폴트 파라미터의 경우에도 정확한 인지된 보정을 이루기 위해서는 몇몇 작은 조정이 여전히 필요할 수 있고 또한 깊이를 구별할 수 있는 인간 능력의 한계로 인해 완벽한 보정을 이루는 것은 원래 어렵다는 것을 암시한다.

보정 범위에 대해서는, 사용자와 실제 기준 대상물 사이의 거리에 상관 없이, 머리 위치가 추적 기구로부터 완벽하게 복원된다는 가정하에서, 보정 결과는 다른 거리/깊이 범위에 대해 여전히 다를 수 있다. 더욱이, 한 깊이 범위에 대해 보정 파라미터가 완벽하게 측정되지 않으면, 보정된 범위에 대해 원위인 깊이 범위에서 에러가 비례적으로 증가할 수 있다.

깊이 범위에 대한 보정 결과의 의존성은 주로 위에서 설명한 지각적인 문제로 인한 것이다. 다른 원인은 평행한 보기 축선을 갖는 핀홀 모델의 왜곡에 있는데, 촛점 길이 및/또는 수렴각에 있어서의 잠재적인 작은 차이가 다른 깊이 범위에서 발생할 수 있다.

일반적으로, 사용자가 짧은 범위(30 ∼ 40 cm)와 중간 범위(70 ∼ 80 cm) 중 하나에 대해 충분히 성공적인 보정을 보고하면, 보정 결과가 짧은 범위 시험과 중간 범위 시험에 대해 다르다는 것을 알지 못한다. 하지만, 상기한 바 때문에, 바람직한 실시 형태는 사용자가 특정 애플리케이션에 대해 작용 거리 주위에서 장치를 보정할 것을 장려한다. 대안적으로, 서로 다른 거리 범위들에 대해 보정을 고르게 하기 위해 작은 선형 보정항이 사용될 수 있다.

이제 보정 프로토콜에 대해 설명하면, 이 부분은 머리 자세의 시각적 추적이 사용된다고 가정한다. AR 시스템에 통합되어 있는 임의의 다른 추적 센서에 대한 프로토콜을 수정하는 것은 간단하다. 디폴트 보정 행렬은 시스템의 직접적인 기하학적 측정치(즉, 기하학적 파라미터)를 사용하여 규정된다. 도 25, 26a 및 26b를 참조하면, 보정 주문 맞춤화 프로토콜은 시각적 추적의 경우에 다음과 같은 8 개의 단계로 이루어진다:

1. 사용자는 고글을 쓰고 그의 눈에 수직하게 눈 바로 앞에 위치시킨다. 고글의 정확한 위치 결정은 AR 시스템의 성공적인 보정 및 사용에 중요하다. 시스템의 직접적인 기하학적 정보를 사용하여 규정된 디폴트 보정 행렬이 로딩된다.

2. 사용자는 보정을 위한 좌표계를 선택한다. 기본적으로, 마커 좌표계가 설정된다.

3. 알려져 있으면, 사용자는 정확한 값을 입력하고 IPD를 미세 조정한다. 그렇지 않으면, 사용자는 전술한 바와 같이 IPD를 조정한다. 마커는 바람직하게는 수직 방향으로 보기 축선에 수직하게 위치된다.

4. 마커를 동일한 위치에 유지시키면서 사용자는 x 및 y 방향을 따라(쌍안적으로) 대상물을 마커에 중심 맞춤시킨다.

5. 가상 대상물의 뷰를 마커에 평면적으로 중심 맞춤시킨 후에 마커를 여전히 수직 위치에 유지시키면서, 사용자는 촛점 길이를 단안적으로 조정하여 시험 대상물의 크기를 조정한다. IPD가 정확하게 설정되고 또한 촛점 길이가 적절히 조정되면, 상기 단계 3 및 5 의 수행 후에, 사용자로부터의 대상물 깊이는 최적으로 조정되어야 한다.

6. 촛점 길이가 수정되었으면, 단계 5 의 경우 처럼 마커를 동일한 위치에 유지시키면서, 사용자는 시험 대상물이 마커에 중심 맞춤되어 유지되도록 인지된 가상 대상물의 위치를 재조정할 필요가 있을 수 있다. 가상 카메라 좌표계에서의 x 및 y 위치는 단계 4 및 6 의 수행 후에 최적으로 조정되어야 한다.

7. 사용자는 마커를 더 수평으로 또는 옆으로 위치시키고 시험 대상물(예컨대, 가상 대상물)을 마커(예컨대, 실제 기준 대상물)에 결부시키고 중심 맞춤시키기 위해 어떤 추가 조정이 필요한지를 확인한다. 선택된 좌표계(기본적으로 마커 좌표계)에서 필요한 조정이 행해지고 최적의 IPD 및 평면 병진 이동에 대한 조사는 대상물 정렬 절차에 들어 있다.

8. 보정 주문 맞춤화 과정이 종료된다.

상기 보정 절차는 도 27, 28a, 28b, 29 및 30에 그래픽으로 단계적으로 설명되어 있다.

다음, 센서 보정에 대해 설명한다. 다음의 보정 방법은 완벽한 추적 센서 보정 및 머리 자세의 완벽한 복원을 가정한다. 본 시각적 추적 AR 시스템의 경우는 자세하게 시험되었지만, 원리는 어떤 다른 추적 기구에 대해서도 유효하다. 카메라는 당업계에 알려져 있는 OpenCV 보정 도구(Open Source Computer Vision Library)를 사용하여 보정되었다. 사용된 보정 패턴은 체커판 그리드(14열 × 10행, 정사각형 크기 = 10.8 mm) 이였다. 시험을 통해, 머리 자세의 복원에 있어 정확한 카메라 보정(다른 종류의 센서에도 적용가능)의 중요성이 확인되었다.

마커 표면의 법선에 대해 작은 각도의 카메라 축선을 유지하면서, ARToolkit 마커 및 추적 방법(ARToolkit는 당업계에 알려져 있는 증강 현실 어플리케이션 구축용 소프트웨어 라이브러리임)를 사용하여 마찬가지로 시험을 수행하여, 짧은 범위, 중간 범위 내지 먼 범위(20cm ∼ 1m)에서 마커 추적 에러를 추정하였다. 추적 에러는 2 ∼ 3 mm 내지 최대 약 90 cm 의 정도였다. 90cm 보다 먼 거리에 대해서는 성능이 악화되었다(이는 아마도 마커 표면 단위 당 화소 밀도가 더 작기 때문인 것으로 생각됨).

끝으로, 바람직한 실시 형태에서 사용된 수학적 모델의 몇몇 추가적인 상세를 여기서 설명한다.

세계 좌표에서의 3D 점과 이미지(화소) 좌표에서의 그의 2D 투영점 사이의 관계는 도 32 에 있는 식(4)으로 나타나 있는 행렬 형태로 표현될 수 있다. 이 경우, 3D 세계 점(X)과 2D 점(p)이 동종 좌표로 주어져 있고, w는 임의의 스케일이고, P는 외래 성분과 고유 성분을 통합하는 투영 행렬이다. 즉, P는 식(5)에 나타나 있는 바와 같이 정의되는데, 여기서 기호(6)는 고유 파라미터 행렬이고, u₀ 및 v₀는 이미지 면 중심의 이미지 화소 좌표를 나타내고, fu는 촛점 길이와 x 방향의 화소 밀도를 곱한 것이다. 유사하게, fv는 촛점 길이와 y 방향의 화소 밀도를 곱한 것이다. R은 회전 행렬을 나타내고 t는 병진 이동 벡터를 나타낸다. 수학적 모델은 바람직하게는 P-행렬을 구성하여 규정되는데, 이는 평균적인 머리 모델에 대응하는 직접적인 기하학적 측정치(즉, 기하학적 파라미터)를 삽입하여 행해진다.

본 발명을 여러 개의 특정 실시 형태와 관련하여 설명했지만, 전술한 바에 비추어 많은 다른 대안, 수정, 및 변화가 명백함이 당업자에게는 자명하다. 따라서 여기서 설명한 본 발명은 첨부된 청구 범위 및 그 요지에 포함될 수 있는 그러한 모든 대안, 수정, 응용 및 변화도 포괄한다.

Claims

사용자 인터페이스를 포함하는 증강 현실(augmented reality; AR) 시스템의 광학 투시(OST) 머리 장착형 디스플레이(HMD)의 보정 방법으로서,
(a) 적어도 머리 모델 및 HMD 모델의 기하학적 정보에 기초하여 규정되는 보정(calibration) 행렬 세트를 이용하여, 기준 대상물(reference object)에 대응하는 가상 대상물의 뷰(view)를 투영하는 단계로서, 상기 투영된 가상 대상물이, 상기 HMD를 통해 상기 기준 대상물과 실질적으로 결부(anchor)되는 것으로 인지되도록 투영하는, 단계;
(b) 상기 사용자 인터페이스를 통해 수신된 지시에 응답하여, 상기 지시가 나타내는 양(amount)만큼 상기 보정 행렬 세트 내의 적어도 하나의 파라미터를 변화시키는 단계;
(c) 상기 양만큼 변화된 상기 적어도 하나의 파라미터를 포함하는 상기 보정 행렬 세트에 기초하여, 상기 가상 대상물의 뷰를 투영하는 단계; 및
(d) 상기 (c) 단계에서 투영된 가상 대상물이 상기 기준 대상물과 실질적으로 정렬된 것으로 인지될 수 있을 때까지, 상기 보정 행렬 세트 내의 상기 적어도 하나의 파라미터 이외의 파라미터에 대해 상기 (b) 및 (c) 단계가 수행되도록 허용하여, 그에 의해 상기 보정 행렬을 조정하는 단계
를 포함하는 보정 방법.
제1항에 있어서,
상기 HMD는 투영된 가상 대상물의 쌍안 이미지를 제공하는 입체 AR 시스템인 보정 방법.
제2항에 있어서,
상기 쌍안 이미지는 좌측 이미지와 우측 이미지로 구성되어 있고,
상기 단계 (b) 및 (c)에 의해 상기 가상 대상물을 상기 기준 대상물에 재정렬하는 것은, 상기 좌측 이미지와 우측 이미지 각각에 대해 개별적으로 수행되며,
상기 보정된 가상 대상물은, 또한 좌측 이미지 가상 대상물 투영 및 우측 이미지 가상 대상물 투영이 서로 가장 잘 정렬되는 투영된 가상 대상물로서 규정되는 보정 방법.
제1항에 있어서,
상기 보정 행렬 세트는 외래 파라미터 행렬과 고유 파라미터 행렬을 포함하며, 이들 두 행렬은 상기 HMD 및 머리 모델의 직접적인 기하학적 측정치로부터 규정되고,
상기 외래 파라미터 행렬과 고유 파라미터 행렬은 핀홀 카메라 모델에 근거하는 보정 방법.
제4항에 있어서,
상기 외래 파라미터 행렬에 대한 업데이트는, 상기 기준 대상물의 알려져 있는 치수, 위치 및 배향 그리고 그 기준 대상물의 좌표계를 사용하여, 투영되어 정렬된 가상 대상물의 3D 자세(3D 회전 + 3D 병진 이동)의 직접적인 기하학적 측정치로부터 얻어지는 보정 방법.
제5항에 있어서,
상기 기준 대상물의 좌표계에서의 값은 상기 투영된 가상 대상물의 좌표계에서의 값으로 변환되는 보정 방법.
제5항에 있어서,
각각의 투영된 가상 대상물은 가상 카메라를 사용하여 생성되는 보정 방법.
제4항에 있어서,
상기 투영된 가상 대상물은 상기 핀홀 카메라 모델에 근거하며,
상기 고유 파라미터 행렬 내의 파라미터는,
촛점 길이를 규정하는데 사용되는, 가상 핀홀 카메라의 중심에서 그 가상 핀홀 카메라의 가상 이미지 면의 중심까지의 거리; 및
상기 머리 모델에 대한 상기 가상 이미지 면의 중심 위치, 투영된 이미지의 중심 화소 위치를 규정하는 상기 투영된 이미지의 이미지 해상도, 및 투영된 가상 대상물의 화소 밀도
와 같은 기하학적 측정치를 사용하여 규정되는 보정 방법.
제8항에 있어서,
상기 HMD는 투영된 가상 대상물의 쌍안 이미지를 제공하는 입체 AR 시스템이고,
상기 쌍안 이미지는 좌측 이미지와 우측 이미지로 구성되고, 각 이미지는 각각의 외래 파라미터 행렬 및 고유 파라미터 행렬을 가지며,
상기 규정된 촛점 길이는 좌측 이미지와 우측 이미지 모두에 대해 사용되는 보정 방법.
제8항에 있어서,
상기 HMD는 투영된 가상 대상물의 쌍안 이미지를 제공하는 입체 AR 시스템이고,
상기 쌍안 이미지는 좌측 이미지와 우측 이미지로 구성되고,
상기 적어도 하나의 파라미터는 동공간 거리(IPD)이고,
최적의 IPD는,
상기 단계 (b) 및 (c)에 의해 상기 가상 대상물을 상기 기준 대상물에 재정렬시키는 것을, 상기 좌측 이미지와 우측 이미지 각각에 대해 개별적으로 수행하고,
또한 좌측 이미지의 재정렬된 상기 가상 대상물이 우측 이미지의 재정렬된 상기 가상 대상물에 정렬되게 하는 파라미터 값을 식별함으로써,
구해지는 보정 방법.
제10항에 있어서,
상기 최적의 IPD는 사용자의 실제 IPD와 일치하지 않는 보정 방법.
제11항에 있어서,
상기 단계 (b)에서 상기 적어도 하나의 파라미터를 조작하는 것은 사용자 제어 입력에 따라 행해지는 보정 방법.
제1항에 있어서,
상기 (b) 단계의 상기 적어도 하나의 파라미터의 변화로 인해 상기 투영된 가상 대상물의 병진 이동이 일어나게 되며, 상기 기준 대상물에 대한 상기 투영된 가상 대상물의 배향의 차이는 상기 투영된 가상 대상물의 병진 이동을 조정하여 보정되는 보정 방법.
제1항의 보정 방법을 계산 장치로 실행하는 지시를 구현하는 비일시적(non-transient) 컴퓨터 판독가능 매체.