KR20160111370A

KR20160111370A - 소형 광학 추적기

Info

Publication number: KR20160111370A
Application number: KR1020167016585A
Authority: KR
Inventors: 리오르 바락; 론 콘빌트; 라니 벤-이샤이
Original assignee: 엘비트 시스템스 엘티디.
Priority date: 2013-11-21
Filing date: 2014-11-20
Publication date: 2016-09-26
Also published as: EP4343384A2; IL229563A; KR102315555B1; US9618621B2; EP4343384A3; EP3072107C0; IL229563A0; WO2015075719A1; US20150136947A1; EP3072107B1; EP3072107A4; CN105829912B; EP3072107A1; CN105829912A

Abstract

본원에 광학 추적기가 기재된다. 상기 추적기는 적어도 부분적으로 서로 대향하는 적어도 2개의 광학 추적기 센서를 포함한다. 각각의 광학 추적기 센서는 장면을 표시하는 픽셀 스트림에 대한 픽셀의 값을 발생하도록 구성된 픽셀 어레이 센서; 상기 픽셀 어레이 센서와 물리적으로 결합된 적어도 1개의 시각 인디케이터; 및 상기 적어도 1개의 픽셀 어레이 센서와 물리적으로 결합되고, 상기 픽셀에 대한 픽셀 스트림의 값을 수신하고, 상기 스트림에 블랍(binary large object; BLOB) 분석을 적용하여 장면을 표시하는 픽셀의 단일 경로에서의 장면에 존재하는 적어도 1개의 시각 인디케이터를 나타내는 블랍 파라미터를 얻도록 구성된 집적 회로(IC); 및 상기 블랍 파라미터를 수신하고, 상기 적어도 2개의 광학 추적기 센서의 상대적 위치 및/또는 방향, 또는 그 부분 데이터를 계산하도록 구성된 컴퓨터 프로세서를 포함한다.

Description

소형 광학 추적기{COMPACT OPTICAL TRACKER}

본 발명은 일반적으로 광학 추적기의 분야에 관한 것이고, 특히, 데이터 전송을 용이하게 하기 위한 로컬 추적 데이터 추출에 관한 것이다.

비디오 카메라를 사용한 추적 객체는 불가피한 지연 문제를 야기하는 대역폭과 계산력을 모두 요구한다. 일부 응용 프로그램에 있어서, 추적 장치 및 제어 모듈간의 통신 링크의 높은 계산력과 높은 대역폭에 대한 요구없이 신속하게 객체를 추적할 수 있는 것이 요구되고 있다.

본 발명의 일부 실시형태에 따라서, 광학 추적기가 제공된다. 상기 추적기는 서로 적어도 부분적으로 대향하는 적어도 2개의 광학 추적기 센서를 포함한다. 각각의 광학 추적기 센서는 장면을 표시하는 픽셀 값의 스트림을 발생하도록 구성된 적어도 1개의 픽셀 어레이 센서; 상기 적어도 1개의 픽셀 어레이 센서와 물리적으로 결합된 적어도 1개의 시각 인디케이터; 및 상기 적어도 1개의 픽셀 어레이 센서와 물리적으로 결합되고, 상기 픽셀 값의 스트림을 수신하고, 상기 스트림에 블랍(BLOB: binary large object) 분석을 적용하여 상기 장면을 표시하는 픽셀의 단일 경로에서의 장면에 존재하는 적어도 1개의 시각 인디케이터를 나타내는 BLOB 파라미터를 얻도록 구성된 집적 회로(IC); 및 상기 BLOB 파라미터를 수신하고 적어도 2개의 광학 추적기 센서의 상대적 위치 및/또는 방향 또는 그 부분 데이터를 계산하도록 구성된 컴퓨터 프로세서를 포함한다.

본 발명의 이들 부가 및/또는 다른 형태 및/또는 장점이 히아세 상세히 기재되어 열거된다.

본 발명의 더욱 최선의 이해 및 어떻게 실시될 수 있는지를 나타내기 위해서, 상응하는 요소 또는 부분에 대해는 유사한 숫자로 표시한 첨부한 도면은 오직 예로서만 참조된다. 첨부한 도면에 있어서:
도 1은 본 발명의 실시형태에 따른 시스템의 일형태를 나타내는 다이아그램이다.
도 2는 본 발명의 실시형태에 따른 시스템의 다른 형태를 나타내는 다이아그램이다.
도 3은 본 발명의 실시형태에 따른 시스템의 비제한적인 바람직한 적용을 나타내는 다이아그램이다.
도 4는 본 발명의 실시형태에 따른 시스템의 다른 비제한적인 바람직한 적용을 나타내는 다이아그램이다.
도 5a 및 도 5b는 본 발명의 실시형태에 따른 시스템의 비제한적인 바람직한 적용을 나타내는 다른 다아이그램이다.
이하의 상세한 설명에 수반되는 도면이 본 발명의 실시형태를 당업자에 명백하게 한다.

이하, 도면을 참조로 더욱 구체적으로 설명하면, 나타내어지는 상세는 실시예를 목적으로 또한 본 발명의 바람직한 실시형태를 설명하기 위해서만이고, 본 발명의 원리 및 개념 측면의 설명을 가장 용이하고 쉽게 이해하고자 제공하는 이유로 나타내어진다. 이 점에 있어서, 본 발명의 근본적인 이해를 위해 필요한 것보다 더욱 상세히 본 발명의 구조 세부를 나타내는 것을 시도하지 않는다. 도면을 수반한 본 명세서가 수개의 본 발명의 형태를 실용상 구현할 수 있는지가 당업자에게 명백하다.

본 발명의 실시형태를 상세하게 설명하기 앞서, 본 발명은 본 출원에 있어서 하기 설명에서 개시한 또는 도면에 도시된 구성요소의 구성 및 배열의 상세에 대해서 한정하지 않는다는 것은 이해된다. 본 발명은 다른 실시형태에 적용될 수 있고, 또한 다양한 방식으로 실행 또는 실시될 수 있다. 또한, 여기에 채용된 용어 및 전문용어는 설명을 위한 것이며, 한정으로서 간주되어서는 안된다는 것은 이해된다.

도 1은 본 발명의 실시형태에 따른 시스템을 나타내는 다이아그램이다. 광학 추적기(100)가 설명되고, 시각 인디케이터(40C)와도 결합된 센서(120A)와 대향하는 다른 광학 센서(120B)가 위치된 객체(20)(헬멧 등)에 부착된 40A 및 40B 등의 복수의 시각 인디케이터를 포함하는 장면을 표시하는 픽셀 값의 스트림을 생성하도록 구성된 적어도 1개의 픽셀 어레이 센서(10)를 포함하는 상기 센서(120A) 등의 적어도 2개의 광학 추적기 센서를 포함한다. 광학 추적기 센서(120A)는 인터페이스(110)에 의해 가능한 상기 픽셀 어레이 센서(10)에 물리적으로 연결된 특정 용도의 집적 회로(ASIC: application specific integrated circuit)로서 실행될 수 있는 필드 프로그램가능 게이트 어레이(FPGA; field programmable gate array) 등의 집적 회로(IC)를 더 포함한다. 상기 시스템은 특정 용도 마다에 바람직하고 적합할 수 있는 하드웨어 및 소프트웨어의 임의의 조합에 의해 행해질 수 있음을 주목한다. 또한, 단일 IC는 복수의 픽셀 어레이 센서와 통신하여 상기 단일 IC는 임의의 상기 복수의 픽셀 어레이 센서로부터 산출되는 데이터에 BLOB 분석을 적용할 수 있다.

조작시에, IC(130)는 상기 픽셀 값의 스트림을 수신하고, 상기 스트림에 단일 경로 블랍(binary large object) 분석을 적용하여 적어도 1개의 시각 인디케이터를 나타내는 BLOB 파라미터(132)를 얻도록 구성된다. 광학 추적기(100)는 상기 BLOB 파라미터(132), 광학 추적기 센서(120A 및 120B)를 수신하고, 상기 광학 추적기 센서(120A)에 대한 광학 추적기 센서(120B)의 위치, 방향 또는 그 부분 데이터(152) 중 적어도 1개를 산출하도록 구성된 컴퓨터 프로세서(150)를 더 포함한다. 구조적으로, 일실시형태에 있어서, 소형화 및 사용 용이성을 위해서 상기 광학 추적기 센서(120A)내에 컴퓨터 프로세서(150)를 패킹한다,

상기 구성, 즉, 서로 대향하는 2개의 광학 추적기 센서(120A 및 120B), 상기 광학 추적기 센서 중 1개(120A)와 결합된 적어도 1개의 시각 인디케이터(40C) 및 상기 다른 광학 추적기 센서(120B)와 결합된 적어도 2개의 시각 인디케니터(40A 및 40A)는 상기 2개의 광학 추적기 센서간의 상대적 위치 및 방향의 6개의 자유도 전체를 계산하는데 충분하다.

현재 시판되는 광학 추적 구성보다 현저한 상기 구성의 장점은 상기 광학 추적기 구성 요소 중 적어도 1개의 소형 설계, 즉, 단일 시각 인디케이터와 결합된 광학 추적기 센서를 제공하는 것이다. 한편, 단일 카메라가 객체와 결합된 적어도 3개의 시각 인디케이터(3개의 시각 인디케이터는 모든 위치 및 방향에 요구되는 시각 인디케이터의 최소수)를 대면하는 현재 시판의 광학 추적기 구성에 있어서, 임의의 2개의 시각 인디케이터 간의 거리는 상기 광학 추적기 센서와 피추적 객체 간의 거리에 비례하고, 또한 상기 추적기의 요구된 정확도에 비례하는 최소 거리보다 긴 것이 요구된다(즉, 정확도가 양호할수록 긴 거리를 요구한다). 상기 최소 거리는 또 다른 최소 거리로 구분되는 2개의 광학 추적기 센서가 객체를 추적하는데 사용되면 짧아질 수 있다. 상기 구성에 있어서, 서로 결합되는 광학 추적기 센서 및 단일 시각 인디케이터가 소형의 하우징내에 포함될 수 있고, 상기 하우징의 크기는 거의 소망의 정도로 작다. 즉, 상기 크기는 포함하는 하드웨어의 구성 요소의 크기에 의해서만 제한되고, 시스템 중의 다른 구성 요소 및 상기 광학 추적기 구성 요소 간의 거리와 요구되는 정확도로부터 기인하는 임의의 수학적 또는 물리적 한정에 의해서는 제한되지 않는다.

구체적으로, 본 발명의 실시형태에 따른 소형 설계는 이하에 설명되는 헤드장착 유닛 또는 휴대용 객체에 소형의 부품의 부착되는 경우에 유리하다. 다른 잇점은 시스템 정확도가 요구되는 광학 추적기 유닛(즉, 센서 및 시각 인디케이터)를 포함하는 부품 간의 상대적 위치의 단기 및 장기의 기계적 안정성과 정확도로부터 생긴다. 예를 들면, 상기 시각 인디케이터가 발광 다이오드(LED)인 경우, 상기 LED 및 픽셀 어레이 센서는 모두 단일 인쇄 회로 기판(PCB)에 조립되고, 그들의 상대 위치는 상기 PCB 조립체 라인에 의해 기대되는 매우 고정밀도 공지될 수 있다. 또한, 상기 구성은 환경 조건(예를 들면, 온도) 및 기계적 변형으로 인한 변화에 대해 강고하다. 그러나, 통상, 센서에서 프로세서로 비디오를 전송하는데 사용되는 와이어는 모든 비디오 프레임의 짧은 전송 시간을 뒷받침하기 위해서 큰 대역폭을 지원하도록 요구된다. 그러나, 케이블을 사용하지 않는 것이 요구되는 경우의 용도도 있다.

본 발명의 실시형태에 있어서, 시판의 광학 추적기의 상술의 문제를 해결한다. 상술한 바와 같이, 블랍 분석을 사용하는 것은 프로세싱을 위해 전송되어야 하는 데이터의 양을 감소시킨다. 소형의 저레이턴시 광학 추적기를 위한 또 다른 실시형태가 상기 블랍 기반 광학 추적기 센서 대신에 소정의 관심 영역(ROI: region of interest)에서만 픽셀을 추출하도록 구성된 비디오 촬상 장치를 사용할 수 있다. 시각 인디케이터가 다른 센서와 결합된 영역을 포함하도록 설정된 상기 비디오 촬상 장치(상기 실시형태 광학 센서(120A 및/또는 120B)를 대체함)는 상기 ROI만이 캡처되도록 구성된다. 이하, 더욱 많은 ROI의 배리에이션이 설명된다. 블랍 및 ROI 솔루션은 모두 낮은 대역폭의 유선 또는 무선 형태를 지원하고, 이들의 실시형태는 단일 구현에 사용될 수 있다.

소형 설계의 다른 장점은 단일 광학 추적기 센서의 LED 및 픽셀 어레이 센서의 수개의 쌍을 결합하는 것이 가능하여 각각의 쌍은 다른 FOV를 커버하고, 따라서 단일 광학 추적기 센서는 매우 큰 FOV를 커버해서 여전히 소형이 유지된다. 단일 쌍만이 임의의 주어진 추적기 사이클에 사용되도록 요구되고 따라서, 상기 쌍들간의 거리는 최소로 유지될 수 있다.

상기 블랍 파라미터를 결정하는 것은 공지의 단일 경로 블랍 분석의 방법에 의해 달성될 수 있다. 본원의 상기 단일 경로 블랍 분석은 장면에 있어서, 전체 화상을 스캔하고, 객체의 모두를 검출하고, (종래 기술에서 요구되는 2개 및 3개 경로와는 달리) 픽셀의 단일 경로에서의 그들의 각각의 블랍 파라미터를 유도하는 능력에 관한 것이다.

본 발명의 일실시형태에 있어서, 임계값 접근법이 행해진다. 따라서, 각 픽셀은 회색도가 소정 임계값 보다 높으면, 블랍에 포함된다고 여겨진다. 상기 접근법은 통상, 광학 추적기 용도의 경우에 있어서, 어두운 배경에서 상기 화상이 비교적 작은 블랍을 포함하는 경우에 가장 효과적이고, 그들의 주변에 걸쳐 시각 인디케이터를 더욱 구별될 수 있도록 하기 위해 각종 광학 및 전자 광학 수단이 사용된다.

일실시형태에 있어서, 상기 센서로부터의 발생한 픽셀은 1개씩 판독된다. 현 픽셀이 소정 임계값을 초과한다고 결정되면, 그 블랍 관련 이웃하는(예를 들면, 1개 또는 2개 픽셀 떨어져 위치된) 픽셀도 체킹된다. 현 픽셀이 이웃하는 픽셀이 관련되는 블랍과 연관된다. 2개의 이웃하는 픽셀이 2개의 다른 블랍과 연관되는 경우, 상기 2개의 블랍을 유닛하기 위한 지시가 행해진다. 블랍 검출을 행하기 위한 다른 방법이 가능하다. 또한, 2개씩 또는 그 이상으 개수로 픽셀을 판독하는 등의 다른 실시형태도 고려될 수 있음이 이해된다.

본 발명의 다른 실시형태에 따라서, 컴퓨터 프로세서(140) 및 적어도 1개의 광학 추적기 센서(120)는 분리되어 위치되고, 또한, 상기 광학 추적기 센서는 송신기(134) 및 안테나(136)를 통해 상기 블랍 파라미터(132)를 컴퓨터 프로세서(140)와 결합된 수신기(142) 및 안테나(144)에 전송하도록 구성된다. 본 발명의 장점 중 1개는 상기 블랍 분석이 인시츄(즉, 캡쳐링 장치)에서 행해지기 때문에, 전송된 파라미터는 비디오 시퀀스 등(비디오 추적기에 의한 경우 등)의 미가공 데이터가 아니고 따라서, 넓은 대역폭을 요구하지 않는다는 것이다. 본 발명의 다른 장점은 상기 블랍 분석이 단일 경로 기준으로 행해지고, 상기 블랍 파라미터만이 전송되기 때문에, 픽셀 어레이 센서(10)에 의해서 화상이 샘플링되는 시간과 컴퓨터 프로세서(140)가 그 계산을 개시하는 시간 사이의 임의의 불필요한 레이턴시가 삭제된다는 것이다.

적어도 2개의 광학 추적기 센서가 2개 이상의 시각 인디케이터와 결합되는 본 발명의 다른 실시형태에 따라서, 대향하는 제 2 광학 추적기 센서가 단일 시각 인디케이터만을 요구한다. 상기 요구는 광학 추적기 센서의 쌍에 대한 모든 상대 위치와 방향 데이터(즉, 6개 자유도)를 유도하기 위해서, 전체적으로 적어도 3개의 시각 인디케이터가 요구된다는 사실에서 기인한다.

바람직하게는, 상기 구성은 매우 소형의 단일 시각 인디케이터 광학 추적기 센서를 설계하는 것을 가능하게 한다. 상기 소형의 광학 추적기 센서는 추적되는 객체와 결합하기 위해 사용되고, 휴대용 장치와 같이 소형 크기가 본질적인 장점이다. 상기 소형의 광학 추적기는 센서는 단일 시각 인디케이터 및 픽셀 어레이 센서를 포함하는 하우징을 포함한다. 비제한 예에 있어서, 상기 단일 시각 인디케이터는 픽셀 어레이 센서의 중심으로부터 약 5cm 미만의 거리에 위치된다.

본 발명의 일실시형태에 따라서, 시각 인디케이터(40)는 광원 및 리플렉터 또는 그들의 조합 중 적어도 1개로 이루어질 수 있다. 또한, 상기 광원 또는 리플렉터에 의해 반사된 광을 발광하는 광원은 광펄스를 방출하도록 구성될 수 있고, 상기 광학 추적기는 상기 광원의 펄스와 상기 픽셀 어레이 센서(10)의 검출 시간 간의 동기화를 위한 수단을 더 포함한다.

본 발명의 일실시형태에 따라서, 픽셀의 스트림만이 상기 픽셀 어레이 센서(10)내의 적어도 1개의 소정의 관심 영역(ROI)으로 전송되고, 상기 ROI 영역은 상기 프레임 바이 프레임 단위로 업데이트된다. 이것은 상기 센서(10)로부터 픽셀의 판독 시간이 짧으므로 장면의 캡쳐링 및 블럽 분석의 완료 사이의 경과 시간을 더욱 감소시킬 수 있다. 상기 접근법은 화상의 작은 부분으로 한정되는 비교적 작은 블랍의 수를 상기 화상이 함유하는 경우에 경우에 가장 효율적이고, 1개 이상의 시각 인디케이터가 부착된 단일 객체를 추적하는 경우와 같이, 그들의 의도된 위치는 과거를 기반으로 대략적으로 예측될 수 있다.

상기 ROI 영역을 결정하는 것은 피추적 객체의 예측된 위치에 기초하여 행해질 수 있다. 또한, 센서 기술이 허용될 때마다, 최소 레이턴시로 2개 이상의 시각 인디케이터군을 추적하기 위해서 2개 이상의 ROI가 발생될 수 있다. 예를 들면, 2개 객체일 때마다, 시각 인디케이터를 각각 갖고 추적되어야 한다. 또한, 각각의 객체는 다른 센서와 광원이 동작되는 기간을 동기화함으로써 독립적으로 구분되어 추적될 수 있다.

다른 실시형태에 따라서, 상기 시각 인디케이터의 광학 검출의 일실적 손실의 경우에 있어서, 자성 또는 관성 추적 등의 상보 기술이 사용될 수 있다. 광검파의 재개시, 광학 추적기는 상보적 추적기(자성, 관성 또는 기타)로부터 유래한 ROI를 이용할 수 있다. 또는, 장기간의 광검파의 실패 후, 광학 주적이 전체 프레임에서 재개된다(비ROI 모드).

도 2는 본 발명의 실시형태에 따른 시스템의 다른 양태를 나타내는 다이어그램이다. 광학 추적기(200)는 각각 서로 적어도 부분적으로 대면하는 적어도 2개의 광학 추적기 센서(210A, 210B)를 포함하고, 상기 광학 추적기 센서 중 적어도 1개는 장면을 표시하는 픽셀 값의 스트림을 발생하도록 구성된 적어도 1개의 픽셀 어레이 센서(220A, 220B); 상기 적어도 1개의 픽셀 어레이 센서(220A, 220B)에 물리적으로 결합된 집적회로(IC)(230A, 230B)로서, 상기 한 픽셀씩의 값의 스트림을 수신하고, 또한 상기 스트림에 대해 블롭(BLOB; binary large object) 분석을 적용하여, 상기 장면을 표시하는 픽셀의 단일 경로에서 상기 장면 중에 존재하는 적어도 1개의 시각 인디케이터(240A, 240B 또는 240C)를 나타내는 블롭 파라미터를 얻도록 구성된 집적회로(IC)(230A, 230B)를 포함한다.

또한, 광학 추적기(200)는 적어도 2개의 광학 추적기 센서210A, 210B)의 각각에 결합된 적어도 1개의 시각 인디케이터(240A, 240B 또는 240C)를 포함할 수 있다. 또한, 광학 추적기(200)는 상기 블롭 파라미터를 수신하고, 또한 적어도 2개의 광학 추적기 센서의 상대적 위치 및/또는 방향(252), 또는 그 부분 데이터를 계산하도록 구성된 컴퓨터 프로세서(250)를 포함한다.

본 발명의 일부 실시형태에 의하면, 적어도 2개의 광학 추적기 센서에 물리적으로 부착된 시각 인디케이터의 총수는 적어도 3개이다.

본 발명의 일부 실시형태에 의하면, 적어도 2개의 광학 추적기 센서 중 적어도 1개는 촬상 장치이고, 상기 컴퓨터 센서는 상기 촬상 장치로부터 유래한 데이터에 더욱 기초하여 상대적 위치 및/또는 방향, 또는 그 부분 데이터를 계산하도록 구성된다.

본 발명의 일부 실시형태에 의하면, 적어도 2개의 광학 추적기 센서 중 적어도 1개는 고정되어 있다.

본 발명의 일부 실시형태들에 따르면, 컴퓨터 프로세서는 상기 광학 추적기 센서들 중 하나 내에 패키징된다.

본 발명의 일부 실시형태들에 따르면, 컴퓨터 프로세서 및 적어도 하나의 광학 추적기 센서는 서로 개별적으로 위치되어 있고, 상기 적어도 하나의 광학 추적기 센서는 유선 통신 채널을 통해 블랍 파라미터들을 컴퓨터 프로세서에 송신하도록 더 설정되어 있다.

본 발명의 일부 실시형태들에 따르면, 컴퓨터 프로세서 및 적어도 하나의 광학 추적기 센서는 서로 개별적으로 위치되어 있고, 상기 적어도 하나의 광학 추적기 센서는 무선 통신 채널을 통해 블랍 파라미터들을 컴퓨터 프로세서에 송신하도록 더 설정되어 있다.

본 발명의 일부 실시형태들에 따르면, 적어도 하나의 시각적 표시기는: 광원 및 리플렉터 중 적어도 하나를 포함한다.

본 발명의 일부 실시형태들에 따르면, 적어도 하나의 시각적 표시기는 광 펄스를 방출 또는 반사하도록 설정되고, 상기 광학 추적기는 광원(260)으로부터의 광 펄스 또는 시각적 표시기들(240A-240C)과 적어도 2개의 광학 추적기 센서들 사이에 동기화(270)용 수단을 더 포함한다.

본 발명의 일부 실시형태들에 따르면, 광학 추적기는 픽셀들의 스트림의 서브세트만이 IC에 이송되는 관심(ROI) 모드의 영역에서 동작 가능하고, 상기 픽셀의 스트림의 서브세트는 ROI와 연관된 픽셀 어레이의 사전 정의된 서브세트를 나타낸다.

본 발명의 일부 실시형태들에 따르면, 상기 ROI는 적어도 하나의 시각적 표시기의 예상 위치에 기반하여 프레임별로 결정된다.

본 발명의 일부 실시형태들에 따르면, 광학 추적기는 광학 추적기 센서들이 실패할 때마다 추적 데이터를 제공하도록 설정된 자기 또는 관성, 또는 기타 추적 수단을 더 포함하고, 상기 광학 추적기는 자기 또는 관성, 또는 기타 추적 수단에 의해 제공된 데이터에 기반하여 결정되는 ROI에 의해 광학 추적을 재개하도록 설정된다.

본 발명의 바람직한 실시형태에 따르면, 광학 추적기는 2개의 광학 추적기 센서들을 포함하고, 상기 2개의 광학 추적기 센서들에 물리적으로 부착된 시각적 표시기들의 총수는 적어도 3개이다. 이 방법은 전체적인 위치 및 방향 표시를 유도할 수 있다. 그러나, 시각적 표시기들을 적게 사용하면 부분적인 위치 및 방향 데이터를 제공할 수 있어 일부 응용에 대해 이점이 있을 수 있는 것이 이해된다.

도 3은 본 발명의 실시형태에 따른 시스템의 비제한적 예시 응용을 도시하는 도면이다. 환경(300)은 의사(310)가 광학 센서(332) 및 시각적 표시기들(333A, 333B, 및 333C)이 부착되어 있는 휴대용 의료 장치(330)를 이용하고 있는 수술실을 도시한다. 마찬가지로, 광학 센서(350) 및 시각적 표시기들(353A, 353B, 및 353C)은 머리에 장착된 디스플레이 시스템(도시 생략)을 착용할 수 있는 의사(310)의 머리 상에 장착될 수 있다. 또 다른 광학 추적기 센서(360)는 고정(예를 들면, 천장에 부착됨)될 수 있고, 적어도 2개의 시각적 표시기들(362A 및 362B)을 포함할 수 있다. 또 다른 광학 센서(342) 및 시각적 표시기들(343A, 343B, 및 343C)은 환자의 픽스쳐(340)에 환자에게 장착될 수 있다.

일부 실시형태들에 따르면, 휴대용 장치(330)는 임의의 수술용 도구(예를 들면, 외과용 메스, 복강경용 튜브, 초음파 트랜스듀서 또는 니들)일 수 있다. 이 방식에 있어서, 휴대용 장치가 추적될 수 있다. 추적되는 객체들 및 그것에 결합되는 광학 추적기 센서들은 특정 공간의 관계를 규정하기 때문에, 실제로 두 객체들의 상대적 위치 및 방향(2개의 광학 추적기 센서들의 상대적 위치 및 방향에 반대됨)을 산출하기 위하여, 상술의 특정 공간의 관계가 공지되어야 할 필요가 있는 것이 이해된다. 그 공간의 관계의 보정 또는 정합을 위해 당업계에 공지된 여러가지 방법이 있다.

환자의 머리 또는 다리에 물리적으로 부착된 광학 추적기 센서(342)가 환자에게 장착되면, 환자의 픽스쳐(340)가 추적될 수 있다. 이 부착은 직접 또는 간접적일 수 있고, 예를 들면 광학 추적기 센서는 환자의 머리에 직접 부착되거나, 또는 환자의 머리에 견고하게 부착되는 프레임에 부착될 수 있다.

본 발명의 일부 실시형태들에 따르면, 머리에 장착된 광학 센서 또는 휴대용 장치 광학 센서 또는 환자에게 장착된 광학 센서는 적어도 2개의 광학 추적기 센서들 중 적어도 하나의 시야 범위 내에 위치되고, 상기 적어도 2개의 광학 추적기 센서들 중 적어도 하나와 비교해서, 컴퓨터 프로세서가 머리에 장착된 광학 센서 또는 휴대용 장치 광학 센서 또는 환자에게 장착된 광학 센서의 위치 및/또는 방향, 또는 그들의 일부 데이터를 산출하도록 더 설정된다.

본 발명의 일부 실시형태들에 따르면, 2개의 광학 추적기 센서들 중 적어도 하나는 환자에게 장착되거나 휴대용 장치에 물리적으로 부착되고, 그것에 부착된 적어도 1개의 시각적 표시기를 갖고, 머리에 장착된 광학 추적기 센서는 그것에 부착된 적어도 2개의 시각적 표시기들을 갖는다. 상술의 광학 센서들 및 시각적 표시기들은, 광학 추적 시스템의 사용 또는 설계에 따라 요구되는 바와 같이 더욱 많은 조합 및 변경이 이용될 수 있는 것이 이해된다.

도 4는 본 발명의 실시형태에 따라 시스템의 또 다른 제한적 예시 응용을 도시하는 도면이다. 또한, 환경(300)은 인간 사용자(310)가 광학 추적기 센서(453) 및 적어도 2개의 시각적 표시기들(352A-352C)을 포함하는 머리에 장착되는 디스플레이 시스템을 착용하고 있는 수술실을 도시한다. 추가적으로, 인간 사용자(310)는 복수의 픽셀 어레이 센서들(433A-433C) 및 단일 IC(도시 생략)를 포함하는 광학 추적기 센서가 부착되어 있는 휴대용 의료 장치(330)를 사용할 수 있다. 픽셀 어레이 센서들(433A-433C)은 휴대용 의료 장치(330)의 둘레를 따라서 위치되어 있고, 픽셀 어레이 센서(433A-433C)의 각각의 하나는 인접하게 중첩되어도 좋고 중첩되지 않아도 좋은 상이한 섹터를 방사형으로 대향하고 있다. 바람직하지만 배타적이지 않게는, 픽셀 어레이 센서들(433A-433C)은 센서들을 기반으로 하는 전체 구조가 피라미드 형태가 되도록 각각 경사질 수 있다.

또한, 마찬가지로 대응하는 432A-432C 등의 시각적 표시기들, 바람직하게는 LED들 등의 광원은 또한 휴대용 의료 장치(330)의 둘레를 따라서 위치되고, 각각의 픽셀 어레이 센서들(433A-433C)의 근위에 위치되도록 상이한 섹터가 방사형으로 대향하고 있다. 바람직하지만 배타적이지 않게는, 433A-433C의 픽셀 어레이 센서와 그들의 대응하는 432A-432C의 광원 사이의 거리는 3cm를 초과하지 않고, 픽셀 어레이 센서들(433A-433C) 사이의 거리는 5cm를 초과하지 않는다. 이들 예시 제한들은 휴대용 장치 상에서의 픽셀 어레이 센서들 및 광원들의 조밀한 배치를 가능하게 한다. 경사각은, 특히 인간 사용자(310)의 머리가 휴대용 장치(330)가 위치된 곳에서 아래를 향하고 있는 경우에 인체공학적인 이점을 제공한다.

동작에 있어서, 픽셀 어레이 센서들(433A-433C) 중 하나가 모든 소정의 추적기 사이클에 채용되는 동적 선택이 행해질 수 있다. 또한, 마찬가지로 대응하는 광원(픽셀 어레이 센서의 근위에 있게 됨)이 사용될 수 있다. 머리에 장착된 광학 추적기 센서(453)는 휴대용 장치의 공간 각도에 기반하여 선택적으로 동작되는 광원들(432A-432C) 중 하나를 연속적으로 캡쳐링한다. 동일한 시간에, 시야 범위(FOV)가 머리에 장착된 장치(350)의 시각적 표시기들(352A-352C)을 포함하는 픽셀 어레이 센서(433A-433C) 중 하나만 소정의 사이클에서 사용될 수 있다.

상술의 설계는 추적기의 소형화와 강력한 추적의 이점을 조합한다. 상기 논리는 휴대용 장치가 단일 광학 센서의 좁은 시야 범위에 의해 제한되지 않음으로써 더욱 강력한 추적을 가능하게 한다. 상술의 구조는 소형화가 필요한 휴대용 장치에 광학 센서들이 부착될 필요가 있는 경우에 특히 이점이 있는 소형화를 제공한다.

도 5a는 본 발명에 따른 또 다른 실시형태를 나타낸다. 도 5a에 있어서, 픽셀 어레이 센서들(530A-530C) 및 그들의 대응하는 LED들(540A-540C)을 포함하는 광학 추적기 센서(520)는 조종자 헬멧(510)에 부착되고, 상기 조종자는 적어도 2개의 시각적 표시기들와 결합되고 레퍼런스 프레임으로써 조종석에 고정되는 광학 추적기 센서를 대향하는 조종석에 앉아있다(도시 생략). 상기 헬멧 사용자는 추적기의 양호한 방향을 위해 그들의 머리 방향을 인체공학적으로 제한하지 않아 유리하다. 이것은 온-헬멧 광학 추적기 센서(520)의 넓은 시야 범위로 인해 달성된다.

도 5b는 각각 추가적인 경사를 갖는 상이한 방사 각도의 광학 추적기 유닛(550)의 상이한 표면을 따라 위치되어 있는 픽셀 어레이 센서들(560A-560C) 및 그들의 대응하는 LED들(570A-570C)을 포함한 고정 광학 추적기 유닛(550)을 도시한다. 2개의 LED들(562A 및 592B) 및 광학 추적기 센서(494)를 포함하는 제 2 광학 추적 유닛(590)은 고정 추적 유닛(550)의 더욱 넓은 시야 범위로 인해 추적 능력을 상실하는 일없이 현장에서의 방향 및 위치(화살표 596A 및 596B로 도시됨)의 더욱 양호한 자유를 제공한다. 이 설정은 고정 유닛이 환자에게 부착되어 있고, 이동 유닛이 내과의사가 착용한 머리에 장착된 디스플레이 시스템에 부착되어 있는 경우에 이점이 있을 수 있다. 이 경우에 있어서, 광학 추적기는 내과의사가 환자 주위를 걷는 동안 머리에 장착된 시스템과 환자 사이에 상대적 위치 및 방향을 추적하는 것을 유지한다.

당업자에 의해 이해될 수 있는 바와 같이, 본 발명의 양태는 시스템, 방법 또는 기구로 해서 실시될 수 있다. 따라서, 본 발명의 양태는 전체적으로 하드웨어의 실시형태, 전체적으로 소프트웨어의 실시형태(펌웨어, 내장 소프트웨어, 마이크로-코드 등), 또는 본원에 모두 일반적으로 "회로," "모듈" 또는 "시스템"으로서 참조될 수 있는 소프트웨어와 하드웨어 형태를 조합하는 실시형태를 취할 수 있다.

상술의 플로우차트 및 블록도는 본 발명의 각종 실시형태에 따른 시스템 및 방법의 가능한 구현들의 구조, 기능, 및 동작을 도시한다. 이와 관련하여, 상기 플로우차트 또는 블록도에 있어서의 각 블록은 특정의 논리적 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 지시들을 포함하는 모듈, 세그먼트, 또는 코드 부위를 나타낼 수 있다. 또한, 일부 대안적인 구현들에 있어서, 블록에서 언급된 기능은 도면에서 언급된 순서를 벗어나서 발생될 수 있는 것에 주목해야 한다. 예를 들면, 연속적으로 도시된 2개의 블록은 사실상 실질적으로 동시에 실행될 수 있거나, 포함되는 기능에 따라서 블록들이 역순서로 실행되는 경우가 있을 수 있다. 또한, 블록도 및/또는 플로우차트 도시의 각 블록, 및 상기 블록도 및/또는 플로우차트 도시의 블록들의 조합은 특정 기능 또는 작용, 또는 특정 용도의 하드웨어 및 컴퓨터 명령들의 조합을 행하는 특정 용도의 하드웨어-기반 시스템에 의해 구현될 수 있는 것에 주목해야 한다.

상기 설명에 있어서, 일 실시형태는 본 발명의 일례 또는 구현이다. 상기 "하나의 실시형태", "실시형태" 또는 "일부 실시형태"의 다양한 표현은 동일한 실시형태를 모두 참조할 필요는 없다.

본 발명의 다양한 특징은 단일 실시형태의 단락에 기재될 수 있지만, 또한 별도로 제공되거나 임의의 적합한 조합으로 제공될 수 있다. 반대로, 본 발명은 명확성을 위해 본 명세서에 있어서의 별도의 실시형태의 단락에 기재될 수 있고, 또한 본 발명은 단일 실시형태로 구현될 수 있다.

본 명세서에 있어서, "일부 실시형태", 일 실시형태", "하나의 실시형태" 또는 "기타 실시형태"에 대한 참조는 상기 실시형태와 연관되어 기재된 특정 기능, 구조, 또는 특성이 본 발명의 적어도 일부 실시형태에 포함되지만, 반드시 모든 실시형태에 포함되는 것이 아닌 것을 의미한다. 또한, 상술한 본 발명의 양태는 본 발명의 실시형태에 결합되거나 반대로 공존할 수 있는 것을 알 수 있을 것이다.

본 원에 사용된 어구 및 용어는 설명을 위한 것이며, 제한적인 것으로서 해석되어서는 안되는 것이 이해될 것이다.

본 발명의 원리와 사상의 이용은 첨부된 설명, 도면, 및 실시예를 참조하여 더욱 이해될 수 있다.

본 원에 명시된 상세설명은 본 발명의 용도를 제한하는 것으로 해석되지 않는 것이 이해될 것이다.

또한, 본 발명은 다양한 방식으로 행해지거나 실행될 수 있고, 상기 설명에 명시된 것들 이외의 실시형태에서 구현될 수 있는 것이 이해될 것이다.

용어 "포함한", "포함하는", "이루어지는" 및 그들의 문법적 변형들은 하나 이상의 구성요소, 특징, 단계, 또는 그들의 정수 또는 그룹의 추가를 미리 배제하지 않고, 특정 구성요소, 특징, 단계, 또는 정수로서 해석되어야 하는 것이 이해될 것이다.

본 명세서 또는 청구범위가 "추가적인" 요소를 참조하는 경우, 상기 추가적인 요소는 둘 이상 존재할 수 있는 것을 미리 배제하지 않는다.

본 청구범위 또는 명세서가 "a" 또는 "an" 요소를 참조하는 경우, 이러한 참조는 그 요소가 하나만 있는 것으로 해석되지 않는 것이 이해될 것이다.

본 명세서에서 구성요소, 기능, 구조, 또는 특징이 포함 "되어도 좋고", "될 수도 있고", "할 수 있고", 또는 "될 수 있는" 경우, 특정 구성요소, 기능, 구조, 또는 특징이 포함될 필요는 없는 것이 이해될 것이다.

적용 가능한 상태도, 흐름도 또는 양쪽이 실시형태를 설명하는데 사용될 수 있지만, 본 발명은 그들의 도면 또는 대응하는 설명에 한정되지 않는다. 예를 들면, 플로우는 각각의 도시된 박스 또는 상태에 따라, 또는 도시 및 기재된 바와 같은 정확하게 동일한 순서로 이동할 필요는 없다.

용어 "방법"은 본 발명이 속하는 분야의 실행자에 의해 공지된 방식, 수단, 기술, 및 절차에 공지되거나, 그것으로부터 용이하게 개발된 방식, 수단, 기술, 및 절차를 포함하지만, 이들에 한정되지 않는 방식, 수단, 기술, 및 절차를 소정의 작업을 수행하기 위해 참조할 수 있다.

본 청구범위 및 명세서에 나타낸 설명, 실시예, 방법, 및 재료는 단지 도시된 것일 뿐이며 제한적인 것으로 해석되어서는 안된다.

본 원에 사용된 기술 및 과학적 의미는 특별히 명시하지 않는 한 본 발명이 속하는 당업계의 당업자에 의해 통상적으로 이해되어야 한다.

본 발명은 본 원에 기재된 것들과 등가이거나 이와 마찬가지의 방법 및 재료를 이용하여 테스트 또는 실행하여 구현될 수 있다.

본 발명은 제한된 수의 실시형태에 대하여 기재되어 있지만, 이들은 오히려 바람직한 실시형태의 일부 실례이며, 본 발명의 범위를 제한하는 것으로서 해석되어서는 안된다. 기타 가능한 변경, 변형, 및 응용이 본 발명의 범위에 있을 수 있다.

Claims

적어도 부분적으로 서로 대향하는 적어도 2개의 광학 추적기 센서를 포함하는 광학 추적기로서:
상기 광학 추적기 센서 중 적어도 1개는,
장면을 표시하는 픽셀 값의 스트림을 발생하도록 구성된 적어도 1개의 픽셀 어레이 센서;
상기 적어도 1개의 픽셀 어레이 센서와 물리적으로 결합된 직접 회로(IC)로서,
(a) 상기 픽셀값의 스트림을 수신하고,
(b) 상기 장면을 표시하는 픽셀의 단일 경로에 있어서 상기 장면에 존재하는 적어도 1개의 시각 인디케이터를 나타내는 블랍(BLOB; binary large object) 파라미터를 얻도록 상기 블랍 분석을 상기 스트림에 적용하도록 구성된 직접 회로;
상기 적어도 2개의 광학 추적기 센서와 각각 결합된 적어도 1개의 시각 인디케이터; 및
상기 블랍 파라미터를 수신하고, 상기 적어도 2개의 광학 추적기 센서의 상대적 위치 및/또는 방향, 또는 그 부분 데이터를 계산하도록 구성된 컴퓨터 프로세서를 포함하는 광학 추적기.
제 1 항에 있어서,
상기 적어도 2개의 광학 추적기 센서와 물리적으로 부착된 시각 인디케이터의 총수는 위치와 방향이 모두 계산된 상기 각각의 광학 추적기 센서쌍에 대해 적어도 3개인 광학 추적기.
제 1 항 또는 제 2 항에 있어서,
상기 적어도 2개의 광학 추적기 센서 중 적어도 1개는 촬상 장치이고, 상기 컴퓨터 프로세서는 상기 촬상 장치로부터 유래된 데이터에 더욱 기초하여 상대적 위치 및/또는 방향, 또는 그 부분 데이터를 계산하도록 더 구성되는 광학 추적기.
제 1 항 또는 제 2 항에 있어서,
상기 적어도 2개의 광학 추적기 센서 중 적어도 1개는 고정되어 있는 광학 추적기.
제 1 항 또는 제 2 항에 있어서,
상기 적어도 2개의 광학 추적기 센서 중 적어도 1개는 헤드 장착된 광학 추적기.
제 1 항 또는 제 2 항에 있어서,
상기 적어도 2개의 광학 추적기 센서 중 적어도 1개는 휴대용 장치에 물리적으로 부착되어 있는 광학 추적기.
제 1 항 또는 제 2 항에 있어서,
상기 적어도 2개의 광학 추적기 센서 중 적어도 1개는 환자에게 장착되거나 또는 환자에게 강고하게 부착되는 광학 추적기.
제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 헤드 장착된 광학 센서 또는 휴대용 장치 광학 센서 또는 환자에게 장착된 광학 센서는 적어도 2개의 광학 추적기 센서 중 적어도 1개의 시야 내에 위치되고, 상기 컴퓨터 프로세서는 상기 적어도 2개의 광학 추적기 센서 중 적어도 1개에 대하여 상기 헤드 장착된 광학 센서 또는 휴대용 장치 광학 센서 또는 환자에게 장착된 광학 센서의 위치 및/또는 방향 또는 그 부분 데이터를 계산하도록 더 구성되는 광학 추적기.
제 5 항에 있어서,
상기 2개의 광학 추적기 센서 중 적어도 1개는 환자에게 장착되거나 또는 유대용 장치에 물리적으로 부착되고, 또한 적어도 1개의 시각 인디케이터가 부착되어 있고, 상기 헤드 장착된 광학 추적기 센서에는 적어도 2개의 시각 인디케이터가 부착되어 있는 광학 추적기.
제 4 항에 있어서,
상기 2개의 광학 추적기 센서 중 적어도 1개는 환자에게 장착되거나 또는 휴대용 장치에 물리적으로 부착되고, 또한 적어도 1개의 인디케이터가 부착되어 있고, 상기 고정 광학 추적기 센서에는 적어도 2개의 시각 인디케이터가 부착되어 있는 광학 추적기.
제 1 항에 있어서,
상기 컴퓨터 프로세서는 상기 광학 추적기 센서 중 1개내에 패킹되는 광학 추적기.
제 1 항에 있어서,
상기 컴퓨터 프로세서 및 상기 광학 추적기 센서 중 적어도 1개는 서로 분리되어 위치되고, 상기 적어도 1개의 광학 추적기 센서는 상기 컴퓨터 프로세서로 유선 통신 채널을 통해 상기 블랍 파라미터를 송신하도록 더 구성된 광학 추적기.
제 1 항에 있어서,
상기 컴퓨터 프로세서 및 상기 광학 추적기 센서 중 적어도 1개는 서로 분리되어 위치되고, 상기 적어도 1개의 광학 추적기 센서는 상기 컴퓨터 프로세서로 무선 통신 채널을 통해 상기 블랍 파라미터를 송신하도록 더 구성된 광학 추적기.
제 1 항에 있어서,
상기 적어도 1개의 시각 인디케이터는 광원 및 리플렉터 중 적어도 1개를 포함하는 광학 추적기.
제 1 항에 있어서,
상기 적어도 1개의 시각 인디케이터는 광펄스를 방출 또는 반사하도록 구성되고, 상기 광학 추적기는 상기 광펄스와 상기 적어도 2개의 광학 추적기 센서 간을 동기화하는 수단을 더 포함하는 광학 추적기.
제 1 항에 있어서,
픽셀의 스트림의 서브세트만이 상기 IC로 전송되는 관심 영역(ROI) 모드에서 동작 가능하고, 상기 픽셀의 스트림의 서브세트는 상기 ROI와 연관된 픽셀 어레이의 소정의 서브세트를 나타내는 광학 추적기.
제 16 항에 있어서,
상기 ROI는 상기 적어도 1개의 시각 인디케이터의 소정 위치에 기초한 프레임 바이 프레임 단위로 결정되는 광학 추적기.
제 16 항에 있어서,
상기 광학 추적기 센서가 부작동할 때마다 트랙킹 데이터를 제공하도록 구성된 자성 추적 수단 또는 관성 추적 수단 또는 기타 추적 수단을 더 포함하고, 상기 자성 추적 수단 또는 관성 추적 수단 또는 기타 추적 수단에 의해 제공된 데이터에 기초하여 결정되는 ROI을 이용하여 광학 추적을 재개하도록 구성되는 광학 추적기.
제 1 항에 있어서,
상기 적어도 1개의 광학 추적기 센서와 결합된 시각 인디케이터는 각각 상기 특정의 광학 추적기 센서의 임의의 픽셀 어레이 센서의 임의의 중심으로부터 약 10cm 미만의 거리에 위치되는 광학 추적기.
제 1 항에 있어서,
하우징을 더 포함하고, 상기 적어도 1개의 광학 추적기 센서는 상기 픽셀 센서 어레이의 중심으로부터 약 10cm 미만의 거리에 위치되는 단일 시각 인디케이터와 결합되고, 상기 단일 시각 인디케이터 및 상기 픽셀 센서 어레이는 상기 하우징내에 패킹되는 광학 추적기.
서로 적어도 부분적으로 대향하는 적어도 2개의 광학 추적기 센서로서, 적어도 1개의 시각 인디케이터가 각각 결합되어 있는 광학 추적기 센서를 포함하는 광학 추적기로서:
상기 광학 추적기 센서 중 적어도 1개는,
장면을 표시하는 픽셀 값의 스트림을 발생하도록 구성된 적어도 1개의 픽셀 어레이 센서;
상기 적어도 1개의 픽셀 어레이 센서와 물리적으로 결합되고, 또한 상기 픽셀 어레이 센서가 소정의 관심 영역(ROI) 내의 픽셀만을 제공하여 ROI 픽셀을 얻도록 상기 픽셀 어레이 센서를 제어하도록 구성된 직접 회로(IC)로서, 상기 ROI는 다른 광학 추적기 센서의 적어도 1개의 시각 인디케이터가 포함된 장면의 일부를 포함하도록 선택되는 직접 회로, 및
상기 ROI 픽셀을 수신하고, 상기 적어도 2개의 광학 추적기 센서의 상대적 위치 및/또는 방향, 또는 그 부분 데이터를 계산하도록 구성된 컴퓨터 프로세서를 포함하는 광학 추적기.