KR20190074841A

KR20190074841A - 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법

Info

Publication number: KR20190074841A
Application number: KR1020170176503A
Authority: KR
Inventors: 홍덕화; 이인원
Original assignee: 주식회사 고영테크놀러지
Priority date: 2017-12-20
Filing date: 2017-12-20
Publication date: 2019-06-28
Also published as: EP3503033C0; JP6475311B1; CN109938837A; US10692239B2; CN109938837B; EP3503033B1; CN113813046A; KR102166372B1; EP4273805A3; US11436750B2; US20200279394A1; EP3503033A1; EP4273805A2; US20190188877A1; JP2019113393A

Abstract

마커의 위치 및 자세를 트래킹하는 옵티컬 트래킹 시스템이 제공된다. 마커는 대상체에 부착될 수 있고, 내부에 형성된 패턴면 및 패턴면이 무한대의 초점 거리를 갖는 제1 결상부에 의하여 결상되도록 개구에 형성된 광학계를 포함한다. 프로세서는 개구를 통해 보이는 패턴면의 일부가 제1 결상부에 의하여 결상된 제1 이미지를 기초로 마커의 자세를 결정하고, 서로 다른 방향에서 개구를 통해 방출된 출사광이 무한대의 초점 거리보다 가까운 초점 거리를 갖는 제2 및 제3 결상부에 의하여 결상된 제2 이미지 및 제3 이미지에 기초하여 마커의 위치를 결정하는 프로세서를 포함한다.

Description

옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법{OPTICAL TRACKING SYSTEM AND OPTICAL TRACKING METHOD}

본 개시는 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법에 관한 것이다.

본 개시는 중소기업청의 WC300 프로젝트 기술개발지원의 일환으로 수행한 연구로부터 도출된 것이다.

[과제고유번호: S2482672, 연구과제명: 정합정밀도 1mm 이하 수술용 내비게이션 융합 두경부 수술로봇 시스템 개발].

대상체를 트래킹하기 위한 방법으로서 옵티컬 트래킹 시스템이 사용될 수 있다. 최근에는 수술 오류 발생의 위험을 최소화하면서 정밀한 수술을 진행하기 위해서, 수술로봇 또는 수술 도구의 위치(location 또는 coordinate) 및 자세(posture 또는 orientation)를 트래킹하고, 그 트래킹 결과를 수술에 활용하는 방법이 이용되고 있다. 대상체의 위치는, 예를 들어 직교 좌표계의 X, Y, Z축 상에서의 좌표와 같은 공간 좌표로 정의될 수 있다. 대상체의 자세는 롤(roll), 피치(pitch), 요(yaw)로 정의될 수 있다. 대상체의 정확한 트래킹을 위해서, 위에서 설명한 것과 같은, 대상체의 6 자유도(Degree of Freedom)에 해당하는 위치 및 자세를 정확히 파악하는 것이 중요하다.

옵티컬 트래킹 시스템에서는 예를 들어 마커(marker)라는 기준체를 대상체에 부착한 후, 이 마커를 트래킹함으로써 대상체의 위치 및 자세가 측정될 수 있다. 옵티컬 트래킹 시스템에서는 예를 들어 카메라와 같은 결상 장치를 이용하여 마커의 일부를 촬영하고 이를 판독하는 과정을 거치게 된다. 이 과정에서, 다양한 요인에 의해, 촬영된 이미지의 일부(예를 들어, 경계 부분)가 흐려지거나 불명확하게 나타날 수 있다. 이러한 이미지를 기초로 마커를 트래킹할 경우, 추정된 대상체의 위치 및 자세와 실제의 대상체의 위치 및 자세 사이에 차이가 발생할 수 있다.

본 개시에 따른 일 실시예는, 대상체의 위치 및 자세를 보다 정확하게 측정할 수 있는 옵티컬 트래킹 시스템 및 방법을 제공한다. 예를 들어, 본 개시에 따른 일 실시예는, 마커에 대하여 세 개의 이미지를 촬영하고, 촬영된 세 개의 이미지를 기초로 대상체의 위치 및 자세를 측정하는 옵티컬 트래킹 시스템 및 방법을 제공할 수 있다.

본 개시의 일 실시예에 따른 마커의 위치 및 자세를 트래킹하는 옵티컬 트래킹 시스템으로서, 마커는 대상체에 부착될 수 있고, 개구에 형성된 광학계를 통해 내부에 형성된 패턴면이 보이도록 구성되고, 개구를 통해 보이는 패턴면의 일부가 무한대의 초점 거리에서 결상된 제1 이미지를 기초로 마커의 자세를 결정하고, 서로 다른 방향에서 개구를 통해 방출된 출사광이 무한대의 초점 거리 보다 가까운 초점 거리에서 각각 결상된 제2 이미지 및 제3 이미지에 기초하여 마커의 위치를 결정하는 프로세서를 포함할 수 있다.

일 실시예에 따르면, 프로세서는, 개구를 통해 보이는 패턴면의 일부가 무한대의 초점 거리에서 결상된 제1 이미지를 기초로 마커의 자세를 결정하는 자세 트래킹부; 및 서로 다른 방향에서 개구를 통해 방출된 출사광이 무한대의 초점 거리보다 가까운 초점 거리에서 각각 결상된 제2 및 제3 이미지에 기초하여 마커의 위치를 결정하는 위치 트래킹부를 포함할 수 있다.

일 실시예에 따르면, 제1 이미지는 무한대의 초점 거리에서 결상되어 패턴면의 일부가 식별가능하게 결상된 패턴 이미지를 포함하고, 제2 및 제3 이미지는 대상체의 위치를 포함하는 소정 범위의 초점 거리에서 결상되어 서로 다른 방향을 향하는 출사광이 결상된 출사광 이미지를 포함할 수 있다.

일 실시예에 따르면, 자세 트래킹부는 패턴면의 전체 영역 내에서 패턴 이미지의 위치를 결정하고, 결정된 위치에 기초하여 대상체의 자세를 결정할 수 있다.

일 실시예에 따르면, 위치 트래킹부는 제2 및 제3 이미지 내 결상된 출사광 이미지의 기준 좌표를 각각 결정하고, 각각 결정된 기준 좌표에 기초하여 대상체의 위치를 결정할 수 있다.

일 실시예에 따르면, 위치 트래킹부는 제2 및 제3 이미지에 결상된 출사광 이미지의 기준 좌표들 사이의 차이(disparity)에 기초하여, 마커의 3차원 공간 상의 위치를 결정할 수 있다.

일 실시예에 따르면, 라이트 필드 이미지를 생성하는 라이트 필드 카메라로 구성된 제1 결상부를더 포함하고, 제1 결상부는 패턴 이미지를 포함하도록 라이트 필드 이미지로부터 무한대의 초점 거리에서 결상된 제1 이미지를 추출하도록 구성될 수 있다.

일 실시예에 따르면, 제1 결상부는 라이트 필드 이미지로부터 출사광 이미지를 포함하도록 무한대의 초점 거리보다 가까운 초점 거리에서 결상된 제4 이미지를 추출하도록 구성되고, 프로세서는 제2 이미지, 제3 이미지, 및 제4 이미지에 기초하여 마커의 위치를 결정할 수 있다.

본 개시의 다른 실시예에 따른 마커의 위치 및 자세를 트래킹하는 옵티컬 트래킹 시스템으로서, 마커는 대상체에 부착될 수 있고, 개구에 형성된 광학계를 통해 내부에 형성된 패턴면이 보이도록 구성되고, 무한대의 초점 거리에서 패턴면의 일부를 포함하는 제1 이미지를 결상하는 제1 결상부; 무한대의 초점 거리보다 가까운 초점 거리에서 개구를 통해 제1 방향으로 방출된 출사광이 결상된 출사광 이미지를 포함하는 제2 이미지를 결상하는 제2 결상부; 무한대의 초점 거리보다 가까운 초점 거리에서 개구를 통해 제1 방향과 다른 제2 방향으로 방출된 출사광이 결상된 출사광 이미지를 포함하는 제3 이미지를 결상하는 제3 결상부; 및 제1 이미지를 기초로 마커의 자세를 결정하고, 제2 이미지 및 제3 이미지에 기초하여 마커의 위치를 결정하는 프로세서를 포함할 수 있다.

일 실시예에 따르면, 제1 결상부 및 제2 결상부 각각은 라이트 필드 이미지를 생성하는 라이트 필드 카메라로 구성되고, 제1 결상부는 라이트 필드 이미지로부터 무한대의 초점 거리보다 가까운 초점 거리에서 결상된 제4 이미지를 추출하도록 구성되고, 제2 결상부는 라이트 필드 이미지로부터 무한대의 초점 거리보다 가까운 초점 거리에서 결상된 제2 이미지를 추출하도록 구성되고, 프로세서는 제2 이미지, 제3 이미지, 및 제4 이미지에 기초하여 마커의 위치를 결정할 수 있다.

일 실시예에 따르면, 제1 결상부는, 제2 및 제3 결상부의 지면으로부터의 높이와 다른 높이를 갖도록 배치되고, 지면을 바라보는 방향을 기준으로 제2 및 제3 결상부 사이에 배치될 수 있다.

본 개시의 또 다른 실시예에 따른 마커의 위치 및 자세를 트래킹하는 옵티컬 트래킹 방법으로서, 마커는 대상체에 부착될 수 있고, 개구에 형성된 광학계를 통해 내부에 형성된 패턴면이 보이도록 구성되고, 무한대의 초점 거리에서 개구를 통해 보이는 패턴면의 일부가 패턴 이미지로 결상된 제1 이미지를 기초로 마커의 자세를 결정하는 단계; 및 무한대의 초점 거리보다 가까운 초점 거리에서 개구를 통해 서로 다른 방향으로 방출된 출사광이 각각 출사광 이미지로 결상된 제2 이미지 및 제3 이미지에 기초하여 마커의 위치를 결정하는 단계를 포함할 수 있다.

일 실시예에 따르면, 마커의 자세를 결정하는 단계는, 패턴면의 전체 영역 내에서 제1 이미지에 포함된 패턴 이미지의 위치를 결정하는 단계; 및 결정된 위치에 기초하여 대상체의 자세를 결정하는 단계를 포함할 수 있다.

일 실시예에 따르면, 마커의 위치를 결정하는 단계는, 제2 및 제3 이미지 내 결상된 출사광 이미지의 기준 좌표를 각각 결정하는 단계; 및 각각 결정된 기준 좌표 및 출사광이 지향하는 방향들 간의 기하학적 관계를 이용하여 대상체의 위치를 결정하는 단계를 포함할 수 있다.

일 실시예에 따르면, 개구를 통해 보이는 패턴면의 일부를 포함하는 라이트 필드 이미지를 생성하는 단계; 라이트 필드 이미지로부터 패턴 이미지를 포함하도록 무한대의 초점 거리에서 결상된 제1 이미지를 추출하고, 출사광 이미지를 포함하도록 무한대의 초점 거리보다 가까운 초점 거리에서 결상된 제4 이미지를 추출하는 단계; 및 제2 이미지, 제3 이미지, 및 제4 이미지에 기초하여 마커의 위치를 결정하는 단계를 더 포함할 수 있다.

본 개시의 실시예들에 의하면, 대상체에 부착된 마커의 자세와 위치를 동시에 트래킹 할 수 있다. 또한, 마커의 자세 및 위치에 대한 트래킹 정확도를 향상시킬 수 있고, 옵티컬 트래킹 시스템의 정밀도를 향상시킬 수 있다.

도 1은 본 개시의 일 실시예에 따른 옵티컬 트래킹 시스템이 수술에 사용되고 있는 예를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 옵티컬 트래킹 시스템의 블록도이다.
도 3은 본 개시의 일 실시예에 따라 결상부가 마커의 개구부로부터 방출되는 반사광을 각각의 방향에서 촬영하는 예를 나타낸 도면이다.
도 4는 본 개시의 일 실시예에 따라 결상부에서 결상된 이미지를 설명하기 위한 도면이다.
도 5은 본 개시의 일 실시예에 따라 옵티컬 트래킹 시스템의 세 개의 결상부에서 결상된 세 개의 이미지에 기초하여 마커의 자세 및 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 6은 도 5에 도시된 제1 결상부에서 결상된 제1 이미지의 예시적인 모습을 설명하기 위한 도면이다.
도 7은 도 5에 도시된 제2 결상부에서 결상된 제2 이미지의 예시적인 모습을 설명하기 위한 도면이다.
도 8은 도 5에 도시된 제3 결상부에서 결상된 제3 이미지의 예시적인 모습을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 옵티컬 트래킹 시스템의 하나의 결상부가 라이트 필드 카메라로 구성되는 예를 나타낸 도면이다.
도 10은 도 9에 도시된 옵티컬 트래킹 시스템의 세 개의 결상부에서 결상된 이미지에 기초하여 마커의 자세 및 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 옵티컬 트래킹 시스템의 두 개의 결상부가 라이트 필드 카메라로 구성되는 예를 나타낸 도면이다.
도 12 도 11에 도시된 옵티컬 트래킹 시스템의 세 개의 결상부에서 결상된 이미지에 기초하여 마커의 자세 및 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 13은 본 개시의 다른 실시예에 따른 옵티컬 트래킹 방법을 나타낸 흐름도이다.
도 14는 도 13에 도시된 옵티컬 트래킹 방법에서 마커의 자세를 결정하는 단계를 나타낸 흐름도이다.
도 15는 도 13에 도시된 옵티컬 트래킹 방법에서, 마커의 위치를 결정하는 단계를 나타내는 흐름도이다.
도 16은 도 13에 도시된 옵티컬 트래킹 방법에서, 라이트 필드 이미지를 사용하는 예를 나타낸 흐름도이다.

본 개시의 실시예들은 본 개시를 설명하기 위한 목적으로 예시된 것이다. 본 개시의 실시예들은 다양한 형태로 실시될 수 있으며, 본 개시가 아래 제시된 실시예들이나 이들 실시예들에 대한 구체적 설명으로 한정되는 것으로 해석해서는 아니 된다.

본 개시에서 사용되는 용어 "부"는 소프트웨어, FPGA(field-programmable gate array), ASIC(application specific integrated circuit), 및 독립적으로 작동하는 장치와 같은 하드웨어 구성요소를 의미할 수 있다. 또한, "부"는 하드웨어 및 소프트웨어에 한정되는 것은 아니며, "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일례로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세서, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함한다. 구성요소와 "부" 내에서 제공되는 기능은 더 작은 수의 구성요소 및 "부"로 결합되거나 추가적인 구성요소와 "부"로 더 분리될 수 있다.

본 개시에서 사용되는 모든 기술적 용어들 및 과학적 용어들은, 다르게 정의되어 있지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 갖는다. 본 개시에서 사용되는 모든 용어들은 본 개시를 보다 명확히 설명하기 위한 목적으로 선택된 것이며 본 개시의 범위를 제한하기 위해 선택된 것이 아니다.

본 개시에서 기술된 단수형의 표현은 달리 언급하지 않는 이상 복수형의 표현도 함께 포함할 수 있으며, 이는 청구항에 기재된 단수형의 표현에도 마찬가지로 적용된다.

본 개시의 다양한 실시 예에서 사용된 "제1", "제2" 등의 표현들은 복수의 구성요소들을 상호 구분하기 위해 사용하는 것일 뿐 해당 구성요소들의 순서 또는 중요도를 한정하는 것이 아니다.

본 개시에서 사용되는 "포함하는" 및 "갖는"과 같은 표현은, 해당 표현이 포함되는 문구 또는 문장에서 특별히 다르게 언급되지 않는 한, 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.

본 개시에서 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 문구에서 기술되는 결정 또는 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는데 사용되고, 이 표현은 결정 또는 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지는 않는다.

본 개시에서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

이하, 첨부한 도면들을 참조하여, 본 개시의 실시예들을 상세하게 설명한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

<옵티컬 트래킹 시스템>

도 1은 본 개시의 일 실시예에 따른 옵티컬 트래킹 시스템(1)이 수술에 사용되고 있는 예를 나타낸다. 도시된 바와 같이, 의사(D, doctor)는 수술 도구(20)와, 결상 장치(100)를 포함하는 옵티컬 트래킹 시스템(1)을 활용하여 환자(P, patient)에 대한 수술을 진행할 수 있다. 의사(D)가 사용하고 있는 수술 도구(20)에는 마커(10)가 부착될 수 있으며, 환자(P)의 환부와 같은 대상체에도 다른 마커(30)가 부착될 수 있다. 옵티컬 트래킹 시스템(1)의 결상 장치(100)는 마커(10 및/또는 30)에 형성된 패턴의 전부 또는 일부에 대한 패턴 이미지를 결상(capture) 및 획득할 수 있다. 패턴 이미지는 결상 장치(100)의 결상부에 포함된 이미지 센서가 출력하는 이미지의 프레임 내의 일부 영역에 결상될 수 있다.

패턴 이미지가 획득되면, 패턴 이미지로부터 마커의 패턴을 구성하는 기본 단위로서, 서브 패턴들 중 적어도 하나가 추출될 수 있다. 일 실시예에서, 추출된 적어도 하나의 서브 패턴의 전체 패턴 내에서의 위치가 결정되고, 결정된 서브 패턴의 전체 패턴 내의 위치에 기초하여 마커(10 및/또는 30)의 자세가 결정될 수 있다. 여기서 마커(10 및/또는 30)의 자세는 마커(10 및/또는 30)의 결상 장치(100)에 대한 상대적인 3차원적 방향 내지 방위를 의미할 수 있다.

일 실시예에서, 결상 장치(100)는, 세 개의 결상부를 포함할 수 있고, 결상부 각각은 예를 들어, 마커(10 및/또는 30)의 적어도 일부에 대한 이미지 형성이 가능한 카메라가 될 수 있다. 좀더 구체적으로, 결상부 각각은 예를 들어, 마커(10 및/또는 30)의 개구(aperture)로부터 각 결상부로 향하는 광으로부터 이미지를 각각 형성할 수 있다.

어느 한 마커(10 및/또는 30)의 위치는, 세 개의 카메라에 의해 결상된 세 개의 이미지들 중 스테레오스코픽 관계를 가지는 두 개의 이미지들에 기초한 삼각법(triangulation)을 이용하여 결정될 수 있다.

이와 같이 마커(10 및/또는 30)의 위치 및 자세가 획득되면, 마커(10 및/또는 30)와 이 마커(10 및/또는 30)가 부착된 목적물 간의 기하학적 관계에 기초하여, 마커(10 및/또는 30)가 부착된 대상체의 위치 및 자세가 결정될 수 있다.

이하 상세히 설명하는 바와 같이 , 본 개시의 일 실시예에 따른 옵티컬 트래킹 시스템(1)에 의하면, 적어도 1개의 마커를 이용하여 대상체의 6 자유도에 해당하는 위치 및 자세가 결정될 수 있다.

본 개시의 옵티컬 트래킹 시스템(1)에 의하면, 1개의 마커(10)가 대상체인 수술 도구(20)에 부착된 경우에도, 마커(10)에 형성된 패턴에 기초하여 대상체의 위치 및 자세가 트래킹될 수 있다. 따라서, 수술 도구(20)에는 경량 또는 소형의 마커(10)가 부착될 수 있으며, 의사(D)는 마커(10)의 크기 및 무게에 대한 부담 없이 마커가 부착된 수술 도구(20)를 사용하여 수술을 진행할 수 있다.

이상 설명한 실시예들에서는, 본 개시에 따른 마커 및 옵티컬 트래킹 시스템(1)이 의사가 환자에 대해 수술을 진행하는 예에 적용되었지만, 마커를 이용하여 대상체의 위치 및 자세를 결정하는 다른 다양한 예에도 적용될 수 있다. 예를 들어, 본 개시에 따른 마커 및 옵티컬 트래킹 시스템은, 수술로봇을 활용하여 환자에 대해 수술을 진행하는 경우에, 수술로봇에 부착된 수술 도구의 위치 및 자세를 결정하는데 이용될 수 있다. 다른 예에서, 본 개시에 따른 마커 및 옵티컬 트래킹 시스템은, 작업자 또는 작업로봇이 특정 도구를 활용하여 특정 대상체에 대해 특정 작업을 수행하는 경우에, 그 도구 및/또는 대상체의 위치 및 자세를 결정하는데 이용될 수 있다. 이하에서는 도 1 및 2의 예를 통해 개략적으로 설명한 본 개시의 마커 및 옵티컬 트래킹 시스템의 다양한 실시예들에 관해 보다 구체적으로 설명한다.

도 2는 본 개시의 일 실시예에 따른 옵티컬 트래킹 시스템(1)의 블록도이다.

옵티컬 트래킹 시스템(1)에서, 결상 장치(100)는 마커(10)의 적어도 일부를 포함하는 복수의 이미지를 촬영하고, 프로세서(140)는 결상 장치(100)로부터 상기 복수의 이미지를 수신하고 이를 기초로 마커(10)의 위치 및 자세를 트래킹 할 수 있다.

일 실시예에서, 마커(10)는, 패턴이 형성된 패턴면(15) 및 마커(10)의 외부에서 바라본 방향에 따라 고유하게 나타나는 패턴의 적어도 일부가 마커(10)의 외부에서 식별(또는 시각적으로 인지)될 수 있도록 구성된, 렌즈와 같은, 광학계(12)를 포함할 수 있다.

마커(10)의 외형(11)은 패턴면(15) 및 렌즈와 같은 광학계(12)의 설치가 용이한 형상을 가질 수 있다. 예를 들어, 마커(10)의 외형(11)은 전체적으로 곡면 형상을 가질 수 있다. 이 경우, 패턴이 형성된 패턴면(15)은 곡면 형상의 내부면 또는 외부면의 적어도 일부에 구현될 수 있다. 광학계(12)는 곡면 형상의 내부면 중에서 패턴면(15)과 대향하는 개구(13)에 구현될 수 있고, 예를 들어 곡면 형상을 가질 수 있다. 다른 실시예에서, 마커(10)의 외형(11)은 육면체 또는 실린더 형상을 가질 수 있다. 마커(10)의 외형(11)이 실린더 형상을 갖는 경우, 실린더 형상의 일 단부에 형성된 개구(13)에는 광학계(12)가 설치될 수 있고, 대향하는 다른 단부에는 패턴면(15)이 설치될 수 있다. 이와 같은 구성에서 패턴면(15)에 형성된 패턴은 광학계(12)를 통해 외부에서 시각적으로 식별될 수 있다.

일 실시예에서, 마커(10)가 결상 장치(100)의 시야각(FOV) 내에 위치해 있고, 광학계(12)가 결상 장치(100)를 향해 배열될 때, 결상 장치(100)는 개구(13)에 위치된 광학계(12)를 통해 식별되는 패턴면(15)의 적어도 일부를 결상할 수 있다.

일 실시예에서, 결상 장치(100)는 서로 병렬적으로 작동하는 제1 내지 제3 결상부(110, 120, 130)를 포함할 수 있다. 제1 내지 제3 결상부(110, 120, 130) 중에서 하나의 결상부(예를 들어, 제1 결상부(110))는 마커(10)의 패턴면(15)의 적어도 일부를 촬상할 수 있고, 나머지 두 개의 결상부(예를 들어, 제2 및 제3 결상부(120, 130))는 각각 마커(10)의 개구(13)로부터 나오는 출사광을 촬상할 수 있다. 또한, 제1 내지 제3 결상부(110, 120, 130)는 동축 조명 카메라의 구성을 가질 수 있다.

제1 결상부(110)의 광학계는 마커(10)의 개구(13)에 형성된 광학계(12)와 무한 광학계를 형성할 수 있다. 또한, 제1 결상부(110)의 광학계는 초점을 무한대 의 초점 거리에 형성할 수 있다. 따라서, 제1 결상부(110)는 마커(10)의 개구(13)를 통해 보이는 패턴면(15)의 일부를 포함하는 이미지를 결상할 수 있다. 제2 및 제3결상부(120, 130)의 광학계는 초점을 무한대의 초점 거리보다 가까운 초점 거리에 형성할 수 있다. 따라서, 제2 및 제3결상부(120, 130)는 마커(10)의 개구(13)로부터 방출되는 출사광이 촬상된 이미지를 결상할 수 있다.

무한대의 초점 거리는, 예를 들어 결상 장치(100)를 기준으로 마커(10)보다 상당히 먼 위치에 대응하는 거리를 의미할 수 있다. 또한, 무한대의 초점 거리 보다 가까운 초점 거리(이하 '가까운 초점 거리')는 대상체의 위치를 포함하는 소정 범위의 초점 거리가 될 수 있다. 즉, 마커(10)는 대상체에 부착되므로, 무한대의 초점 거리 보다 가까운 초점 거리는 마커(10)의 위치를 포함하는 소정 범위의 초점 거리가 될 수 있다.

일 실시예에서, 각각의 제1 내지 제3 결상부(110, 120, 130)는 마커(10)를 향하여 서로 다른 방향으로 지향될 수 있다. 제1 결상부(110)는, 지면을 바라보는 방향을 기준으로 제2 및 제3 결상부(120, 130) 사이에 배치될 수 있다. 또한, 제2 및 제3 결상부(120, 130)는 스테레오 스코픽 관계를 가지도록, 수평식(평행) 또는 교차식(수렴)으로 배치될 수 있다.

일 실시예에서, 각각의 제1 내지 제3 결상부(110, 120, 130)는 하나의 이미지를 촬영할 수 있고, 예를 들어 디지털 카메라와 같은 구조를 가질 수 있다. 제1 내지 제3 결상부(110, 120, 130)는 각각 렌즈(111, 121, 131) 및 이미지 센서(112, 122, 132)를 포함할 수 있다. 각각의 이미지 센서(112, 122, 132)는 대응하는 렌즈(111, 121, 131)로부터 들어오는 빛을 하나의 이미지로 결상할 수 있다.

일 실시예에서, 렌즈(111, 121, 131)는 마커로부터 들어오는 빛을 집광할 수 있다. 렌즈(111, 121, 131)는 마커로부터 들어오는 빛이 하나의 포인트에 집광되도록 하나의 초점 거리를 가지는 볼록 렌즈가 될 수 있다. 렌즈(111, 121, 131)가 복수의 렌즈 등을 이용하여 구현된 경우에는, 공지된 얇은 렌즈 이론(thin lens theory)에 따라 복수의 렌즈를 하나의 얇은 렌즈로 정의할 수 있다. 이에 따라, 렌즈(111, 121, 131)의 직경, 초점 거리 및 중심은, 이와 같이 정의된 하나의 얇은 렌즈의 직경, 초점거리 및 중심으로 각각 나타낼 수 있다.

일 실시예에서, 각각의 이미지 센서(112, 122, 132)는 렌즈를 통과한 빛을 센싱하여, 하나의 이미지를 획득할 수 있다. 각각의 이미지 센서(112, 122, 132)는 임의의 물체의 결상 이미지를 획득하도록 구성된 임의의 종류의 적어도 하나의 결상소자를 포함할 수 있으며, 예를 들어 CCD(charge-coupled device) 센서 또는 CMOS(complementary metal-oxide semiconductor) 센서를 포함할 수 있다. 또한, 이미지 센서(112, 122, 132)는 복수의 화소(fixel)로 구성될 수 있다.

일 실시예에서, 각각의 제1 내지 제3 결상부(110, 120, 130)는 패턴면(15)이 마커(10)의 외부에서 잘 식별될 수 있도록 광학계(12)를 통해 결상 장치(100)로 입사되는 빛을 보강하기 위해, 마커(10) 또는 패턴을 향해 빛을 조사하는 적어도 하나의 광원(114, 124, 134)을 포함할 수 있다. 이 경우 마커(10)는 패시브 마커(passive marker)로써 동작할 수 있다. 또한, 제1 내지 제3 결상부(110, 120, 130) 각각은, 광원(114, 124, 134)으로부터 발생한 빛을 렌즈(111, 121, 131)를 통해 마커(10)로 조사하는 빔 스플리터(113, 123, 133)를 포함할 수 있다.

도 2에서는 광원(114, 124, 134)이 제1 내지 제3 결상부(110, 120, 130) 각각의 내부에 배치되도록 도시되어 있으나, 이에 한정되는 것은 아니고, 결상 장치(100)의 외부에 배치되는 것도 가능하다. 다른 실시예에 따르면, 광원은 마커(10)의 내부에서 패턴면(15)의 전면 또는 후면에 대해 빛을 조사하도록 설치될 수 있다. 이 경우 마커(10)는 액티브 마커(active marker)로써 동작할 수 있다.

일 실시예에서, 옵티컬 트래킹 시스템(1)이 수술 내비게이션 시스템(surgical navigation system)과 같은 수술 시스템 내에서 동작하는 경우에, 마커(10)는 수술 도구, 수술로봇의 일부 또는 환자의 환부를 포함하는 적어도 하나의 대상체에 부착될 수 있다. 또한, 복수의 마커들이 사용되는 경우에는, 마커들의 위치 및 자세가 순차적으로 또는 동시에 트래킹될 수 있다.

일 실시예에서, 프로세서(140)는 개구(13)를 통해 보이는 패턴면(15)의 일부를 무한대의 초점 거리에서 결상된 제1 이미지를 기초로 마커(10)의 자세를 결정하는 자세 트래킹부(142), 및 서로 다른 방향에서 개구(13)를 통해 방출된 출사광을 가까운 초점 거리에서 각각 결상된 제2 및 제3 이미지에 기초하여 마커(10)의 위치를 결정하는 위치 트래킹부(141), 및 복수의 마커의 위치 및 자세를 트래킹하기 위해서 각각의 대상체에 부착된 마커를 마커의 ID를 통해 구별하는 ID 식별부(143)을 포함할 수 있다. ID 식별부(143)는 제1 이미지에 포함된 패턴 이미지로부터 마커(10)의 ID를 식별할 수 있다.

또 다른 실시예에 따르면, 옵티컬 트래킹 시스템(1)은 미리 결정된 기하학적 관계를 갖는 2개의 마커들의 위치 및 자세를 트래킹할 수 있다. 예를 들어, 옵티컬 트래킹 시스템(1)은 도 1에 도시된 수술 도구(20)에 부착된 마커(10) 및 환자의 머리에 부착된 마커(30)의 위치 및 자세를 동시에 트래킹할 수 있다. 옵티컬 트래킹 시스템은 결상 장치를 통해 2개의 마커에 각각 형성된 패턴의 패턴 이미지들을 획득할 수 있다. 2개의 마커의 위치는, 미리 결정된 기하학적 관계, 및 패턴 이미지 상에서의 패턴의 적어도 일부의 위치와, 각 마커 상에서의 패턴의 적어도 일부의 위치 간의 관계에 기초하여 결정될 수 있다. 마커의 자세는 앞서 설명한 방식과 동일한 방식으로 결정될 수 있다.

일 실시예에서, 마커(10)는, 옵티컬 트래킹 시스템(1)에 의해 그 위치 및 자세가 측정되는, 대상체에 부착되거나 그 대상체의 전체 또는 일부로써 구현될 수 있다. 마커(10)의 위치 및 자세를 측정함으로써, 마커(10)가 부착된 대상체의 위치 및 자세가 측정될 수 있다. 또한, 마커(10)와 대상체는 미리 정해진 기하학적 관계를 가질 수 있다.

도 3는 본 개시의 일 실시예에 따라 결상부가 마커의 개구부로부터 방출되는 반사광을 각각의 방향에서 촬영하는 예를 나타낸 도면이다.

일 실시예에서, 제1 결상부(270)는 마커(210)와 무한 광학계를 형성할 수 있다. 패턴(255)이 형성된 패턴면(250)은, 패턴 이미지가 광학계(220)를 통해 평행 출사광(L1)의 형태로 제1 결상부(270)로 전달되도록 마커(210) 내부에 배치될 수 있다. 제1 결상부(270)에 포함된 이미지 센서의 피사계 심도는 마커(210)의 광학계(220)에 의해 패턴 이미지가 형성되도록, 마커(210)의 위치보다 먼 지점 또는 무한대 지점에서 소정의 유한한 범위를 포괄하도록 설정될 수 있다. 이 경우, 제1 결상부(270)에 포함된 이미지 센서는, 마커(210)의 움직임에 따라 마커(210)로부터의 거리가 변화하는 것과 상관없이, 마커(210)에 형성된 패턴의 일부에 관한 패턴 이미지를 결상할 수 있다. 또한, 제1 결상부(270)는 마커가 멀어지거나 가까워지는 경우에도 심도 또는 배율의 조정 없이 패턴 이미지를 결상할 수 있다. 따라서, 이상과 같이 무한 광학계가 구성된 경우에는, 마커(210)가 결상 장치로부터 얼마나 떨어져 위치하더라도, 제1 결상부(270)에 의해 결상된 패턴 이미지로부터 패턴의 적어도 일부가 식별될 수 있다. 다른 실시예에서, 패턴면(250)이 마커(210) 내에 배치된 경우, 마커(210)의 광학계(220)가 제1 및 제2 결상부(270, 280) 각각의 광학계 렌즈(275, 285)와 함께 무한 광학계를 구성할 수 있다.

일 실시예에서, 제2 및 제3 결상부(280, 290) 서로 다른 방향에서 각각 마커(210)의 개구(230)를 통해 방출된 출사광이 촬상된 제2 이미지 및 제3 이미지를 결상할 수 있다. 즉, 마커(210)에서 반사된 빛(L2, L3)은 제2 및 제3 결상부(280, 290)의 렌즈(285, 295)를 통과하여 제2 및 제3 결상부(280, 290)에 포함된 이미지 센서에서 결상될 수 있다. 또한, 제2 및 제3 결상부(280, 290)의 렌즈(285, 295) 와 마커(210)의 광학계(220)는 무한 광학계를 형성하지 않고, 이 경우 제2 및 제3 이미지 내에서 패턴은 판독가능한 형태로 결상되지 않을 수 있다. 또한, 제2 및 제3 결상부(280, 290)의 렌즈(285, 295)는 개구(230)로부터 방출된 출사관을 결상하기 위하여 마커(210)의 제2 및 제3 결상부(280, 290) 앞에 초점을 형성할 수 있으며, 제2 및 제3 이미지 내에서 촬상된 출사광의 위치가 명확하게 식별될 수 있다.

일 실시예에서, 패턴(255)은 패턴 전체에 대해 각 서브 패턴의 위치가 고유하게 결정되도록 형성되므로, 그 패턴의 패턴 이미지로부터 패턴 전체에 대한 각 서브 패턴의 위치에 관한 정보를 추출할 수 있다. 구체적으로, 패턴(255)은 반복적으로 배열된 비주기적 시퀀스들(aperiodic sequences)을 포함할 수 있다. 예를 들어, 각 비주기적 시퀀스는 PRBS(Pseudo-Random Binary Sequence)일 수 있으며, 보다 구체적으로 드 브루인 시퀀스(De Bruijn Sequence)일 수 있다. 여기서 "비주기적 시퀀스"란 상술한 바와 같이 최대화된 자기상관성을 갖거나, 해당 시퀀스에 포함된 복수의 서브 시퀀스들이 주기적인 방식으로 배열되지 않은 것을 의미할 수 있다. 또한, 패턴(255)은 마커의 ID를 제공할 수 있도록 형성될 수 있다.

도 4는 본 개시의 일 실시예에 따라 결상부에서 결상된 이미지(300)를 설명하기 위한 도면이다.

일 실시예에서, 결상부는 마커가 부착된 대상체(예를 들어, 수술 도구)의 위치 및 자세를 결정하기 위하여 마커에 형성된 패턴의 적어도 일부를 결상할 수 있다. 마커와 대상체 사이에는 기설정된 기하학적 관계가 존재할 수 있고, 마커의 자세가 트래킹된 경우 대상체와의 기설정된 기하학적 관계를 이용하여 대상체의 자세를 트래킹 할 수 있다.

마커와 무한 광학계를 형성하는 결상부는, 이미지 센서가 실제로 결상된 이미지(300)로부터 소정의 이미지 처리(image process)된 보정 이미지(correction image)를 획득할 수 있다. 결상된 이미지(300)는 패턴 부분 주변의 주변 부분이 완전히 어둡게 결상되지 않고 결상 장치의 시야각에 위치한 사물들이 흐릿하게 보이는 정도이다. 이미지 처리는, 예를 들어, 결상된 이미지에서 밝은 부분과 어두운 부분의 차이를 더 강화하는 작업이 될 수 있다.

일 실시예에서, 결상된 이미지(300)는 소정의 위치에 형성되는 패턴 이미지(320)를 포함할 수 있다. 패턴 이미지(320)를 둘러싸는 가상의(imaginary) 경계 부분(330)은 마커의 개구의 위치와 대응할 수 있고, 패턴 이미지(320) 및 주변 부분(310)을 구분할 수 있다. 패턴 이미지(320)에 포함된 서브 패턴(350)은 프로세서의 자세 결정부에서 패턴 윈도우(340)를 통해 판독될 수 있다. 또한, 원본 이미지(미도시)로부터 이미지 처리를 진행한 후에는, 도 4에 도시된 결상된 이미지(300) 보다 패턴 이미지(320)가 두드러지고, 주변 부분(310)은 검게 되며, 경계 부분(330)는 흐릿하게 결상된다.

결상된 이미지(300)에서 패턴 이미지(320)를 제외한 주변 부분(310)은, 패턴 이미지(320)에 대응하는 마커의 패턴면 보다 상대적으로 어두운 부분으로, 이미지가 없는 형태(예를 들어, 블랙 아웃(black out)된 상태)로 결상될 수 있다. 즉, 결상부의 이미지 센서는 피사체 심도가 형성되지 않은 영역 및 상대적으로 광량이 적은 부분을 어둡게 결상하고, 어둡게 결상한 부분이 주변 부분(310)이 될 수 있다. 또한, 마커의 광학계와 무한 광학계를 형성하는 결상부의 이미지 센서는, 피사체 심도가 원거리 내지 무한대에 맞춰져 있으므로, 마커가 운용되는 범위 내의 근거리의 물체들은 모두 심하게 블러(blur)될 수 있다. 또한, 마커의 개구로부터 나오는 출사광이 주변광에 비해 상대적으로 상당히 밝기 때문에 결상된 이미지(300) 내에서 패턴 이미지(320)는 강하게 두드러 질 수 있다. 만일, 마커의 촬상에 사용되는 빛을 조명과 필터링을 통해 통제하였다면, 결상된 이미지(300) 내에서 패턴 이미지(320)와 주변 부분(310)의 밝기 차이가 더 커질 수 있다.

일 실시예에서, 옵티컬 트래킹 시스템의 결상부가 마커에 형성된 패턴면으로부터 반사된 출사광을 패턴 이미지(320)로 결상하면, 프로세서의 자세 결정부는 패턴 이미지(320)에 포함된 각 서브 패턴(350)의 전체 패턴 내에서의 위치에 기초하여 마커의 자세를 결정할 수 있다. 예를 들어, 결상된 패턴 이미지(320)에 도 3에 도시된 패턴(255)의 일부가 포함될 수 있고, 프로세서는 결상부로부터 결상된 이미지(300)를 수신하고, 이미지 보정을 수행한 후, 판독된 패턴 이미지(320) 내에서 패턴 윈도우(340)를 통해 서브 패턴(350)을 식별할 수 있다. 패턴 윈도우(340)의 크기는 서브 패턴(350)의 크기와 같거나 더 클 수 있다. 즉, 프로세서의 자세 트래킹부는 전체 패턴 내에서 해당 서브 패턴의 위치를 결정할 수 있고, 이와 같이 결정된 서브 패턴의 위치에 기초하여, 마커의 자세를 결정할 수 있다.

도 5은 본 개시의 일 실시예에 따라 옵티컬 트래킹 시스템의 세 개의 결상부(410, 420, 430)에서 결상된 세 개의 이미지(450, 460, 470)에 기초하여 마커(405)의 자세 및 위치를 결정하는 방법을 설명하기 위한 도면이다.

일 실시예에서, 마커(405)는 패턴면 및 개구를 포함할 수 있다. 패턴면은 패턴이 형성되고 적어도 일부가 곡면으로 형성될 수 있다. 광학계가 형성된 개구는 마커(405)의 외부에서 바라본 방향에 따라 고유하게 나타나는 패턴의 적어도 일부가 마커(405)의 외부에서 식별될 수 있도록 구성될 수 있다.

일 실시예에서, 마커(405)는 제1 내지 제3 결상부(410, 420, 430)의 시야각 내에 위치하고, 각각의 제1 내지 제3 결상부(410, 420, 430)는 마커(405)의 개구로부터 서로 다른 방향으로 나오는 출사광을 촬상하여 제1 내지 제3 이미지(450, 460, 470)를 결상할 수 있다. 또한, 제1 결상부(410)의 광학계는 마커(405)의 광학계와 무한 광학계를 형성할 수 있고, 제1 결상부(410)는 무한대의 초점 거리에서 결상된 제1 이미지(450)를 결상할 수 있다. 또한, 제2 및 제3 결상부(420, 430)의 광학계는 근거리에 초점을 형성할 수 있고, 제2 및 제3 결상부(420, 430)는 각각 가까운 초점 거리에서 결상된 제2 및 제3 이미지(460, 470)을 결상할 수 있다.

제1 이미지(450)의 심도는 무한대의 초점 거리에 해당하는 위치를 중심으로 소정의 유한한 범위에 형성될 수 있다. 또한, 제2 및 제3 이미지(460, 470)의 심도는 가까운 초점 거리에 해당하는 위치를 중심으로 소정의 유한한 범위에 형성될 수 있다. 즉, 2 및 제3 이미지(460, 470)의 심도는 마커(405)의 위치를 중심으로 소정의 유한한 범위에 형성될 수 있다.

일 실시예에서, 제1 내지 제3 결상부(410, 420, 430)는 서로 다른 위치에 배치될 수 있다. 또한, 제1 내지 제3 결상부(410, 420, 430)는 광학계가 마커를 지향하도록 기설정된 위치에 배치될 수 있다. 예를 들어, 제1 결상부(410)는 도 5에 도시된 X축 방향을 기준으로 제2 및 제3 결상부(420, 430) 사이에 배치될 수 있다. 또한, 제1 내지 제3 결상부(410, 420, 430) 중 적어도 두 개의 결상부는 X축 방향으로 서로 동일한 간격으로 이격될 수 있다. 예를 들어 제1 결상부(410)와 제2 결상부(420) 사이의 간격은, 제1 결상부(410)와 제3 결상부(430) 사이의 간격과 동일할 수 있다. 또한, 제2 및 제3 결상부(420, 430)는 X축 방향으로 일정한 간격(D_x)을 두고 이격될 수 있고, Y축 방향으로 지면으로부터 동일한 높이를 갖도록 기설정된 위치에 배치될 수 있다.

일 실시예에서, 마커(405)와 무한 광학계를 형성하는 제1 결상부(410)는 제2 및 제3 결상부(420, 430)와 다른 높이를 갖도록 기설정된 위치에 배치될 수 있다. 예를 들어, 제1 결상부(410)는 제2 및 제3 결상부(420, 430) 보다 일정한 높이(D_y) 만큼 높은 위치에 배치될 수 있다. 옵티컬 트래킹 시스템에서 예를 들어, 마커가 복수 개로 제공되는 경우, 각각의 마커를 정확히 구별해야 정밀도를 향상시킬 수 있다. 상술한 바와 같이, 제1 결상부(410)를 제2 및 제3 결상부(420, 430)를 X축 방향으로 연결하는 기준선(base line) 보다 Y축 방향으로 높은 위치에 배치시키는 경우, 마커 각각을 구분하기 위한 알고리즘이 보다 간결해질 수 있다. 즉, 스테레오 상관성(stereo correspondence)의 비교 영역을 줄여줄 수 있고, 이를 통해 상관성 일치(correspondence matching)의 강건성(robustness)이 향상될 수 있다.

일 실시예에서, 제1 결상부(410)는 마커(405)와 무한 광학계를 형성한 상태에서 패턴면의 일부를 포함하는 제1 이미지(450)를 결상할 수 있고, 제2 및 제3 결상부(420, 430)각각은 마커(405)의 개구로부터 나온 출사광을 촬상하여 각각 제2 및 제3 이미지(460, 470)를 결상할 수 있다. 따라서, 제1 이미지(450)에서는 패턴이미지(465)가 판독 가능하게 결상될 수 있고, 제2 및 제3 이미지(460, 470)에서 마커의 개구를 통해 방출된 출사광이 결상된 개구 영역(465, 475)은 선명하게 결상될 수 있다.

일 실시예에서, 프로세서(440)의 자세 트래킹부는 제1 이미지(450)에 기초하여 대상체의 자세를 트래킹할 수 있다. 구체적으로, 자세 트래킹부는, 패턴의 전체 영역 내에서 제1 이미지(450)에 포함된 패턴의 일부의 위치를 결정하고, 결정된 위치에 기초하여 대상체의 자세를 결정할 수 있다. 일 실시예에서, 자세 트래킹부는 패턴의 일부에 포함된 서브 패턴을 판독하여 패턴의 일부의 위치를 결정할 수 있다. 먼저, 제1 이미지(450)에 결상된 패턴 이미지로부터 마커의 트래킹을 위한 정보를 추출하기 위해서, 자세 트래킹부는 패턴 이미지에서 서브 패턴들을 판독할 수 있다. 이후 자세 트래킹부는 판독된 각 서브 패턴의 전체 패턴 내에서의 위치(좌표)를 계산할 수 있다.

일 실시예에서, 프로세서(440)의 위치 트래킹부는 제2 및 제3 이미지(460, 470)에 기초하여 대상체의 위치를 트래킹 할 수 있다. 구체적으로, 위치 트래킹부 는, 제2 및 제3 이미지(460, 470)에 포함된 개구 영역(465, 475)의 기준 좌표를 각각 결정하고, 각각 결정된 기준 좌표 및 제2 및 제3 결상부(420, 430)가 마커로 지향된 방향(

)들 간의 기하학적 관계를 이용하여 대상체의 위치를 결정할 수 있다. 개구 영역(465, 475)의 기준 좌표는, 예를 들어, 개구 영역(465, 475)의 중심 좌표가 될 수 있다.

일 실시예에서, 위치 트래킹부는 삼각법을 이용하여 마커의 위치를 결정할 수 있다. 예를 들어, 위치 트래킹부는, 제2 및 제3 결상부(420, 430) 각각에 의해 결상된 제2 및 제3 이미지(460, 470)로부터 개구 영역(465, 475)의 기준 좌표를 추출한 후, 이 기준 좌표에 기초한 삼각법을 이용하여 마커의 위치를 계산할 수 있다. 보다 구체적으로, 위치 트래킹부는 각 패턴 이미지들 상에서 결상된 개구 영역의 기준 좌표와, 제2 및 제3 결상부(420, 430) 사이의 미리 정해진 간격(D_x), 서로 다른 위치에 있는 제2 및 제3 결상부(420, 430)가 마커를 바라보는 방향(

)들 간의 기하학적 관계를 이용하여 마커의 위치를 계산할 수 있다.

도 6은 도 5에 도시된 제1 결상부(410)에서 결상된 제1 이미지(450)의 모습을 예시적으로 나타낸 도면이다.

제1 이미지(450)는 마커(405)와 무한 광학계를 형성한 제1 결상부(410)에 의하여 결상된 이미지가 될 수 있다. 제1 이미지(450)는, 도 3에 도시된 패턴(255)의 일부를 포함하고 그 부분에 초점이 형성된 패턴 이미지(455)를 포함할 수 있다. 또한, 도 5에 도시된 X축 방향으로 제1 결상부(410)는 제2 및 제3 결상부(420, 430)의 사이에 배치되는 경우, 패턴 이미지(455)는 제1 이미지(450) 내에서 제2 및 제3 이미치(460, 470)의 개구 영역(465, 475)이 형성되는 위치 사이에 배치될 수 있다.

제1 이미지(450) 내에서 패턴 이미지(455)의 위치는 가로 방향의 거리(X1) 및 세로 방향의 거리(Y1)로 정의될 수 있다. 가로 방향의 거리(X1)는 제1 이미지(450)의 좌측 단부 및 패턴 이미지(455) 사이의 최단 거리를 의미하고, 세로 방향의 거리(Y1)는 제1 이미지(450)의 상단 및 패턴 이미지(455) 사이의 최단 거리를 의미할 수 있다. 또한, 제1 결상부(410)가 제2 및 제3 결상부(420, 430)와 지면으로부터 다른 높이에 배치되는 경우, 패턴 이미지(455)의 세로 방향의 거리(Y1)는 개구 영역(465, 475)의 세로 방향의 거리와 다를 수 있다.

제1 이미지(450)에서, 패턴 이미지(455)을 둘러싸는 경계 부분(456)은 마커의 개구에 대응할 수 있다. 마커의 개구의 가장자리를 통과하여 방출되는 출사광은, 출사광이 개구를 지날 때 회절, 내부 반사, 개구의 비네팅, 또는 초점 심도 등의 이유로, 카메라에 찍힐 때엔 뿌옇게 흐려진(blurred) 형태로 결상될 수 있다. 따라서, 경계 부분(456)이 흐릿하게 형성되므로 주변 부분(457)과 구별이 잘 되지 않을 수 있다. 또한, 주변 부분(457)은, 패턴 이미지(455)에 비하여 상대적으로 상당히 어두운 부분으로 부분으로 이미지 처리 과정에서 이미지가 없는 형태(예를 들어, 블랙 아웃(black out)된 상태)로 보정될 수 있다. 따라서, 프로세서(440)의 위치 트래킹부가 패턴 이미지(455)의 기준 좌표를 측정하는 경우, 경계 부분(456)이 흐릿하게 결상되는 현상 때문에 오차를 발생시킬 수 있으므로, 위치 트래킹부는 제2 및 제3 이미지(460, 470) 내에서 명확하게 결상된 개구 영역(465, 475)의 기준 좌표에 기초하여 마커의 위치를 트래킹할 수 있다.

일 실시예에서, 도 5에 도시된 프로세서(440)의 자세 트래킹부는, 제1 이미지(450)로부터 패턴 이미지(455)의 판독이 가능하므로, 패턴 이미지(455)를 이용하여 마커의 자세를 판단하고, 마커와 대상체와의 상대적인 관계를 이용하여 대상체의 자세를 트래킹 할 수 있다. 일 실시예에서, 프로세서(440)는, 패턴 윈도우를 통해 패턴 이미지(455)로부터 적어도 하나의 서브 패턴을 추출하고, 서브 패턴의 전체 패턴 내에서의 위치를 계산하고, 이에 기초하여 마커의 자세를 결정할 수 있다. 예를 들어, 프로세서(440)는 1개의 서브 패턴에 기초하여 마커의 자세를 계산할 수 있다.

도 7은 도 5에 도시된 제2 결상부(420)에서 결상된 제2 이미지(460)의 모습을 예시적으로 나타낸 도면이고, 도 8은 도 5에 도시된 제3 결상부(430)에서 결상된 제3 이미지(470)의 모습을 예시적으로 나타낸 도면이다.

제2 및 제3 이미지(460, 470)는 마커와 무한 광학계를 형성하지 않고 가까운 초점 거리에서 이미지를 결상하므로, 패턴면이 식별 가능하지 않은 형태로 출사광이 결상될 수 있다. 즉, 마커의 개구 영역(465, 475)은 원형의 디스크(disk) 형태를 가질 수 있고, 주변 부분(467, 477)보다 밝게 결상될 수 있다. 다른 실시예에서, 마커의 입구의 형상이 원형이 아닌 다른 형상(예를 들어, 다각형 형상)을 갖는경우, 마커의 개구 영역(465, 475)은 상기 다른 형상과 대응하는 형상을 가질 수 있다.

제2 및 제3 이미지(460, 470)에서, 마커의 개구 영역(465, 475)은 주변 부분(467, 477)과 명확하게 구별 가능하도록 결상될 수 있다. 따라서, 제2 및 제3 이미지(460, 470) 내에서 마커의 개구 영역(465, 475)의 위치가 식별될 수 있다. 일 실시예에서, 프로세서(440)의 위치 트래킹부는 마커의 개구 영역(465, 475)을 둘러싸는 주변 부분(467, 477)과 구분되는 경계(boundary)를 판단하고, 이를 바탕으로 제2 및 제3 이미지(460, 470) 내에서의 마커의 개구 영역(465, 475)의 기준 좌표(466, 476)를 결정할 수 있다. 예를 들어, 기준 좌표(466, 476)는 마커의 개구 영역(465, 475)의 중심 좌표에 해당할 수 있다.

제2 및 제3 이미지(460, 470) 내에서 각각의 마커의 개구 영역(465, 475)의 위치는 가로 방향의 거리(X2, X3) 및 세로 방향의 거리(Y2, Y3)로 정의될 수 있다. 가로 방향의 거리(X2, X3)는 제2 및 제3 이미지(460, 470)의 좌측 단부 및 마커의 개구 영역(465, 475) 사이의 최단 거리를 의미하고, 세로 방향의 거리(Y2, Y3)는 제2 및 제3 이미지(460, 470)의 상단 및 마커의 개구 영역(465, 475) 사이의 최단 거리를 의미할 수 있다.

도 5를 참고하면, 제2 결상부(420)는 제1 결상부(410)에 비하여 X축 (-) 방향으로 치우친 위치에 배치될 수 있으므로, 제2 이미지(460)의 개구 영역(465) 가로 방향의 거리(X2)는 제1 이미지(450)의 패턴 이미지(455)의 가로 방향의 거리(X1)보다 작을 수 있다. 또한, 제2 결상부(420)는 제1 결상부(410)에 비하여 지면으로부터 낮거나 높은 위치에 배치될 수 있으므로, 제2 이미지(460)의 개구 영역(465)의 세로 방향의 거리(H2)는 제1 이미지(450)의 패턴 이미지(455)의 세로 방향의 거리(H1)와 다를 수 있다.

제3 결상부(430)는 제1 결상부(410)에 비하여 X축 (+) 방향으로 치우친 위치에 배치될 수 있으므로, 제3 이미지(470)의 개구 영역(455)의 가로 방향의 거리(X3)는 제1 이미지(450)의 패턴 이미지(455)의 가로 방향의 거리(X1)보다 클 수 있다. 또한, 제3 결상부(430)는 제1 결상부(410)에 비하여 지면으로부터 낮거나 높은 위치에 배치될 수 있으므로, 제3 이미지(470)의 개구 영역(455)의 세로 방향의 거리(Y3)는 제1 이미지(450)의 패턴 이미지(455)의 세로 방향의 거리(Y1)와 다를 수 있다. 또한, 제2 및 제3 결상부(420, 430)가 지면으로부터 동일한 높이에 배치된 경우, 제2 및 제3 이미지(460, 470) 내에서 개구 영역(465, 475)의 세로 방향이 길이(Y2, Y3)는 서로 동일할 수 있다.

제2 및 제3 결상부(420, 430) 및 마커는 실질적으로 삼각형 형태를 형성하기 때문에, 제2 및 제3 이미지(460, 470)의 개구 영역(465, 475)의 가로 방향의 거리(X2, X3)는 서로 크기가 다르게 되며, 상기 가로 방향의 거리(X2, X3)는 상시적으로 차이(disparity)를 나타낼 수 있다. 예를 들어, 도 7 및 8을 참고하면, 가로 방향의 거리(X2)와 가로 방향의 거리(X3)의 차이는 양의 값을 나타낼 수 있다. 또한, 상기 차이로부터 제2 및 제3 결상부(420, 430)는 스테레오 스코픽을 구성할 수 있다. 도 5를 참고하면, 제2 및 제3 결상부(420, 430)는 미리 정해진 거리(Dx)로 이격될 수 고, 프로세서(440)의 위치 트래킹부는 삼각 측정법을 이용하는 과정에서, 상기 차이 및 미리 정해진 거리(Dx)를 이용하여 마커의 위치를 결정할 수 있다.

일 실시예에서, 도 5를 참고하여, 프로세서(440)의 위치 트래킹부는, 제2 및 제3 이미지(460, 470)에 포함된 마커의 개구 영역(465, 475)의 기준 좌표(466, 476)를 각각 결정하고, 각각 결정된 기준 좌표(466, 476) 및 제2 및 제3 결상부(420, 430)가 마커로 지향된 방향(

)들 간의 기하학적 관계를 이용하여 대상체의 위치를 결정할 수 있다.

도 9는 본 개시의 일 실시예에 따른 옵티컬 트래킹 시스템의 하나의 결상부가 라이트 필드 카메라로 구성되는 예를 나타낸 도면이고, 도 10은 도 9에 도시된 옵티컬 트래킹 시스템의 세 개의 결상부에서 결상된 이미지에 기초하여 마커의 자세 및 위치를 결정하는 방법을 설명하기 위한 도면이다. 상술한 실시예에서 설명된 내용과 중복된 설명은 생략한다.

일 실시예에서, 옵티컬 트래킹 시스템은, 패턴면(507) 및 패턴면(507)이 보이도록 구성된 광학계(506)가 형성된 마커(505), 제1 결상부(510), 제2 결상부(520), 및 제3 결상부(530)를 포함하는 결상 장치(500), 위치 트래킹부(521), 자세 트래킹부(542), 및 ID 식별부(543)를 포함하는 프로세서(540)을 포함할 수 있다. 제1 결상부(510)는 라이트 필드 카메라의 구조를 가질 수 있다. 라이트 필드 카메라는 피사체를 촬영한 후에 피사체 심도를 사후적으로 결정하고, 서로 다른 피사체 심도를 갖는 이미지를 조합하도록 구성될 수 있다. 따라서, 라이트 필드 카메라의 이미지 센서는 사후적이면서 가변적인 피사체 심도를 가질 수 있다. 또한, 라이트 필드 카메라에서 생성하는 라이트 필드 이미지는, 빛의 색상 정보와 방향 정보를 함께 저장하는 복수의 단위 이미지를 포함할 수 있다.

라이트 필드 카메라의 구조를 갖는 제1 결상부(510)는 렌즈(511)와 이미지 센서(512) 사이에 배치되고 복수의 마이크로 렌즈들이 배열된 렌즈 어레이(515)를 포함할 수 있다. 또한, 이미지 센서(512)는 각각의 마이크로 렌즈에 대응하는 영역들로 구분될 수 있다. 제1 결상부(510)가 구현하는 라이트필드 카메라는 무한대 위치에 놓인 패턴면(507)의 일부를 명확하게 촬상할 수 있도록, 피사체 심도가 원거리 내지 무한대인 이미지를 합성한 제1 이미지(550)를 프로세서(540)로 전송할 수 있다.

다른 실시예에서, 제1 결상부(270)는 복수의 단위 이미지들을 이용하여 재초점(refocusing) 과정을 진행할 수 있다. 재초점 과정에서 라이트 필드 이미지의 픽셀들 중에서 원하는 피사체 심도 및 그에 따라 역산되는 광경로 내지 방향에 상응하는 픽셀들의 색상 정보를 조합하여 원하는 심도의 이미지를 새로 추출해 낼 수 있다. 이를 통해 패턴 이미지가 선명하게 식별가능한 제1 이미지(550)를 생성할 수 있다.

제2 및 제3 결상부(520, 530) 각각은 마커(505)의 개구(506)로부터 서로 다른방향으로 방출 된 출사광이 결상된 제2 이미지(560) 및 제3 이미지(570)를 결상할 수 있다. 마커(505)에서 반사된 빛은 제2 및 제3 결상부(520, 530)의 렌즈(521, 532)를 통과하여 이미지 센서(522, 532)에서 결상될 수 있다. 또한, 제2 및 제3 결상부(520, 530)의 렌즈(521, 531) 및 마커(505)의 광학계(506)는 무한 광학계를 형성하지 않고, 이 경우 제2 및 제3 이미지(560, 570) 내에서 패턴면(507)의 일부는 판독가능한 형태로 결상되지 않을 수 있다. 따라서, 제2 및 제3 이미지(560, 570) 내에서 개구 영역(565, 575)의 위치가 명확하게 식별될 수 있다.

일 실시예에서, 프로세서(540)의 자세 트래킹부(542)는 제1 이미지(550)에 기초하여 대상체의 자세를 트래킹할 수 있다. 구체적으로, 자세 트래킹부(542)는, 패턴의 전체 영역 내에서 제1 이미지(450)에 포함된 패턴의 일부의 위치를 결정하고, 결정된 위치에 기초하여 대상체의 자세를 결정할 수 있다.

프로세서(540)의 위치 트래킹부(541)는 삼각 측정법을 이용하여 마커의 위치를 결정할 수 있다. 라이트 필드 카메라의 구조를 갖는 제1 결상부(510)는 촬상한 라이트 필드 이미지로부터 출사광 이미지를 포함하도록 가까운 초점 거리에서 결상된 제4 이미지(580)를 추출하도록 구성될 수 있다. 제4 이미지(580) 내에는 개구 영역(585)의 위치가 명확하게 식별되도록 선명하게 결상될 수 있다.

일 실시예에서, 위치 트래킹부(541)는, 제1 내지 제3 결상부(510, 520, 530) 각각에 의해 결상된 제2 내지 제4 이미지(560, 570, 580))로부터 개구 영역(565, 575, 585)의 기준 좌표를 추출한 후, 세 개의 기준 좌표에 기초한 삼각 측정법을 이용하여 마커의 위치를 계산할 수 있다. 보다 구체적으로, 위치 트래킹부(541)는 세 개의 기준 좌표와, 제1 내지 제3 결상부(510, 520, 530) 사이의 미리 정해진 간격, 서로 다른 위치에 있는 제1 내지 제3 결상부(510, 520, 530)가 마커를 바라보는 방향(

,

도 11은 본 개시의 일 실시예에 따른 옵티컬 트래킹 시스템의 두 개의 결상부가 라이트 필드 카메라로 구성되는 예를 나타낸 도면이고, 도 12 도 11에 도시된 옵티컬 트래킹 시스템의 세 개의 결상부에서 결상된 이미지에 기초하여 마커의 자세 및 위치를 결정하는 방법을 설명하기 위한 도면이다. 상술한 실시예에서 설명된 내용과 중복된 설명은 생략한다.

일 실시예에서, 옵티컬 트래킹 시스템은, 패턴면(607) 및 패턴면(607)이 보이도록 구성된 광학계(606)가 형성된 마커(605), 제1 결상부(610) 및 제2 결상부(620), 및 제3 결상부(630)를 포함하는 결상 장치(600), 위치 트래킹부(641), 자세 트래킹부(642), 및 ID 식별부(643)를 포함하는 프로세서(640)를 포함할 수 있다. 각각의 제1 및 제2 결상부(610, 620)는 라이트 필드 카메라의 구조를 가질 수 있다.

각각 라이트 필드 카메라의 구조를 갖는 제1 및 제2 결상부(610, 620)는 렌즈(611, 621)와 이미지 센서(612, 622) 사이에 배치되고 복수의 마이크로 렌즈들이 배열된 렌즈 어레이(615, 625)를 포함할 수 있다. 또한, 이미지 센서(612, 622)는 각각의 마이크로 렌즈에 대응하는 영역들로 구분될 수 있다. 제1 및 제2 결상부(610, 620)는 무한대 위치에 놓인 패턴면(607)의 일부를 명확하게 촬상할 수 있도록, 피사체 심도가 원거리 내지 무한대인 이미지를 합성한 제1 이미지(650) 및/또는 제5 이미지(690)를 프로세서(640)로 전송할 수 있다.

제2 및 제3 결상부(620, 630) 각각은 마커(605)의 개구(606)로부터 서로 다른방향으로 방출된 출사광이 결상된 제2 이미지(660) 및 제3 이미지(670)를 결상할 수 있다. 일 실시예에서, 제2 결상부(620)는 촬상한 라이트 필드 이미지로부터 가까운 초점 거리에서 결상되도록 추출된 제2 이미지(660)를 프로세서(640)로 전송할 수 있다. 마커(605)에서 반사된 빛은 제2 및 제3 결상부(620, 630)의 렌즈(621, 632)를 통과하여 이미지 센서(622, 632)에서 결상될 수 있다. 제2 및 제3 이미지(660, 670) 내에서 개구 영역(665, 675)의 위치는 명확하게 식별될 수 있다.

일 실시예에서, 프로세서(640)의 자세 트래킹부(642)는 제1 이미지(650)에 결상된 패턴 이미지(655)에 기초하여 대상체의 자세를 트래킹할 수 있다. 다른 실시예에서, 자세 트래킹부(642)는 제5 이미지(690)에 결상된 패턴 이미지(695)에 기초하여 대상체의 자세를 트래킹할 수 있다. 구체적으로, 자세 트래킹부(542)는, 패턴의 전체 영역 내에서 제1 이미지(650) 또는 제5 이미지(690)에 포함된 패턴의 일부의 위치를 결정하고, 결정된 위치에 기초하여 대상체의 자세를 결정할 수 있다. 다른 실시예에서, 자세 트래킹부(642)는 제1 이미지(650)를 기초로 결정한 대상체의 자세 및 제5 이미지(690)를 기초로 결정한 대상체의 자세의 평균 값을 기초로, 대상체의 자세를 트래킹할 수 있다.

일 실시예에서, 프로세서(640)의 위치 트래킹부(641)는 삼각 측정법을 이용하여 마커의 위치를 결정할 수 있다. 라이트 필드 카메라의 구조를 갖는 제1 결상부(610)는 촬상한 라이트 필드 이미지로부터 출사광 이미지를 포함하도록 가까운 초점 거리에서 결상된 제4 이미지(680)를 추출하도록 구성될 수 있다. 제4 이미지(680) 내에는 개구 영역(685)의 위치가 명확하게 식별되도록 선명하게 결상될 수 있다. 예를 들어, 위치 트래킹부(641)는, 제1 내지 제3 결상부(610, 620, 630) 각각에 의해 결상된 제2 내지 제4 이미지(660, 670, 680)로부터 개구 영역(665, 675, 685)의 기준 좌표를 추출한 후, 세 개의 기준 좌표에 기초한 삼각 측정법을 이용하여 마커의 위치를 계산할 수 있다. 보다 구체적으로, 위치 트래킹부(641)는 세 개의 기준 좌표와, 제1 내지 제3 결상부(610, 620, 630) 사이의 미리 정해진 간격, 서로 다른 위치에 있는 제1 내지 제3 결상부(610, 620, 630)가 마커를 바라보는 방향(

,

<마커를 트래킹하는 방법>

도 13은 본 개시의 다른 실시예에 따른 옵티컬 트래킹 방법(S1200)을 나타낸 흐름도이다. 이하 각 단계에 대해서 도면을 참조하여 보다 구체적으로 마커를 트래킹하는 방법이 설명된다.

패턴면 및 개구를 포함하는 마커를 대상체에 부착할 수 있다. 도 1 및 2을 참조하면, 마커(10)는 수술 도구(20)의 단부에 부착될 수 있다. 또한, 마커(10)의 개구(13)는 상시적으로 결상 장치(100)를 향하도록 배치될 수 있다.

먼저, 단계(S1210)에서, 도 5를 참고하면, 무한대의 초점 거리에서 개구를 통해 보이는 패턴면의 일부가 패턴 이미지로 결상된 제1 이미지(450)를 기초로 마커의 자세를 결정할 수 있다. 다음 단계(S1220)에서, 무한대의 초점 거리보다 가까운 초점 거리에서 개구를 통해 서로 다른 방향에서 방출된 출사광이 가각 출사광 이미지로 결상된 제2 이미지 및 제3 이미지(460, 470)에 기초하여 마커의 위치를 결정할 수 있다.

옵티컬 트래킹 방법(S1200)에서, 프로세서(440)는, 마커의 자세 및 마커의 위치를 동시에 결정할 수 있다. 다른 실시예에서, 프로세서(440)는 마커의 자세를 결정하기 전에 마커의 위치를 결정하거나, 마커의 자세를 결정하고 마커의 위치를 결정할 수 있다.

도 14는 도 13에 도시된 옵티컬 트래킹 방법에서 마커의 자세를 결정하는 단계(S1210)를 나타낸 흐름도이고, 도 15는 도 13에 도시된 옵티컬 트래킹 방법에서, 마커의 위치를 결정하는 단계(S1220)를 나타내는 흐름도이다.

일 실시예에서, 단계(S1210)는 다음과 같이 진행될 수 있다. 도 5를 참고하면, 먼저, 패턴면의 전체 영역 내에서 제1 이미지(450)에 포함된 패턴 이미지(455)의 위치를 결정한다(S1211). 다음으로, 결정된 위치에 기초하여 대상체의 자세를 결정할 수 있다(S1212).

일 실시예에서, 단계(S1220)는 다음과 같이 진행될 수 있다. 먼저, 제2 및 제3 이미지(460, 470) 내 결상된 출사광 이미지의 기준 좌표를 각각 결정하고(S1221), 각각 결정된 기준 좌표 및 출사광이 지향하는 방향들 간의 기하학적 관계를 이용하여 대상체의 위치를 결정(S1222)할 수 있다.

일 실시예에서, 프로세서(440)는 마커의 위치 및 자세를 병렬적으로 처리하여 결정할 수 있다. 즉, 제1 내지 제3 이미지(450, 460, 470)가 동시에 결상되므로, 프로세서(440)는 이를 일시에 처리하여 대상체의 자세 및 위치는 동시에 결정될 수 있다.

도 16은 도 13에 도시된 옵티컬 트래킹 방법에서, 라이트 필드 이미지를 사용하는 예를 나타낸 흐름도이다.

도 10을 참고하면, 먼저, 개구를 통해 보이는 패턴면의 일부를 포함하는 라이트 필드 이미지를 생성(S1230)할 수 있다. 다음으로, 라이트 필드 이미지로부터 무한대의 초점 거리에서 결상되어 패턴 이미지를 포함하는 제1 이미지(550)를 추출하고 가까운 초점 거리에서 결상되어 출사광 이미지를 포함하는 제4 이미지(580)를 추출(S1240)할 수 있다. 다음으로, 제2 이미지, 제3 이미지, 및 제4 이미지(560, 570, 580)에 기초하여 마커의 위치를 결정(S1250)할 수 있다.

단계(S1250)에서, 프로세서는 세 개 이미지에 포함된 출사광 이미지의 기준심 좌표와, 결상부들이 마커를 바라보는 방향들 간의 기하학적 관계를 이용한 삼각법에 기초하여 마커의 위치를 결정할 수 있다. 이상 실시예들에서는, 삼각법을 이용하여 마커의 위치가 결정되었지만, 이에 한정되는 것은 아니며, 삼각법이 아닌 다른 위치 결정 방법이 사용될 수 있다.

상기 방법은 특정 실시예들을 통하여 설명되었지만, 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 CD-ROM, USB 등의 저장장치가 있으며, 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 개시가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 개시에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 개시가 속하는 기술분야의 당업자가 이해할 수 있는 본 개시의 정신 및 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 변형 및 변경은 본 개시에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.

1 : 옵티컬 트래킹 시스템
10 : 마커
100 : 결상 장치
110, 270, 410, 510 : 제1 결상부
120, 280, 420, 520 : 제2 결상부
130, 290, 430, 530 : 제3 결상부
140, 440 : 프로세서
450, 550, 650 : 제1 이미지
460, 560, 660 : 제2 이미지
470, 570, 570 : 제3 이미지
580, 680 : 제4 이미지
690 : 제5 이미지

Claims

마커의 위치 및 자세를 트래킹하는 옵티컬 트래킹 시스템으로서,
상기 마커는 대상체에 부착될 수 있고, 개구에 형성된 광학계를 통해 내부에 형성된 패턴면이 보이도록 구성되고,
상기 개구를 통해 보이는 상기 패턴면의 일부가 무한대의 초점 거리에서 결상된 제1 이미지를 기초로 상기 마커의 자세를 결정하고, 서로 다른 방향에서 상기 개구를 통해 방출된 출사광이 상기 무한대의 초점 거리 보다 가까운 초점 거리에서 각각 결상된 제2 이미지 및 제3 이미지에 기초하여 상기 마커의 위치를 결정하는 프로세서를 포함하는, 옵티컬 트래킹 시스템.
제1항에 있어서,
상기 프로세서는,
상기 개구를 통해 보이는 상기 패턴면의 일부가 상기 무한대의 초점 거리에서 결상된 상기 제1 이미지를 기초로 상기 마커의 자세를 결정하는 자세 트래킹부; 및
서로 다른 방향에서 상기 개구를 통해 방출된 출사광이 상기 무한대의 초점 거리보다 가까운 초점 거리에서 각각 결상된 상기 제2 및 제3 이미지에 기초하여 상기 마커의 위치를 결정하는 위치 트래킹부를 포함하는,
옵티컬 트래킹 시스템.
제1항에 있어서,
상기 제1 이미지는 상기 무한대의 초점 거리에서 결상되어 상기 패턴면의 일부가 식별가능하게 결상된 패턴 이미지를 포함하고,
상기 제2 및 제3 이미지는 상기 대상체의 위치를 포함하는 소정 범위의 초점 거리에서 결상되어 서로 다른 방향을 향하는 출사광이 결상된 출사광 이미지를 포함하는, 옵티컬 트래킹 시스템.
제3항에 있어서,
상기 자세 트래킹부는 상기 패턴면의 전체 영역 내에서 상기 패턴 이미지의 위치를 결정하고, 상기 결정된 위치에 기초하여 상기 대상체의 자세를 결정하는, 옵티컬 트래킹 시스템.
제3항에 있어서,
상기 위치 트래킹부는 상기 제2 및 제3 이미지 내 결상된 상기 출사광 이미지의 기준 좌표를 각각 결정하고, 상기 각각 결정된 기준 좌표에 기초하여 상기 대상체의 위치를 결정하는, 옵티컬 트래킹 시스템.
제5항에 있어서,
상기 위치 트래킹부는 상기 제2 및 제3 이미지에 결상된 상기 출사광 이미지의 기준 좌표들 사이의 차이(disparity)에 기초하여, 상기 마커의 3차원 공간 상의위치를 결정하는, 옵티컬 트래킹 시스템.
제1항에 있어서,
라이트 필드 이미지를 생성하는 라이트 필드 카메라로 구성된 제1 결상부를더 포함하고,
상기 제1 결상부는 패턴 이미지를 포함하도록 상기 라이트 필드 이미지로부터 무한대의 초점 거리에서 결상된 상기 제1 이미지를 추출하도록 구성되는, 옵티컬 트래킹 시스템.
제7항에 있어서,
상기 제1 결상부는 상기 라이트 필드 이미지로부터 출사광 이미지를 포함하도록 상기 무한대의 초점 거리보다 가까운 초점 거리에서 결상된 제4 이미지를 추출하도록 구성되고,
상기 프로세서는 상기 제2 이미지, 상기 제3 이미지, 및 상기 제4 이미지에 기초하여 상기 마커의 위치를 결정하는, 옵티컬 트래킹 시스템.
마커의 위치 및 자세를 트래킹하는 옵티컬 트래킹 시스템으로서,
상기 마커는 대상체에 부착될 수 있고, 개구에 형성된 광학계를 통해 내부에 형성된 패턴면이 보이도록 구성되고,
무한대의 초점 거리에서 상기 패턴면의 일부를 포함하는 제1 이미지를 결상하는 제1 결상부;
상기 무한대의 초점 거리보다 가까운 초점 거리에서 상기 개구를 통해 제1 방향으로 방출된 출사광이 결상된 출사광 이미지를 포함하는 제2 이미지를 결상하는 제2 결상부;
상기 무한대의 초점 거리보다 가까운 초점 거리에서 상기 개구를 통해 상기 제1 방향과 다른 제2 방향으로 방출된 출사광이 결상된 출사광 이미지를 포함하는 제3 이미지를 결상하는 제3 결상부; 및
상기 제1 이미지를 기초로 상기 마커의 자세를 결정하고, 상기 제2 이미지 및 제3 이미지에 기초하여 상기 마커의 위치를 결정하는 프로세서를 포함하는 옵티컬 트래킹 시스템.
제9항에 있어서,
상기 제1 결상부 및 상기 제2 결상부 각각은 라이트 필드 이미지를 생성하는 라이트 필드 카메라로 구성되고,
상기 제1 결상부는 상기 라이트 필드 이미지로부터 상기 무한대의 초점 거리보다 가까운 초점 거리에서 결상된 제4 이미지를 추출하도록 구성되고, 상기 제2 결상부는 상기 라이트 필드 이미지로부터 무한대의 초점 거리보다 가까운 초점 거리에서 결상된 상기 제2 이미지를 추출하도록 구성되고,
상기 프로세서는 상기 제2 이미지, 상기 제3 이미지, 및 상기 제4 이미지에 기초하여 상기 마커의 위치를 결정하는, 옵티컬 트래킹 시스템.
제9항에 있어서,
상기 제1 결상부는, 상기 제2 및 제3 결상부의 지면으로부터의 높이와 다른 높이를 갖도록 배치되고, 상기 지면을 바라보는 방향을 기준으로 상기 제2 및 제3 결상부 사이에 배치되는, 옵티컬 트래킹 시스템.
마커의 위치 및 자세를 트래킹하는 옵티컬 트래킹 방법으로서,
상기 마커는 대상체에 부착될 수 있고, 개구에 형성된 광학계를 통해 내부에 형성된 패턴면이 보이도록 구성되고,
무한대의 초점 거리에서 상기 개구를 통해 보이는 상기 패턴면의 일부가 패턴 이미지로 결상된 제1 이미지를 기초로 상기 마커의 자세를 결정하는 단계; 및
상기 무한대의 초점 거리보다 가까운 초점 거리에서 상기 개구를 통해 서로 다른 방향으로 방출된 출사광이 각각 출사광 이미지로 결상된 제2 이미지 및 제3 이미지에 기초하여 상기 마커의 위치를 결정하는 단계를 포함하는, 옵티컬 트래킹 방법.
제12항에 있어서,
상기 마커의 자세를 결정하는 단계는,
상기 패턴면의 전체 영역 내에서 상기 제1 이미지에 포함된 상기 패턴 이미지의 위치를 결정하는 단계; 및
상기 결정된 위치에 기초하여 상기 대상체의 자세를 결정하는 단계를 포함하는, 옵티컬 트래킹 방법.
제12항에 있어서,
상기 마커의 위치를 결정하는 단계는,
상기 제2 및 제3 이미지 내 결상된 상기 출사광 이미지의 기준 좌표를 각각 결정하는 단계 및
상기 각각 결정된 기준 좌표 및 상기 출사광이 지향하는 방향들 간의 기하학적 관계를 이용하여 상기 대상체의 위치를 결정하는 단계를 포함하는, 옵티컬 트래킹 방법.
제12항에 있어서,
상기 개구를 통해 보이는 상기 패턴면의 일부를 포함하는 라이트 필드 이미지를 생성하는 단계;
상기 라이트 필드 이미지로부터 상기 패턴 이미지를 포함하도록 상기 무한대의 초점 거리에서 결상된 상기 제1 이미지를 추출하고, 출사광 이미지를 포함하도록 상기 무한대의 초점 거리보다 가까운 초점 거리에서 결상된 제4 이미지를 추출하는 단계; 및
상기 제2 이미지, 상기 제3 이미지, 및 상기 제4 이미지에 기초하여 상기 마커의 위치를 결정하는 단계를 더 포함하는, 옵티컬 트래킹 방법.