KR101627835B1 - 옵티컬 트래킹 시스템 및 방법 - Google Patents

옵티컬 트래킹 시스템 및 방법 Download PDF

Info

Publication number
KR101627835B1
KR101627835B1 KR1020150105187A KR20150105187A KR101627835B1 KR 101627835 B1 KR101627835 B1 KR 101627835B1 KR 1020150105187 A KR1020150105187 A KR 1020150105187A KR 20150105187 A KR20150105187 A KR 20150105187A KR 101627835 B1 KR101627835 B1 KR 101627835B1
Authority
KR
South Korea
Prior art keywords
image
marker
lens
feature points
registration fee
Prior art date
Application number
KR1020150105187A
Other languages
English (en)
Inventor
홍종규
이현기
Original Assignee
주식회사 고영테크놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고영테크놀러지 filed Critical 주식회사 고영테크놀러지
Priority to KR1020150105187A priority Critical patent/KR101627835B1/ko
Application granted granted Critical
Publication of KR101627835B1 publication Critical patent/KR101627835B1/ko
Priority to PCT/KR2016/008058 priority patent/WO2017018748A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems

Abstract

본 발명은 목적물에 부착된 마커의 위치 및 자세를 결정하여 목적물을 트래킹하기 위한 옵티컬 트래킹 시스템을 제공한다. 본 발명에 따른 옵티컬 트래킹 시스템은, 랜덤한 형상의 제1 이미지 및 상기 제1 이미지를 확대하여 전달하기 위한 제1 렌즈를 포함하는 마커 및 제2 렌즈 및 상기 제2 렌즈의 초점 거리에서 상기 제1 이미지를 제2 이미지로 결상하는 1개 이상의 결상 유닛을 포함하는 결상부를 포함한다. 본 발명에 따른 옵티컬 트래킹 시스템은 소형의 마커 1개 만으로도 마커가 부착된 목적물의 위치 및 자세를 정확히 결정하여 목적물을 트래킹하는 것이 가능하다.

Description

옵티컬 트래킹 시스템 및 방법{OPTICAL TRACKING SYSTEM AND METHOD}
본 발명은 옵티컬 트래킹 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 이미지 및 렌즈를 포함하는 마커를 이용하여 목적물을 트래킹하는 옵티컬 트래킹 시스템 및 방법에 관한 것이다.
본 발명은 지식경제부의 산업원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다. [과제고유번호: 10040097, 연구과제명: 의료수술로봇영상기반 이비인후과 및 신경외과 수술용 최소침습 다자유도 수술로봇 시스템 기술 개발].
목적물을 트래킹하기 위한 하나의 방법으로서 옵티컬 트래킹 시스템(optical tracking system)이 사용될 수 있다. 특히, 위험을 최소화하면서 정밀한 수술을 진행하기 위하여, 환부나 수술 로봇과 같은 장비에서의 목적물 또는 의사가 사용하는 수술도구의 공간상에서의 위치 및 자세를 정확히 측정하는데 옵티컬 트래킹 시스템이 사용될 수 있다. 여기서 물체의 공간상에서의 위치는, 예컨대 직교 좌표계에서 말하는 X, Y, Z 축 상에서의 좌표와 같은 공간 좌표로서 정의되며, 자세는 롤(roll), 피치(pitch), 요(yaw)로서 정의되는데, 목적물의 정확한 트래킹을 위해서는 이와 같은 위치 및 자세로 정의되는 목적물의 6 자유도(Degree of Freedom)를 정확히 파악할 수 있어야 한다.
옵티컬 트래킹 시스템은 수술도구와 같은 목적물에 마커라는 트래킹을 위한 기준체를 부착한 후, 이를 트래킹함으로써 목적물의 위치 및 자세를 측정한다. 예를 들어, 역반사체(retroreflector)를 마커로서 사용하여 위치를 측정하거나, 3개 이상의 복수의 마커가 부착된 구조물을 목적물에 부착하여 위치 및 자세를 동시에 측정하는 방법이 알려져 있다. 그러나 역반사체를 1개만 사용할 경우, 간단한 방식으로 마커가 부착된 목적물의 6 자유도를 모두 정확히 측정하기 곤란하다는 문제점이 있다. 또한, 3개 이상의 복수의 마커가 부착된 구조물을 이용하여 6 자유도 모두를 측정하는 방식은 소형의 정밀성이 요구되는 옵티컬 트래킹 시스템에는 부적절하다는 문제점이 있다. 특히, 수술도구와 같이 사람이 직접 사용하는 도구에 복수의 마커를 부착하여 사용할 경우, 그 크기 및 무게로 인해 도구의 사용자에게 마커의 사용이 부담으로 작용할 수 있다. 따라서, 적은 숫자의 소형의 마커를 사용하면서도 이를 이용하여 목적물의 위치 및 자세를 정확하고 간단하게 측정할 수 있는 옵티컬 트래킹 시스템 및 방법이 요청된다.
본 발명이 해결하고자 하는 과제는 적은 숫자의 소형의 마커를 이용하면서도 마커가 부착된 목적물의 위치 및 자세를 정확하게 측정하여 목적물을 트래킹하는 옵티컬 트래킹 시스템 및 방법을 제공하는 것이다.
본 발명의 예시적인 일 실시예에 따른 옵티컬 트래킹 시스템은 랜덤한 형상의 제1 이미지 및 상기 제1 이미지를 확대하여 전달하기 위한 제1 렌즈를 포함하는 마커, 제2 렌즈 및 상기 제2 렌즈의 초점 거리에서 상기 제1 이미지를 제2 이미지로 결상하는 1개 이상의 결상 유닛을 포함하는 결상부를 포함하고, 상기 마커가 부착되어 있는 대상을 트래킹하는 것을 특징으로 할 수 있다.
일 실시예로, 상기 제1 이미지는 상기 제1 렌즈의 초점이 형성되는 면에 위치할 수 있다.
일 실시예로, 상기 제1 이미지와 관련된 제1 정보 및 상기 제2 이미지와 관련된 제2 정보에 기초하여 자세를 결정할 수 있으며, 여기서 상기 제1 정보는 제1 이미지에 포함된 복수의 특징점 중에서 2개 이상의 특징점의 좌표이고, 상기 제2 정보는 상기 2개 이상의 특징점에 대응하는 좌표로서, 상기 제2 이미지에서 검출될 수 있다.
일 실시예로, 상기 제2 정보는 이전 검출 시점의 특징점과 다른 특징점의 좌표일 수 있다.
일 실시예로, 상기 제1 이미지에 포함된 복수의 특징점은 상기 제1 이미지에 조사된 빛을 반사 또는 투과시키는 물질로써 형성될 수 있다.
또 다른 실시예로, 상기 제1 이미지는 빛에 대한 반사율이 서로 다른 2개 이상의 물질로써 형성될 수 있고, 상기 제1 이미지에 포함된 상기 복수의 특징점은 상기 2개 이상의 물질의 반사율의 차이를 이용하여 형성될 수 있다.
또 다른 실시예로, 상기 제1 이미지는 빛에 대한 투과율이 서로 다른 2개 이상의 물질로써 형성될 수 있고, 상기 제1 이미지에 포함된 상기 복수의 특징점은 상기 2개 이상의 물질의 투과율의 차이를 이용하여 형성될 수 있다.
일 실시예로, 상기 마커는 상기 대상에 교환 가능한 형태로 1개 또는 2개가 상기 대상에 부착될 수 있다.
또 다른 실시예로, 상기 마커는 상기 대상에 교환 가능한 형태로 3개 이상 상기 대상에 부착될 수 있다.
일 실시예로, 상기 마커가 복수의 대상에 부착되는 경우, 상기 제1 이미지의 상기 랜덤한 형상은 상기 마커마다 고유할 수 있다.
일 실시예로, 상기 제2 정보는 상기 마커의 움직임에 따라 왜곡되지 않을 수 있다.
일 실시예로, 상기 제1 렌즈는 볼렌즈일 수 있다.
일 실시예로, 상기 제1 렌즈는 복수의 광학 매체가 결합된 렌즈일 수 있다.
일 실시예로, 상기 제1 이미지는 상기 랜덤한 형상 대신 미리 정해진 형상일 수 있다.
일 실시예로, 상기 결상 유닛은 2개 이상이고, 상기 2개 이상의 결상 유닛에서 각각 상기 제1 이미지를 결상하여 검출한 이미지들을 이용한 삼각법(triangulation)을 통해 상기 마커가 부착된 상기 대상의 위치를 결정할 수 있다.
본 발명의 예시적인 일 실시예에 따른 옵티컬 트래킹 방법은 제1 렌즈를 통해 확대되어 전달된 마커에 포함된 랜덤한 형상의 제1 이미지를 제2 렌즈의 초점으로부터 이격된 위치에서 제2 이미지로 결상시키는 단계; 및 상기 제1 이미지와 관련된 제1 정보 및 상기 제2 이미지와 관련된 제2 정보에 기초하여 상기 마커의 자세를 결정하는 단계를 포함할 수 있다.
일 실시예로, 상기 제1 이미지와 관련된 제1 정보 및 상기 제2 이미지와 관련된 제2 정보에 기초하여 자세를 결정하는 단계는 상기 제2 이미지로부터 2개 이상의 특징점의 좌표를 상기 제2 정보로서 검출하는 단계; 미리 저장되어 있는 상기 제1 이미지에 포함된 복수의 특징점 중에서, 상기 제2 이미지로부터 검출된 2개 이상의 특징점에 대응하는 특징점의 좌표를 상기 제1 정보로서 검출하는 단계; 및 상기 제1 정보로서의 좌표와 상기 제2 정보로서의 좌표간의 관계식으로부터 상기 자세를 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 옵티컬 트래킹 방법은 서로 다른 복수의 위치에서 상기 제1 이미지를 각각 결상하는 단계; 및 상기 각각 결상된 이미지에 기초한 삼각법을 통해 상기 마커의 위치를 결정하는 단계를 더 포함할 수 있다.
일 실시예로, 상기 제1 이미지는 상기 제1 렌즈의 초점이 형성되는 면에 위치할 수 있다.
일 실시예로, 상기 제2 정보는 검출 시점마다 상이할 수 있다.
일 실시예로, 상기 제1 이미지에 포함된 복수의 특징점은 상기 제1 이미지에 조사된 빛을 반사 또는 투과시키는 물질로써 형성될 수 있다.
일 실시예로, 상기 제1 이미지는 빛에 대한 반사율이 서로 다른 2개 이상의 물질로써 형성될 수 있고, 상기 제1 이미지에 포함된 상기 복수의 특징점은 상기 2개 이상의 물질의 반사율의 차이를 이용하여 형성될 수 있다.
일 실시예로, 상기 제1 이미지는 빛에 대한 투과율이 서로 다른 2개 이상의 물질로써 형성될 수 있고, 상기 제1 이미지에 포함된 상기 복수의 특징점은 상기 2개 이상의 물질의 투과율의 차이를 이용하여 형성될 수 있다.
일 실시예로, 상기 마커는 교환 가능한 형태로 1개 또는 2개가 트래킹 대상에 부착될 수 있다.
일 실시예로, 상기 마커는 교환 가능한 형태로 3개 이상 트래킹 대상에 부착될 수 있다.
일 실시예로, 상기 마커가 복수의 트래킹 대상에 부착되는 경우, 상기 제1 이미지의 상기 랜덤한 형상은 상기 마커마다 고유할 수 있다.
일 실시예로, 상기 제2 정보는 상기 마커의 움직임에 따라 왜곡되지 않을 수 있다.
일 실시예로, 상기 제1 렌즈는 볼렌즈일 수 있다.
일 실시예로, 상기 제1 이미지는 상기 랜덤한 형상 대신 미리 정해진 형상일 수 있다.
이와 같은 본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템는 1개의 마커에 포함된 이미지를 이용하여 마커의 위치 및 자세의 측정이 가능하기 때문에, 대상물에 단지 1개의 마커만을 부착하더라도 마커가 부착된 목적물의 위치 및 자세에 관한 6 자유도 모두 정확히 측정 가능하다.
또한, 본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템은 상기 마커에 포함된 이미지를 확대시켜 결상할 수 있으므로, 소형의 마커를 사용함에도 트래킹 범위를 넓힐 수 있다.
또한, 본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템은 마커에 포함된 이미지 결상 시 결상부 측의 초점 조정이 필요 없어, 빠른 속도로 동작 가능하다.
도 1은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템의 응용 예로서 수술 장면을 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 마커가 수술 도구에 탈부착 가능한 형태로 사용되는 예를 나타낸 도면
도 3은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템의 블록도
도 4는 본 발명의 일 실시예에 따라, 마커에 입사된 빛이 이미지에서 반사됨으로써, 마커에 포함된 이미지 정보가 외부로 전달되는 과정을 나타내는 도면
도 5a는 본 발명의 일 실시예에 따라 볼렌즈를 사용하는 경우로서, 볼렌즈의 특성에 따라 초점의 위치가 달라질 수 있음을 설명하기 위한 도면
도 5b는 본 발명의 일 실시예에 따라 볼렌즈를 사용하는 경우로서, 볼렌즈의 초점 위치에 따라 마커에 이미지가 형성되는 면의 위치가 달라짐을 설명하기 위한 도면
도 5ca은 본 발명의 일 실시예에 따라 두 개의 반구형 렌즈를 결합한 렌즈를 나타내는 도면
도 5cb는 본 발명의 일 실시예에 따라 동일한 두 개의 반구형 렌즈를 결합한 렌즈를 나타내는 도면
도 5d는 본 발명의 일 실시예에 따라 드럼 렌즈를 나타내는 도면
도 5ea은 본 발명의 일 실시예에 따라 두 개의 구형 돔 렌즈를 결합한 렌즈를 나타내는 도면
도 5eb는 본 발명의 일 실시예에 따라 두 개의 구형 돔 렌즈를 결합한 렌즈로서, 두 구형 돔 렌즈의 내부 반지름이 동일한 경우를 나타내는 도면
도 5ec는 본 발명의 일 실시예에 따라 두 개의 구형 돔 렌즈를 결합한 렌즈로서, 두 구형 돔 렌즈의 외부 반지름이 동일한 경우를 나타내는 도면
도 5ed는 본 발명의 일 실시예에 따라 두 개의 구형 돔 렌즈를 결합한 렌즈로서, 두 구형 돔 렌즈의 형상이 동일한 경우를 나타내는 도면
도 5fa은 본 발명의 일 실시예에 따라 두 개의 구형 돔 렌즈와 하나의 볼렌즈를 결합한 렌즈를 나타내는 도면
도 5fb는 본 발명의 일 실시예에 따라 두 개의 구형 돔 렌즈와 하나의 볼렌즈를 결합한 렌즈로서, 구형 돔 렌즈가 반구형이 아닌 경우를 나타내는 도면
도 5g는 본 발명의 일 실시예에 따라 하나의 볼렌즈와 이와 동심원을 이루는 표면을 갖는 하나의 광학 매체를 결합한 렌즈를 나타내는 도면
도 5ha은 본 발명의 일 실시예에 따라 하나의 볼렌즈와 하나의 구형 돔 렌즈를 결합한 렌즈를 나타내는 도면
도 5hb는 본 발명의 일 실시예에 따라 하나의 볼렌즈와 반구형이 아닌 하나의 구형 돔 렌즈를 결합한 렌즈를 나타내는 도면
도 5i는 본 발명의 일 실시예에 따라 GRIN 볼렌즈를 나타내는 도면
도 6은 본 발명의 일 실시예에 따라, 볼렌즈의 어느 한 표면에 형성된 이미지 및 이미지에 포함된 특징점들을 나타내는 도면
도 7은 본 발명의 일 실시예에 따라, 마커에 포함된 이미지가 미리 정해진 형상인 경우를 나타낸 도면
도 8a는 마커 내부에 광원을 포함하는 실시예를 나타내는 도면
도 8b는 마커 내부에 광원을 포함하는 또 다른 실시예를 나타내는 도면
도 9는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템의 결상부 내에서의 렌즈와 결상 유닛간의 위치 관계를 나타내는 도면
도 10은 본 발명의 일 실시예에 따라, 마커의 이미지에 포함된 2개 이상의 복수의 특징점의 마커 상에서의 좌표들과 마커의 이미지를 결상한 이미지에서 검출된 상기 복수의 특징점의 좌표들에 대응하는 좌표들 간의 관계식에 기초하여, 마커의 자세를 검출하는 과정을 설명하기 위한 도면
도 11은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템에서, 마커의 움직임에 따라 마커에 포함된 이미지를 결상부에서 결상했을 때의 특징점의 변화를 예시적으로 나타내는 도면
도 12는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템에서, 마커의 위치를 측정하기 위해 결상부가 2개의 결상 유닛을 포함한 경우의 블록도
도 13은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템에서, 마커의 자세를 결정하는 방법을 나타내는 흐름도
도 14는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템에서, 마커에 포함된 이미지 정보로부터 마커의 자세를 결정하는 방법을 나타내는 흐름도
도 15는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템에서, 마커의 위치를 결정하는 방법을 나타내는 흐름도
도 16은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커에 이미지를 형성하는 방법으로서, 스프레잉 기법으로 마커에 이미지를 형성하는 방법을 나타내는 도면
도 17은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커에 이미지를 형성하는 방법을 나타내는 흐름도
도 18은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커에 이미지를 형성하는 방법으로서, 프린팅 기법을 통해 마커에 이미지를 형성하는 모습을 나타내는 도면
도 19는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커에 이미지를 형성하는 방법으로서, 물질을 주사하는 기법을 통해 마커에 이미지를 형성하는 모습을 나타내는 도면
도 20은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커에 이미지를 형성하는 방법으로서, 스텐실 기법으로 마커에 이미지를 형성하는 모습을 나타내는 도면
도 21은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커에 이미지를 형성하는 방법으로서, 스탬핑 기법으로 마커에 이미지를 형성하는 모습을 나타내는 도면
도 22는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커에 이미지를 형성하는 방법으로서, 마커를 3D 프린터를 통해 형성하는 모습을 나타내는 도면
도 23a는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커에 이미지를 형성하는 방법으로서, 리소그래피 기법으로 마커에 이미지를 형성하기 위한 방법을 설명하기 위한 도면
도 23b는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커에 이미지를 형성하는 방법으로서, 리소그래피 기법으로 마커에 이미지를 형성하기 위한 방법을 설명하기 위한 도면
도 23c는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커에 이미지를 형성하는 방법으로서, 리소그래피 기법으로 마커에 이미지를 형성하기 위한 방법을 설명하기 위한 도면
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다. 다만, 이하의 설명에서는 본 발명의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적인 설명은 생략하기로 한다.
[옵티컬 트래킹 시스템]
도 1은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템의 응용 예로서 수술 장면을 나타낸다. 도 1에서의 옵티컬 트래킹 시스템은 환부나 수술도구와 같은 목적물에 마커(110, 130)를 부착한 후, 결상부(150)를 통해 얻은 마커(110, 130)에 관한 정보에 기초하여 마커(110, 130)의 위치 및 자세를 결정함으로써 마커(110, 130)가 부착되어 있는 목적물을 트래킹할 수 있게 된다. 일반적으로, 트래킹하고자 하는 목적물의 위치 및 자세에 관한 6 자유도를 모두 결정하기 위해서, 마커가 3개 이상 부착된 구조물을 목적물에 부착하여 사용하게 되지만, 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템은 1개의 마커를 부착하는 것만으로도 마커가 부착된 목적물의 6 자유도를 모두 결정할 수 있고, 이로써 단순한 마커 구성으로도 정확하게 목적물을 트래킹하는 것이 가능하다.
도 2는 본 발명의 일 실시예에 따른 마커(210)가 수술도구(230)에 탈부착 가능한 형태로 사용되는 일례를 나타낸다. 마커는 트래킹하고자 하는 목적물에 탈부착 가능한 형태로 사용될 수 있으며, 특히 의료용으로 사용할 경우에는 마커를 소독하여 사용해야 하므로 마커를 탈부착 가능한 방식으로 사용할 수 있어야 한다. 본 발명의 일 실시예에 따른 마커(210)의 경우, 하나만 탈부착하여 사용할 수 있으므로 탈부착 과정이 간단하고, 소독해야할 대상도 하나 뿐이므로 마커(210)를 소독하는데 드는 시간 및 노력도 줄일 수 있다. 이와 같은 마커는 트래킹하고자 하는 목적물마다 부착되어야 하며, 마커를 부착할 목적물이 많은 경우일수록 본 발명과 같이 하나의 마커를 사용하는 옵티컬 트래킹 시스템이 보다 편리하게 이용될 수 있을 것이다. 이하에서는 도 1 및 2의 예를 통해 간단히 설명한 본 발명의 옵티컬 트래킹 시스템에 관해 보다 구체적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템(300)의 블록도이다. 도 3을 참조하면, 옵티컬 트래킹 시스템(300)은 마커(310), 결상부(330), 광원(350) 및 프로세서(370)를 포함한다. 마커(310)는 이미지(312) 및 이미지(312)를 확대하여 전송하기 위한 렌즈(314)를 포함한다. 결상부(330)는 마커(310)로부터 전송된 이미지를 결상하기 위해서, 렌즈(332)와 결상 유닛(334)을 포함하며, 목적에 따라 결상부(330)가 결상 유닛(334)을 2개 이상 포함하거나 옵티컬 트래킹 시스템(300)이 결상부(330)를 2개 이상 포함할 수도 있다. 마커(310)로부터 전송된 이미지(312)는 렌즈(332)를 거친 후 결상 유닛(334)에서 다른 이미지로 결상된다. 광원(350)은 마커(310)에 포함된 이미지(312)가 결상부(330)에서 결상되는 것을 돕기 위해 마커(310)를 향해 빛을 조사할 수 있도록 배치된다. 광원(350)은 마커(310) 외부에 주로 설치하여 사용되며, 이 경우 마커(310)는 패시브 마커로써 동작하게 된다. 그러나 옵티컬 트래킹 시스템(300)이 사용되는 환경이 충분히 밝아 마커(310)의 이미지(312)가 마커(310)의 위치 및 자세를 결정하기에 충분할 정도로 결상부(330)에서 인식될 수 있다면, 광원(350)은 사용할 필요가 없다. 일 실시예에 따르면, 광원(350)은 마커(310) 내부에 설치되어 사용될 수도 있으며, 이 경우 마커(310)는 액티브 마커로써 동작하게 된다.
프로세서(370)는 결상부(330)에서 결상된 마커(310)의 이미지 정보를 전달받아 마커(310)의 위치 및 자세를 계산하기 위한 하드웨어 또는 소프트웨어로서, 대표적으로 CPU(중앙처리장치)가 있다. 일 실시예에 따르면, 프로세서(370)는 옵티컬 트래킹 시스템(300)에서 독립적으로 사용되거나 또는 결상부(330) 내에 설치되어 사용될 수 있다. 또 다른 실시예에 따르면, 프로세서(370)는 연산량에 대한 부담을 줄이기 위해, 마커(310)의 위치 및 자세를 계산하는 기능의 일부를 결상부(330)와 같은 옵티컬 트래킹 시스템(300)에 사용되는 구성 또는 옵티컬 트래킹 시스템(300)이 사용되는 전체 시스템 내의 또 다른 구성 내에 두고, 나머지 기능은 독립적으로 두는 등 그 기능을 나눠서 분산시킬 수도 있다. 또 다른 실시예에 따르면, 프로세서(370)는 옵티컬 트래킹 시스템(300)이 설치되어 있는 곳과 멀리 떨어진 다른 곳에 위치하여, 유선 또는 무선 네트워크를 통해 옵티컬 트래킹 시스템(300)과 데이터를 주고 받을 수도 있다. 이를 통해, 옵티컬 트래킹 시스템(300) 자체의 연산량 또는 연산 속도에 대한 부담을 줄일 수 있으며, 따라서 고속의 프로세서(370)가 필요하지 않으므로 하드웨어 구성를 더욱 단순화시킬 수 있어 옵티컬 트래킹 시스템(300)의 제작 비용을 줄일 수 있다.
마커(310)
옵티컬 트래킹 시스템(300)에서의 마커(310)는 옵티컬 트래킹 시스템(300)을 통해 위치 및 자세를 측정하게 될 대상이며, 마커(310)의 위치 및 자세를 측정함으로써 마커(310)가 부착된 목적물의 위치 및 자세를 측정할 수 있게 된다. 이하에서는 본 발명에서 사용하게 될 마커(310)에 대해 더욱 구체적으로 설명한다.
도 4는 본 발명의 일 실시예에 따라, 마커(310)에 조사된 빛이 이미지(312)에서 반사됨으로써, 마커에 포함된 이미지 정보가 렌즈(314)를 거쳐 외부로 전달되는 과정을 나타낸다. 앞서 설명한 바와 같이, 본 발명의 일 실시예에 따른 마커(310)는 패시브 방식 또는 액티브 방식으로 동작할 수 있는데, 광원(350)을 외부에 두든 내부에 두든 광원(350)에서 조사된 빛이 마커(310)에 포함된 이미지(312)에 반사되도록 함으로써, 이미지(312) 정보가 렌즈(314)를 거쳐 마커(310) 외부로 전달될 수 있게 된다. 이와 같이 광원(350)에서 조사된 빛을 마커(310)에 포함된 이미지(312)에 반사시켜 이미지(312) 정보를 마커(310) 외부로 전달할 경우, 결상부(330)에서 결상된 마커(310)의 이미지(312)에 대한 식별력을 높일 수 있다. 다만, 본 발명의 또 다른 실시예에 따르면, 이미지(312)로 조사되는 빛이 이미지(312)에서 반사되는 것이 아니라 이미지(312)에서 투과되도록 한 후 렌즈(314)를 거쳐, 이미지(312) 정보를 외부로 전달되도록 할 수도 있다. 이미지(312)에서 빛을 반사시키거나 투과시키기 위해서 이미지(312)는 이미지(312)로 조사되는 빛에 대한 반사율이 높거나 낮은 물질 또는 투과율이 높거나 낮은 물질로써 형성될 수 있다. 여기에서, 반사율이란 반사된 빛의 에너지와 입사된 빛의 에너지의 비율을 의미하고, 투과율이란 투과된 빛의 에너지와 반사된 빛의 에너지의 비율을 의미한다. 이와 같이 반사율과 투과율을 구분하는 이유는 빛의 에너지가 이미지에 흡수되는 경우를 고려하기 위한 것이다.
본 발명에서는 마커(310)에 포함된 이미지(312)를 확대하여 외부로 전달하기 위한 용도로서 렌즈(314)를 포함할 수 있다. 렌즈(314)의 종류에 대해서는 특별한 제한은 없으며, 마커(310)에 포함된 이미지(312)를 확대하여 전달할 수 있는 종류의 렌즈가 바람직할 것이다. 일 실시예에 따르면, 이미지(312)는 마커(310) 상에서 렌즈(314)를 통해 이미지(312)가 마커(310) 외부로 전달될 수 있는 위치에 배치될 것이며, 특히 이미지(312)가 평행 출사광 형태로 마커(310) 외부로 전달 가능하도록 렌즈(314)와 이미지(312)가 배치되게 된다. 이는 옵티컬 트래킹 시스템(300)의 결상부(330) 측의 광학계와 결합되어 무한 광학계를 이루기 위한 조건으로서, 이를 통해 마커(310)의 위치가 변화되더라도 결상부(330) 측에서는 따로 마커(310)에 포함된 이미지(312)를 결상시키기 위한 추가적인 초점 조정 없이도 결상된 이미지를 손쉽게 얻을 수 있게 된다. 또한, 무한 광학계를 통해 확대된 결상 이미지를 얻을 수 있어, 이를 통해 마커(310)의 위치가 결상부(330)에서 멀리 떨어져 있더라도 마커(310)에 포함된 이미지(312) 관련 정보를 결상된 이미지로부터 얻어내기가 용이하다. 이하에서는, 마커(310)에서 이미지(312)와 렌즈(314)의 배치 관계에 관해 더욱 상세히 설명한다.
도 5a는 본 발명의 일 실시예에 따라 렌즈(314)를 볼렌즈(500)로 사용할 경우, 볼렌즈(500)의 여러 초점 위치를 나타낸다. 도 5a에 나타나 있는 바와 같이, 볼렌즈(500)는 볼렌즈(500)에 입사되는 빛의 초점이 볼렌즈(500)의 표면(P0), 내부(P2) 또는 외부(P1)에 형성될 수 있다. 렌즈(314)의 초점이 형성되는 위치는 렌즈(314)의 재료 또는 외형 등에 따라 달라질 수 있는데, 이와 같은 렌즈(314)의 초점 특성에 맞춰 이미지(312)를 렌즈(314)의 초점이 형성되는 면에 위치시킬 경우, 이미지(312)를 렌즈(314)를 통해 평행 출사광 형태로 전달 가능하게 된다.
도 5b는 본 발명의 일 실시예에 따라 렌즈(314)를 볼렌즈(500)로 사용할 경우, 볼렌즈(500)의 초점 위치에 따라 이미지(312)가 형성되게 될 면의 위치를 나타낸다. 일 실시예에 따라, 볼렌즈(500)의 초점이 볼렌즈(500)의 표면(P0)에 형성될 경우, 이미지(312)는 볼렌즈(500)의 표면(510)에 위치할 수 있다. 특히, 이미지(312)는 빛이 렌즈(314)에 입사된 후 렌즈(314)에서 반사되는 면의 바깥쪽 표면에 형성되게 된다. 또 다른 실시예에 따라, 볼렌즈(500)의 초점이 볼렌즈(500)로부터 이격된 외부(P1)에 형성될 경우, 이미지(312) 역시 볼렌즈(500)로부터 이격된 초점면(530)에 위치하게 된다. 이때, 초점면(530)은 볼렌즈(500)와 동심원을 이룬다. 이미지(312)가 형성된 면과 렌즈(314) 상의 이격된 공간은 렌즈(314)의 굴절률과 다른 굴절률을 갖는 물질로써 채워질 수 있으며, 공기 등 기체로 채워질 수도 있다. 따라서, 이러한 이격 공간에 채워질 물질의 굴절률을 조정함으로써, 옵티컬 트래킹 시스템(300)의 결상부(330) 측에서의 이미지(312)에 대한 인식률의 조정도 가능하고, 렌즈(314)와 이미지(312)간의 이격 거리를 조정하는 것도 가능하다. 또 다른 실시예에 따라, 볼렌즈(500)의 초점이 볼렌즈(500)의 내부(P2)에 형성될 수도 있으며, 이 경우 이미지(312)는 볼렌즈(500)의 내부 면(550)에 형성될 수 있다. 이때에도 내부 면(550)은 볼렌즈(500)와 동심원 상에 있게 된다. 한편, 이와 같은 렌즈(314)와 이미지(312)의 배치관계에 기초하여, 다양한 종류의 렌즈를 이용한 마커(310)의 실시예들을 고려해 볼 수 있다.
본 발명의 일 실시예에 따르면, 마커(310)에 사용될 렌즈(314)는 두 개의 광학 매체를 결합하여 사용할 수 있다. 예를 들어, 도 5ca에 도시된 바와 같이 두 개의 반구형 렌즈(510c, 530c)를 결합하여 렌즈(314)를 형성할 수 있다. 여기에서 렌즈(314)는 반지름이 R1인 반구형 렌즈(510c) 및 반지름이 R2인 반구형 렌즈(530c)가 결합된 것이다. 일 실시예에 따라, 두 반구형 렌즈(510c, 530c)는 서로 동심원 상에 있을 수 있다. 또 다른 실시예에 따르면, 도 5cb에 도시된 바와 같이, 렌즈(314)는 동일한 두 개의 반구형 렌즈(510c, 530c)를 결합한 것일 수 있다. 또 다른 실시예에 따르면, 두 개의 반구형 렌즈(510c, 530c) 중 적어도 하나는 완전한 반구 형태의 렌즈가 아니라 볼렌즈의 일부분를 이루는 형상을 가질 수 있다. 다만, 이 경우에도 두 개의 결합될 렌즈는 서로 동심원 상에 위치해야 한다. 이와 같은 렌즈를 사용할 경우, 외부에서 반구형 렌즈(510c)에 조사된 빛의 초점은 반구형 렌즈(530c)의 내부, 표면 또는 외부에 형성되며, 이미지(312)는 이들 중 어느 하나에 형성되게 될 수 있다. 일 실시예에 따라, 이미지(312)는 반구형 렌즈(530c) 내의 임의의 위치에 형성될 수도 있다. 한편, 결합될 두 개의 광학 매체의 굴절률은 서로 같거나 다를 수 있으며, 굴절률에 따라 입사된 빛의 초점 위치가 결정될 수 있다. 따라서, 굴절률을 변경함으로써 마커(310)에서 이미지(312)가 형성될 위치를 조정할 수 있으며, 이미지(312)가 결상되었을 때 이미지(312)에 대한 인식률의 조정도 가능할 수 있다.
일 실시예에 따르면, 제1 광학 매체 및 제2 광학 매체간의 결합, 예컨대 반구형 렌즈들(510c, 530c) 또는 볼렌즈의 일부분을 이루는 렌즈들 간을 결합하기 위해서 광학 접착제를 이용할 수 있다. 또 다른 실시예에 따르면, 다른 광학 매체를 제1 광학 매체와 제2 광학 매체 사이에 둠으로써, 광학 매체들 간을 결합시킬 수 있다. 도 5d는 이와 같은 방식으로 볼렌즈의 일부분들(510d, 530d)과 또 다른 광학 매체(550d)가 결합되어 렌즈(314)를 형성한 실시예를 나타내고 있다. 일 실시예에 따라 볼렌즈의 일부분들(510d, 530d)은 동일한 반지름, 즉 동일한 곡률반경을 갖고, 서로 동심원 상에 위치할 수 있다. 또 다른 실시예에 따르면, 볼렌즈의 일부분들(510d, 530d) 및 또 다른 광학 매체(550d)는 일체로서 형성될 수 있으며, 이 경우 렌즈(314)는 드럼 렌즈가 될 수 있다. 일 실시예에 따르면, 드럼 렌즈는 볼렌즈를 원통형으로 가공함으로써 형성될 수 있고, 또는 두 곡면의 곡률반경이 동일하며 두께를 곡률반경의 두 배로 가공함으로써 형성될 수도 있다.
한편, 이미지(312)가 형성되는 위치와 관련하여, 일 실시예에 따라 빛이 볼렌즈의 일부분(510d)으로 입사된다면, 이미지(312)는 다른 볼렌즈의 일부분(530d)에 형성된다. 또 다른 실시예에 따르면, 빛이 볼렌즈의 일부분(510d)으로 입사된다면, 이미지(312)는 볼렌즈의 일부분(510d) 및 광학 매체(550d)에 의해 초점이 형성되는 볼렌즈의 일부분(530d)의 표면, 내부 또는 외부 중 적어도 하나에 형성될 수 있다. 이때 볼렌즈의 일부분들(510d, 530d) 및 광학 매체(550d)의 굴절률 중 적어도 하나는 상이하거나 또는 모두 동일할 수 있다. 이들 광학 매체의 굴절률을 조정함으로써, 마커(310)에서 이미지(312)가 형성될 위치를 조정할 수 있으며, 이미지(312)를 결상했을 때의 이미지(312)에 대한 인식률의 조정도 가능할 수 있다. 한편, 일 실시예에 따르면, 광학 매체(550d)는 마커(310)를 트래킹하고자 하는 대상에 용이하게 부착시키기 위한 볼록부 또는 홈을 더 포함할 수도 있다.
본 발명의 일 실시예에 따르면, 마커(310)의 렌즈(314)는 두 개의 구형 돔 렌즈를 결합하여 형성될 수도 있다. 도 5ea은 본 발명의 일 실시예에 따라 구형 돔 렌즈 중 반구형 돔 렌즈(510e, 530e)가 결합된 렌즈(314)를 나타낸다. 일 실시예에 따라, 반구형 돔 렌즈(510e)는 내부 반지름이 R1이고 외부 반지름이 R2인 형상을 가지고, 반구형 돔 렌즈(530e)는 내부 반지름이 R3이고 외부 반지름이 R4인 형상을 가질 수 있다. 이때, 도 5eb에 도시된 실시예와 같이 두 반구형 돔 렌즈의 내부 반지름 R1 및 R3가 동일할 수 있고, 또는 도 5ec에 도시된 실시예와 같이 외부 반지름 R2 및 R4가 동일할 수도 있다. 또 다른 실시예에 따르면, 도 5ed에 도시된 바와 같이 두 반구형 돔 렌즈(510e, 530e)는 동일한 형상을 가질 수도 있다. 일 실시예에 따라, 이들 구형 돔 렌즈(510e, 530e)는 동심원 상에 위치할 수 있다. 한편, 일 실시예에 따라 두 개의 구형 돔 렌즈는 반구형 돔 렌즈에만 제한되는 것이 아니라 구의 일부를 이루는 임의의 돔 렌즈일 수도 있다.
한편, 이미지(312)가 형성되는 위치와 관련하여, 일 실시예에 따라 빛이 반구형 돔 렌즈(510e)로 입사된다면, 이미지(312)는 다른 반구형 돔 렌즈(530e)에 형성될 수 있다. 또 다른 실시예에 따르면, 빛이 반구형 돔 렌즈(510e)로 입사된다면, 이미지(312)는 반구형 돔 렌즈(510e)에 의해 초점이 형성되는 반구형 돔 렌즈(530e)의 표면, 내부 또는 외부 중 적어도 하나에 형성될 수 있다. 이때 반구형 돔 렌즈(510e) 및 반구형 돔 렌즈(530e)의 굴절률은 상이하거나 또는 동일할 수 있다. 이들 광학 매체의 굴절률을 조정함으로써, 마커(310)에서 이미지(312)가 형성될 위치를 조정할 수 있으며, 이미지(312)를 결상했을 때의 이미지(312)에 대한 인식률의 조정도 가능할 수 있다.
일 실시예에 따르면, 두 개의 구형 돔 렌즈를 결합하여 렌즈(314)를 형성할 경우, 두 개의 구형 돔 렌즈 사이의 공간은 두 구형 돔 렌즈의 굴절률 중 적어도 하나와 다른 굴절률을 갖는 물질로써 채워질 수 있다. 예를 들어, 이와 같은 물질은 기체이거나 광학 수지일 수 있다. 일 실시예에 따라, 두 개의 구형 돔 렌즈 사이에 또 다른 광학 매체를 가질 수도 있다. 도 5fa은 본 발명의 일 실시예에 따라 두 개의 구형 돔 렌즈로서 반구형 돔 렌즈(510f, 530f) 사이에 볼렌즈(550f)가 있는 렌즈(314)를 나타낸다. 볼렌즈(550f)를 사이에 두고 있기 때문에 두 반구형 돔 렌즈(510f, 530f)는 동일한 내부 반지름을 가질 수 있다. 일 실시예에 따라, 반구형 돔 렌즈들(510f, 530f) 및 볼렌즈(550f)는 동심원 상에 위치할 수 있다. 본 발명의 또 다른 실시예에 따르면, 볼렌즈(550f)에 결합될 돔 렌즈는 반구형이 아닌 임의의 구형 돔 렌즈일 수도 있다. 도 5fb는 본 발명의 일 실시예에 따라 두 개의 반구형이 아닌 임의의 구형 돔 렌즈(510f, 530f)와 하나의 볼렌즈(550f)가 결합된 렌즈(314)를 나타낸다.
한편, 이미지(312)가 형성되는 위치와 관련하여, 일 실시예에 따라 빛이 반구형 돔 렌즈(510f)로 입사된다면, 이미지(312)는 다른 반구형 돔 렌즈(530f)에 형성될 수 있다. 또 다른 실시예에 따르면, 빛이 반구형 돔 렌즈(510f)로 입사된다면, 이미지(312)는 반구형 돔 렌즈(510f) 및 볼렌즈(550f)에 의해 초점이 형성되는 반구형 돔 렌즈(530f)의 표면, 내부 또는 외부 중 적어도 하나에 형성될 수 있다. 이때 반구형 돔 렌즈들(510f, 530f) 및 볼렌즈(550f)의 굴절률 중 적어도 하나는 상이하거나 또는 모두 동일할 수 있다. 이들 광학 매체의 굴절률을 조정함으로써, 마커(310)에서 이미지(312)가 형성될 위치를 조정할 수 있으며, 이미지(312)를 결상했을 때의 이미지(312)에 대한 인식률의 조정도 가능할 수 있다.
또 다른 실시예로서, 도 5g는 하나의 볼렌즈(510g)와 이와 동심원을 이루면서 볼렌즈(510g)로부터 이격된 구면(sphere surface; 550g)을 갖는 하나의 광학 매체(530g)가 결합된 렌즈(312)를 나타낸다. 일 실시예에 따라, 볼렌즈(510g)와 광학 매체(530g) 간의 이격된 공간은 볼렌즈(510g) 또는 광학 매체(530g) 중 적어도 하나와 굴절률이 다른 물질로 채워질 수 있다. 예를 들어, 상기 물질은 기체 또는 광학 수지일 수 있다. 본 발명의 또 다른 실시예에 따르면, 볼렌즈(510g)는 광학 매체(530g)와 이격된 공간 없이 볼렌즈(510g)의 표면과 광학 매체(530g)의 구면(550g)이 맞닿아 있을 수 있다.
한편, 이미지(312)가 형성되는 위치와 관련하여, 일 실시예에 따라 빛이 볼렌즈(510g)로 입사된다면, 이미지(312)는 광학 매체(530g)에 형성될 수 있다. 또 다른 실시예에 따르면, 빛이 볼렌즈(510g)로 입사된다면, 이미지(312)는 볼렌즈(510g)에 의해 초점이 형성되는 광학 매체(530g)의 구면(550g), 내부 또는 외부 중 적어도 하나에 형성될 수 있다. 이때 볼렌즈(510g) 및 광학 매체(530g)의 굴절률은 상이하거나 또는 동일할 수 있다. 일 실시예에 따르면, 볼렌즈(510g)와 광학 매체(530g) 사이에 이격된 공간에 볼렌즈(510g) 또는 광학 매체(530g)와 굴절률이 다른 물질을 채워 넣음으로써, 광학 매체(530g)에서 이미지(312)가 형성되는 위치를 조정할 수 있다. 또 다른 실시예에 따르면, 볼렌즈(510g)의 굴절률을 조정함으로써, 광학 매체(530g)에서 이미지(312)가 형성될 위치를 조정할 수도 있다. 이와 같이 굴절률을 조정함으로써, 이미지(312)가 형성될 위치를 조정할 수 있을 뿐만 아니라 이미지(312)를 결상했을 때의 이미지(312)에 대한 인식률의 조정도 가능할 수 있다. 한편, 일 실시예에 따르면, 광학 매체(530g)는 볼렌즈(510g)와 결합하기 위한 볼록부들(570g, 572g)을 포함할 수 있으며, 마커(310)를 트래킹할 목적물에 용이하게 부착하기 위한 볼록부 또는 홈을 더 포함할 수도 있다.
또 다른 실시예로서, 도 5ha은 하나의 볼렌즈(550h)와 이와 동심원을 이루는 반구형 돔 렌즈(530h)가 결합된 렌즈(312)를 나타낸다. 여기서 반구형 돔 렌즈(530h)는 내부 반지름 R1 및 외부 반지름 R2를 가지며, 일 실시예에 따라 볼렌즈(550h)의 반지름은 반구형 돔 렌즈(530h)의 내부 반지름이 될 수 있고, 이때 볼렌즈(550h)는 반구형 돔 렌즈(530h)의 표면과 맞닿아 있을 수 있다. 본 발명의 또 다른 실시예에 따라, 볼렌즈(550h)와 반구형 돔 렌즈(530h)는 이격되어 있을 수 있으며, 이때 이격된 공간 사이에 볼렌즈(550h) 또는 반구형 돔 렌즈(530h) 중 적어도 하나와 굴절률이 다른 광학 매체를 더 포함할 수 있다. 본 발명의 또 다른 실시예에 따라, 볼렌즈(550h)와 결합하게 될 구형 돔 렌즈는 반구형이 아닌 임의의 구형 돔 렌즈(530h)일 수도 있다. 일 실시예에 따라, 볼렌즈(550h)와 임의의 구형 돔 렌즈(530h)는 동심원 상에 위치할 수 있다. 도 5hb는 본 발명의 일 실시예에 따라 하나의 볼렌즈(550h)와 반구형이 아닌 하나의 구형 돔 렌즈(530h)가 결합된 렌즈(314)를 나타낸다.
한편, 이미지(312)가 형성되는 위치와 관련하여, 일 실시예에 따라 빛이 볼렌즈(550h)로 입사된다면, 이미지(312)는 반구형 돔 렌즈(530h)에 형성될 수 있다. 또 다른 실시예에 따르면, 빛이 볼렌즈(550h)로 입사된다면, 이미지(312)는 볼렌즈(550h)에 의해 초점이 형성되는 반구형 돔 렌즈(530h)의 표면, 내부 또는 외부 중 적어도 하나에 형성될 수 있다. 일 실시예에 따라, 반구형 돔 렌즈(530h)의 표면은 내부 반지름 R1 또는 외부 반지름 R2이 형성하는 표면일 수 있다. 일 실시예에 따라, 볼렌즈(550h) 및 반구형 돔 렌즈(530h)의 굴절률은 동일하거나 상이할 수 있다. 본 발명은 이들 광학 매체들의 굴절률을 조정함으로써, 마커(310)에서 이미지(312)가 형성될 위치를 조정할 수 있으며, 이미지(312)를 결상했을 때의 이미지(312)에 대한 인식률의 조정도 가능할 수 있다.
또 다른 실시예로서, 도 5i는 본 발명의 일 실시예에 따라 렌즈(314)가 GRIN (Gradation Refractive Index) 볼렌즈인 경우를 나타낸다. GRIN 볼렌즈는 구의 중심 거리에 따라 굴절률이 다른 물질들(510i, 530i, 550i, 570i)로 겹겹이 쌓여 있는 볼렌즈를 의미한다. 도 5i에서는 4개의 굴절률이 다른 물질들로 GRIN 볼렌즈가 구성되는 것으로 가정하였으나, 물질의 숫자는 렌즈의 따라 다를 수 있다. 또한, 일 실시예에 따르면, GRIN 볼렌즈를 형성하는 각각의 물질의 색깔을 달리할 수도 있다. GRIN 볼렌즈를 사용할 경우, 기본적으로는 볼렌즈를 사용할 때와 같이 이미지(312)는 GRIN 볼렌즈의 초점이 형성되는 GRIN 볼렌즈의 표면, 내부 또는 외부 중 어느 하나에 위치할 수 있다. 예를 들어, GRIN 볼렌즈의 표면은 빛이 GRIN 볼렌즈에 입사한 후 GRIN 볼렌즈에서 반사되는 면의 바깥쪽 표면일 수 있다. 일 실시예에 따르면, GRIN 볼렌즈의 초점이 형성되는 GRIN 볼렌즈의 내부 또는 외부는 GRIN 볼렌즈와 동심원을 이룰 수 있다. GRIN 볼렌즈의 경우 일반 구면 렌즈와 비교시, 스폿 사이즈(spot size)가 더 작게 초점화 될 수 있어서, 마커(310)에 포함된 이미지(312)를 결상했을 때, 결상된 이미지의 분해능을 높일 수 있다.
다음으로는, 마커(310)에 포함된 이미지(312)에 관해 살펴 보도록 한다. 이미지(312)는 마커(310)의 위치 및 자세를 측정하기 위한 정보를 제공하는 역할을 한다. 일 실시예로서, 이미지(312)는 복수의 특징점을 포함하는 형상이며, 그 형상은 랜덤한 형상이거나 또는 미리 정해진 형상일 수 있다. 특히, 본 발명에서의 이미지(312)는 결상부(330)에서 이미지(312)를 검출했을 때, 검출된 이미지로부터 2개 이상의 특징점이 검출될 수 있도록 형성되어야 한다. 이는 마커(310)의 위치 및 자세에 관한 6 자유도를 측정하기 위한 최소한의 정보로써 이미지(312)에 포함된 복수의 특징점 중 두 점에 관한 정보가 필요하기 때문이다.
도 6은 본 발명의 일 실시예에 따라 볼렌즈(500)의 어느 한 표면에 형성된 이미지(312)를 나타낸다. 일 실시예로서, 이미지(312)는 랜덤한 형상을 가질 수 있다. 본 발명에서의 특징점은 이미지(312) 상에서 점으로 표현될 수도 있지만, 도 6에 나타나 있는 바와 같이 특징적인 영역을 대표하는 지점(610, 612, 614, 616)을 나타낼 수도 있다. 일 실시예에 따르면, 특징점들(610, 612, 614, 616)은 특징적인 영역의 시야 중심을 나타낼 수 있다. 도 6에 예시적으로 표시된 특징점들(610, 612, 614, 616)은 결상부(330)에서 이미지(312)를 결상했을 때 그 식별력을 높이기 위해서 이미지(312)에 조사되는 빛에 대한 반사율이 높은 물질로써 형성될 수 있다. 또 다른 실시예에 따르면, 특징점들(610, 612, 614, 616)은 이미지(312)에 조사되는 빛에 대한 투과율이 높은 물질로써 형성될 수도 있다. 또 다른 실시예로서, 특징점들(610, 612, 614, 616)은 발광 물질로써 형성될 수도 있다. 이 경우, 특징점들(610, 612, 614, 616)은 주변이 어두운 환경 또는 이미지(312)에 조사되는 광원이 없는 조건의 옵티컬 트래킹 시스템에서도 결상부(330)에서 특징점들(610, 612, 614, 616)이 검출될 수 있다.
본 발명의 또 다른 실시예로서, 이미지(312)는 마커(310)로 조사된 빛에 대한 반사율이 서로 다른 2개 이상의 물질로써 형성될 수 있고, 이때 이미지(312)에서의 특징점들(610, 612, 614, 616)은 2개 이상의 물질의 반사율의 차이를 이용하여 형성된다. 일 실시예로서, 특징점들(610, 612, 614, 616)은 마커(310)로 조사된 빛에 대한 반사율이 높은 하나의 물질로써 형성되고, 이미지(312)의 나머지는 투과율이 높아 빛이 투과되는 양이 보다 많은 하나의 물질로써 형성될 수 있다. 또 다른 실시예로서, 특징점들(610, 612, 614, 616)은 마커(310)로 조사된 빛에 대한 투과율이 높아 빛이 투과되는 양이 보다 많은 하나의 물질로써 형성되고, 이미지(312)의 나머지는 반사율이 높은 물질로써 형성될 수 있다. 이와 같이 사용된 물질들의 반사율 및 투과율의 차이를 극대화시켜 특징점들을 형성시킬 경우, 결상부(330) 측에서 이미지(312)의 특징점들(610, 612, 614, 616)을 결상했을 때, 결상된 이미지에서의 특징점들에 대한 식별력을 높일 수 있다. 따라서, 일 실시예에 따라 특징점들(610, 612, 614, 616)의 결상부(330) 측에서의 식별력을 높일 필요가 있을 경우에는 사용되는 물질들의 반사율 및 투과율의 차이가 큰 물질로써 이미지(312)를 형성할 수 있다.
도 7은 본 발명의 일 실시예에 따라, 마커(310)에 포함된 이미지(312)가 미리 정해진 형상인 경우를 나타낸다. 도 6에 도시된 이미지와 같이 본 발명의 마커(310)는 랜덤한 형상의 이미지일 수도 있고, 도 7에 도시된 이미지와 같이 규칙적이 패턴 등을 갖는 미리 정해진 형상일 수도 있다. 다만, 어느 경우이든 결상부(330)에서 마커(310)에 형성된 이미지(312)를 검출했을 때, 이미지(312)에 포함된 복수의 특징점 중 적어도 2개의 특징점이 검출될 수 있어야 한다는 점은 동일하다. 한편, 본 발명은 마커(310)를 트래킹하고자 하는 목적물에 1개만 부착하여도 목적물의 트래킹이 가능하지만, 예컨대 수술 로봇과 같이 트래킹해야 할 목적물을 복수 개 가진 대상을 트래킹할 경우에는 목적물마다 마커(310)가 부착되어야 하므로, 복수 개의 마커가 사용될 수도 있다. 또한, 목적물에 대한 트래킹 범위 또는 각도를 넓히기 위한 목적으로 2개 이상의 마커를 하나의 목적물에 부착하게 되는 경우도 있을 수 있다. 이러한 경우, 목적물에 부착된 복수 개의 마커 간의 구별이 필요한데, 일 실시예에 따르면, 마커(310)마다 이미지(312)를 달리 형성함으로써 마커 간의 구별을 가능하게 할 수 있다. 이때 이미지(312)가 랜덤한 형상을 갖도록 마커(310)가 제작된다면, 이러한 이미지(312)의 랜덤한 특성을 이용하여 자연스럽게 마커들간의 구별이 가능할 수 있다.
한편, 앞서 설명한 바와 같이, 마커(310)의 위치 및 자세를 결정하기 위해서는 마커(310)에 포함된 이미지(312)가 결상부(330)에서 검출되었을 때 검출된 이미지에 포함된 복수의 특징점에 관한 정보가 필요하다. 일 실시예에 따르면, 복수의 특징점에 관한 정보는 특징점들의 좌표일 수 있다. 따라서, 이와 같은 경우 결상부(330)에서 이미지(312)를 결상했을 때 결상된 이미지로부터 검출된 특징점들의 좌표가 왜곡된다면, 마커(310)의 정확한 위치 및 자세 측정이 어려울 수도 있다. 특히, 마커(310)는 목적물에 부착된 채로 계속 움직이게 될 텐데, 검출된 특징점들의 좌표는 마커(310) 움직임에도 불구하고 왜곡이 없거나 최소화되어야 할 것이다. 이를 위해, 마커(310) 상에서 이미지(312)가 형성되는 면은 결상부(330)에서 이를 검출했을 때 그 형상이 왜곡이 없거나 최소인 것이 바람직하다. 따라서, 일 실시예에 따르면, 이미지(312)가 형성되는 면의 형상은 평면보다는 곡면이 더 바람직하고, 그 곡면의 형상이 구에 가까울수록 더 바람직할 것이다.
본 발명의 일 실시예에 따르면, 광원(350)은 주로 마커(310)의 외부에 설치되어 마커(310)에 포함된 이미지(312)에 빛을 조사하게 된다. 그러나 마커(310)가 액티브 마커로 사용될 경우에는 마커(310) 내부에 광원(350)을 포함할 수도 있다. 이와 같이, 마커(310) 내부에 광원(350)이 포함되더라도 그 역할은 앞서 설명한 바와 같이 마커(310)의 외부에 광원(350)이 있는 경우와 크게 다르지 않다. 따라서, 마커(310)에 관해 앞서 설명한 사항들은 대부분 광원이(350)이 마커(310) 내부에 있는 경우에도 동일하게 적용될 수 있다. 도 8a는 본 발명의 일 실시예에 따라, 마커(310)의 내부에 외부보다 더 밝은 광원(350)을 포함한 경우로서, 상기 광원(350)에서 조사된 빛이 마커(310)에 포함된 이미지(312)를 투과함으로써, 이미지(312)에 포함된 복수의 특징점의 정보가 렌즈(314)를 거쳐 외부로 전달되는 모습을 나타낸다. 이미지(312)에 포함된 복수의 특징점은 광원(350)에서 조사된 빛을 투과시키는 물질 또는 반사시키는 물질로써 형성될 수 있다. 이는 결상부(330) 측에서 이미지(312)를 결상했을 때 특징점의 이미지가 밝은 것을 원하느냐 혹은 어두운 것을 원하느냐에 따라 달라진다. 이와 반대로, 도 8b는 본 발명의 일 실시예에 따라, 마커(310) 내부에 외부보다 더 밝은 광원(350)을 포함한 경우로서, 상기 광원(350)에서 조사된 빛이 마커(310)에 포함된 이미지(312)에서 반사됨으로써, 이미지(312)에 포함된 복수의 특징점의 정보가 렌즈(314)를 거쳐 외부로 전달되는 모습을 나타낸다. 이 경우에도 이미지(312)에 포함된 복수의 특징점은 광원(350)에서 조사된 빛을 투과 혹은 반사시키는 물질로써 형성될 수 있으며, 그 이유는 앞서 설명한 바와 같다.
도 8a 및 도 8b에서 사용되는 광원(350) 또는 마커(310) 외부에서 마커(310)로 조사되는 빛의 파장에 대해서는 특별히 제한은 없다. 다만, 옵티컬 트래킹 시스템(300)이 사용되는 목적에 따라, 빛의 파장은 특정 색깔을 인식할 수 있는 가시광 영역의 파장일 수도 있고, 빛의 존재를 인식할 수 없도록 적외선 대역의 파장일 수도 있다. 특히, 의료용으로 사용할 경우에는 수술 환경에서 의사나 간호사의 시야를 방해하지 않도록 적외선 대역의 파장인 것이 바람직 할 수 있다. 이와 더불어 원하는 파장 외의 파장을 갖는 빛에 대한 영향을 줄이기 위해 마커(310)에 사용되는 렌즈(314)가 특정 파장 범위의 빛만이 투과 가능하도록 그 표면을 코팅하여 사용할 수도 있다. 예컨대, 적외선 대역의 광원(350)을 사용하여 마커(310)에 빛을 조사할 경우, 렌즈(314)는 적외선 대역의 파장의 빛만이 투과 가능하도록 렌즈(314)의 표면을 코팅하여 사용할 수 있다. 일 실시예에 따르면, 마커(310)에 추가적인 필터 등을 더 포함시켜 특정 파장의 빛에 대해서만 마커(310)에 포함된 이미지(312) 정보가 전달될 수 있도록 할 수도 있다.
결상부(330)
본 발명의 일 실시예에 따르면, 이미지(312)에 포함된 복수의 특징점에 관한 정보를 검출하기 위해서, 마커(310)에 포함된 이미지(312)는 렌즈(314)를 거친 후 결상부(330)에 포함된 결상 유닛(334)에 결상된다. 결상부(330)는 렌즈(332)와 결상 유닛(334)으로 구성되며, 마커(310)의 이미지(312)는 렌즈(332)를 거쳐 결상 유닛(334)에서 결상된다. 이처럼 결상부(330)는 이미지를 결상시키는 장치로서 대표적으로 카메라, 캠코더 등이다. 결상 유닛(334)은 빛을 통해 전달된 이미지 정보를 전기적 신호로 변환하는 장치로서, 대표적으로는 CMOS 이미지 센서 또는 CCD 등이 있을 수 있다.
도 9는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템(300)의 결상부(330) 내에서의 렌즈(332)와 결상 유닛(334)간의 위치 관계를 나타낸다. 일반적으로, 결상부(330)는 렌즈(332)로부터 초점거리만큼 떨어진 곳에 형성된 상을 검출함으로써, 선명한 이미지를 얻게 된다. 따라서, 결상부(330)는 이미지를 검출할 때 결상 유닛(334)이 렌즈(332)의 초점거리에 위치하도록 내부적으로 결상 유닛(334)과 렌즈(332) 간의 거리를 조정하거나 초점을 조정하게 된다. 그러나 옵티컬 트래킹 시스템(300)에서 마커(310)에 포함된 이미지(312)를 검출하기 위해 마커(310)가 움직일 때마다 결상부(330)가 이와 같은 동작을 반복할 경우, 이미지(312)의 검출 속도가 느려지는 문제점이 있다. 더욱이, 매우 작은 크기의 마커에 포함된 이미지(312)의 특징점들을 정확히 검출하고 인식률을 높이기 위해서는 결상부(330)에서 이미지(312)가 확대된 형태로 결상되는 것이 바람직할 것이다.
이와 같은 문제점을 해결하기 위해, 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템(300)의 결상부(330)는 결상 유닛(334)이 렌즈(332)의 초점거리에 고정되게 된다. 결상 유닛(334)이 마커(310)의 렌즈(314)와 결상부(330)의 렌즈(332)가 형성하는 초점인 무한 초점에 위치하게 될 경우, 마커(310)의 움직임에 따른 거리의 변화에 관계없이 결상 유닛(334)은 확대된 이미지(312)를 결상시킬 수 있게 되는데, 도 9에 도시된 바와 같이 결상 유닛(334)이 위치한 렌즈(332)의 초점 거리인 -fc 지점이 무한 초점이 형성되는 위치가 된다. 일 실시예에 따르면, 이와 같은 광학계를 형성하기 위해, 마커(310)에서의 이미지(312)는 렌즈(314)의 초점이 형성되는 면에 위치하게 된다. 이러한 광학계를 통해, 결상부(330)는 마커(310)가 움직이더라도 초점의 조정 없이 마커(310)에 포함된 이미지(312)를 결상시킬 수 있으며, 특히 작은 마커(310)에 포함된 이미지(312)가 확대된 형태로 결상될 수 있게 된다. 따라서, 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템(300)의 결상부(330)는 매우 작은 크기의 마커(310)에 포함되어 있는 이미지(312) 및 그에 포함된 복수의 특징점들을 빠른 속도로 정확히 검출할 수 있게 된다. 또한, 마커(310)에 포함되는 이미지(312)의 크기에 대해 부담을 덜 수 있어, 목적물에 부착되는 마커(310)의 소형화도 가능하게 된다.
프로세서(370)
본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템(300)의 프로세서(370)는 마커(310)에 포함된 이미지(312)와 관련된 정보 및 이미지(312)를 결상부(330)에서 결상시켜 얻은 이미지와 관련된 정보에 기초하여 마커(310)의 자세를 결정한다. 일 실시예에 따르면, 이미지(312)와 관련된 정보는 이미지(312)에 포함된 복수의 특징점의 마커(310) 상에서의 좌표(제1 좌표)이고, 결상된 이미지와 관련된 정보는 이미지(312)에 포함된 복수의 특징점에 대응하는 결상된 이미지 상에서의 좌표(제4 좌표)이다. 이때, 옵티컬 트래킹 시스템(300)의 프로세서(370)는 이와 같은 제1 좌표 및 제4 좌표 간의 관계식을 통해 마커(310)의 자세를 결정하게 된다. 이를 위해, 제1 좌표는 마커(310)의 캘리브레이션 과정을 통해 미리 그 정보를 획득한 후 프로세서(370)가 접근 가능한 메모리 등에 저장해 둘 필요가 있다. 이하에서는 프로세서(370)가 제1 좌표 및 제4 좌표의 관계식에 기초하여 마커(310)의 자세가 어떻게 결정하는지 간단히 살펴본다. 마커(310)의 자세를 결정하는 알고리즘에 관한 상세한 설명은 한국 특허 출원 제10-2014-0065168호에 개시되어 있으며, 본 출원은 이를 참조로서 포함한다.
도 10은 본 발명의 일 실시예에 따라, 제1 좌표와 제4 좌표 간의 관계식에 기초하여, 상기 마커(310)의 자세를 검출하는 과정을 설명하기 위한 도면이다. 점 A는 제1 좌표를 나타내며, 점 B는 제1 좌표의 렌즈(314)에 대한 좌표(제2 좌표)이고, 점 C는 제2 좌표의 렌즈(332)에 대한 좌표(제3 좌표)이며, 점 D는 제4 좌표를 나타낸다. 점 O는 제1 내지 제4 좌표의 기준이 되는 원점으로서, 렌즈(332)의 중심을 나타내는 좌표이다. 일 실시예에 따르면, 제1 좌표를 제2 좌표로 변환하는 변환행렬을 C로 정의하고, 제3 좌표를 제4 좌표로 변환하는 변환행렬을 A로 정의하며, 마커의 자세를 나타내는 행렬을 R로 정의할 경우, 다음 수학식 1 내지 3을 통해 행렬 R을 계산해 낼 수 있다.
[수학식 1]
평면 이미지의 경우:
Figure 112015072248429-pat00001
((u1,v1), ..., (un,vn)은 제1 좌표, (u'1,v'1), ..., (u'n,v'n)은 제4 좌표)
볼렌즈에 이미지가 형성된 경우:
Figure 112015072248429-pat00002
Figure 112015072248429-pat00003
(
Figure 112015072248429-pat00004
은 제1좌표, r은 볼렌즈의 반지름, (u'1,v'1), ..., (u'n,v'n)은 제4 좌표)
[수학식 2]
Figure 112015072248429-pat00005
((u'c,v'c)는 이미지(312)의 중심에 대응하는 결상부(330)에서 검출된 이미지 상의 좌표, fc는 결상 유닛(334)이 렌즈(332)로부터 이격된 거리, pw는 결상된 이미지의 픽셀의 폭, ph는 결상된 이미지의 픽셀의 높이)
[수학식 3]
평면 이미지의 경우:
Figure 112015072248429-pat00006
((uc,vc)는 마커(310)의 이미지(312)의 중심의 좌표, fb는 렌즈(314)의 초점거리)
볼렌즈에 이미지가 형성된 경우:
Figure 112015072248429-pat00007
상기 수학식 1 내지 3을 이용하여 마커(310)의 자세 중에서도 롤, 피치, 요를 모두 계산해 내기 위해서는 이미지(312)의 복수의 특징점 중 적어도 2개는 결상부(330)에서 결상될 수 있어야 한다. 다만, 결상되는 이미지 상에서 검출되는 특징점의 개수가 많으면 많을수록 계산된 마커(310)의 자세가 실제 마커(310)의 자세와 비교했을 때 오차가 줄어들게 된다.
본 발명의 또 다른 실시예에 따르면, 다음 수학식 4를 통해서도 행렬 R을 계산해 낼 수 있다.
[수학식 4]
평면 이미지의 경우:
Figure 112015072248429-pat00008
((u1,v1), ..., (un,vn)은 제1 좌표, (u'1,v'1), ..., (u'n,v'n)은 제4 좌표, (u'c,v'c)는 이미지(312)의 중심에 대응하는 결상부(330)에서 검출된 이미지 상의 좌표, fc는 결상 유닛(334)이 렌즈(332)로부터 이격된 거리, pw는 결상된 이미지의 픽셀의 폭, ph는 결상된 이미지의 픽셀의 높이)
볼렌즈에 이미지가 형성된 경우:
Figure 112015072248429-pat00009
Figure 112015072248429-pat00010
(
Figure 112015072248429-pat00011
은 제1좌표, r은 볼렌즈의 반지름, (u'1,v'1), ..., (u'n,v'n)은 제4 좌표, (u'c,v'c)는 이미지(312)의 중심에 대응하는 결상부(330)에서 검출된 이미지 상의 좌표, fc는 결상 유닛(334)이 렌즈(332)로부터 이격된 거리, pw는 결상된 이미지의 픽셀의 폭, ph는 결상된 이미지의 픽셀의 높이)
이상 살펴본 바와 같이, 프로세서(370)는 마커(310)의 자세를 결정하기 위해 마커(310)에 포함된 이미지(312) 상의 특징점과 이 특징점에 대응하는 결상부(330)에서 결상된 특징점 간의 관계식을 이용한다. 종래에는 마커(310)의 자세를 결정하기 위해서는 대게 마커가 3개 이상 부착된 구조물에서의 마커 간의 기하학적 관계의 변화를 결상부 측에서 검출하여 살피게 되는데, 본 발명은 이와 같이 이미지(312)의 특징점의 정보에 기초한 수학식을 통해 자세를 결정함으로써, 1개의 마커 만으로도 마커의 자세를 결정할 수 있다. 따라서, 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템(300)에서는 목적물에 1개의 마커만 부착해도 목적물의 모든 자세 계산이 가능하므로, 트래킹 대상이 많더라도 사용될 마커의 수를 줄일 수 있고, 의사가 직접 사용하는 수술도구와 같이 많은 수의 마커가 부착될 경우 사용자가 거추장스러울 수 있는 경우에 편리하게 활용 가능하다.
한편, 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템(300)의 경우, 움직이는 마커(310)를 트래킹하는 동안 프로세서(370)가 이미지(312)에 포함된 동일한 특징점을 기준으로 마커(310)의 자세를 계산하지 않는다. 도 11은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템(300)에서, 마커(310)의 움직임에 따라 마커(310)에 포함된 이미지(312)를 검출했을 때의 변화를 예시적으로 나타낸다. 도 11에 도시된 바와 같이, 마커(310)가 움직이는 동안, 예컨대 t1 시간에는 마커(310)의 이미지(312)를 검출했을 때 4개의 특징점(1110, 1112, 1114, 1116)이 검출되고, t2 시간에는 마커(310)의 이미지(312)를 검출했을 때 3개의 특징점(1130, 1132, 1134)이 검출되고, t3 시간에는 마커(310)의 이미지(312)를 검출했을 때 5개의 특징점(1150, 1152, 1154, 1156, 1158)이 검출된다. 이와 같이, 마커가(310)가 움직이는 동안에는 결상부(330)에서의 이미지 검출 시점마다 얻는 특징점의 정보가 달라질 수 있다. 각 검출 시점마다 얻는 특징점의 정보가 달라진다는 것은 마커(310)가 움직이고 있다는 것을 의미하며, 동일한 특징점의 정보만 검출될 경우에는 마커(310)가 움직이지 않고 있다는 것을 나타낸다. 다만, 각 시점마다 검출된 특징점들 중 일부는 동일할 수 있으며, 각 시점마다 마커(310)의 자세를 결정하기 위해서는 이와 같이 변화되는 특징점들 중 2개 이상만 검출되면 된다. 이처럼 본 발명의 옵티컬 트래킹 시스템(300)은 마커(310)가 움직이는 동안 검출된 동일한 특징점들을 기준으로 마커(310)의 자세를 계산하지 않으며, 더욱이 이들 중 임의의 2개 이상의 특징점들만 프로세서(370)에서 검출할 수 있으면 마커(310)의 자세를 검출할 수 있으므로, 동일한 대상물의 변화를 계속 추적해야 하는 종래의 트래킹 시스템보다 안정적으로 마커(310)를 트래킹하는 것이 가능하다.
본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템(300)은 마커(310)의 위치를 삼각법(triangulation)을 이용하여 결정할 수 있다. 이 경우 옵티컬 트래킹 시스템(300)은 결상부(330)가 2개 이상의 결상 유닛을 포함하거나 1개의 결상 유닛(334)을 포함하고 있는 결상부(330)가 2개 이상일 필요가 있다. 이는 삼각법을 이용하기 위해서는 각기 다른 위치에서 결상된 마커(310)의 이미지 혹은 마커(310)에 포함된 이미지(312)와 관련된 정보가 필요가 있기 때문이다. 도 12는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템(300)에서, 결상부(330)가 2개의 결상 유닛(334, 1234)들을 포함한 경우를 나타내는 블록도이다. 일 실시예에 따르면, 결상 유닛(334, 1234)들은 각기 다른 위치에서 마커(310) 혹은 마커(310)에 포함된 이미지(312)를 결상할 수 있다. 이러한 정보는 프로세서(370)로 전달되고, 프로세서(370)에서는 이와 같은 이미지로부터 얻은 정보에 기초한 삼각법을 통해 마커(310)의 위치를 결정한다. 일 실시예에 따르면, 프로세서(370)는 앞서 설명한 마커(310)의 자세를 결정하는 방법과 유사하게 이미지(312)에 포함된 복수의 특징점들의 마커(310) 상에서의 좌표 및 두 결상 유닛(334, 1234)에서 결상된 이미지들로부터 검출된 복수의 특징점들의 좌표간의 관계식 기초하여 마커(310)의 위치를 결정할 수도 있다. 이에 관한 구체적인 설명은 한국 특허 출원 제10-2014-0065178호에 개시되어 있으며, 본 출원은 이를 참조로서 포함한다.
한편, 일 실시예에 따르면, 마커(310)의 자세 또한 두 개의 결상 유닛(334, 1234)에서 검출된 이미지에 기초하여 결정할 수도 있다. 프로세서(370)는 두 개의 결상 유닛(334, 1234)에서 결상된 이미지들로부터 각각 서로 대응하는 2개 이상의 임의의 특징점의 좌표를 검출하고, 이를 미리 저장해 둔 이미지(312)에 포함된 복수의 특징점의 좌표와의 관계식을 통해 마커(310)의 자세를 결정할 수 있다. 이와 같이 복수의 결상 유닛을 이용하여 검출된 특징점들의 좌표에 기초하여 마커(310)의 자세를 결정할 경우, 실제 마커(310)의 자세와의 오차를 더욱 줄일 수 있다. 이에 관한 구체적인 설명은 한국 특허 출원 제10-2014-0065178호에 개시되어 있으며, 본 출원은 이를 참조로서 포함한다.
[마커(310)의 위치 및 자세를 결정 방법]
도 13은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템(300)에서, 마커(310)의 자세를 결정하는 방법(1300)을 나타내는 흐름도이며, 이하 각 단계에 대해서 도면을 참조하여 보다 구체적으로 마커(310)의 자세를 결정하는 방법(1300)에 대해 설명한다. 먼저, 단계 1310에서. 마커(310)에 포함된 랜덤한 형상의 이미지(312)는 렌즈(314)를 통해 확대되어 외부로 전달된다. 이때 이미지(312)는 마커(310)에서 렌즈(314)의 초점이 형성되는 면에 위치한다. 따라서, 이미지(312)는 사용될 렌즈(314)의 초점 위치에 따라 렌즈(314)의 내부 또는 표면에 위치할 수도 있고, 렌즈(314)로부터 이격된 위치에 있을 수도 있다. 일 실시예에 따르면, 이미지(312) 정보를 렌즈(314)를 통해 외부로 전달하기 위해, 옵티컬 트래킹 시스템(300)은 이미지(312)에 빛을 조사할 광원(350)을 더 포함할 수 있고, 이 광원(350)은 마커(310)의 내부 또는 외부에 위치할 수 있다.
일 실시예에 따르면, 이미지(312)는 복수의 특징점을 포함하고, 복수의 특징점은 이미지(312)에 조사되는 빛을 반사 또는 투과시키는 물질로써 형성될 수 있다. 또 다른 실시예에 따르면, 이미지(312)는 이미지(312)에 조사되는 빛에 대한 반사율이 서로 다른 2개 이상의 물질로써 형성되고, 이미지(312)에 포함된 복수의 특징점은 서로 다른 2개 이상의 물질의 반사율의 차이를 이용하여 형성될 수 있다. 일 실시예에 따르면, 복수의 특징점은 반사율이 높은 물질로서 형성되어 이미지(312)에 조사된 빛을 반사시키거나 반사율이 가장 낮은 물질로서 형성되어 이미지(312)에 조사된 빛을 투과시킬 수 있다. 일 실시예에 따르면, 이미지(312)는 랜덤한 형상 대신 미리 정해진 형상을 가질 수도 있다.
단계 1310을 통해 이미지(312)가 마커(310) 외부로 전달되면, 단계 1330에서, 이미지(312)는 결상부(330)의 렌즈(332)를 거친 후 렌즈(332)의 초점으로부터 이격된 위치에서 결상 유닛(334)에 의해 결상된다. 일 실시예에 따르면, 결상 유닛(334)은 렌즈(314) 및 렌즈(332)가 형성하는 무한 초점에 위치하여 마커(310)에 포함된 이미지(312)를 결상한다. 결상 유닛(334)이 렌즈(314) 및 렌즈(332)가 형성하는 무한 초점에 위치함으로써, 결상부(330)가 움직이는 마커(310)에 포함된 이미지(312)를 결상할 때마다 이를 위해 초점을 맞출 필요가 없으며, 따라서 마커(310)의 움직임에 관계없이 이미지(312)에 포함된 정보를 정확하고 신속하게 얻어낼 수 있다. 또한, 이와 같은 광학계를 사용할 경우, 결상부(330)에서는 이미지(312)를 확대하여 결상할 수 있으며, 따라서 소형의 마커(310)를 사용하더라도 마커(310)의 자세를 결정하기 위한 특징점의 정보를 얻어내기가 용이하다. 이와 같이 결상부(330)에서 결상된 이미지 정보는 이후 프로세서(370)로 전달된다.
단계 1330을 통해 결상부(330)에서 이미지(312)가 결상되고 그 정보가 프로세서(370)로 전달되면, 프로세서(370)는 단계 1350에서 이미지(312)와 관련된 정보 및 결상부(330)로부터 전달받은 결상된 이미지와 관련된 정보에 기초하여 마커(310)의 자세를 결정한다. 도 14는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템에서, 마커(310)에 포함된 이미지(312)와 관련된 정보 및 이를 결상한 이미지와 관련된 정보에 기초하여 마커(310)의 자세를 결정하는 더욱 구체적인 방법을 나타내고 있다. 프로세서(370)는 결상부(330)로부터 결상된 이미지를 전달 받으면, 단계 1410에서, 단계 1350에서의 결상된 이미지와 관련된 정보로서, 결상된 이미지로부터 그에 포함된 복수의 특징점의 좌표를 검출한다. 이때 복수의 특징점 중 적어도 2개 이상의 특징점의 좌표를 검출하게 된다. 이후 단계 1430에서, 프로세서(370)는 미리 저장되어 있는 이미지(312)에 포함된 복수의 특징점의 좌표 중에서, 결상된 이미지로부터 검출한 특징점의 좌표에 대응하는 특징점의 좌표를 단계 1350에서의 이미지(312)와 관련된 정보로서 검출한다.
이와 같이 프로세서(370)는 이미지(312) 및 이를 결상부(330)에서 결상한 이미지로부터 각각 서로 대응되는 2개 이상의 임의의 특징점들의 좌표를 검출한 후, 단계 1450에서, 이 좌표들 간의 관계식으로부터 마커(310)의 자세를 결정하게 된다. 일 실시예에 따르면, 프로세서(370)가 결상부(330)에서 결상된 이미지로부터 특징점의 좌표를 검출할 때 마커(310)가 움직이고 있다면, 검출된 특징점의 좌표는 검출 시점마다 상이할 수 있다. 프로세서(370)는 이와 같이 상이한 특징점의 좌표 및 이에 각각 대응하는 이미지(312)에 포함된 특징점의 좌표 간의 관계식에 기초하여 마커(310)의 자세를 결정한다.
다음은 마커(310)의 위치를 결정하는 방법에 관해 설명한다. 도 15는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템(300)에서, 마커(310)의 위치를 결정하는 방법(1500)을 나타낸다. 마커(310)의 위치를 결정하는 방법(1500)만을 사용하여 마커(310)의 위치만을 결정할 수도 있지만, 본 발명의 일 실시예에 따르면, 마커(310)의 자세를 결정하는 방법(1300)과 함께 이용함으로써 마커(310)의 위치 및 자세를 동시에 측정 가능하며, 이에 기초하여 마커(310)가 부착된 목적물을 트래킹할 수 있게 된다. 먼저, 단계 1510 에서, 서로 다른 복수의 위치에서 마커(310)에 포함된 이미지(312)를 각각 결상한다. 이를 위해, 옵티컬 트래킹 시스템(300)은 하나의 결상부(330) 내에 2개 이상의 결상 유닛을 포함할 수도 있으며, 하나의 결상 유닛(334)을 포함한 결상부(330)를 2개 이상 사용할 수도 있다. 이후 서로 다른 위치에서 각각 결상된 이미지 정보는 프로세서(370)로 전달되고, 단계 1530에서 프로세서(370)는 결상된 각각의 이미지 정보에 기초한 삼각법을 통해 마커(310)의 위치를 결정하게 된다. 일 실시예에 따르면, 이미지(312) 대신 마커(310) 자체의 이미지를 결상한 정보에 기초한 삼각법을 이용할 수도 있다.
일 실시예에 따르면, 마커(310)의 자세를 결정하는 방법(1300)을 사용하기 위해, 마커(310)는 목적물에 교환 가능한 형태로 1개가 부착되며, 마커(310)의 트래킹 범위 또는 각도를 넓히기 위해서 마커(310)를 2개 혹은 3개 이상 목적물에 부착하기도 한다. 또한, 수술 로봇과 같이 트래킹해야 할 목적물이 많은 경우에도 복수의 마커(310)를 사용해야 한다. 다만, 복수의 마커를 사용하는 옵티컬 트래킹 시스템의 경우에는 마커들 간의 구별이 필요하며, 일 실시예에 따르면 복수의 마커는 마커마다 고유한 랜덤한 형상의 이미지를 갖도록 함으로써 마커들 간의 구별을 용이하게 할 수 있다.
일 실시예에 따르면, 마커(310)의 자세를 결정하는 방법(1300)을 사용하기 위해서는 결상부(330)에서 결상된 이미지로부터 얻게 될 정보가 마커(310)의 움직임에 따라 왜곡되지 않아야 한다. 즉, 마커(310)의 움직임에 따라 결상된 이미지로부터 얻게 될 복수의 특징점의 좌표가 왜곡되지 않아야 한다. 이를 위해, 일 실시예에 따르면, 마커(310) 상에서 이미지(312)가 위치하게 될 면의 형상을 평면이 아닌 곡면, 특히 구의 표면과 같은 형상으로 할 수 있다.
[마커(310)에 이미지(312)를 형성하는 방법]
본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템(300)에서, 이미지(312)는 렌즈(314)의 초점이 형성되는 면에 위치하게 되며, 이미지(312)는 복수의 특징점을 포함하되 결상부(330)에서 이를 결상한 이미지로부터 프로세서(370)가 임의의 2개 이상의 특징점을 검출할 수 있어야 한다. 이하에서는 이와 같은 조건을 만족하도록 마커(310)에 이미지(312)를 형성할 수 있는 방법에 관해 설명한다. 먼저, 일 실시예로서, 도 16에 나타난 바와 같이, 스프레잉 기법을 이용하여 랜덤한 형상의 이미지(312)를 마커(310)에 형성하는 방법을 설명한다. 여기서 마커(310)는 볼렌즈(1610) 자체이며, 볼렌즈(1610)의 표면에 이미지(312)가 형성된다. 일 실시예에 따르면, 볼렌즈(1610) 표면에 볼렌즈(1610)에 조사되는 빛에 대한 반사율이 높은 물질을 스프레이(1630)를 통해 뿌림으로써, 볼렌즈(1610) 표면에 랜덤한 형상의 이미지(312)가 형성될 수 있다. 이는 물질의 입자성을 이용한 것으로서, 볼렌즈(1610) 표면에 단순히 반사율이 높은 물질을 스프레이(1630)로 뿌리는 것만으로 랜덤한 형상의 이미지(312)가 형성되며, 반사율이 높은 입자가 증착된 영역들(1612, 1614, 1616, 1618)이 특징점이 될 수 있다. 또 다른 실시예에 따르면, 볼렌즈(1610) 표면에 볼렌즈(1610)에 입사되는 빛에 대한 반사율이 낮아 그 빛을 투과시키는 성질이 강한 물질을 스프레이(1630)로 뿌림으로써, 볼렌즈(1610) 표면에 랜덤한 형상의 이미지(312)를 형성할 수 있다. 이 경우에는 반사율이 낮은 물질(즉, 투과율이 높은 물질)이 증착된 영역들(1612, 1614, 1616, 1618)이 특징점이 될 수 있다.
또 다른 실시예에 따르면, 볼렌즈(1610) 표면에 볼렌즈(1610)에 입사되는 빛에 대한 반사율이 높은 물질을 스프레이(1630)를 통해 뿌리고, 건조 및 증착 과정을 거친 후 반대로 반사율이 낮은 물질을 스프레이(1630)를 통해 뿌림으로써, 랜덤한 형상의 이미지(312)를 형성할 수 있다. 이 역시 물질의 입자성을 이용한 이미지 형성 방법으로서, 목적에 따라 반사율이 높은 물질이 증착된 영역들 또는 반사율이 낮은 물질이 증착된 영역들이 특징점(1612, 1614, 1616, 1618)이 될 수 있다. 한편, 반사율이 낮은 물질을 먼저 스프레이(1630)로 뿌린 후, 반사율이 높은 물질을 스프레이(1630)로 뿌리는 등 이미지 형성 순서를 변경할 수도 있다. 이와 같이, 반사율이 다른 물질을 동시에 사용할 경우, 이들 물질 간의 반사율의 차이를 이용함으로써 결상부(330)에서 결상된 이미지에 포함된 특징점들에 대한 인식률을 높일 수 있다.
일 실시예에 따르면, 스프레이(1630)로 뿌리게 될 물질의 입자의 크기는 마커(310)에 뿌려졌을 때 특징점들이 충분히 형성될 수 있을 정도로 작으며, 마커(310)의 크기에 따라 비례적으로 변화될 수 있다. 즉, 마커(310)가 크면 좀 더 큰 입자가 사용될 수 있고, 마커(310)가 작으면 좀 더 작은 크기의 입자가 사용될 수 있다. 일 실시예에 따르면, 렌즈(314)는 마커(310)에 형성된 이미지(312)를 확대하여 외부로 전달할 수 있는 렌즈면 어떠한 것이든 사용할 수 있으며, 렌즈(314)의 형상 또는 굴절률 등에 따라 렌즈(314)의 초점 위치가 변경될 수 있다. 일 실시예에 따르면, 도 16의 예와 같이 볼렌즈를 사용할 수 있으며, 특히 굴절률이 2인 볼렌즈를 통해 렌즈(314)의 표면에 이미지(312)가 형성된 마커(310)를 제작할 수 있다.
다음은 도 16을 통해 설명한 마커(310)에 이미지(312)를 형성하는 방법을 좀 더 일반화하여 설명한다. 도 17은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커(310)에 이미지(312)를 형성하는 방법(1700)을 나타내는 흐름도이다. 먼저, 단계 1710에서, 렌즈(314)를 포함한 마커(310)를 준비하다. 이미지(312)가 렌즈(314)에 형성될 경우에는 렌즈(314) 자체가 마커(310)가 될 수 있으며, 이 경우에는 렌즈(314)만 준비할 수도 있다. 이미지(312)가 렌즈(314)와 이격되어 형성될 경우 마커(310)는 렌즈(314) 외에도 이미지(312)가 형성될 면을 더 포함하게 된다. 이후, 단계 1730에서는 준비된 마커(310)에 이미지(312)를 형성한다. 단계 1730에 대해 좀 더 구체적으로 살펴보면, 단계 1750에서 제1 반사율을 갖는 물질로써 이미지(312)의 일부를 형성한다. 이때, 이미지(312)의 일부를 형성한 부분이 이미지(312)이면서 동시에 특징점이 될 수 있고, 반대로 제1 반사율을 갖는 물질이 입혀지지 않은 영역이 특징점이 될 수도 있다. 일 실시예에 따르면, 제1 반사율은 마커(310)에 조사되는 빛에 대한 반사율이 높아 조사되는 빛을 주로 반사시키는 물질일 수도 있고, 반대로 반사율이 낮아 조사되는 빛을 주로 투과시키는 물질일 수도 있다.
단계 1750으로도 마커(310)에 복수의 특징점을 갖는 랜덤한 형상의 이미지(312)를 형성할 수 있으나, 단계 1770에서 제1 반사율과는 다른 제2 반사율의 물질로써 이미지(312)의 나머지를 더 형성할 수도 있다. 일 실시예에 따르면, 제1 반사율이 빛을 반사시킬 목적의 반사율이라면, 제2 반사율은 빛을 투과시킬 목적의 낮은 반사율이 될 수 있고, 제1 반사율이 빛을 투과시킬 목적의 반사율이라면, 제2 반사율은 빛을 반사시킬 목적의 높은 반사율일 수 있다. 이와 같이 단계 1750 및 1770을 통해 반사율의 차이가 큰 두 물질을 이용하여 마커(310)에 이미지(312)를 형성함으로써, 결상부(330)에서의 이미지(312)에 포함된 특징점들의 인식률을 더욱 높일 수 있다. 일 실시예에 따르면, 마커(310)에 이미지(312)가 형성되는 면은 렌즈(314)의 초점이 형성되는 면이 될 수 있다. 일 실시예에 따르면, 단계 1750 및/또는 단계 1770에서 서로 다른 반사율을 갖는 물질로써 이미지(312)를 형성한 후에는 각 사용한 물질 및 형성 방법에 맞게 건조 및/또는 증착 단계를 더 포함할 수 있다. 이하에서는 도 17에서 설명한 제조방법에 기초하여 마커(310)에 이미지(312)를 형성하는 다른 실시예들에 관해서 설명한다.
도 18은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커(310)에 이미지(312)를 형성하는 방법으로서, 프린팅(printing) 기법을 통해 마커(310)에 이미지(312)를 형성하는 모습을 나타낸다. 볼렌즈와 같은 마커(310)의 표면에 제1 반사율을 갖는 물질 또는 제2 반사율을 갖는 물질을 잉크젯 프린터 등을 이용하여 프린팅할 수 있다. 이와 같이 프린팅 방식을 이용할 경우, 랜덤한 형상 또는 미리 정해진 형상의 이미지를 더욱 자유롭게 마커(310)의 표면에 형성할 수 있다.
도 19는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커(310)에 이미지(312)를 형성하는 방법으로서, 물질을 주사(injecting)하는 기법을 통해 상기 마커에 이미지(312)를 형성하는 모습을 나타낸다. 제1 반사율을 갖는 물질 또는 제2 반사율을 갖는 물질을 주사기 등에 채워둔 후 주사바늘(1910)을 통해 이 물질들을 마커(310)의 표면에 주사함으로써, 마커(310)의 표면에 이미지(312)를 형성할 수 있다. 이와 같은 주사 방식을 이용할 경우, 마커(310)의 표면에 랜덤한 형상 또는 미리 정해진 형상의 정교한 이미지를 형성할 수 있으며, 특히 마커(310)의 크기가 작은 경우에 마커(310)의 표면에 이미지를 형성하기 적합한 방식이 될 수 있다.
도 20은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커(310)에 이미지(312)를 형성하는 방법으로서, 스텐실(stencil) 기법으로 마커(310)에 이미지(312)를 형성하는 모습을 나타낸다. 랜덤한 형상 또는 미리 정해진 형상을 갖는 스텐실용 틀(2010)을 마커(310)의 외형에 맞게 부착 가능하도록 미리 제작해 둔 후, 이를 마커(310)의 표면에 대고 그 위에 스프레이(2030) 등을 이용하여 제1 반사율을 갖는 물질 또는 제2 반사율을 갖는 물질을 입힘으로써 원하는 이미지(312)를 마커(310) 표면에 형성할 수 있다. 마커들 간에 구분이 필요없는 경우에는 동일한 이미지(312)를 마커(310)들 마다 형성하여 사용하여도 상관없으므로, 동일한 이미지(312)를 연속적으로 마커(310)의 표면에 형성하기에 적합한 방식이 될 수 있다.
도 21은 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커(310)에 이미지(312)를 형성하는 방법으로서, 스탬핑(stamping) 기법으로 마커(310)에 이미지(312)를 형성하는 모습을 나타낸다. 연성 재질의 스탬프(2110)에 제1 반사율을 갖는 물질 또는 제2 반사율을 갖는 물질을 묻히고, 이를 마커(310)의 표면에 스탬핑함으로써, 입체적인 마커(310) 표면에 랜덤한 형상 또는 미리 정해진 형상의 이미지(312)를 형성할 수 있다. 이와 같은 스탬핑 방식으로 마커(310) 표면에 이미지(312)를 형성할 경우, 한 번에 넓은 영역의 마커(310) 표면에 이미지(312)를 형성할 수 있다.
도 22는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커(310)에 이미지(312)를 형성하는 방법으로서, 이미지(312) 및 렌즈(314)를 포함한 마커(310) 자체를 3D 프린터(2210)를 이용해서 일체로서 형성하는 모습을 나타낸다. 3D 프린터(2210)를 이용할 경우, 마커(310)의 형상, 이미지(312)의 형상 등을 자유롭게 표현할 수 있으며, 이미지(312) 상에 제1 반사율을 가진 물질 또는 제2 반사율을 가진 물질 등도 손쉽게 형성할 수 있다. 또한, 특별한 조립 과정 없이, 마커(310)나 렌즈(314) 내부에 이미지(312)를 형성하기에도 용이하다.
도 23a 내지 23c는 본 발명의 일 실시예에 따른 옵티컬 트래킹 시스템용 마커(310)에 이미지(312)를 형성하는 방법으로서, 리소그래피(lithography) 기법으로 마커(310)에 이미지(312)를 형성하는 모습을 나타낸다. 도 23a에 도시된 바와 같이, 먼저 이미지(312)가 형성될 표면(2312)에 이미지(312)를 형성할 반사율 또는 투과율이 높은 물질(2314)을 입힌다. 이후, 도 23b에 도시된 바와 같이, 이미지(312)가 형성되지 않을 위치(2316)에서 물질(2314)을 제거하는 과정을 거친다. 일 실시예에 따라, 도 23b까지의 과정만으로도 마커(310)에 트래킹을 위한 이미지(312)가 형성될 수 있다. 그러나, 일 실시예에 따라, 이미지(312)의 인식률을 높이고자 이미지(312)가 형성되지 않을 위치(2316)에 물질(2314)과는 다른 반사율 또는 투과율의 물질(2318)을 채워 넣을 수도 있다. 이와 같은 리소그래피 기법을 이용하여 이미지(312)를 마커(310)에 형성할 경우, 물질(2314)과 물질(2318)의 반사율 또는 투과율의 차이를 이용한 2개 이상의 특징점을 갖는 이미지(312)를 형성할 수 있으며, 특히 매우 정교한 이미지(312)를 마커(310) 표면에 형성할 수 있다.
본 발명은 바람직한 실시예를 통해 설명되고 예시되었으나, 당업자라면 첨부한 청구 범위의 사항 및 범주를 벗어나지 않고 여러 가지 변형 및 변경이 이루어질 수 있음을 알 수 있을 것이다.
110, 130, 210, 310: 마커 150, 330: 결상부
230: 수술도구 312: 이미지
314, 332, 1232: 렌즈 334, 1234: 결상 유닛
350: 광원 370: 프로세서
500, 1610: 볼렌즈 510, 530, 550: 패턴 형성 면
610, 612, 614, 616, 1110, 1112, 1114, 1116, 1130, 1132, 1134, 1150, 1152, 1154, 1156, 1158, 1612, 1614, 1616, 1618: 특징점
P0, P1, P2: 초점 위치

Claims (29)

  1. 옵티컬 트래킹 시스템으로서,
    복수의 특징점이 임의로 선택될 수 있도록 형성된 랜덤한 형상의 제1 이미지 및 상기 제1 이미지를 확대하여 전달하기 위한 제1 렌즈를 포함하는 마커; 및
    제2 렌즈 및 상기 제2 렌즈의 초점 거리에서 상기 제1 이미지를 제2 이미지로 결상하는 1개 이상의 결상 유닛을 포함하는 결상부
    를 포함하고,
    상기 제1 이미지로부터 상기 특징점을 임의로 복수 개 선택하여 상기 마커가 부착되어 있는 대상을 트래킹하는, 옵티컬 트래킹 시스템.
  2. 제1항에 있어서,
    상기 제1 이미지는 상기 제1 렌즈의 초점이 형성되는 면에 위치하는, 옵티컬 트래킹 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 제1 이미지와 관련된 제1 정보 및 상기 제2 이미지와 관련된 제2 정보에 기초하여 자세를 결정하고,
    상기 제1 정보는 상기 제1 이미지에 포함된 상기 복수의 특징점 중에서 2개 이상의 특징점의 좌표이고,
    상기 제2 정보는 상기 2개 이상의 특징점에 대응하는 좌표로서, 상기 제2 이미지에서 검출되는, 옵티컬 트래킹 시스템.
  4. 청구항 4은(는) 설정등록료 납부시 포기되었습니다.
    제3항에 있어서,
    상기 제2 정보는 이전 검출 시점의 특징점과 다른 특징점의 좌표일 수 있는, 옵티컬 트래킹 시스템.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제3항에 있어서,
    상기 제1 이미지에 포함된 상기 복수의 특징점은 상기 제1 이미지에 조사된 빛을 반사 또는 투과시키는 물질로써 형성되는, 옵티컬 트래킹 시스템.
  6. 제3항에 있어서,
    상기 제1 이미지는 빛에 대한 반사율이 서로 다른 2개 이상의 물질로써 형성되고,
    상기 제1 이미지에 포함된 상기 복수의 특징점은 상기 2개 이상의 물질의 반사율의 차이를 이용하여 형성되는, 옵티컬 트래킹 시스템.
  7. 제3항에 있어서,
    상기 제1 이미지는 빛에 대한 투과율이 서로 다른 2개 이상의 물질로써 형성되고,
    상기 제1 이미지에 포함된 상기 복수의 특징점은 상기 2개 이상의 물질의 투과율의 차이를 이용하여 형성되는, 옵티컬 트래킹 시스템.
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 마커는 상기 대상에 교환 가능한 형태로 1개 또는 2개가 상기 대상에 부착되는, 옵티컬 트래킹 시스템.
  9. 청구항 9은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 마커는 상기 대상에 교환 가능한 형태로 3개 이상 상기 대상에 부착되는, 옵티컬 트래킹 시스템.
  10. 제1항에 있어서,
    상기 마커가 복수의 대상에 부착되는 경우, 상기 제1 이미지의 상기 랜덤한 형상은 상기 마커마다 고유한, 옵티컬 트래킹 시스템.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제3항에 있어서,
    상기 제2 정보는 상기 마커의 움직임에 따라 왜곡되지 않는, 옵티컬 트래킹 시스템.
  12. 청구항 12은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 제1 렌즈는 볼렌즈인, 옵티컬 트래킹 시스템.
  13. 청구항 13은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 제1 렌즈는 복수의 광학 매체가 결합된 렌즈인, 옵티컬 트래킹 시스템.
  14. 제1항에 있어서,
    상기 제1 이미지는 상기 랜덤한 형상 대신 미리 정해진 형상인, 옵티컬 트래킹 시스템.
  15. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.
    제1항 또는 제2항에 있어서,
    상기 결상 유닛은 2개 이상이고,
    상기 2개 이상의 결상 유닛에서 각각 상기 제1 이미지를 결상하여 검출한 이미지들을 이용한 삼각법(triangulation)을 통해 상기 마커가 부착된 상기 대상의 위치를 결정하는, 옵티컬 트래킹 시스템.
  16. 옵티컬 트래킹 방법으로서,
    제1 렌즈를 통해 확대되어 전달된 마커에 포함된 랜덤한 형상의 제1 이미지를 제2 렌즈의 초점거리에서 제2 이미지로 결상시키는 단계; 및
    상기 제1 이미지와 관련된 제1 정보 및 상기 제2 이미지와 관련된 제2 정보에 기초하여 상기 마커의 자세를 결정하는 단계
    를 포함하고,
    상기 랜덤한 형상의 제1 이미지는 복수의 특징점이 임의로 선택될 수 있도록 형성되고,
    상기 제1 이미지로부터 임의의 특징점을 복수 개 선택하여 상기 마커가 부착되어 있는 대상을 트래킹하는, 옵티컬 트래킹 방법.
  17. 제16항에 있어서,
    상기 제1 이미지와 관련된 제1 정보 및 상기 제2 이미지와 관련된 제2 정보에 기초하여 상기 마커의 자세를 결정하는 단계는
    상기 제2 이미지로부터 2개 이상의 특징점의 좌표를 상기 제2 정보로서 검출하는 단계;
    미리 저장되어 있는 상기 제1 이미지에 포함된 상기 복수의 특징점 중에서, 상기 제2 이미지로부터 검출된 2개 이상의 특징점에 대응하는 특징점의 좌표를 상기 제1 정보로서 검출하는 단계; 및
    상기 제1 정보로서의 좌표와 상기 제2 정보로서의 좌표간의 관계식으로부터 상기 자세를 결정하는 단계
    를 포함하는, 옵티컬 트래킹 방법.
  18. 청구항 18은(는) 설정등록료 납부시 포기되었습니다.
    제16항에 있어서,
    서로 다른 복수의 위치에서 상기 제1 이미지를 각각 결상하는 단계; 및
    상기 각각 결상된 이미지에 기초한 삼각법을 통해 상기 마커의 위치를 결정하는 단계
    를 더 포함하는 옵티컬 트래킹 방법.
  19. 청구항 19은(는) 설정등록료 납부시 포기되었습니다.
    제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 제1 이미지는 상기 제1 렌즈의 초점이 형성되는 면에 위치하는, 옵티컬 트래킹 방법.
  20. 청구항 20은(는) 설정등록료 납부시 포기되었습니다.
    제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 제2 정보는 검출 시점마다 상이할 수 있는, 옵티컬 트래킹 방법.
  21. 청구항 21은(는) 설정등록료 납부시 포기되었습니다.
    제17항 또는 제18항에 있어서,
    상기 제1 이미지에 포함된 상기 복수의 특징점은 상기 제1 이미지에 조사된 빛을 반사 또는 투과시키는 물질로써 형성되는, 옵티컬 트래킹 방법.
  22. 청구항 22은(는) 설정등록료 납부시 포기되었습니다.
    제17항 또는 제18항에 있어서,
    상기 제1 이미지는 빛에 대한 반사율이 서로 다른 2개 이상의 물질로써 형성되고,
    상기 제1 이미지에 포함된 상기 복수의 특징점은 상기 2개 이상의 물질의 반사율의 차이를 이용하여 형성되는, 옵티컬 트래킹 방법.
  23. 청구항 23은(는) 설정등록료 납부시 포기되었습니다.
    제17항 또는 제18항에 있어서,
    상기 제1 이미지는 빛에 대한 투과율이 서로 다른 2개 이상의 물질로써 형성되고,
    상기 제1 이미지에 포함된 상기 복수의 특징점은 상기 2개 이상의 물질의 투과율의 차이를 이용하여 형성되는, 옵티컬 트래킹 방법.
  24. 청구항 24은(는) 설정등록료 납부시 포기되었습니다.
    제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 마커는 교환 가능한 형태로 1개 또는 2개가 트래킹 대상에 부착되는, 옵티컬 트래킹 방법.
  25. 청구항 25은(는) 설정등록료 납부시 포기되었습니다.
    제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 마커는 교환 가능한 형태로 3개 이상 트래킹 대상에 부착되는, 옵티컬 트래킹 방법.
  26. 청구항 26은(는) 설정등록료 납부시 포기되었습니다.
    제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 마커가 복수의 트래킹 대상에 부착되는 경우, 상기 제1 이미지의 상기 랜덤한 형상은 상기 마커마다 고유한, 옵티컬 트래킹 방법.
  27. 청구항 27은(는) 설정등록료 납부시 포기되었습니다.
    제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 제2 정보는 상기 마커의 움직임에 따라 왜곡되지 않는, 옵티컬 트래킹 방법.
  28. 청구항 28은(는) 설정등록료 납부시 포기되었습니다.
    제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 제1 렌즈는 볼렌즈인, 옵티컬 트래킹 방법.
  29. 청구항 29은(는) 설정등록료 납부시 포기되었습니다.
    제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 제1 이미지는 상기 랜덤한 형상 대신 미리 정해진 형상인, 옵티컬 트래킹 방법.
KR1020150105187A 2015-07-24 2015-07-24 옵티컬 트래킹 시스템 및 방법 KR101627835B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150105187A KR101627835B1 (ko) 2015-07-24 2015-07-24 옵티컬 트래킹 시스템 및 방법
PCT/KR2016/008058 WO2017018748A1 (ko) 2015-07-24 2016-07-22 옵티컬 트래킹용 마커, 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150105187A KR101627835B1 (ko) 2015-07-24 2015-07-24 옵티컬 트래킹 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101627835B1 true KR101627835B1 (ko) 2016-06-08

Family

ID=56193962

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150105187A KR101627835B1 (ko) 2015-07-24 2015-07-24 옵티컬 트래킹 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101627835B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017018748A1 (ko) * 2015-07-24 2017-02-02 주식회사 고영테크놀러지 옵티컬 트래킹용 마커, 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
KR20190074835A (ko) * 2017-12-20 2019-06-28 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
CN113813046A (zh) * 2017-12-20 2021-12-21 株式会社高迎科技 光学跟踪系统及光学跟踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070183041A1 (en) * 2006-02-09 2007-08-09 Northern Digital Inc. Retroreflective marker-tracking systems
KR101406220B1 (ko) * 2013-04-30 2014-06-12 경북대학교 산학협력단 옵티컬 트랙킹 시스템 및 이를 이용한 트랙킹 방법
KR101487248B1 (ko) * 2013-05-28 2015-01-29 주식회사 고영테크놀러지 옵티컬 트랙킹 시스템
KR101532717B1 (ko) * 2013-09-24 2015-07-01 주식회사 고영테크놀러지 환자 트래킹 마커 및 이를 이용한 환자 트래킹 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070183041A1 (en) * 2006-02-09 2007-08-09 Northern Digital Inc. Retroreflective marker-tracking systems
KR101406220B1 (ko) * 2013-04-30 2014-06-12 경북대학교 산학협력단 옵티컬 트랙킹 시스템 및 이를 이용한 트랙킹 방법
KR101487248B1 (ko) * 2013-05-28 2015-01-29 주식회사 고영테크놀러지 옵티컬 트랙킹 시스템
KR101532717B1 (ko) * 2013-09-24 2015-07-01 주식회사 고영테크놀러지 환자 트래킹 마커 및 이를 이용한 환자 트래킹 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017018748A1 (ko) * 2015-07-24 2017-02-02 주식회사 고영테크놀러지 옵티컬 트래킹용 마커, 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
KR20190074835A (ko) * 2017-12-20 2019-06-28 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
KR102102291B1 (ko) 2017-12-20 2020-04-21 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
US11033337B2 (en) 2017-12-20 2021-06-15 Koh Young Technology Inc. Optical tracking system and optical tracking method
CN113813046A (zh) * 2017-12-20 2021-12-21 株式会社高迎科技 光学跟踪系统及光学跟踪方法

Similar Documents

Publication Publication Date Title
US10466036B2 (en) Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera
EP3281599B1 (en) Marker for optical tracking, optical tracking system, and optical tracking method
JP5797282B2 (ja) ターゲット装置及び方法
US8885177B2 (en) Medical wide field of view optical tracking system
CN102809354B (zh) 三维双模扫描装置及三维双模扫描系统
JP5212991B2 (ja) 空中映像インタラクション装置及びそのプログラム
US7009713B2 (en) Optical position measuring system using an interference pattern
CN102188290B (zh) 用于获取牙齿的3d表面轮廓图像数据的装置和方法
EP3076892B1 (en) A medical optical tracking system
JP4686229B2 (ja) 位置測定装置
JP2020518820A (ja) 平坦な形状を有し且つ符号化されていないスポットを投影する三角測量スキャナ
CN109938837B (zh) 光学跟踪系统及光学跟踪方法
CN105228505A (zh) 对患者的内部进行成像
US20050058336A1 (en) Measuring the location of objects arranged on a surface, using multi-camera photogrammetry
KR101627835B1 (ko) 옵티컬 트래킹 시스템 및 방법
EP3015817B1 (en) Optical method of and apparatus for determining positions and orientations of a plurality of mirrors in the field of view of an objective lens
JP4459155B2 (ja) 光学式位置計測装置
JP2010025759A (ja) 位置計測システム
CA2487127A1 (en) A video pose tracking system and method
JP3975917B2 (ja) 位置計測システム
CN109938843B (zh) 光学跟踪系统及光学跟踪方法
WO2017053368A1 (en) Methods, systems and computer program products for determining object distances and target dimensions using light emitters
KR101627813B1 (ko) 위치 및 자세 측정용 마커
KR101627828B1 (ko) 옵티컬 트래킹 시스템용 마커에 이미지를 형성하는 방법
JP4918830B2 (ja) 位置計測システム

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200309

Year of fee payment: 5