KR20160020065A

KR20160020065A - 트랙킹 시스템 및 이를 이용한 트랙킹 방법

Info

Publication number: KR20160020065A
Application number: KR1020140104889A
Authority: KR
Inventors: 이현기; 오현민; 김민영
Original assignee: 주식회사 고영테크놀러지; 경북대학교 산학협력단
Priority date: 2014-08-13
Filing date: 2014-08-13
Publication date: 2016-02-23
Also published as: CN106687063A; EP3181085A1; US20170224425A1; US10799299B2; US11730547B2; EP3181085A4; WO2016024797A1; KR101645392B1; EP3181085B1; US20210000551A1; CN106687063B

Abstract

측정 대상의 위치 및 자세를 연속적으로 추적할 수 있는 트랙킹 시스템 및 이를 이용한 트랙킹 방법이 개시된다. 이러한 트랙킹 시스템은 마커, 카메라부, 제1 관성 측정부, 제2 관성 측정부 및 트랙킹 처리부를 포함한다. 상기 마커는 측정 대상에 고정되고, 상기 카메라부는 상기 마커를 촬영하여 마커 영상을 출력한다. 상기 제1 관성 측정부는 상기 카메라부에 고정되고, 제1 가속도 및 제1 각속도를 포함하는 제1 관성을 측정하여 출력한다. 상기 제2 관성 측정부는 상기 측정 대상 및 상기 마커 중 어느 하나에 고정되고, 제2 가속도 및 제2 각속도를 포함하는 제2 관성을 측정하여 출력한다. 상기 트랙킹 처리부는 상기 마커 영상을 통해 상기 측정 대상의 위치 및 자세를 일차적으로 추출하고, 및 상기 제1 및 제2 관성들을 통해 상기 측정 대상의 위치 및 자세를 이차적으로 추출한다. 이로써, 상기 카메라부에 고정되어 있는 상기 제1 관성 측정부가 더 구비됨에 따라, 상기 측정 대상의 위치 및 자세를 연속적으로 추적할 수 있다.

Description

트랙킹 시스템 및 이를 이용한 트랙킹 방법{TRACKING SYSTEM AND TRACKING METHOD USING THE TRACKING SYSTEM}

본 발명은 트랙킹 시스템 및 이를 이용한 트랙킹 방법에 관한 것으로, 더욱 상세하게는 수술용 도구와 같은 기구의 위치를 추적할 수 있는 트랙킹 시스템 및 이를 이용한 트랙킹 방법에 관한 것이다.

수술용 도구는 정확한 위치에 배치되어 수술 행위가 이루어져야 하기 때문에, 상기 수술용 도구의 위치 및 자세를 정확하고 실시간으로 추적할 수 있는 시스템, 즉 트랙킹 시스템이 필요하다. 이러한 트랙킹 시스템으로는, 스테레오 카메라를 이용한 옵티컬 트랙커(Optical tracker)가 있다.

이러한 옵티컬 트랙커는 수술용 도구에 고정된 마커(marker)를 스테레오 카메라를 촬영함으로써 수술용 도구의 위치 및 자세를 추적할 수 있는 장치이다. 그러나, 수술용 도구에 고정된 마커가 스테레오 카메라에 찍히지 않으면, 즉 오클류젼(Occlusion) 문제가 발생되면, 상기 옵티컬 트랙커로는 더 이상 상기 수술용 도구의 위치 및 자세를 추적할 수 없게 된다.

이에, 최근 몇몇 연구들에서, 수술용 도구 또는 마커에 고정된 IMU(Inertial Measurement Unit)를 더 구비함으로써, 이러한 문제점을 해결하기 위한 노력이 시도되고 있다. 이러한 IMU은 수술용 도구의 가속도 및 각속도를 측정하여 획득할 수 있는 센서 장치로, 이렇게 획득된 가속도 및 각속도를 통해 상기 수술용 도구의 위치 및 자세를 추적할 수 있다. 따라서, 스테레오 카메라에서 상기 오클류젼 문제가 발생되더라도, 상기 IMU를 통해 보완할 수 있기 때문에, 상기 수술용 도구의 위치 및 자세를 연속적 추적할 수 있게 된다.

하지만, 상기 IMU에서 측정된 가속도는 지구 중력에 의한 중력 가속도 및 움직임에 의한 움직임 가속도를 함께 포함하고 있다. 이때, 상기 움직임 가속도만이 상기 수술용 도구의 위치를 파악하는데 사용되므로, 상기 IMU에서 측정된 가속도에서 상기 중력 가속도를 제거할 필요가 있다. 따라서, 상기 IMU에서 측정된 가속도에서 상기 중력 가속도를 제거하기 위해, 중력 가속도에 대응되는 지구 좌표계 및 상기 IMU에서의 가속도와 대응되는 옵티컬 트랙커 좌표계 간의 보정이 필요하다.

그러나, 지구 좌표계 및 옵티컬 트랙커 좌표계 간의 보정이 이루어지면, 상기 옵티컬 트랙커를 이동시켜서는 안 된다. 만약, 상기 옵티컬 트랙커가 이동하게 되면, 상기 옵티컬 트랙커의 움직임에 의해 옵티컬 트랙커 좌표계가 변경되므로, 다시 좌표계 보정을 해줘야 한다. 이러한 좌표계 재보정 과정은 번거로울 뿐만 아니라 수술 중 의도하치 않게 옵티컬 트랙커의 위치를 변한 경우에는 좌표계 보정이 필요하다는 것을 인지하지 못할 수도 있다.

따라서, 본 발명은 이러한 문제점을 해결하기 위한 것으로, 본 발명의 해결하고자 하는 과제는 옵티컬 트랙커의 움직임에 상관없이 측정 대상의 위치 및 자세를 연속적으로 추적할 수 있는 트랙킹 시스템을 제공하는 것이다.

또한, 본 발명의 해결하고자 하는 다른 과제는 상기 트랙킹 시스템를 이용한 트랙킹 방법을 제공하는 것이다.

본 발명의 일 실시예에 의한 트랙킹 시스템은 마커(marker), 카메라부, 제1 관성 측정부, 제2 관성 측정부 및 트랙킹 처리부를 포함한다.

상기 마커는 측정 대상에 고정된다. 상기 카메라부는 상기 마커를 촬영하여 마커 영상을 출력한다. 상기 제1 관성 측정부는 상기 카메라부에 고정되고, 제1 가속도 및 제1 각속도를 포함하는 제1 관성을 측정하여 출력한다. 상기 제2 관성 측정부는 상기 측정 대상 및 상기 마커 중 어느 하나에 고정되고, 제2 가속도 및 제2 각속도를 포함하는 제2 관성을 측정하여 출력한다. 상기 트랙킹 처리부는 상기 마커 영상을 통해 상기 측정 대상의 위치 및 자세를 일차적으로 추출하고, 및 상기 제1 및 제2 관성들을 통해 상기 측정 대상의 위치 및 자세를 이차적으로 추출한다.

상기 트랙킹 처리부는 상기 제1 및 제2 가속도들을 통해 상기 측정 대상의 위치를 추출할 수 있고, 상기 제1 및 제2 각속도들을 통해 상기 측정 대상의 자세를 추출할 수 있다.

상기 트랙킹 처리부는 상기 제1 가속도에서 추출된 중력 가속도를 이용하여 상기 제2 가속도로부터 상기 측정 대상의 움직임에 의한 움직임 가속도를 추출한 후, 상기 움직임 가속도를 통해 상기 측정 대상의 위치를 추출할 수 있다.

상기 트랙킹 처리부는 상기 제1 가속도에서 상기 중력 가속도를 추출하고, 상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시킨 후, 좌표계가 서로 일치된 상기 제2 가속도 및 상기 중력 가속도를 이용하여 움직임 가속도를 추출할 수 있다.

이어서, 본 발명의 일 실시예에 의한 트랙킹 방법은 카메라부가 측정 대상에 고정된 마커를 촬영하여 마커 영상을 출력하는 단계, 트랙킹 처리부가 상기 마커 영상으로부터 상기 측정 대상의 위치 및 자세를 일차적으로 추출하는 단계, 상기 카메라부에 고정된 제1 관성 측정부가 제1 가속도 및 제1 각속도를 포함하는 제1 관성을 측정하여 출력하는 단계, 상기 측정 대상 및 상기 마커 중 어느 하나에 고정된 제2 관성 측정부가 제2 가속도 및 제2 각속도를 포함하는 제2 관성을 측정하여 출력하는 단계, 및 상기 트랙킹 처리부가 상기 제1 및 제2 관성들을 통해 상기 측정 대상의 위치 및 자세를 이차적으로 추출하는 단계를 포함한다.

상기 측정 대상의 위치 및 자세를 이차적으로 추출하는 단계는 상기 제1 및 제2 가속도들을 통해 상기 측정 대상의 위치를 추출하는 단계, 및 상기 제1 및 제2 각속도들을 통해 상기 측정 대상의 자세를 추출하는 단계를 포함할 수 있다.

상기 측정 대상의 위치를 추출하는 단계는 상기 제1 가속도에서 추출된 중력 가속도를 이용하여 상기 제2 가속도로부터 상기 측정 대상의 움직임에 의한 움직임 가속도를 추출하는 단계, 및 상기 움직임 가속도를 통해 상기 측정 대상의 위치를 추출하는 단계를 포함할 수 있다.

상기 움직임 가속도를 추출하는 단계는 상기 제1 가속도에서 상기 중력 가속도를 추출하는 단계, 상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시키는 단계, 및 좌표계가 서로 일치된 상기 제2 가속도 및 상기 중력 가속도를 이용하여 움직임 가속도를 추출하는 단계를 포함할 수 있다.

상기 제1 관성 측정부에는 제1 관성 좌표계가 존재하고, 상기 제2 관성 측정부에는 제2 관성 좌표계가 존재할 때, 상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시키는 단계는 상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 단계, 및 상기 제2 가속도에서 상기 제2 관성 좌표계로 변환된 상기 중력 가속도를 제거하여 상기 움직임 가속도를 추출하는 단계를 포함할 수 있다.

상기 마커에는 마커 좌표계가 존재하고, 상기 카메라부에는 카메라 좌표계가 존재할 때, 상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 단계는 상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 카메라 좌표계로 변환하는 단계, 상기 카메라 좌표계로 변환된 상기 중력 가속도를 상기 마커 좌표계로 변환하는 단계, 및 상기 마커 좌표계로 변환된 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 단계를 포함할 수 있다.

상기 카메라부에는 카메라 좌표계가 존재할 때, 상기 움직임 가속도를 통해 상기 측정 대상의 위치를 추출하는 단계는 상기 움직임 가속도를 상기 카메라 좌표계로 변환하는 단계, 및 상기 카메라 좌표계로 변환된 상기 움직임 가속도를 이용하여 상기 측정 대상의 위치를 추출하는 단계를 포함할 수 있다.

한편, 상기 제1 가속도는 상기 중력 가속도와 일치하고, 상기 제1 각속도는 제로(0)일 수 있다.

이와 같이 본 발명에 의한 트랙킹 시스템 및 이를 이용한 트랙킹 방법에 따르면, 제1 관성 측정부가 정지 상태에 있는 카메라부에 고정됨에 따라 중력 가속도를 측정할 수 있고, 제2 관성 측정부가 마커 또는 측정 대상에 고정되어 측정 대상에서의 가속도 및 각속도를 측정할 수 있다. 이후, 상기 측정 대상에서의 가속도에서 상기 중력 가속도를 제거하여 상기 측정 대상에서의 움직임 가속도를 추출하고, 상기 움직임 가속도 및 상기 측정 대상에서의 각속도를 통해 상기 측정 대상의 위치 및 자세를 연속적으로 추적할 수 있다.

또한, 상기 제1 관성 측정부가 상기 카메라부에 고정되어 있음에 따라, 상기 카메라부가 이동이 발생하더라도, 상기 제1 관성 측정부에서의 좌표계 및 상기 카메라부에서의 좌표계 간의 변환 관계가 일정하게 유지될 수 있다. 그 결과, 상기 카메라부의 이동에 따른 상기 중력 가속도의 좌표계 보정을 생략하여 트랙킹 과정을 단순화시킬 수 있다.

도 1은 본 발명의 일 실시예에 의한 트랙킹 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 의한 트랙킹 방법을 설명하기 위한 순서도이다.
도 3은 도 2의 트랙킹 방법 중 측정 대상의 위치 및 자세를 이차적으로 추출하는 과정을 설명하기 위한 순서도이다.
도 4는 도 3의 측정 대상의 위치 및 자세 추출 과정 중 측정 대상의 위치를 추출하는 과정을 설명하기 위한 순서도이다.
도 5는 도 2의 트랙킹 방법 중 각 좌표계의 관계 및 변환 과정을 설명하기 위한 개념도이다.
도 6은 도 4의 측정 대상의 위치 추출 과정 중 좌표계 변환 과정을 설명하기 위한 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 의한 트랙킹 시스템을 설명하기 위한 개념도이다.

도 1을 참조하면, 본 실시예에 의한 트랙킹 시스템은 측정 대상(10)의 위치 및 자세를 추적할 수 있는 장치로, 마커(marker, 100), 카메라부(200), 제1 관성 측정부(300), 제2 관성 측정부(400) 및 트랙킹 처리부(500)를 포함한다. 이때, 상기 측정 대상(10)은 예를 들어 수술 도구일 수 있다.

한편, 본 실시예에서, '상기 측정 대상(10)의 위치'란 상기 측정 대상(10)에서의 임의의 지점에 대한 3차원 좌표값을 의미하고, '상기 측정 대상(10)의 자세'란 상기 측정 대상(10)이 수직한 가상선을 기준으로 공간적으로 또는 평면적으로 기울어진 각도를 의미할 수 있다. 이때, 상기 측정 대상(10)이가 완전 구형이 아니라면, 즉 상기 측정 대상(10)이 어느 한 측으로 길게 연장된 형상을 갖는다면, 상기 측정 대상(10)은 상기 수직한 가상선을 기준으로 기울어지는 각도가 형성될 수 있어, '상기 측정 대상(10)의 자세'가 수치적으로 표현될 수 있다.

상기 마커(100)는 상기 측정 대상(10)의 일측에 배치되어 고정된다. 그 결과, 상기 마커(100)는 상기 측정 대상(10)에 움직임이 발생할 경우, 상기 측정 대상(100)과 함께 움직일 수 있다. 상기 마커(100)는 상기 측정 대상(10)의 위치 및 자세를 측정하기 위해 복수의 위치 포인트들을 포함할 수 있다. 예를 들어, 상기 마커(100)는 도 1과 같이 4개의 위치 포인트들을 포함할 수 있다. 한편, 상기 마커(100)에는 상기 마커(100)를 기준으로 3차원 위치 및 이동 관계를 나타내는 마커 좌표계가 존재한다.

상기 카메라부(200)는 상기 마커(100)를 촬영하여 마커 영상을 출력한다. 상기 카메라부(200)는 상기 마커(100)를 용이하게 촬영할 수 있도록 별도의 거치 수단(20)에 배치 또는 고정될 수 있다. 상기 카메라부(200)는 예를 들어, 공간적인 위치 및 자세 정보를 정확하게 측정할 수 있는 스테레오 카메라일 수 있다. 한편, 상기 카메라부(200)에는 상기 카메라부(200)를 기준으로 3차원 위치 및 이동 관계를 나타내는 카메라 좌표계가 존재한다. 여기서, 상기 측정 대상(10)의 위치 및 자세를 나타내기 위한 기준 좌표계는 카메라 좌표계일 수 있다.

상기 제1 관성 측정부(300)는 상기 카메라부(200)의 일측에 배치되어 고정된다. 상기 제1 관성 측정부(300)에는 상기 제1 관성 측정부(300)를 기준으로 3차원 위치 및 이동 관계를 나타내는 제1 관성 좌표계가 존재한다. 따라서, 상기 제1 관성 측정부(300)는 상기 카메라부(200)가 이동하면 함께 이동하고, 정지되어 있으면 함께 정지되어 있으므로, 상기 카메라 좌표계 및 상기 제1 관성 좌표계 간의 변환 관계는 항상 일정할 수 있다.

상기 제1 관성 측정부(300)는 가속도 및 각속도를 포함하는 관성을 측정할 수 있는 센서를 포함한다. 상기 제1 관성 측정부(300)는 예를 들어, IMU(Inertial Measurement Unit)일 수 있다. 따라서, 상기 제1 관성 측정부(300)는 제1 가속도 및 제1 각속도를 포함하는 제1 관성을 측정하여 출력한다. 한편, 상기 카메라부(200)는 상기 마커(100)를 측정할 때 정지 상태에 있는 것이 바람직하다. 만약, 상기 카메라부(100)가 정지 상태에 있다면, 상기 제1 가속도는 지구 중력에 의한 중력 가속도와 일치하고, 상기 제1 각속도는 제로(0)의 값을 갖게 된다.

상기 제2 관성 측정부(400)는 상기 측정 대상(10) 및 상기 마커(100) 중 어느 하나에 배치되어 고정된다. 상기 제2 관성 측정부(400)에는 상기 제2 관성 측정부(400)를 기준으로 3차원 위치 및 이동 관계를 나타내는 제2 관성 좌표계가 존재한다. 따라서, 상기 마커(100) 및 상기 제2 관성 측정부(400)는 상기 측정 대상(10)이 이동하면 함께 이동하고, 정지되어 있으면 함께 정지되어 있으므로, 상기 마커 좌표계 및 상기 제2 관성 좌표계 간의 변환 관계는 항상 일정할 수 있다.

상기 제2 관성 측정부(400)는 가속도 및 각속도를 포함하는 관성을 측정할 수 있는 센서를 포함한다. 상기 제2 관성 측정부(400)는 예를 들어, IMU(Inertial Measurement Unit)일 수 있다. 따라서, 상기 제2 관성 측정부(400)는 제2 가속도 및 제2 각속도를 포함하는 제2 관성을 측정하여 출력한다. 이때, 상기 제2 관성은 상기 측정 대상(10)의 움직임에 따른 물리량을 의미한다.

상기 트랙킹 처리부(500)는 상기 카메라부(200), 상기 제1 관성 측정부(300) 및 상기 제2 관성 측정부(400)와 유선 또는 무선 통신 방식으로 신호를 주고 받을 수 있다. 따라서, 상기 트랙킹 처리부(500)는 상기 카메라부(200)로부터 상기 마커 영상을, 상기 제1 관성 측정부(300)로부터 상기 제1 관성을, 그리고 상기 제2 관성 측정부(400)로부터 상기 제2 관성을 제공받을 수 있다.

우선, 상기 트랙킹 처리부(500)는 상기 마커 영상을 분석하여 상기 측정 대상(10)의 위치 및 자세를 일차적으로 추출할 수 있다. 예를 들어, 상기 마커 영상으로부터 상기 마커의 위치 포인트들의 위치 및 크기 등을 분석하여 상기 측정 대상(10)의 위치 및 자세를 계산할 수 있다. 이때, 상기 측정 대상(10)의 위치 및 자세는 상기 카메라 좌표계에 따라 표시될 수 있다.

이어서, 상기 트랙킹 처리부(500)는 상기 제1 및 제2 관성들을 통해 상기 측정 대상(10)의 위치 및 자세를 이차적으로 추출할 수 있다. 여기서, '상기 측정 대상(10)의 위치 및 자세를 이차적으로 추출한다는 것'은 '상기 마커 영상의 분석에 의한 일차적 추출이 불가능할 때만 이를 보완하기 위해 추출한다는 것'과, '상기 마커 영상의 분석에 의한 일차적 추출과 상관없이 별도로 추출한다는 것'을 포함하는 의미일 수 있다. 또한, '상기 마커 영상의 분석에 의한 일차적 추출이 불가능할 때'라는 것은 '임의의 물체에 가려 상기 마커를 촬영하지 못한 경우'와 '상기 마커 영상을 획득했을지라도 분석이 불가능한 경우'를을 포함하는 의미일 수 있다.

한편, 임의의 물체에 대한 가속도를 이중 적분하면 상기 물체의 상대 위치를 계산할 수 있고, 상기 물체에 대한 각속도를 적분하면, 상기 물체의 상대 각도를 계산할 수 있으며, 상기 물체의 최초 위치 및 최초 기울어진 각도를 알 수 있다면, 상기 물체의 위치 및 자세를 계산해낼 수 있다. 따라서, 상기 트랙킹 처리부(500)는 위와 같은 계산 방식으로 상기 측정 대상(10)의 위치 및 자세를 이차적으로 추출할 수 있다. 즉, 상기 트랙킹 처리부(500)는 상기 제1 및 제2 가속도들을 통해 상기 측정 대상(10)의 위치를 추출할 수 있고, 상기 제1 및 제2 각속도들을 통해 상기 측정 대상(10)의 자세를 추출할 수 있다.

상기 제1 및 제2 가속도들을 통해 상기 측정 대상(10)의 위치를 추출하는 과정에서, 상기 트랙킹 처리부(500)는 상기 제1 가속도에서 추출된 상기 중력 가속도를 이용하여 상기 제2 가속도로부터 상기 측정 대상(10)의 움직임에 의한 움직임 가속도를 추출한 후, 상기 움직임 가속도를 통해 상기 측정 대상(10)의 위치를 추출할 수 있다. 여기서, 상기 측정 대상(10)의 움직임에 의한 움직임 가속도를 추출하는 과정에서, 상기 트랙킹 처리부(500)는 상기 제1 가속도에서 상기 중력 가속도를 추출하고, 상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시킨 후, 좌표계가 서로 일치된 상기 제2 가속도 및 상기 중력 가속도를 이용하여 움직임 가속도를 추출할 수 있다.

이하, 위에서 설명한 상기 트랙킹 시스템을 이용하여 상기 측정 대상의 위치 및 자세를 추적하는 트랙킹 방법에 대해 자세하게 설명하고자 한다.

도 2는 본 발명의 일 실시예에 의한 트랙킹 방법을 설명하기 위한 순서도이다.

도 2를 참조하면, 본 실시예에 의한 트랙킹 방법으로, 우선 상기 카메라부(200)가 상기 측정 대상(10)에 고정된 상기 마커(100)를 촬영하여 상기 마커 영상을 출력한다(S100).

이후, 상기 트랙킹 처리부(500)가 상기 카메라부(200)로부터 제공된 상기 마커 영상으로부터 상기 측정 대상(10)의 위치 및 자세를 일차적으로 추출한다(S200). 예를 들어, 상기 트랙킹 처리부(500)는 상기 마커 영상으로부터 상기 마커의 위치 포인트들의 위치 및 크기 등을 분석하여 상기 측정 대상(10)의 위치 및 자세를 계산할 수 있다. 이때, 상기 측정 대상(10)의 위치 및 자세는 상기 카메라 좌표계에 따라 표시될 수 있다.

한편, 상기 카메라부(200)에 고정된 상기 제1 관성 측정부(300)가 상기 제1 가속도 및 상기 제1 각속도를 포함하는 상기 제1 관성을 측정하여 출력한다(S300).

또한, 상기 측정 대상(10) 및 상기 마커(100) 중 어느 하나에 고정된 상기 제2 관성 측정부(400)가 상기 제2 가속도 및 상기 제2 각속도를 포함하는 상기 제2 관성을 측정하여 출력한다(S400). 여기서, 상기 S400 단계는 상기 S300 단계와 선후 관계없이 별도로, 즉 동시에, 앞서서 또는 뒤이어 수행될 수 있다.

이후, 상기 트랙킹 처리부(500)가 상기 제1 관성 측정부(300)로부터 제공된 상기 제1 관성 및 상기 제2 관성 측정부(400)로부터 제공된 상기 제2 관성을 통해 상기 측정 대상(10)의 위치 및 자세를 이차적으로 추출한다(S500).

본 실시예에서, 상기 S100 및 S200 단계들과, 상기 S300, S400 및 S500 단계들은 선후 관계없이 서로 별도로 수행될 수 있다. 또는, 상기 S300, S400 및 S500 단계들은 상기 S100 및 S200 단계들을 통해 상기 측정 대상(10)의 위치 및 자세를 추출하는 것이 불가능할 때만 선택적으로 수행될 수도 있다.

또한, 상기 S100, S200, S300, S400 및 S500 단계들 모두는 실시간으로 연속적으로 수행될 수도 있지만, 일정 시간의 간격을 두고 단속적으로, 간헐적으로 또는 주기적으로 수행될 수도 있다.

도 3은 도 2의 트랙킹 방법 중 측정 대상의 위치 및 자세를 이차적으로 추출하는 과정을 설명하기 위한 순서도이다.

도 3을 참조하면, 상기 측정 대상(10)의 위치 및 자세를 이차적으로 추출하는 단계(S500)는 상기 제1 및 제2 가속도들을 통해 상기 측정 대상(10)의 위치를 추출하는 단계(S510), 및 상기 제1 및 제2 각속도들을 통해 상기 측정 대상(10)의 자세를 추출하는 단계(S520)를 포함할 수 있다. 이때, 상기 S510 및 S520 단계들은 선후 관계없이 서로 별도로 수행될 수 있다.

도 4는 도 3의 측정 대상의 위치 및 자세 추출 과정 중 측정 대상의 위치를 추출하는 과정을 설명하기 위한 순서도이고, 도 5는 도 2의 트랙킹 방법 중 각 좌표계의 관계 및 변환 과정을 설명하기 위한 개념도이다.

도 4 및 도 5를 참조하면, 상기 측정 대상(10)의 위치를 추출하는 단계(S510)에서, 우선 상기 제1 가속도에서 상기 중력 가속도를 추출한다(S512). 여기서, 상기 제1 가속도는 상기 중력 가속도 및 상기 제1 관성 측정부(300)의 움직임에 의한 가속도를 포함하고 있는데, 상기 제1 관성 측정부(300)가 고정되어 있는 상기 카메라부(200)가 정지 상태에 있다면, 상기 제1 가속도는 상기 중력 가속도와 실질적으로 일치하는 값을 갖게 된다.

이어서, 상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시킨다(S514). 여기서, 상기 제2 가속도는 상기 제2 관성 좌표계에 따라 표시되고, 상기 중력 가속도는 상기 제1 관성 좌표계로 표시된다. 따라서, 상기 S514 단계에서는, 상기 제2 가속도를 상기 제2 관성 좌표계에서 상기 제1 관성 좌표계로 변환시켜 상기 중력 가속도와 좌표계를 일치시키거나, 상기 중력 가속도를 상기 제1 관성 좌표계에서 상기 제2 관성 좌표계로 변환시켜 상기 제2 가속도와 좌표계를 일치시키거나, 상기 제2 가속도 및 상기 중력 가속도 모두를 임의의 좌표계, 예를 들어 상기 카메라 좌표계로 변환시켜 일치시킬 수 있다.

한편, 본 실시예에서, 상기 S514 단계에서의 변환은 변환 과정의 오차를 최소화하기 위해 상기 중력 가속도를 상기 제1 관성 좌표계에서 상기 제2 관성 좌표계로 변환시켜 상기 제2 가속도와 좌표계를 일치시키는 것이 바람직하다. 왜냐하면, 상기 제2 가속도는 시간에 따라 변화하는 값이지만, 상기 제1 가속도에서 추출되는 상기 중력 가속도는 거의 일정한 값을 갖기 때문이다.

이어서, 좌표계가 서로 일치된 상기 제2 가속도 및 상기 중력 가속도를 이용하여 상기 측정 대상(10)의 움직임에 의한 움직임 가속도를 추출한다(S516). 구체적으로, 상기 트랙킹 처리부(500)는 상기 제2 가속도에서 상기 중력 가속도를 제거하여 상기 움직임 가속도를 계산할 수 있다.

이어서, 상기 움직임 가속도를 통해 상기 측정 대상(10)의 위치를 추출한다(S518). 여기서, 상기 움직임 가속도는 상기 S514 단계를 통해 상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나의 좌표 변환을 통해 일치시킨 좌표계(이하, 일치 좌표계라 함)에 따라 표시되고, 상기 측정 대상(10)의 위치는 상기 카메라 좌표계에 따라 표시될 수 있다.

상기 일치 좌표계가 상기 카메라 좌표계와 일치하지 않을 경우, 상기 측정 대상(10)의 위치를 추출하는 단계(S518)는 상기 움직임 가속도를 상기 일치 좌표계에서 상기 카메라 좌표계로 변환하는 단계, 및 상기 카메라 좌표계로 변환된 상기 움직임 가속도를 이용하여 상기 측정 대상(10)의 위치를 추출하는 단계를 포함할 수 있다. 예를 들어, 상기 일치 좌표계가 상기 제2 관성 좌표계일 경우, 상기 트랙킹 처리부(500)는 상기 움직임 가속도를 우선 상기 마커 좌표계로 변환하고, 이후 상기 카메라 좌표계로 다시 변환한 후, 상기 움직임 가속도를 이중 적분하여 상기 측정 대상(10)의 위치를 계산해낼 수 있다.

반면, 상기 일치 좌표계가 상기 카메라 좌표계와 일치할 경우, 상기 측정 대상(10)의 위치를 추출하는 단계(S518)에서, 상기 움직임 가속도를 좌표 변환없이 그대로 이중 적분하여 상기 측정 대상(10)의 위치를 계산해낼 수도 있다.

한편, 상기 카메라부(200)가 정지 상태에 있다면, 상기 제1 관성 측정부(300)도 정지 상태에 있으므로, 상기 제1 각속도는 제로(0)의 값을 갖게 된다. 따라서, 도 3에 도시된 상기 S520 단계에서는, 상기 제2 각속도만을 이용하여 상기 측정 대상(10)의 자세를 추출할 수 있다. 예를 들어, 상기 트랙킹 처리부(500)는 상기 제2 각속도를 적분하여 상기 측정 대상(10)의 기울어진 각도를 계산해낼 수 있다.

도 6은 도 4의 측정 대상의 위치 추출 과정 중 좌표계 변환 과정을 설명하기 위한 순서도이다.

도 5 및 도 6을 참조하면, 상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 과정은 상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 카메라 좌표계로 변환하는 제1 변환 과정, 상기 카메라 좌표계로 변환된 상기 중력 가속도를 상기 마커 좌표계로 변환하는 제2 변환 과정, 및 상기 마커 좌표계로 변환된 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 제3 변환 과정으로 구성될 수 있다.

본 실시예에서, 상기 제1 관성 측정부(300)가 상기 카메라부(200)에 고정되어 있고, 상기 제2 관성 측정부(400)가 상기 마커(100) 또는 상기 측정 대상에 고정되어 있기 때문에, 상기 제1 변환 과정에 따른 변환 행렬식과 상기 제3 변환 과정에 따른 변환 행렬식 각각은 일정한 값을 가질 수 있다. 따라서, 상기 트랙킹 처리부(500)는 상기 제1 및 제3 변환 과정에 따른 변환 행렬식들을 구하기 위한 계산없이 초기에 주어진 값을 그대로 사용하여 좌표 변환을 수행할 수 있다.

반면, 상기 측정 대상(10)은 상기 카메라부(100)에 의해 촬영될 때 이동하게 되면, 상기 마커 좌표계도 변경하게 되고, 그에 따라 상기 제2 변환 과정에 따른 변환 행렬식도 변경될 수 있다. 따라서, 상기 트랙킹 처리부(500)는 상기 중력 가속도의 상기 제2 관성 좌표계로의 변환을 수행하기에 앞서, 상기 제2 변환 과정에 따른 변환 행렬식을 우선 계산해내야 한다.

이와 같이 본 실시예에 따르면, 상기 제1 관성 측정부(300)가 정지 상태에 있는 상기 카메라부(200)에 고정됨에 따라 상기 중력 가속도를 측정할 수 있고, 상기 제2 관성 측정부(400)가 상기 마커(100) 또는 상기 측정 대상(10)에 고정되어 상기 측정 대상(10)에서의 가속도 및 각속도를 측정할 수 있다. 이후, 상기 측정 대상(10)에서의 가속도에서 상기 중력 가속도를 제거하여 상기 측정 대상(10)에서의 움직임 가속도를 추출하고, 상기 움직임 가속도 및 상기 측정 대상에서의 각속도를 통해 상기 측정 대상(10)의 위치 및 자세를 추적할 수 있다.

또한, 상기 제1 관성 측정부(300)가 상기 카메라부(200)에 고정되어 있음에 따라, 상기 카메라부(200)가 촬영 중 이동한다하더라도, 상기 제1 관성 좌표계 및 상기 카메라 좌표계 간의 변환 관계가 일정하게 유지될 수 있다. 그 결과, 상기 카메라부(200)의 이동에 따른 상기 중력 가속도의 좌표계 보정을 생략하여 트랙킹 과정을 단순화시킬 수 있다.

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 마커 200 : 카메라부
300 : 제1 관성 측정부 400 : 제2 관성 측정부
500 : 트랙킹 처리부 10 : 측정 대상
20 : 거치 수단

Claims

측정 대상에 고정된 마커(marker);
상기 마커를 촬영하여 마커 영상을 출력하는 카메라부;
상기 카메라부에 고정되고, 제1 가속도 및 제1 각속도를 포함하는 제1 관성을 측정하여 출력하는 제1 관성 측정부;
상기 측정 대상 및 상기 마커 중 어느 하나에 고정되고, 제2 가속도 및 제2 각속도를 포함하는 제2 관성을 측정하여 출력하는 제2 관성 측정부; 및
상기 마커 영상을 통해 상기 측정 대상의 위치 및 자세를 일차적으로 추출하고, 및 상기 제1 및 제2 관성들을 통해 상기 측정 대상의 위치 및 자세를 이차적으로 추출하는 트랙킹 처리부를 포함하는 트랙킹 시스템.
제1항에 있어서, 상기 트랙킹 처리부는
상기 제1 및 제2 가속도들을 통해 상기 측정 대상의 위치를 추출하고,
상기 제1 및 제2 각속도들을 통해 상기 측정 대상의 자세를 추출하는 트랙킹 시스템.
제2항에 있어서, 상기 트랙킹 처리부는
상기 제1 가속도에서 추출된 중력 가속도를 이용하여 상기 제2 가속도로부터 상기 측정 대상의 움직임에 의한 움직임 가속도를 추출한 후,
상기 움직임 가속도를 통해 상기 측정 대상의 위치를 추출하는 트랙킹 시스템.
제3항에 있어서, 상기 트랙킹 처리부는
상기 제1 가속도에서 상기 중력 가속도를 추출하고,
상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시킨 후,
좌표계가 서로 일치된 상기 제2 가속도 및 상기 중력 가속도를 이용하여 움직임 가속도를 추출하는 트랙킹 시스템.
카메라부가 측정 대상에 고정된 마커(marker)를 촬영하여 마커 영상을 출력하는 단계;
트랙킹 처리부가 상기 마커 영상으로부터 상기 측정 대상의 위치 및 자세를 일차적으로 추출하는 단계;
상기 카메라부에 고정된 제1 관성 측정부가 제1 가속도 및 제1 각속도를 포함하는 제1 관성을 측정하여 출력하는 단계;
상기 측정 대상 및 상기 마커 중 어느 하나에 고정된 제2 관성 측정부가 제2 가속도 및 제2 각속도를 포함하는 제2 관성을 측정하여 출력하는 단계; 및
상기 트랙킹 처리부가 상기 제1 및 제2 관성들을 통해 상기 측정 대상의 위치 및 자세를 이차적으로 추출하는 단계를 포함하는 트랙킹 방법.
제5항에 있어서, 상기 측정 대상의 위치 및 자세를 이차적으로 추출하는 단계는
상기 제1 및 제2 가속도들을 통해 상기 측정 대상의 위치를 추출하는 단계; 및
상기 제1 및 제2 각속도들을 통해 상기 측정 대상의 자세를 추출하는 단계를 포함하는 트랙킹 방법.
제6항에 있어서, 상기 측정 대상의 위치를 추출하는 단계는
상기 제1 가속도에서 추출된 중력 가속도를 이용하여 상기 제2 가속도로부터 상기 측정 대상의 움직임에 의한 움직임 가속도를 추출하는 단계; 및
상기 움직임 가속도를 통해 상기 측정 대상의 위치를 추출하는 단계를 포함하는 트랙킹 방법.
제7항에 있어서, 상기 움직임 가속도를 추출하는 단계는
상기 제1 가속도에서 상기 중력 가속도를 추출하는 단계;
상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시키는 단계; 및
좌표계가 서로 일치된 상기 제2 가속도 및 상기 중력 가속도를 이용하여 움직임 가속도를 추출하는 단계를 포함하는 트랙킹 방법.
제8항에 있어서, 상기 제1 관성 측정부에는 제1 관성 좌표계가 존재하고, 상기 제2 관성 측정부에는 제2 관성 좌표계가 존재하며,
상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시키는 단계는
상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 단계; 및
상기 제2 가속도에서 상기 제2 관성 좌표계로 변환된 상기 중력 가속도를 제거하여 상기 움직임 가속도를 추출하는 단계를 포함하는 트랙킹 방법.
제9항에 있어서, 상기 마커에는 마커 좌표계가 존재하고, 상기 카메라부에는 카메라 좌표계가 존재하며,
상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 단계는
상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 카메라 좌표계로 변환하는 단계;
상기 카메라 좌표계로 변환된 상기 중력 가속도를 상기 마커 좌표계로 변환하는 단계; 및
상기 마커 좌표계로 변환된 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 단계를 포함하는 트랙킹 방법.
제7항에 있어서, 상기 카메라부에는 카메라 좌표계가 존재하고,
상기 움직임 가속도를 통해 상기 측정 대상의 위치를 추출하는 단계는
상기 움직임 가속도를 상기 카메라 좌표계로 변환하는 단계; 및
상기 카메라 좌표계로 변환된 상기 움직임 가속도를 이용하여 상기 측정 대상의 위치를 추출하는 단계를 포함하는 트랙킹 방법.
제7항에 있어서, 상기 제1 가속도는 상기 중력 가속도와 일치하고, 상기 제1 각속도는 제로(0)인 트랙킹 방법.