KR20080085655A

KR20080085655A - 카메라 자세 추정 장치 및 방법

Info

Publication number: KR20080085655A
Application number: KR1020070089460A
Authority: KR
Inventors: 박종승; 이범종; 김정규
Original assignee: 인천대학교 산학협력단
Priority date: 2007-03-20
Filing date: 2007-09-04
Publication date: 2008-09-24
Anticipated expiration: 2027-09-04
Also published as: KR100918706B1

Abstract

증강현실응용에 적용되는 카메라 자세 및 위치를 추정하는 장치 및 방법은, 단일 영상 프레임에서 임의의 물체를 추적하여 카메라의 자세 및 위치를 추정한다. 즉, 임의의 물체에 대해 입력받은 적어도 4 개의 3차원 좌표값 중에서 임의의 물체의 무게 중심에 가장 근접한 참조점을 결정하며, 참조점을 이용하여 카메라의 자세 및 위치를 추정한다. 이때, 정확한 참조점을 결정하는 데에 방해요소가 되는 이상점을 제거한 후에 남아있는 좌표값 중에서 참조점을 선택한다. 여기서, 이상점은 입력받은 좌표값 중에서 다른 특징점들과 멀리 떨어진 좌표값으로 결정한다.

정사영법 카메라 위치 추정, 카메라 추적, 증강 현실, 이상점

Description

카메라 자세 추정 장치 및 방법{Apparatus and Method of Estimating Camera Position}

본 발명은 카메라 자세 추정 장치 및 방법에 관한 것이다. 특히 본 발명은 단일 프레임의 영상 데이터에서 실시간으로 카메라의 자세를 추정할 수 있는 카메라 자세 추정 장치 및 방법에 관한 것이다.

증강 현실 응용에서 중요한 기술 요소는 실제 배경을 촬영한 영상 데이터에 3차원 가상 객체를 최대한 자연스럽게 삽입하는 기술이다. 이때 영상 데이터에 3차원 가상 객체를 올바른 자세로 삽입하고자 하는 위치에 정확하게 삽입하기 위해서는, 카메라가 실제 배경에 대하여 어떤 위치에서 어떤 자세로 영상데이터를 생성했는지에 대한 정보가 필요하다.

일반적인 카메라 자세 및 위치(이하, "카메라 정보"라 함)를 추정하는 방법에 따르면, 첫번째 영상 프레임에서 기저 특징점의 좌표를 이용하여 카메라 정보를 추출하고, 두번째 영상 프레임에서부터 특징점의 변경 좌표를 추적하여 카메라 정보를 추출한다. 이와 같이 하면, 단일 영상 프레임으로는 카메라 정보를 추정할 수 없는 문제점이 있다.

또 다른 일반적인 카메라 정보를 추정하는 방법에 따르면, 특징점 추출 도구를 이용하여 단일 영상 프레임으로부터 카메라 정보를 추정할 수 있으나, 특징점 추출도구에 의한 특징점의 전처리가 반드시 필요하고, 카메라 정보의 추정 전에 임의의 초기 추정값이 필요한 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는 초기 추정값 없이 단일 프레임의 영상데이터로부터 카메라의 자세 및 위치를 추정하는 장치 및 방법을 제공하는 것이다.

위와 같은 기술적 과제를 해결하기 위하여, 본 발명의 특징에 따른 카메라 자세 추정장치는 단일 프레임의 영상 데이터에 포함되는 복수의 영상좌표와 상기 복수의 영상좌표가 각각 나타내는 복수의 특징점을 포함하는 데이터를 입력받는 데이터입력부; 상기 복수의 특징점을 상기 카메라의 자세를 추정하기 위해 이용할 객체에 대응하는 제1 그룹과 상기 제1 그룹 이외의 특징점인 이상점을 포함하는 제2 그룹으로 구분하는 이상점 결정부; 상기 제1 그룹의 특징점 중에서, 상기 제1 그룹의 특징점의 무게중심에 근접한 참조점을 검출하고, 상기 참조점이 영상 데이터에 투영되는 참조영상좌표를 검출하는 참조점 결정부; 및 상기 특징점과 참조영상좌표를 이용하여, 상기 영상데이터를 생성한 카메라의 자세와 위치에 대한 추정값을 생성하는 카메라 정보 처리부를 포함한다.

상기 이상점 결정부는, 상기 복수의 특징점 각각에 대해서 최대거리에 위치한 특징점을 검출하고, 상기 최대거리에 위치한 특징점으로 검출되는 횟수를 상기 각 특징점의 거리인덱스로 설정하는 거리계산부; 및 상기 복수의 특징점 중에서 상기 제2 그룹의 기준 특징점과 제1 특징점 사이의 거리인덱스를 가지는 특징점을 상 기 제2 그룹으로 설정하는 이상점 선택부를 포함하며, 상기 제1 특징점은 상기 복수의 특징점 중에서 최대 거리인덱스를 가지는 특징점이다. 여기서 상기 이상점 선택부는, 상기 복수의 특징점에서, 제2 특징점과 임의의 제3 특징점 사이의 거리인덱스를 가지는 특징점 각각과의 거리를 합한 거리합이 최소가 되는 제4 특징점을 결정하고, 상기 제4 특징점의 상기 거리합이 제5 특징점과 상기 제4 특징점 사이의 거리 미만이면, 상기 제5 특징점을 상기 제2 그룹의 기준 특징점으로 설정하며, 상기 제2 특징점은 상기 복수의 특징점 중에서 최소 거리인덱스를 가지는 특징점이고, 상기 제5 특징점은 상기 제3 특징점의 거리인덱스보다 큰 거리인덱스의 최소값을 거리인덱스로 가지는 특징점이다.

또한 상기 이상점 선택부는, 상기 제2 그룹의 특징점의 개수를 상기 제1 그룹의 특징점의 개수 미만으로 설정한다.

한편, 상기 복수의 특징점은 적어도 4개이다.

상기 참조점 결정부는, 상기 제1 그룹의 특징점 중에서, 상기 제1 그룹의 특징점 각각과의 거리를 합한 거리합이 최소가 되는 특징점을 상기 참조점으로 결정한다.

상기 카메라 정보 처리부는, 상기 참조 영상좌표를 원점으로 하며, 상기 영상 데이터에 의해 형성되는 제1 좌표계의 기저벡터를 정사영크기변환하여, 상기 카메라를 원점으로 하는 제2 좌표계의 기저벡터를 계산한다. 여기서 상기 카메라 정보 처리부는 상기 참조점과 상기 제1 그룹의 각 특징점 사이의 벡터, 상기 제1 그룹의 각 특징점에 대응하는 제1 좌표를 상기 제1 좌표계로 정사영 투영한 제2 좌 표, 그리고 상기 참조 영상좌표를 이용하여 상기 제1 좌표계의 기저벡터를 계산하고, 상기 제1 좌표는 상기 제1 그룹의 각 특징점이 상기 참조점을 원점으로 하는 제3 좌표계로 직교 투영되는 좌표이다. 또한 상기 카메라 정보 처리부는, 상기 제2 좌표계의 기저벡터를 행벡터로 구성한 회전 행렬을 상기 카메라의 자세에 대한 추정값으로 생성한다. 그리고 상기 카메라 정보 처리부는, 상기 제1 좌표계의 기저벡터를 이용하여, 상기 객체와 상기 객체가 크기 변환되어 상기 제1 좌표계로 투영된 비율을 계산하고, 상기 참조 영상좌표와 상기 카메라 사이의 벡터 및 상기 비율을 이용하여 상기 카메라와 상기 참조점 사이의 벡터를 계산하며, 상기 카메라와 상기 참조점 사이의 벡터를 상기 카메라의 위치에 대한 추정값으로 생성한다.

상기 카메라 정보 처리부는, 상기 제1 좌표계의 기저벡터를 이용하여, 상기 객체와 상기 객체가 크기 변환되어 상기 제1 좌표계로 투영된 비율을 계산하고, 상기 비율을 이용하여, 상기 카메라로부터 상기 참조점이 놓인 평면까지의 거리를 계산하며, 상기 카메라로부터 상기 참조점이 놓인 평면까지의 거리를 이용하여, 상기 제1 그룹의 각 특징점에 대응하는 제2 좌표와 상기 제1 그룹의 각 특징점에 대응하는 영상좌표 사이의 오차를 계산한다. 여기서, 이전 수행에서 계산된 상기 오차를 이용하여, 상기 제1 그룹의 각 특징점에 대응하는 제2 좌표를 계산하고, 상기 제2 좌표와 상기 참조 영상좌표를 통해 상기 제1 좌표계의 기저벡터를 계산하며, 상기 제1 좌표계의 기저벡터로부터, 상기 객체와 상기 객체가 크기 변환되어 상기 제1 좌표계로 투영된 비율 및 상기 카메라로부터 상기 참조점이 놓인 평면까지의 거리를 계산하여, 상기 오차를 다시 계산한다.

본 발명의 다른 특징에 따르면, 객체가 투영된 영상 데이터를 생성하는 카메라의 자세 및 위치를 추정하는 방법에 있어서, 객체를 나타내는 것으로 가정된 적어도 4 개의 특징점을 입력받는 단계; 상기 특징점에 각각 대응하는 영상데이터의 영상좌표를 검색하는 단계; 상기 특징점 중에서, 상기 객체를 나타내지 않는 것으로 판단되는 이상점을 선택하는 단계; 상기 이상점을 제외한 나머지 특징점에서, 특징점들의 무게중심에 근접한 참조점을 선택하는 단계; 및 상기 복수의 특징점, 상기 복수의 영상좌표, 상기 참조점, 상기 참조점에 대응하는 영상데이터의 참조 영상좌표 및 상기 카메라의 초점거리를 이용하여, 상기 카메라를 원점으로 하는 제1 좌표계의 기저벡터를 행벡터로 구성한 회전행렬과 상기 카메라와 상기 참조점 사이의 이동벡터를 생성하는 단계를 포함한다.

상기 적어도 4개의 특징점은 상기 카메라와 상기 특징점 각각이 놓인 평면까지의 거리가 서로 다른 특징점으로 선택된다.

상기 이상점을 선택하는 단계는, 상기 복수의 특징점 각각에 대해서 최대 거리에 위치한 특징점을 검출하는 단계; 상기 임의의 특징점에 대하여 상기 최대 거리로 검출된 횟수를 상기 각 특징점의 거리인덱스로 설정하는 단계; 및 상기 복수의 특징점에서, 상기 이상점 기준 특징점과 최대 거리인덱스를 가지는 제1 특징점 사이의 거리인덱스를 가지는 특징점을 상기 이상점으로 선택하는 단계를 포함한다. 이때 상기 이상점 기준 특징점은, 상기 복수의 특징점에서, 최소 거리인덱스를 가지는 제2 특징점과 제3 특징점 사이의 거리인덱스를 가지는 특징점 각각과의 거리를 합한 거리합이 최소가 되는 제4 특징점과 상기 이상점 기준 특징점 사이의 거리 가 상기 제4 특징점의 상기 거리합 이상이 되는 특징점으로 선택되고, 상기 제3 특징점은 상기 이상점 기준 특징점의 거리인덱스보다 작은 거리인덱스 중 최대 거리인덱스를 가지는 특징점이다.

상기 이상점의 개수는 상기 복수의 특징점의 전체 개수의 절반 미만으로 선택된다.

상기 참조점을 선택하는 단계에서, 상기 이상점을 제외한 나머지 특징점 중에서, 상기 특징점 각각과의 거리를 합한 거리합이 최소가 되는 특징점으로 상기 참조점을 선택한다.

상기 회전 행렬과 상기 이동벡터를 생성하는 단계는, 상기 이상점을 제외한 특징점 각각에 대하여, 상기 참조점과의 벡터를 계산하는 단계; 상기 이상점을 제외한 특징점 각각에 대하여, 제1 좌표를 계산하는 단계; 상기 이상점을 제외한 특징점 각각에 대하여, 상기 특징점 각각에 대응하는 상기 제1 좌표와 상기 참조 영상좌표 사이의 영상벡터를 계산하는 단계; 상기 이상점을 제외한 특징점 각각에 대하여, 상기 참조점과의 벡터와 상기 영상벡터를 이용하여, 상기 참조 영상좌표를 원점으로 하고 상기 영상 데이터에 의해 형성되는 제2 좌표계의 기저벡터를 계산하는 단계; 및 상기 제2 좌표계의 기저벡터 각각의 스케일요소를 이용하여, 상기 객체와 상기 객체가 크기변환되어 상기 제2 좌표계에 투영된 비율을 계산하는 단계를 포함하고, 상기 제1 좌표는, 상기 각 특징점이 상기 참조점을 원점으로 하는 제3 좌표계에 직교투영한 좌표가 상기 제2 좌표계에 정사영 투영한 좌표이다.

이때, 상기 회전 행렬과 상기 이동벡터를 생성하는 단계는, 상기 카메라와 상기 참조 영상좌표 사이의 벡터 및 상기 비율을 이용하여, 상기 카메라와 상기 참조점 사이의 이동벡터를 계산하고, 상기 이동벡터를 상기 카메라의 위치에 대한 추정값으로 생성하는 단계를 더 포함한다. 또한 상기 회전 행렬과 상기 이동벡터를 생성하는 단계는, 상기 참조 영상좌표를 원점으로 하는 좌표계의 기저벡터 및 상기 비율을 이용하여, 상기 제1 좌표계의 기저벡터를 계산하고, 상기 제1 좌표계의 기저벡터를 행벡터로 구성한 회전 행렬을 상기 카메라의 자세에 대한 추정값으로 생성하는 단계를 더 포함한다.

본 발명에 따르면, 단일 영상 프레임으로부터 실시간으로 카메라 자세 및 위치에 대한 추정값을 생성할 수 있다. 또한 입력된 좌표값 중에서 이상점을 제거한 후에 동적으로 참조점을 설정하여, 카메라 자세 및 위치에 대한 추정값의 정확도가 향상될 수 있다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

본 발명의 실시예에 따른 카메라 자세 추정 장치 및 방법은, 단일 영상 프레임에서 한 물체(이하, "특정 객체"라 함)를 추적하여, 초기 추정값을 설정하지 않고 카메라 자세 및 위치에 대한 각각의 추정값을 생성한다.

이하에서는 본 발명의 실시예에 따른 카메라 자세 추정 장치에 대하여 도 1 및 도 2를 참고하여 설명한다.

도 1은 본 발명의 실시예에 따른 카메라 자세 추정 장치의 블록도이다.

도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 카메라 자세 추정장치는 데이터 입력부(100), 이상점 결정부(200), 참조점 결정부(300) 및 추정값 계산부(400)를 포함한다.

데이터 입력부(100)는 특정 객체에 대한 적어도 4개의 3차원 로컬 좌표(이하, "특징점"이라 함) 및 단일 영상 프레임에서 특징점에 각각 대응되는 영상 좌표(이하, "특징 영상좌표"라 함)를 외부로부터 입력받는다.

여기서 특징점은 특정 객체의 기하정보에 따라, 특정 객체의 외관에서 모서리, 꼭지점 등의 특징적인 부분의 좌표로 선택될 수 있다. 또한 적어도 4개의 특징점은, 특징점이 놓여진 평면과 카메라의 원점(이하, "원점"이라 함) 사이의 거리가 각각 다른 로컬 좌표로 결정된다. 즉, 특징점으로 선택되는 적어도 4개의 로컬좌표에서, 어느 하나의 로컬좌표와 원점 사이의 거리는 다른 3개의 로컬좌표에 의한 평면과 원점 사이의 거리와 다르다.

그리고 특징 영상좌표는 주변의 영상좌표와 다른 영상좌표를 검출하는 마커를 통해 검출될 수 있다. 마커를 이용하여 특징 영상좌표를 검출하는 것은 당업자에게 일반적으로 알려져 있는 사항이며, 본 발명의 실시예를 설명하는 것과 크게 관련이 없으므로, 이하에서 상세한 설명은 생략하기로 한다.

이상점 결정부(200)는, 특징점 중에서 특정 객체와 연관되지 않은 로컬좌표 (이하, "이상점"이라 함)를 선택한다. 이상점은 특정 객체에 관련된 로컬좌표가 아닌데도, 외부 요인이나 오류 등으로 인하여 특징점으로 결정된 로컬좌표이다. 이상점을 포함한 복수의 특징점으로부터 선택된 참조점에 의해 카메라의 자세 및 위치를 추정하면, 카메라 자세 및 위치에 대한 추정값과 실제값 사이에 비교적 큰 오차가 발생될 수 있다. 이상점 결정부(200)는, 특징점으로 인가된 로컬좌표 각각에 대해 다른 특징점들로부터 멀리 떨어진 로컬좌표들로 이상점을 선택한다.

참조점 결정부(300)는 입력된 특징점 중에서 이상점을 제외한 나머지 특징점(이하, "참조 결정 그룹"이라 함)으로 참조점을 결정한다. 여기서, 참조점은 참조 결정 그룹의 무게 중심에 가장 근접하는 참조 결정 그룹의 특징점을 참조점으로 선택된다. 또한 참조점 결정부(300)는 참조점에 대응하는 특징 영상좌표(이하, "참조 영상좌표"라 함)를 결정한다.

추정값 계산부(400)는 참조 결정 그룹의 특징점, 참조점 및 참조 영상좌표를 이용하여, 카메라 자세에 해당하는 회전 행렬과 카메라 위치에 해당하는 이동벡터를 계산한다.

이하에서는 본 발명의 실시예에 따른 카메라 자세 추정장치에서 입력된 특징점 중에서 이상점을 선택하는 이상점 결정부(200)에 대하여 설명한다.

도 2는 본 발명의 실시예에 따른 이상점 결정부(200)의 블록도를 나타낸 것이다.

도 2에 도시한 바와 같이, 이상점 결정부(200)는 거리계산부(210), 좌표정렬부(220) 및 이상점선택부(230)를 포함한다.

거리계산부(210)는 입력된 특징점 각각에 대하여, 해당 특징점과 나머지 특징점 각각과의 거리를 계산하여, 해당 특징점에서 가장 멀리 떨어진 특징점(이하, "최대거리 좌표"라 함)을 검색한다. 그리고, 거리계산부(210)는 최대거리 좌표가 검색된 경우마다, 최대거리 좌표로 검색된 특징점의 거리인덱스를 하나씩 증가시킨다. 이와 같이 모든 특징점 각각에 대응하여, 최대거리 좌표를 검색하고 최대거리 좌표가 된 특징점의 거리인덱스를 카운트한다.

좌표정렬부(220)는 특징점의 거리인덱스를 오름차순으로 정렬하고, 오름차순으로 정렬된 거리인덱스에 따라 복수의 특징점을 정렬한다.

이상점 선택부(230)는 어느 하나의 특징점과 나머지 특징점들 각각 과의 거리를 합한 값(이하, "거리합"이라 함)을 계산한다. 이와 같이, 복수의 특징점 각각의 거리합을 모두 계산하여, 최소 거리합 및 최소 거리합을 갖는 특징점(이하, "최소 거리합 특징점"이라 함)을 검출한다. 또한, 이상점 선택부(230)는, 임의로 선택 된 거리인덱스를 초과하는 거리인덱스를 갖는 특징점 중에서 최소 거리인덱스를 갖는 특징점(이하, "거리합 비교 특징점"이라 함)과 최소 거리합 특징점 사이의 거리가 최소 거리합보다 크면, 거리합 비교 특징점이 갖는 거리인덱스 내지 최대 거리인덱스를 갖는 특징점들을 이상점으로 선택한다. 한편, 이상점으로 결정되는 특징점이 너무 많아져서, 카메라 자세 및 위치를 계산하는 데에 오류가 발생될 수 있으므로, 이상점의 개수는 전체 특징점의 절반을 넘지 않도록 결정된다.

이상과 같이, 본 발명의 실시예에 따르면, 다른 특징점들 각각과의 거리를 합한 값이 평균 이상이 되는 일부의 특징점들을 이상점으로 결정함으로써, 이하에서 설명할 참조점을 결정하는 데에 있어 오류를 줄일 수 있다. 또한, 이상점을 한번에 제거함으로써, 복잡한 계산을 줄일 수 있다.

다음으로, 본 발명의 실시예에 따른, 단일 영상 프레임으로부터 초기 추정값을 설정하지 않고 카메라 자세를 추정하는 방법에 대하여 설명한다.

도 3은 본 발명의 실시예에 따른 카메라 자세 추정 방법의 순서도를 나타낸 것이다.

도 3에 도시한 바와 같이, 특징점 및 특징영상좌표가 입력된다(S310). 이때, 특징점은 적어도 4개의 로컬좌표로 결정되며, 특징점으로 결정된 적어도 4개의 로컬좌표에 있어서, 4개의 로컬좌표 중에서 어느 하나의 로컬좌표와 원점 사이의 거리는 다른 3개의 로컬좌표에 의한 평면과 원점 사이의 거리와 다른 값을 갖는다.

이와 같이 입력된 특징점 중에서, 카메라 자세 및 위치의 추정값에서 오차를 발생시키는 원인이 되는 이상점을 선택한다(S320). 이때, 이상점은 다른 특징점들 로부터 멀리 떨어진 특징점들로 특징점의 전체개수의 절반 미만의 범위 내에서 선택된다.

입력된 특징점 중에서 이상점을 제외한 나머지 특징점(참조 결정 그룹)으로부터, 참조점 및 참조 영상좌표를 결정한다(S330). 여기서, 참조점은 참조 결정 그룹에 포함된 특징점 중에서 참조 결정 그룹의 무게중심에 근접한 특징점이며, 참조 영상좌표는 참조점에 대응하는 영상좌표이다.

다음, 참조 결정 그룹, 참조점과 참조영상좌표를 이용하여, 영상 데이터를 생성한 카메라를 원점으로 하는 좌표계(이하, "카메라 좌표계"라 함)와 참조점을 원점으로 하는 좌표계(이하, "참조점 좌표계"라 함) 사이의 기저벡터를 계산하고, 카메라 좌표계의 원점에서 참조점이 놓여진 평면 사이의 거리(이하, "깊이좌표"라 함)을 계산한다(S340). 이와 같이 계산된 기저벡터와 깊이좌표를 통해 카메라의 회전행렬과 이동벡터에 대한 각각의 추정값을 생성한다(S350).

도 4는 본 발명의 실시예에 따른 이상점을 선택하는 방법에 대한 순서도를 나타낸 것이다. 도 4에서 N은 입력된 특징점의 총개수를 의미하고, k, i 및 j는 특징점의 인덱스를 나타낸다.

도 4에 도시한 바와 같이, 특정 객체에 대응하는 적어도 4개의 특징점이 외부로부터 입력된다(S410). 여기서 4개의 특징점은 특징점이 놓여진 평면과 카메라의 원점(이하, "원점"이라 함) 사이의 거리가 각각 다른 로컬 좌표로 결정된다.

외부로부터 입력된 특징점 각각에 대응하여 최대 거리에 위치한 특징점(최대거리 좌표)을 검출한다(S411). 이와 같이 최대 거리 좌표를 검출할 때마다, 최대 거리 좌표로 검출된 특징점의 거리인덱스를 하나씩 증가시킨다(S412). 즉, 임의의 특징점에 대하여 최대 거리 좌표를 결정한 후에, 최대 거리 좌표로 결정된 특징점의 거리인덱스를 카운트한다. 이와 같이 모든 특징점에 대하여 최대 거리 좌표를 검출하고, 최대 거리 좌표가 검출될 때마다 최대 거리 좌표에 해당하는 특징점을 카운트하면, 최대 거리 좌표로 결정되는 횟수가 많을수록, 해당하는 특징점의 거리인덱스가 높아진다.

다음, 각 특징점의 거리인덱스를 오름차순으로 정렬한 후에, 오름차순으로 정렬된 거리인덱스 순으로 특징점을 재배열한다(S420). 도 4에서 특징점(P₀, P₁, P₂,…, P_N _-1)는 오름차순으로 정렬된 거리인덱스에 따라 재배열된 특징점을 나타낸다. 즉, P₀은 최대거리좌표로 결정된 횟수가 가장 적은 특징점이고, P_N _-1은 최대거리좌표로 결정된 횟수가 가장 많은 특징점이다.

복수의 특징점(P₀, P₁, P₂,…, P_N _-1)을 거리인덱스의 오름차순에 따라 정렬시킨 후, N-2 내지 N-(N/2)-1의 인덱스를 갖는 특징점 중에서 선택되는 이상 경계 특징점을 결정한다. 이상 경계 특징점은 다음과 같은 과정을 통해 결정한다.

우선, N-2 내지 N-(N/2)-1의 인덱스를 갖는 특징점 중에서 임의의 특징점(P_j)을 결정한다. 그리고 복수의 특징점(P₀, P₁, P₂,…, P_N _-1) 중 어느 하나의 특징점(P_k)을 기준으로, 최소 거리인덱스를 갖는 특징점(P₀) 내지 임의의 특징점(P_j) 사이에 배열되는 특징점들과의 각각의 거리를 계산하고, 이와 같이 계산 된 거리들을 합한 거리합을 특징점(P_k)에 대한 거리합으로 결정한다. 이와 같이 복수의 특징점(P₀, P₁, P₂,…, P_N _-1)에 대해 각각의 거리합을 계산한 다음, 각 특징점에 대한 거리합 중에서 최소값(최소 거리합)을 검출하고, 이때 최소 거리합이 되게 하는 특징점(최소 거리합 특징점, P_t)를 검출한다(S430). 수학식 1은 최소 거리합 특징점(Pt)의 인덱스를 검출하는 식이다.

수학식 1에서, t는 최소 거리합 특징점(P_t)의 인덱스이고, P_k는 복수의 특징점(P₀, P₁, P₂,, P_N _-1) 중 어느 하나의 특징점을 나타낸 것이다. 그리고 P_i는 0 내지 j의 인덱스를 갖는 특징점 중에서 임의의 특징점을 나타낸 것이다.

이후, 임의의 특징점(P_j)보다 거리인덱스가 큰 특징점들 중에서 최소 거리인덱스를 갖는 특징점(P_j ₊₁)과 최소 거리합 특징점(P_t) 사이의 거리와 최소거리합을 비교한다(S431).

특징점(P_j ₊₁)과 최소 거리합 특징점(P_t) 사이의 거리가 최소 거리합 이하이 면, N-2 내지 N/2-1의 인덱스를 갖는 특징점 중에서 새로운 특징점(P_j)을 결정하여, 수학식 1의 과정을 수행한다(S430).

반면, 특징점(P_j ₊₁)과 최소 거리합 특징점(P_t) 사이의 거리가 최소 거리합을 초과하면, 현재 수행에서의 특징점(P_j)을 이상 경계 특징점으로 결정하고, 특징점(P_j ₊₁) 내지 특징점(P_N _-1) 사이에 배열된 특징점들을 이상점으로 결정한다(S432).

이하에서는, 도 4에 도시한 이상로컬좌표를 선택하는 방법에 대하여, 거리인덱스의 오름차순으로 정렬된 특징점(P₀~P₉)의 경우를 예시로 들어서 설명한다. 여기서 특징점(P₀~P₉)의 전체 개수는 10개이며, 특징점(P₀)은 전체 특징점(P₀~P₉) 중에서 최대거리좌표로 결정된 횟수가 가장 적은 특징점이고, 특징로컬조표(P₉)는 전체 특징점(P₀~P₉) 중에서 최대거리좌표로 결정된 횟수가 가장 많은 특징점이다.

우선, 8 내지 4의 인덱스를 갖는 특징점 중에서 임의의 특징점(P_j)를 결정한다. 첫번째 수행에서는 임의의 특징점(P_j)의 인덱스(j)는 8인 것으로 가정한다.

첫번째 수행에서, 특징점(P₀)을 기준으로 하여 특징점(P₀~P₈) 사이의 거리들을 합한 거리합을 계산하고, 이와 마찬가지로 특징점(P₁~P₉)을 각각 기준으로 했을 경우의 거리합을 계산한다. 이와 같이 계산된 거리합 중에서 최소값(최소 거리합)이 발생된 것은, 특징점(P₃)을 기준으로 했을 때라고 가정하면, 특징점(P₃)과 특징 점(P₉) 사이의 거리와 최소 거리합을 비교한다. 이때 특징점(P₃)과 특징점(P₉) 사이의 거리가 최소 거리합 이하이면, j를 카운트하여 다시 수학식 1의 과정을 수행한다.

즉, 두번째 수행에서 j를 7로 설정한 것으로 가정한다. 이후, 두번째 수행에서 특징점(P₀~P₉)을 각각 기준으로 했을 때, 특징점(P₀~P₇) 사이의 거리들을 합한 거리합을 계산한다. 이때 특징점(P₁)을 기준으로 했을 때 최소 거리합이 발생되었다고 가정하면, 특징점(P₁)과 특징점(P₈) 사이의 거리와 두번째 수행에서의 최소 거리합을 비교한다. 이때 특징점(P₁)과 특징점(P₈) 사이의 거리가 두번째 수행에서의 최소 거리합을 초과하면, 특징점(P₈~P₉)를 이상점으로 결정한다.

본 발명의 실시예에 따르면, 다른 점들에 비해 비교적 멀리 떨어진 로컬좌표들을 특정 객체를 직접적으로 나타내지 않는 이상점으로 결정한다. 또한 j의 범위를 N-2 내지 N-(N/2)-1으로 설정하여, 이상점의 개수가 전체 특징점 개수의 절반 이상이 되는 것을 방지한다. 이에 따라, 이상점을 제외한 나머지 특징점으로 참조점을 결정할 때에 오류를 감소시킬 수 있다. 카메라 자세 및 위치에 대한 추정값은 설정된 참조점에 따라 달라지므로, 참조점을 적절하게 설정할수록 추정값의 오차가 줄어들게 된다.

이하에서는, 이상점을 제외한 나머지 특징점중에서 참조점을 선택하는 방법에 대하여 설명한다.

도 5는 본 발명의 실시예에 따른 참조점을 선택하는 방법에 대한 순서도를 나타낸 것이다. 도 5에서, M은 입력된 특징점 중에서 이상점을 제외한 나머지 특징점의 개수를 의미하며, i, j는 특징점의 인덱스를 의미하고, di는 특징점(P_i)을 기준으로 다른 특징점들과의 거리들을 합한 거리합을 의미한다.

N개의 특징점 중에서 이상점을 제외한 나머지 M개의 특징점을 입력한다(S510).

M개의 특징점 중 임의의 특징점(P_i)을 기준으로 다른 특징점들과의 각각의 거리를 합한 거리합(d_i)을 계산한다(S520). 수학식 2는 특징점(P_i)에 대한 거리합(d_i)을 계산하는 식이다.

수학식 2에 의해 M개의 특징점(P_i)에 대한 각각의 거리합(d_i)을 계산하면, 계산된 거리합(d_i) 중에서 최소값을 검출하고, 최소값이 되는 특징점(P_r)을 검출한다(S530). 이와 같이 검출된 특징점(P_r)을 참조점으로 출력한다(S540).

이하에서는 이상로컬좌표를 제외한 나머지 특징점의 개수가 4개인 경우를 예로 들어서 도 5에 도시한 참조점을 설정하는 방법에 대하여 설명한다.

우선, 이상점을 제외한 나머지 특징점(P₀~P₃)이 입력된다.

다음, 특징점(P₀)에 대한 거리합(d₀), 특징점(P₁)에 대한 거리합(d₁), 특징점(P₂)에 대한 거리합(d₂), 특징점(P₃)에 대한 거리합(d₃)을 각각 계산한다. 수학식 2에 따르면, 거리합(d₀)은 ((P₀-P₁)+(P₀-P₂)+(P₀-P₃))이고, 거리합(d₁)은 ((P₁-P₀)+(P₁-P₂)+(P₁-P₃)))이 되며, 거리합(d₂)은 ((P₂-P₀)+(P₂-P₁)+(P₂-P₃)))이 되고, 거리합(d₃)은 ((P₃-P₀)+(P₃-P₁)+(P₃-P₂)))이 된다.

이와 같이 계산된 거리합(d₁~d₃)중에서 최소값을 검출하고, 최소값이 되게 하는 특징점으로 참조점을 결정한다. 예를 들면, 거리합(d₁~d₃)중에서 거리합(d₂)가 최소값이라면, 특징점(P₂)가 참조점으로 결정된다.

이상과 같이, 본 발명의 실시예에 따르면, 입력된 특징점에서 이상로컬좌표를 제외한 나머지 특징점들 중에서 특징점들의 무게중심에 가장 근접한 특징점을 참조점으로 설정함으로써, 카메라의 자세 및 위치에 대한 추정값을 생성할 때에 오차를 최소한으로 감소시킬 수 있다.

이하에서는, 이상점을 제외한 나머지 특징점 및 참조점으로부터 카메라의 자세 및 위치에 대한 추정값을 계산하는 방법에 대하여 설명한다.

본 발명의 실시예에 따르면, 특정 객체를 나타내는 특징점들의 무게 중심에 가장 근접한 참조점과 카메라의 중심점을 원점(0, 0, 0)으로 한 카메라 좌표계 사 이의 관계로부터 카메라의 자세 및 위치를 추정한다. 즉, 카메라 좌표계의 원점과 참조점 사이의 회전 각도를 나타내는 회전 행렬을 카메라의 자세에 대한 추정값으로 설정하고, 카메라 좌표계의 원점과 참조점 사이의 떨어진 거리를 나타내는 이동벡터를 카메라의 위치에 대한 추정값으로 설정한다. 이때 카메라의 원점은 카메라 개개의 특성에 의해 결정되므로, 이하에서 자세한 설명은 생략한다.

수학식 3은 회전행렬을 나타낸 것이다.

수학식 3에서,

은 회전 행렬을 의미하며

,

및

는 카메라 좌표계의 기저벡터(basis vector)를 나타내며,

는 행렬 회전을 나타낸다. 수학식 3에 나타낸 바와 같이, 회전행렬(

)은 카메라 좌표계의 기저벡터(

,

)를 행벡터로 구성한 행렬 회전으로 구성된다.

수학식 4는 이동벡터를 나타낸 것이다.

수학식 4에서,

는 이동벡터를 나타내고,

는 참조점(P_r)이 놓인 평면에서 카메라 좌표계의 원점 사이의 거리(이하 "참조깊이좌표"라 함)를 나타낸다. 그리고

는 카메라의 초점거리를 나타내고, (

)는 참조점이 영상 데이터에 투영된 영상좌표(참조영상좌표)와 카메라의 원점에 대한 벡터를 의미한다. 이때 초점거리(

)는 카메라의 원점과 영상이 생성되는 부분(예를 들면, CCD 센서)사이의 거리를 의미한다. 수학식 4에 나타낸 바와 같이, 이동벡터(

)는 참조깊이좌표(

), 초점거리(

) 및 영상벡터(

)에 대한 관계식으로 나타낼 수 있다.

이상과 같이, 카메라의 자세와 위치에 대한 추정값을 생성하기 위해서는, 카메라 좌표계의 기저벡터(

,

), 참조깊이좌표(

), 초점거 리(

) 및 영상벡터(

)의 값이 요구된다. 여기서, 기저벡터(

)는 기저벡터(

)와 기저벡터(

)의 외적으로 계산될 수 있고, 초점거리(

)는 초기 동작시에 특징점과 함께 입력되며, 영상벡터(

)는 참조영상좌표로부터 계산될 수 있다. 따라서 기저벡터(

), 기저벡터(

) 및 참조깊이좌표(

)를 계산하는 과정이 별도로 요구된다.

본 발명의 실시예에 따르면, 정사영 투영모델을 이용하여, 카메라좌표계의 기저벡터(

,

) 및 참조깊이좌표(

)를 계산한다.

도 6은 본 발명의 실시예에 따른 정사영 투영모델(Scaled Orthographic Projection) 기하도를 나타낸 것이다.

도 6에서,

는 카메라 좌표계의 원점을 나타내고,

는 카메라 좌표계를 의미한다.

은 참조점을 나타내며,

는 참조점을 원점으로 하는 3차원좌표계(이하, "로컬좌표계"라 함)를 의미한다. 그리고

은 참조영상좌표를 나타내며,

는 참조영상좌표를 원점으로 하는 2차원좌표계(이하, "영상좌표계"라 함)를 의미하고,

는 초점거리를 나타내며,

는 참조깊이좌표를 나타낸다.

또한 도 4에서

는 임의의 특징점이며,

는 특징점(

)가 영상데이터에 원근투영(perspective projection)된 영상좌표(이하, "원근 투영 영상좌표"라 함)이다. 그리고

는 특징점(

)가 로컬좌표계에 직교 투사된 로컬좌표를 나타내며,

는 로컬좌표(

)가 영상데이터 좌표계에 크기변환 정사영 투영(scaled orthographic projection)되는 영상 좌표이다. 이하에서 영상좌표(

)는 특징점(

)에 대한 직교 정사영 투영 영상좌표라 한다. 도 4에 도시한 정사영 투영모델에서, 실제 특정 객체의 크기는 크기변수(

)의 비율로 영상 데이터에 크기변환되며, 크기변수(

)는

으로 정의된다.

특징점(

)에 대한 직교 정사영 투영 영상좌표(

)의 x-좌표와 y-좌표는 아래의 수학식 5와 같이 나타낼 수 있다.

그리고 참조점(

)와 특징점(

)에 대한 벡터(

)를 정사영 크기변 환한 상태의 x-좌표와 y-좌표는 아래의 수학식 6과 같이 나타낼 수 있다.

수학식 6에서,

와

는 각각 영상좌표(

)의 좌표인

와

를 나타낸다. 이때

는 특징점(

)의 원근 투영 영상좌표(

)와 특징점(

)의 직교정사영 투영 영상좌표(

)의 차이를 나타내기 위한 것(이하, "오차"라 함)으로써,

으로 정의될 수 있다. 수학식 6에 나타낸 바와 같이, 벡터(

)의 좌표는 크기변수(

), 참조영상좌표(

) 및 영상좌표(

)를 이용한 관계식으로 나타낼 수 있다.

한편, 참조점(

)와 특징점(

)에 대한 벡터를 벡터(

)로 나타내면, 벡터(

)는 벡터(

)와 벡터

의 합으로 나타낼 수 있다. 수학식 7는 벡터(

)와 벡터

사이의 관계식으로 벡터(

)를 나타낸 것이다.

수학식 7에 나타낸 바와 같이, 벡터(

)는 벡터(

)와 벡터

의 합으로 나타낼 수 있다. 여기서 벡터(

)는 참조영상 좌표(

)와 영상좌표(

)에 대한 벡터인 영상벡터(

)와 크기변수(

)의 비율로 비례한다.

수학식 7의 양변에 기저벡터(

)를 내적하면, 아래의 수학식 8과 같이 정리될 수 있다.

수학식 8에 나타낸 바와 같이, 벡터

와 기저벡터(

)를 내적하면 x-축과 수직이고, 영상벡터(

)와 기저벡터(

)를 내적하면 영상벡터(

)의 x-좌표인

가 된다.

그리고, 수학식 8과 마찬가지로, 수학식 7의 양변에 기저벡터(

)를 내적하면, 아래의 수학식 9와 같이 정리될 수 있다.

수학식 9에 나타낸 바와 같이, 벡터

와 기저벡터(

)를 내적하면 y-축과 수직이고, 영상벡터(

)와 기저벡터(

)를 내적하면 영상벡터(

)의 y-좌표인

가 된다.

수학식 8 및 수학식 9에서, 카메라 좌표계의 기저벡터(

)와 영상좌표계의 기저벡터(

)는 서로 비례하고, 카메라좌표계의 기저벡터(

)는 영상좌표계의 기저벡터(

)는 서로 비례한다. 즉, 영상좌표계의 기저벡터(

)는

으로 나타낼 수 있고, 영상좌표계의 기저벡터(

)는

으로 나타낼 수 있다.

따라서, 수학식 8 및 수학식 9는 아래의 수학식 10과 같이 정리될 수 있다.

수학식 10에 나타낸 바와 같이, 참조점(

)과 임의의 특징점(

) 사이의 벡터(

)와 특징점(

)의 원근 투영 영상좌표(

) 및 참조영상좌표(

)를 통해 기저벡터(

)와 기저벡터(

)를 구할 수 있다. 수학식 10에 의해 계산된 기저벡터(

)와 기저벡터(

)로부터 기저벡터(

)와 기저벡터(

)를 구할 수 있고, 기저벡터(

)와 기저벡터(

)의 외적으로 기저벡터(

)를 계산할 수 있다.

또한 기저벡터(

)의 크기 성분과 기저벡터(

)의 크기 성분의 평균으로부터 크기변수(

)가 계산된다. 이와 같이 계산되는 크기변수(

) 및 초점거리(

)로부터 참조크기좌표(

)를 구할 수 있다.

한편, 오차(

)가 정확하지 않으면, 카메라 자세 및 위치에 대한 근사적으로 계산된다. 따라서 오차(

)를 정확하게 계산하는 것이 필요하다. 본 발명의 실시예에 따르면, 오차(

)를 반복계산하고, 미리 정의된 임계치 이하가 되도록 한다. 즉, 전의 수행에서 계산된 오차(

)로부터 크기변수(

)를 계산하여 참조깊이좌표(

)를 계산하여, 새로 구해진 참조깊이좌표(

)로부터 오차(

)를 다시 계산하는 것을 반복한다. 이와 같은 오차(

)의 반복계산을 통해 보다 정확하게 카메라의 자세 및 위치에 대한 추정값을 얻을 수 있다.

다음, 설정된 참조점 및 참조영상좌표로부터 카메라의 자세 및 위치에 대한 추정값을 계산하는 과정에 대하여 설명한다.

도 7은 본 발명의 실시예에 따른 카메라 자세 및 위치에 대한 추정값을 생성하는 과정을 나타낸 순서도이다. 이하에서, i는 0 이상 M-1 이하의 범위를 갖고, 참조점의 인덱스(r)과 동일하지 않은 특징점의 인덱스이다.

참조점(

)을 포함하는 M개의 특징점(P₀~P_M _-1)이 입력된다(S710).

그리고 참조점(

)과 다른 특징점(

)에 대한 각각의 벡터(

)를 생성한다(S720). 수학식 11은 벡터(

)를 나타내는 식이다.

수학식 11에 의하여, 계산된 벡터(

)를 행벡터로 구성한 행렬(

)를 생성한다(S721). 수학식 12는 행렬(

)를 나타낸 것이다.

수학식 12에 나타낸 바와 같이, 행렬(

)는 벡터(

)를 행벡터로 구성한 것으로써, M×3의 크기를 갖는다. 그리고 행렬(

)의 의사역행렬인 행렬 (

)를 생성한다(S722). 수학식 13은 3×M의 크기를 갖는 행렬(

)를 나타낸 것이다.

본 발명의 실시예에 따르면, 오차(

)를 최대한 정확하게 계산하기 위하여, 오차(

)를 반복해서 계산한다. 이하에서 오차(

)를 계산하는 과정을 반복한 횟수를 반복횟수라 한다.

반복 횟수가 0인 경우로써 오차(

)가 한번도 계산되지 않았을 때에는(S730), 오차(

)를 0으로 가정한다(S731). 이와 같이, 오차(

)를 0으로 가정한 상태에서, 직교 정사영 투영 영상좌표(

)의 x-좌표(

)는

이고, 직교 정사영 투영 영상좌표(

)의 y-좌표(

)는

인 것을 이용하여, (M-1)개의 특징점(

)에 대한 직교 정 사영 투영 영상좌표(

)의 x-좌표(

)와 y-좌표(

)를 계산한다(S740).

참조영상좌표(

)와 (M-1)개의 영상좌표(

)에 대하여, 크기의 벡터(

)와 벡터(

)를 계산한다(S741).

다음, 아래의 수학식 14에 나타낸 바와 같이, 수학식 10에 따라 행렬 (

)와 벡터(

) 및 행렬 (

)와 벡터(

)를 이용하여 각각 영상좌표계의 기저벡터(

)와 기저벡터(

)를 계산한다(S742).

다음으로, 크기변수(

)와 카메라 좌표계의 기저벡터(

)와 기저벡터(

)를 구한다.

즉, 크기변수(

)는 기저벡터(

)와 기저벡터(

)에 대한 각각의 크기 성분을 통해 계산한다(S750).

아래의 수학식 15에 나타낸 바와 같이, 크기변수(

)를 계산하기 위하여, 수학식 14에 의해 계산된 기저벡터(

)와 기저벡터(

)의 크기 성분을 계산한다.

수학식 15에서,

는 기저벡터(

)의 크기 성분이고,

는 기저벡터(

)의 크기 성분이다. 수학식 15를 통해, 기저벡터(

)와 기저벡터(

)의 크기 성분을 계산한 다음,

와

의 평균을 구하여, 크기 변수(

)로 결정한다.

그리고 크기변수(

)는

으로 정의되는 것을 이용하여, 참조깊이좌표(

)를 계산한다(S751).

또한, 영상좌표계의 기저벡터(

)는

이고, 영상좌표계의 기저벡터(

)는

인 것을 이용하여, 영상좌표계의 기저벡터(

)와 기저벡터(

)로부터 카메라 좌표계의 기저벡터(

)와 기저벡터(

)를 계산한다(S760).

그리고 아래의 수학식 16을 이용하여, 카메라 좌표계의 기저벡터(

)를 계산한다(S761).

수학식 16에 나타낸 바와 같이, 카메라 좌표계의 기저벡터(

)은 기저벡 터(

)와 기저벡터(

)의 외적으로 계산된다.

이상과 같이, 카메라 좌표계의 기저벡터(

), 기저벡터(

) 및 참조깊이좌표(

)를 계산한 이후에, 반복횟수가 기준반복횟수 이상이 되는지의 여부와 오차(

)가 기준오차 이하가 되는지의 여부를 판단한다(S770). 여기서 기준반복횟수는 계산의 지연을 방해하지 않을 정도의 횟수로 다수의 경험에 의해 결정될 수 있고, 기준오차는 추정값과 실제값 사이의 오차가 최소한으로 제한되는 범위에서의 최대값으로 결정될 수 있다. 기준반복횟수와 기준오차는 본 발명의 실시예를 설명하는 것과 크게 관련이 없으므로, 이하에서 상세한 설명은 생략하기로 한다.

이때, 반복횟수가 기준반복횟수 미만인 경우 또는 오차(

)가 기준오차를 초과하는 경우에 현재 수행에 의해 계산된 오차(

)를 이용하여 다시 반복 계산을 수행한다(S730).

반면, 반복횟수가 기준반복횟수 이상이 되는 경우, 오차(

)가 기준오차 이하인 경우, 이전 수행에서 계산된 오차와 현재 수행에서 계산된 오차가 동일한 경우 중 어느 하나에 포함되면(S770), 현재 수행에서 계산된 기저벡터(

), 기저벡터(

)를 행벡터로 구성한 회전행렬(

) 및 수학식 4와 현재 수행에서 계산된 참조깊이좌표(

)를 이용하여 이동벡터(

)를 출력한다(S780).

이상과 같이, 본 발명의 실시예에 따르면, 참조점을 검출하기 전에, 입력된 특징점들 중에서 이상점을 제거하는 단계를 포함함으로써, 참조점을 적절하게 설정할 수 있다. 이에 따라 카메라 자세와 위치에 대한 추정값이 실제값과 더욱 가깝게 계산될 수 있다. 또한, 선형계산법만으로 모든 계산이 수행되므로, 계산의 복잡도가 낮아지고, 계산속도도 빨라질 수 있다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

도 2는 본 발명의 실시예에 따른 이상점 결정부(200)의 블록도이다.

도 3은 본 발명의 실시예에 따른 카메라 자세의 추정 방법을 대략적으로 나타낸 순서도이다.

도 4는 본 발명의 실시예에 따른 이상점을 선택하는 방법에 대한 순서도를 나타낸 것이다.

도 5는 본 발명의 실시예에 따른 참조점을 선택하는 방법에 대한 순서도를 나타낸 것이다.

도 6은 본 발명의 실시예에 따른 정사영 투영모델 기하도를 나타낸 것이다.

도 7은 본 발명의 실시예에 따른 카메라 자세 및 위치에 대한 추정값을 생성하는 과정을 나타낸 순서도이다.

Claims

단일 프레임의 영상 데이터에 포함되는 복수의 영상좌표와 상기 복수의 영상좌표가 각각 나타내는 복수의 특징점을 포함하는 데이터를 입력받는 데이터입력부;

상기 복수의 특징점을 상기 카메라의 자세를 추정하기 위해 이용할 객체에 대응하는 제1 그룹과 상기 제1 그룹 이외의 특징점인 이상점을 포함하는 제2 그룹으로 구분하는 이상점 결정부;

상기 제1 그룹의 특징점 중에서, 상기 제1 그룹의 특징점의 무게중심에 근접한 참조점을 검출하고, 상기 참조점이 영상 데이터에 투영되는 참조영상좌표를 검출하는 참조점 결정부; 및

상기 특징점과 참조영상좌표를 이용하여, 상기 영상데이터를 생성한 카메라의 자세와 위치에 대한 추정값을 생성하는 카메라 정보 처리부를 포함하는 카메라 자세 추정장치.
제1항에 있어서,

상기 이상점 결정부는,

상기 복수의 특징점 각각에 대해서 최대거리에 위치한 특징점을 검출하고, 상기 최대거리에 위치한 특징점으로 검출되는 횟수를 상기 각 특징점의 거리인덱스로 설정하는 거리계산부; 및

상기 복수의 특징점 중에서 상기 제2 그룹의 기준 특징점과 제1 특징점 사이 의 거리인덱스를 가지는 특징점을 상기 제2 그룹으로 설정하는 이상점 선택부를 포함하며,

상기 제1 특징점은 상기 복수의 특징점 중에서 최대 거리인덱스를 가지는 특징점인 카메라 자세 추정장치.
제2항에 있어서,

상기 이상점 선택부는,

상기 복수의 특징점에서, 제2 특징점과 임의의 제3 특징점 사이의 거리인덱스를 가지는 특징점 각각과의 거리를 합한 거리합이 최소가 되는 제4 특징점을 결정하고,

상기 제4 특징점의 상기 거리합이 제5 특징점과 상기 제4 특징점 사이의 거리 미만이면, 상기 제5 특징점을 상기 제2 그룹의 기준 특징점으로 설정하며,

상기 제2 특징점은 상기 복수의 특징점 중에서 최소 거리인덱스를 가지는 특징점이고, 상기 제5 특징점은 상기 제3 특징점의 거리인덱스보다 큰 거리인덱스의 최소값을 거리인덱스로 가지는 특징점인 카메라 자세 추정장치.
제1항에 있어서,

상기 이상점 선택부는,

상기 제2 그룹의 특징점의 개수를 상기 제1 그룹의 특징점의 개수 미만으로 설정하는 카메라 자세 추정장치.
제1항에 있어서,

상기 복수의 특징점은 적어도 4개인 카메라 자세 추정장치.
제1항에 있어서,

상기 참조점 결정부는,

상기 제1 그룹의 특징점 중에서, 상기 제1 그룹의 특징점 각각과의 거리를 합한 거리합이 최소가 되는 특징점을 상기 참조점으로 결정하는 카메라 자세 추정장치.
제1항에 있어서,

상기 카메라 정보 처리부는,

상기 참조 영상좌표를 원점으로 하며, 상기 영상 데이터에 의해 형성되는 제1 좌표계의 기저벡터를 정사영크기변환하여, 상기 카메라를 원점으로 하는 제2 좌표계의 기저벡터를 계산하는 카메라 자세 추정장치.
제7항에 있어서,

상기 카메라 정보 처리부는,

상기 참조점과 상기 제1 그룹의 각 특징점 사이의 벡터, 상기 제1 그룹의 각 특징점에 대응하는 제1 좌표를 상기 제1 좌표계로 정사영 투영한 제2 좌표, 그리고 상기 참조 영상좌표를 이용하여 상기 제1 좌표계의 기저벡터를 계산하고,

상기 제1 좌표는 상기 제1 그룹의 각 특징점이 상기 참조점을 원점으로 하는 제3 좌표계로 직교 투영되는 좌표인 카메라 자세 추정장치.
제7항에 있어서,

상기 카메라 정보 처리부는,

상기 제2 좌표계의 기저벡터를 행벡터로 구성한 회전 행렬을 상기 카메라의 자세에 대한 추정값으로 생성하는 카메라 자세 추정장치.
제7항에 있어서,

상기 카메라 정보 처리부는,

상기 제1 좌표계의 기저벡터를 이용하여, 상기 객체와 상기 객체가 크기 변환되어 상기 제1 좌표계로 투영된 비율을 계산하고,

상기 참조 영상좌표와 상기 카메라 사이의 벡터 및 상기 비율을 이용하여 상기 카메라와 상기 참조점 사이의 벡터를 계산하며,

상기 카메라와 상기 참조점 사이의 벡터를 상기 카메라의 위치에 대한 추정값으로 생성하는 카메라 자세 추정장치.
제8항에 있어서,

상기 카메라 정보 처리부는,

상기 제1 좌표계의 기저벡터를 이용하여, 상기 객체와 상기 객체가 크기 변환되어 상기 제1 좌표계로 투영된 비율을 계산하고,

상기 비율을 이용하여, 상기 카메라로부터 상기 참조점이 놓인 평면까지의 거리를 계산하며,

상기 카메라로부터 상기 참조점이 놓인 평면까지의 거리를 이용하여, 상기 제1 그룹의 각 특징점에 대응하는 제2 좌표와 상기 제1 그룹의 각 특징점에 대응하는 영상좌표 사이의 오차를 계산하는 카메라 자세 추정장치.
제11항에 있어서,

상기 카메라정보처리부는,

이전 수행에서 계산된 상기 오차를 이용하여, 상기 제1 그룹의 각 특징점에 대응하는 제2 좌표를 계산하고, 상기 제2 좌표와 상기 참조 영상좌표를 통해 상기 제1 좌표계의 기저벡터를 계산하며,

상기 제1 좌표계의 기저벡터로부터, 상기 객체와 상기 객체가 크기 변환되어 상기 제1 좌표계로 투영된 비율 및 상기 카메라로부터 상기 참조점이 놓인 평면까지의 거리를 계산하여, 상기 오차를 다시 계산하는 카메라 자세 추정장치.
객체가 투영된 영상 데이터를 생성하는 카메라의 자세 및 위치를 추정하는 방법에 있어서,

객체를 나타내는 것으로 가정된 적어도 4 개의 특징점을 입력받는 단계;

상기 특징점에 각각 대응하는 영상데이터의 영상좌표를 검색하는 단계;

상기 특징점 중에서, 상기 객체를 나타내지 않는 것으로 판단되는 이상점을 선택하는 단계;

상기 이상점을 제외한 나머지 특징점에서, 특징점들의 무게중심에 근접한 참조점을 선택하는 단계; 및

상기 복수의 특징점, 상기 복수의 영상좌표, 상기 참조점, 상기 참조점에 대응하는 영상데이터의 참조 영상좌표 및 상기 카메라의 초점거리를 이용하여, 상기 카메라를 원점으로 하는 제1 좌표계의 기저벡터를 행벡터로 구성한 회전행렬과 상기 카메라와 상기 참조점 사이의 이동벡터를 생성하는 단계를 포함하는 카메라 자세 추정방법.
제13항에 있어서,

상기 적어도 4개의 특징점은

상기 카메라와 상기 특징점 각각이 놓인 평면까지의 거리가 서로 다른 특징점으로 선택되는 카메라 자세 추정방법.
제13항에 있어서,

상기 이상점을 선택하는 단계는,

상기 복수의 특징점 각각에 대해서 최대 거리에 위치한 특징점을 검출하는 단계;

상기 임의의 특징점에 대하여 상기 최대 거리로 검출된 횟수를 상기 각 특징점의 거리인덱스로 설정하는 단계; 및

상기 복수의 특징점에서, 상기 이상점 기준 특징점과 최대 거리인덱스를 가지는 제1 특징점 사이의 거리인덱스를 가지는 특징점을 상기 이상점으로 선택하는 단계를 포함하는 카메라 자세 추정방법.
제15항에 있어서,

상기 이상점 기준 특징점은,

상기 복수의 특징점에서, 최소 거리인덱스를 가지는 제2 특징점과 제3 특징점 사이의 거리인덱스를 가지는 특징점 각각과의 거리를 합한 거리합이 최소가 되는 제4 특징점과 상기 이상점 기준 특징점 사이의 거리가 상기 제4 특징점의 상기 거리합 이상이 되는 특징점으로 선택되고,

상기 제3 특징점은 상기 이상점 기준 특징점의 거리인덱스보다 작은 거리인덱스 중 최대 거리인덱스를 가지는 특징점인 카메라 자세 추정방법.
제13항에 있어서,

상기 이상점의 개수는 상기 복수의 특징점의 전체 개수의 절반 미만으로 선택되는 카메라 자세 추정방법.
제13항에 있어서,

상기 참조점을 선택하는 단계에서,

상기 이상점을 제외한 나머지 특징점 중에서, 상기 특징점 각각과의 거리를 합한 거리합이 최소가 되는 특징점으로 상기 참조점을 선택하는 카메라 자세 추정방법.
제13항에 있어서,

상기 회전 행렬과 상기 이동벡터를 생성하는 단계는,

상기 이상점을 제외한 특징점 각각에 대하여, 상기 참조점과의 벡터를 계산하는 단계;

상기 이상점을 제외한 특징점 각각에 대하여, 제1 좌표를 계산하는 단계;

상기 이상점을 제외한 특징점 각각에 대하여, 상기 특징점 각각에 대응하는 상기 제1 좌표와 상기 참조 영상좌표 사이의 영상벡터를 계산하는 단계;

상기 이상점을 제외한 특징점 각각에 대하여, 상기 참조점과의 벡터와 상기 영상벡터를 이용하여, 상기 참조 영상좌표를 원점으로 하고 상기 영상 데이터에 의해 형성되는 제2 좌표계의 기저벡터를 계산하는 단계; 및

상기 제2 좌표계의 기저벡터 각각의 스케일요소를 이용하여, 상기 객체와 상기 객체가 크기변환되어 상기 제2 좌표계에 투영된 비율을 계산하는 단계를 포함하고,

상기 제1 좌표는, 상기 각 특징점이 상기 참조점을 원점으로 하는 제3 좌표계에 직교투영한 좌표가 상기 제2 좌표계에 정사영 투영한 좌표인 카메라 자세 추 정방법.
제19항에 있어서,

상기 회전 행렬과 상기 이동벡터를 생성하는 단계는,

상기 카메라와 상기 참조 영상좌표 사이의 벡터 및 상기 비율을 이용하여, 상기 카메라와 상기 참조점 사이의 이동벡터를 계산하고, 상기 이동벡터를 상기 카메라의 위치에 대한 추정값으로 생성하는 단계를 더 포함하는 카메라 자세 추정방법.
제19항에 있어서,

상기 회전 행렬과 상기 이동벡터를 생성하는 단계는,

상기 참조 영상좌표를 원점으로 하는 좌표계의 기저벡터 및 상기 비율을 이용하여, 상기 제1 좌표계의 기저벡터를 계산하고, 상기 제1 좌표계의 기저벡터를 행벡터로 구성한 회전 행렬을 상기 카메라의 자세에 대한 추정값으로 생성하는 단계를 더 포함하는 카메라 자세 추정방법.