KR100927096B1 - 기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정방법 - Google Patents

Abstract

기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정 방법이 개시된다. 본 발명은 다중 비주얼 이미지들을 사용하는 객체의 위치측정을 위한 효과적인 방법에 관한 것으로서, 이미징 장치들의 주밍(zooming)과 패닝(panning)을 지원하는 평행 투사 모델을 제안한다. 본 발명은 객체 위치와 기준 좌표 사이의 관계를 창출하기 위한 가상 뷰어블 평면을 정의한다. 본 발명에서 요구되는 기준 좌표는 예비-추정(pre-estimnation) 과정으로부터 얻어질 수 있는 대략적인 추정일 수 있다. 본 발명은 계산적 복잡성이 완화된 반복적인 접근을 통해, 위치측정 에러를 최소화한다. 또한, 디지털 이미지 장치들의 비선형 왜곡은 반복적인 위치측정 과정에서 보상될 수 있다.

객체, 이미지, 주밍, 패닝, 위치측정, 추정

Description

기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정 방법{Method for object localization using visual images with reference coordinates}

본 발명은 객체의 위치를 측정하는 방법에 관한 것으로서, 특히 기준 좌표와 비주얼 이미지를 사용하는 기준 좌표상의 시각적 이미지를 이용한 반복적 또는 비반복적 객체 위치 측정 방법에 관한 것이다.

객체 위치측정은 관측, 모니터링 및 트랙킹(tracking) 어플리케이션들과 같은 많은 어플리케이션들에서의 중요한 동작 중 하나이다. 트랙킹 시스템은 병원 및 사무실뿐 아니라 군사적 어플리케이션들과 같이 다양한 분야에 폭 넓게 적용되고 있다. 이러한 트랙킹 시스템들에서, 객체 위치측정의 정확성은 매우 중요한 문제이다. 음파 센서(acoustic sensor)는 유연성, 낮은 비용 및 쉬운 배치 등을 이유로 많은 어플리케이션들에서 폭넓게 사용되고 있다. 그러나, 음파 센서는 환경에 민감하고, 연속적인 데이터 요구를 충분히 만족시키지 못한다. 그러므로, 신뢰성 있는 트랙킹 방법으로, 비주얼 센서들이 종종 사용된다.

종래에 하나의 이미지의 단일 지표의 관점에서의 절대적인 위치를 결정하기 위해 로봇을 사용하는 간단한 비주얼 위치측정 방법을 제시되었다. 이 알고리즘에서, 이미지 평면은 광학 측과 직교하고, 광학 측과 초점 길이만큼 떨어져서 배치된다. 지표 모델을 추적하기 위해, Lucal-Kanade 광학 흐름 알고리즘은 그레이언트 디센트(gradient descent)를 사용한다. 이 알고리즘을 이용한 실내 환경에서의 실시간 수행이 가능하다. 그러나, 이러한 접근 방식은 단지 하나의 대응만이 설치될 수 있는 핀홀(pinhole) 카메라 모델의 한계를 갖는다.

적응적인 알고리즘으로서, 다수의 카메라들을 사용하는 광학 흐름-기반 사람 추적 알고리즘이 실내 환경에서 적용된다. 이 알고리즘에서, 각각의 카메라는 독립적으로 목표된 사람을 추적한다. 카메라들 사이에 정보를 교환함으로써, 3차원 위치 및 타겟의 속도가 추정된다. 특히, 카메라들 중 하나가 갑자기 타겟을 놓친 경우, 이 알고리즘은 더 효과적이다. 이미지에서의 타겟 위치 및 속도가 다른 카메라들로부터의 정보에 근거하여 추정되기 때문이다. 타겟 위치는 적어도 둘 이상의 추적 카메라들의 투사선들의 교점으로부터 얻어진다. 나아가, 하나의 카메라에서의 깊이의 범위를 추정하기 위해, 이 알고리즘은 추적 윈도우를 사용한다. 이는 하나의 이미지 평면에서의 검출된 사람의 경계 및 키를 나타낸다. 그러므로, 이 알고리즘은 완전히 추출된 객체 영역으로부터의 신뢰성 있는 수평 위치를 요구한다.

다수의 카메라들 및 다수의 마이크로폰 배열들로부터의 다양한 정보는 장면의 객체들을 추적하는데 사용되는 경우, 효과적으로 비디오-컨퍼런싱(video-conferencing) 환경에서 사람을 추적하기 위한 다양한 센서들의 협동을 수행하는 추적 프레임워크에 기반을 둔 파티클 필터(particle filter)를 제안되었다. 위치측정을 위해, 뷰어블 이미지의 이미지 좌표들 (u,v)가 DLT(Direct Linear Transformation)을 사용하여, (X, Y, Z) 좌표들로 변환된다. 그러나, 이러한 방식에서, 알려진 도형에 위치하는 측정 객체(calibration object)는 11개의 파라미터들을 갖는 매트릭스 Pi를 추정하는 것이 요구된다. 나아가, 카메라가 패닝 또는 주밍되면(예를 들어, 카메라의 셋팅이 변화), 카메라의 측정은 반드시 반복되어야 한다.

이렇듯, 객체의 위치를 추정하기 위한 종래의 다양한 알고리즘은 위치 측정의 정확성과 계산의 복잡성의 트레이드오프(tradeoff) 관계로 인한 단점들을 갖는 문제가 있다.

본 발명이 이루고자 하는 기술적 과제는 객체 위치 측정에 있어서, 정확성을 향상시키면서도 계산의 복잡성을 감소시킬 수 있는 효과적인 기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정 방법을 제공하는 것에 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 객체 위치 측정 방법은 객체 평면에 위치하는 객체 및 상기 객체에 대응되는 기준점을 가상 뷰어블 평면 및 실제 카메라 평면에 투사하는 단계, 상기 객체에 대응되는 기준점의 좌표를 추정하는 단계 및 상기 객체의 위치와 상기 기준점의 좌표의 관계를 규정하는 단계를 구비한다.

바람직하게는, 상기 가상 뷰어블 평면은 상기 객체 평면에 평행할 수 있다.

바람직하게는, 상기 객체는 하나의 센서에 의해 투사될 수 있다. 또는 상기 객체는 다수의 센서들에 의해 투사될 수 있다.

다수의 센서들에 의해 객체가 투사되는 경우, 상기 객체 위치 측정 방법은 상기 다수의 센서들에 의한 투사된 객체 및 기준점에 대한 위치 측정의 차이만큼을 서로 보상하는 단계를 더 구비할 수 있다. 이때, 상기 다수의 센서들은 각 센서들 의 팬 팩터에 근거하여 선택될 수 있다. 바람직하게는, 상기 다수의 센서들은 각 센서의 팬 팩터의 절대값의 차가 "0"인 센서들로 선택될 수 있다.

바람직하게는 상기 객체의 위치와 상기 기준점의 좌표의 관계를 규정하는 단계는 상기 객체의 위치와 상기 기준점의 위치가 일치하는 경우, 상기 기준점의 위치를 상기 객체의 위치로서 측정할 수 있다.

바람직하게는, 상기 객체 위치 측정 방법은 1회 수행될 수 있다. 또는 상기 객체 위치 측정 방법은 반복적으로 수행될 수 있다.

본 발명은 다중 비주얼 이미지들을 사용하는 객체의 위치측정을 위한 효과적인 방법에 관한 것으로서, 이미징 장치들의 주밍(zooming)과 패닝(panning)을 지원하는 평행 투사 모델을 사용하여, 예비-추정(pre-estimnation) 과정으로부터 얻어질 수 있는 대략적인 추정을 통해 기준 좌표를 추정하여 계산의 복잡성을 감소시키면서도, 비선형 왜곡 등을 보상할 수 있어 정확한 객체 위치를 측정할 수 있는 장점이 있다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.

이하, 첨부한 도면을 참조하여 본 발명이 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타 낸다.

도 1은 두 개의 카메라들이 적용되는 객체 위치 측정에서의 비주얼 위치 측정의 개념을 도시하는 도면이다. 평행 투사 모델에서, 가상 뷰어블 평면은 실제 객체 및 실제 카메라 사이의 관계를 공식화하는데 도움이 되기 위해 생성된다. 본 발명은 캘러브레이션(calibration) 없이 다수의 객체들의 위치 측정이 가능한 장점을 갖는다. 본 발명은 대략적으로 계산되는 예비-추정된 위치로 시작된다. 게다가, 추가적인 추적 알고리즘들로부터의 예비-추정이 없다고 하더라도, 대략적으로 추정된 위치는 센서 노드 위치로 대체될 수 있다. 본 발명을 통해, 최종적으로 추정된 위치 P(xn, yn)은 다음의 수학식 1로부터 얻어질 수 있다.

여기서, E(xn, yn)은 기준 좌표를 나타내고, e(σxn, σyn)은 비주얼 위치 측정을 통한 보상된 좌표를 나타낸다.

이하에서는 먼저, 하나의 카메라를 사용한 평행 투사 모델에 대하여 간단히 알아본 후, 다수의 카메라들을 사용한 2차원 좌표에 대한 비주얼 위치 측정 방법에 대하여 알아본다. 다음으로, 디지털 이미징 디바이스들의 비선형성 보상에 의한 위치 측정 에러를 최소화하는 방안에 대하여 알아본다.

Ⅰ. 뷰어블 이미지들의 특성

A. 평행 투사 모델의 기본 개념

평행 투사 모델은 비주얼 위치 측정을 간단히 하기 위해 사용된다. 이는 객체 평면, 가상 뷰어블 평면 및 실제 카메라 평면의 3개의 평면들로 구성된다. 도 2에 도시된 바와 같이, 객체 P는 객체 평면에 위치하고, 투사점 PP(v) 및 PP(c)에서 가상 뷰어블 평면 및 실제 카메라 평면에 투사된다. 가상 뷰어블 평면은 객체 평면에 거리 dp의 차이를 두고, 평행하다. 가상 뷰어블 평면의 길이는 Lc로, 실제 카메라 평면의 길이는 Ls로 도시된다. 가상 뷰어블 평면 및 실제 카메라 평면에 투사된 객체의 위치는 각각 Upp 및 Up로 도시된다. 그리고, 포인트 P와 Oc 사이의 거리는 kp로 도시된다.

평행 투사 모델에서, 실제 객체는 가상 뷰어블 평면을 통한 객체 평면에서부터 실제 카메라 평면까지 투사된다. 따라서, Upp는 다음의 수학식 2와 같이, 두 평면들의 비례선들을 통해 Lc, Ls 및 up로 표현된 수 있다.

실제 객체 위치는 upp 및 dp로부터 간단히 구해질 수 있다.

B. 주밍 및 패닝

카메라의 특성을 고려하기 위해, 줌 팩터(zoom factor)를 z로, 팬 팩터(pan factor)를 θp라 하자. 줌 팩터 z는 다음의 수학식 3으로 정의된다.

도 3은 주밍 팩터 z1 및 z2에 대응되어 실제 카메라 평면에 투사된 위치의 변화 Pp1(c) 및 Pp2(c)를 도시한다. 가상 뷰어블 평면에 투사된 Pp1(v) 및 Pp2(v)는 동일함을 알려둔다. 즉, 두 개의 카메라들이 다른 주밍 팩터들을 갖는 경우, 객체는 단지 실제 카메라 평면에서만 다르게 투사된다. 따라서, 수학식 2의 upp 및 up의 관계로부터, 실제 카메라 평면에 투사된 위치 up1 및 up2sms 각각 다음의 수학식 4와 수학식 5로 표현될 수 있다.

수학식 3에 의해, z1 = dp/Lc1이고, z2 = dp/Lc2이므로, up1 및 up2의 관계는 다음의 수학식 6과 같이 유도될 수 있다.

도 4는 동일한 주밍에 근거한 실제 카메라 평면에서의 동일한 점에 주사되는 두 개의 다른 객체들에 대한 경우를 도시한다. 실제 카메라 평면이 일정한 동안, 가상 뷰어블 평면이 변화된다. 가상 뷰어블 평면 1 및 2는 각각, 투사된 점 Pp(v1) 및 Pp(v2)로 함께 투사된 객체 P1 및 P2에 대해 나타낸다. 나아가, 객체 평면 1 및 2는 각각, 객체 P1 및 P2에 대해 나타낸다. 줌 팩터 z가 다음의 수학식 7로 같으므로, upp1 및 upp2의 관계는 다음의 수학식 8과 같이 나타내어 질 수 있다.

이는 객체와 카메라 사이의 투사 방향에서의 거리가 객체 위치 측정을 위한 중요한 파라미터임을 보여준다. 다수의 센서들을 통한 거리의 검출은 후술되는 설명을 통해 공식화될 수 있다.

도 5에 도시투사 방향 (n-axis) 및 글로벌 좌표 y-aixs 사이의 각도 차이를 나타내는 팬 팩터(θp)에 대해 알아본다.

글로벌 좌표는 고정된 좌표인 x-y 축들로 정의된다. 그리고, θc는 카메라 각도를 나타낸다. 이때, 가상 뷰어블 평면 Pp(v)에 객체 투사 위치는 다음의 수학식 9와 같이 유도될 수 있다.

여기서, xpv 및 ypv는 포인트 Pp(v)를 나타내고, xc 및 yc는 가상 뷰어블 평면의 중심점(Oc)을 나타낸다. θc 및 θp는 실제 카메라 평면이 x 축에 배치되는 경우, "0"으로 동일하다.

C. 하나의 카메라에 근거한 객체 위치 측정

하나의 카메라에 근거한 위치 측정의 경우를 알아본다. 도 6은 하나의 센서에 근거한 기준점 E를 사용한 객체 위치 측정을 도시한다. 기준점 E 및 실제 객체 Pr은 가상 뷰어블 평면 및 실제 카메라 평면의 두 개의 평면들에 투사된다. 기준점 E는 객체 평면을 생성하므로, 실제 객체 Pr은 객체 평면에 배치되는 점 Pr'로 왜곡된다. 투사된 위치들의 관점에서, Ep(v) 및 Pp(v) 사이의 거리는 수학식 2로부터 얻어진다. 결과적으로, 객체 평면에 배치된 근접한 객체 점 Pr'(xr', yr')는 다음의 수학식 10과 같이 결정된다.

비주얼 투사 방법에 근거한 하나의 센서를 통해 추정된 위치가 기준점으로 구해진다. 다음으로, Pr과 Pr' 간의 에러를 줄이기 위한 다수의 센서를 이용한 위치 측정에 대하여 알아본다.

Ⅱ. 2차원 좌표에서의 비주얼 위치 측정 알고리즘

A. 카메라 위치들 및 팬 팩터들 사이의 관계

도 7은 팬 팩터들 및 카메라 각도들을 갖는 다수의 카메라들을 도시한다. Camera A, B, C및 D의 네 개의 카메라들이 배치된다. 인접한 축들에 위치되는 한 쌍의 카메라가 선택된다. 도 7의 (a)에서, 카메라 각도 θc는 글로벌 x축과 관계되는 카메라 시야각을 나타내고, 팬 앵글 θp는 글로벌 좌표와 관계되는 방향각 ni를 나타낸다. θp의 부호는 우측 회전인 경우는 양의 값으로, 좌측 회전의 경우는 음의 값으로 결정된다. 이에 대해 논의하기 위해, 좌측에 있는 카메라는 Camera 1이라 하고, 우측에 있는 카메라를 Camera 2로 가정한다.

인접한 축들에 위치하는 두 개의 카메라들을 사용하는 경우의 위치 측정 공식화를 위해, Camera A 및 D가 객체로 간주된다. 그리고, 팬 팩터들 θp1 및 θp2의 부호는 객체의 위치에 따라 변화된다. 하나의 카메라에 의한 시야각이 180도 이하로 제한되기 때문이다. 인접한 축들에 위치하는 두 개의 카메라들로 위치를 어드레싱(addressing)하기 전에, 간단히, 두 개의 카메라의 다른 가능한 배치에 대하여 알아본다. 도 8은 두 개의 카메라가 동일한 축에, 또는 반대 축에 위치하는 경우를 도시한다. 도 8의 두 개의 카메라들은 도 7(a) 내지 (e)와 동일한 공식으로 설명될 수 있다. 특히, 도 8의 (a)는 도 7의 (e)와 동일하며, 도 8의 (b)는 도 7의 (d)와 동일하다. 단지, 양자는 두 개의 카메라들로부터 얻어지는 시야각의 차이가 있을 뿐이다.

B. 다수의 카메라들에 근거한 객체 위치 측정

선택된 두 개의 카메라들에 근거하여, 두 가의 경우에 대한 객체 위치가 관찰되고 공식화될 수 있다. 특별한 경우(팬 팩터들 θp1 및 θp2의 값이 "0"인 경우), 팬 팩터들을 고려하지 아니하고도 객체의 위치가 측정된다.

도 9는 특별한 경우(팬 팩터들 θp1 및 θp2의 값이 "0"인 경우)의 두 개의 카메라를 사용하는 위치 측정 방법이 도시된다. 주어진 기준점 E(xe, ye)에서, 두 개의 카메라들에 대한 객체 평면들이 결정된다. 각 카메라의 객체 평면 위의 점들 P'r1(x'r1, y'r1) 및 P'r2(x'r2, y'r2)이 각각 가상 뷰어블 평면 위의 점들 Pp1 및 Pp2에 수직하여 투사된다. 유사하게, 기준점이 점들 Ep1 및 Ep2로 투사된다. 카메라 1의 시야에서, 투사된 점들 Pp1 및 Ep1 사이의 차이 △u1은 카메라 2의 객체 평면 및 점 P'r 사이의 거리를 지원한다. 유사하게, 카메라 2의 시야에서, 투사된 점들 Pp2 및 Ep2 사이의 차이 △u2는 카메라 1의 객체 평면 및 점 P'r 사이의 거리를 지원한다. 다시 말해, 보상 알고리즘은 주어진 기본점 E에 의해, 카메라 1을 y 방향을 △u1만큼 보상하고, 카메라 2는 x 방향을 △u2만큼 보상한다.

하나의 추가적인 센서를 통해, y 방향에서의 △u1, x 방향에서의 △u2 모두, 다음의 수학식 11과 같이 실제 객체에 가까운 기준점을 보상한다.

이때, P'r1(x'r1, y'r1)는 실제 객체 위치 Pr1(xr1, yr1)에 대한 에러를 여전히 야기하는 두 개의 카메라를 통한 객체 위치로 위치 측정된다.

E가 객체의 실제 위치로 더 근접하게 주어진다. 그리고, P'r이 Pr에 더 근접하게 결정된다. 다시 말해, 객체의 실제 위치 Pr에 더 가까운 기준점 E를 얻음으로써, 에러는 줄어들 수 있다.

정확한 위치 측정을 위한 또 다른 방법은 어떤 왜곡 없이, 가상 뷰어블 평면에 실제 객체를 투사하는 것이다. 도 10에 도시된 바와 같이, 실제 객체 위치 Pr은 정확하게 점들 Pr 및 P'r을 매칭하는 각 카메라의 중앙에 위치한다. 이것은 기준점 E가 어디에 위치하는지 무관하게, 위치 측정 에러가 "0"으로 줄어든 것을 의미한다. 그러므로, 어떻게 실제 객체가 카메라의 중앙점으로 검토되는지가 고려되어야 한다.

이상에서, 실제 입력은 실제 카메라 평면들 위의 점들로 투사된다. 그러나, 설명의 편의를 위해, 실제 카메라 평면은 생략된다. 다만, 실제 카메라 평면은 가상 뷰어블 평면으로 수학식 2로부터 간단하게 변환될 수 있다.

그 이외의 일반적인 경우(팬 팩터들 θp1 및 θp2의 값이 "0"이 아닌 경우)는 다음에 의한다. 객체가 공간에서 이동함으로써, 제한된 시야각을 극복하기 위하여, 카메라들은 팬 팩터들의 제어가 요구될 수 있다. 이하에서, 전술된 특별한 경우를 포함한 일반적인 다수의 센서 위치 측정이 공식화된다.

도 11은 팬 팩터들 θp1 및 θp2이 "0"이 아닌 경우의 두 개의 카메라가 회전되는 상황을 도시한다. 가상 뷰어블 평면들 및 실제 카메라 평면들로의 투사를 포함하여, 위치 측정 방법은 전술된 특별한 경우와 동일하다. 다만, △u1 및 △u2는 각 팬 팩터 θp1 및 θp2에 의해 스큐(skew)된다.

특별한 경우가 가산 및/또는 감산의 간단한 계산들을 요구하는 직사각형 등을 구성하는 반면, 네 개의 점들 P'r, P'r1, P'r2 및 E로 연결되는 사각형은 스큐(skew)된다. 팬 팩터들 θp1 및 θp2, △u1 및 △u2를 갖는 두 개의 스큐된 카메라들은 다음의 수학식 12를 통해 기준점을 보상한다.

여기서, 위치 측정된 위치 P'r(x'r, y'r)는 두 개의 가상 투사된 라인들의 교점을 나타낸다. 두 개의 가상 투사된 라인들 l1은 P'r1(x'r1, y'r1) 와 P'r(x'r, y'r)를 잇는 선이고, l2는 P'r2(x'r2, y'r2) 와 P'r(x'r, y'r)를 잇는 선이다. θ1 및 θ2은, 각각 -θp1 및 90-θp2와 동일한 각 카메라의 투사 라인 기울기이다. P'r1 및 P'r2는 다음의 수학식 13으로 유도된다.

여기서, 위치 측정된 위치 P'r(x'r, y'r)을 입증하기 위해, (ⅰ) θ1 및 θ2가 90ㅀ도 270ㅀ도 아니어야 하고, (ⅱ) tanθ1 및 tanθ2가 "0"이 아니어야 한다.

실제로 카메라들이 90도로 회전하는 것이 불필요하기 때문에, 조건 (ⅰ)은 선택된 카메라들에 의해 충분히 만족된다. 조건 (ⅱ)는 θp1 = -θ1이고, θp2 = 90-θ2에서, θp2 - θp1 ≠ 90ㅀ와 같을 수 있다. 두 개의 팬 팩터들 θp2 - θp1이 90ㅀ라 함은, 두 개의 객체 평면들뿐 아니라, 두 개의 투사 라인들(l1, l2)이 평행함을 의미한다. 그러므로, 교점 P'r은 객체 이치 측정을 위해 구해질 수 없다. 나아가, P'r이 실제 위치 Pr보다 큰 에러를 가질 수 있다.

다음으로 카메라 선택에 대하여 알아본다. 팬 캑터들의 조건은 다음의 수학식 14로 나타내어 질 수 있다.

이때, 가장 좋은 조건은 다음의 수학식 15와 같다고 할 수 있다.

그러므로, 카메라들의 선택은 θp2의 절대값에서 θp1의 절대값을 뺀 값이 "0"에 가까운 카메라 한 쌍으로 결정될 수 있다.

C. 고려사항

기준점: 기본적으로, 평행 투사 모델은 파티클 필터나 칼만 필터(Kalman Filter)와 같은 추정 알고리즘에 의해 주어진 기준점을 통해, 객체의 위치를 측정한다. 평행 투사 모델 위치 측정은 객체 위치 및 팬 팩터들이 키(key) 역할이다. 특히, 더 정확한 위치 측정을 위해, 점들 Pr 및 P'r 사이의 차이는 줄어들 것이 요구된다. 이상적인 방법으로서, 라인 l1이 P'r1-P'r과 정확하게 일치되고 라인 l2이 P'r2-P'r과 정확하게 일치되는 것은 제로 에러를 초래한다. 두 점들 Pp1 및 Oc1이 매치될 뿐 아니라, 두 점들 Pp2 및 Oc2가 매치되면, P'r은 Pr에 더 가까이 위치된다. 도 12에서, 카메라 중앙 포워드 라인들 F1 및 F2는 각각 라인들 l1 및 l2와 맞춰진다. 그러나, 조건은 객체의 알려진 위치로 달성되어야 한다. 그러므로, 가장 좋은 경우는 라인 l1의 Oc1-E 및 라인 l2의 Oc2-E 모두 정렬되는 것이다. 이 조건은 카메라 선택에 포함될 수 있다.

만약 기준점 E가 알려지지 않았다면, 예를 들어, 기준점이 주어지지 않았거나, 근사한 객체 위치에 대한 어떠한 정보도 지원되지 않았다면, 기준점은 랜덤한 점으로 선택된다. 이 경우, 본 발명은 반복되는 접근을 통해, 랜덤하게 선택된 점이 Pr에 근접된다. 게다가, 반복적인 방법은 알려진 기준점의 경우에도 위치 결정의 정확성을 향상시킨다. 이에 대해 더 자세히 알아본다.

D. 에러를 줄이기 위한 반복적 위치 측정 방법

다음에서 설명되는 반복적 기법의 기본 개념은 기준점으로 위치 P'r가 위치 측정에 사용되는 것이다. 이 방법은 각 객체 점에 대한 기준이 제공될 것을 요구하지 아니한다. 게다가, 위치 측정된 위치 P'r은 기준점 E가 실제 위치 Pr에 근점한 것처럼, 실제 위치 Pr에 더 근접하게 구해진다. 도 13은 오리지널 위치 측정 및 반복 결과를 도시한다. 실선들은 투사 라인들이고, 점선들은 객체 평면들이며, 도트-솔리드 라인들은 카메라 시야 라인들이다. 오리지널 및 반복적 위치 측정 방법을 비교하면, 카메라 시야 라인들은 다른 라인들이 반복적 과정에 대해 이동된 반면, 일정하다. ith는 반복 횟수를 나타낸다. 반복 과정에서, 새로운 기준점 (xe(1), ye(1))은 기존의 위치 측정된 점 (x'r, y'r)로 대체된다.

도 14는 도 11에 기반한 하나의 반복 실행에 대한 반복 결과를 도시한다. P'r은 반복 과정이 반복적으로 실행됨에 따라, Pr에 근접해 진다. 반복은 P'r(i-1) 및 P'r(i) 사이의 차이가 문턱 값(threshold value) δ보다 작아질 때까지 계속된다. 여기서, i는 반복 횟수를 나타내고, P'r(0)은 원 방법에서 구해진 위치 P'r과 동일하다.

나아가, 반복 방법을 통해, 위치 측정은 비선형 특성들에도 둔감하게 된다. 이하에서는, 어떻게 반복 방법이 비선형 특성들의 보상에 영향을 주는지에 대해 기술된다.

E. 렌즈 비선형 왜곡의 보상

카메라 렌즈는 비선형 뷰어블 라인들을 갖는다. 도 15는 파선 및 실선이 각각 줌 팩터 z = de/Lc 및 z' = (de+△d)/L'c인 이상적인 뷰어블 각도 및 실제 뷰어블 각도를 나타내는, 위치 측정이 요구되는 주밍 모델을 도시한다. 만약 카메라가 이상적인 주밍 각도를 갖는다면, 줌 팩터 z는 상수이다. 이는 z가 기준점 E에 무관함을 의미한다. 그러나, 실제 카메라는 렌즈 왜곡을 갖는다.

이러한 에러는 주밍 효과 및 렌즈 왜곡에 이해 야기되는데, 이 에러는 스케일 왜곡의 이유가 된다. 주밍 팩터들에 기인하여, 전술된 수학식 2에 의해 u'pp가 up(L'c/Ls)로 표현된다. 나아가, 전술된 수학식 3에 기인하여, Lc 및 L'c는 각각 de/z 및 de + △d/z'로 유도된다. 그러므로, 실제 주밍 모델에서의 실제 거리 u'pp는 다음의 수학식 16에 의해 보상된다.

렌즈의 비선형 특성이 보상될 수 있는 반면, 이것은 여전히 근본적인 에러이다. 여기서, 반복적인 과정을 통해 기준점 E가 객체 위치 Pr에 근접되도록 함으로써, 에러가 최소화될 수 있다.

도 16은 카메라들로부터의 거리의 함수 및 다양한 실제 줌 팩터들을 갖는 주밍 왜곡을 도시한다.

이상에서는 본 발명의 구성 및 기능에 대하여 알아보았다. 다음에서 본 발명에 대해 분석해보고, 본 발명의 시뮬레이션 결과를 설명한다.

Ⅲ. 분석 및 시뮬레이션

A. 시뮬레이션

도 17은 각각, Camera 1 및 Camera 2에서의 기준점 및 실제 객체 포인트 사이의 거리가 △u1 및 △u2인 경우의 두 개의 카메라를 사용하여 디스플레이된 이미지를 도시한다. 간략화를 위해, 실제 카메라 동작에서의 기준점이 아닌, 도 17(a) 및 (b)의 이미지 프레임에서의 기준점 E를 도시한다.

도 18은 실제 객체를 측정하기 위한 실험에 대한 설정을 도시한다. 이 실험에서, 객체의 실제 위치는 평행 투사 모델 기반의 기준으로부터 계산된다. 도 18에서, 두 개의 카메라들이 Camera 1의 왼쪽에, Camera 2의 아래쪽에 배치된다. 각 카메라의 팬 팩터 θp1 및 θp2는 모두 "0"이다.

실제 줌 팩터들은, 객체 평면과 가상 뷰어블 평면의 거리가 de1 + △d1일 때 z1'가 줌 팩터인 경우 및 객체 평면과 가상 뷰어블 평면의 거리가 de2 + △d2일 때 z'2가 줌 팩터인 경우, 각각 z1= de1/Lc1 및 z2 = de2/Lc2이다.

B. 위치 측정 에러 평가

도 19는 두 개의 카메라들이 Oc1(1.8, 0) 및 Oc2(0, 1.8)에 위치하고 보상 알고리즘을 사용하지 아니하는 경우의 에러 분포를 나타내는 도면이다. 도 19는 기준점의 작용으로서의 x축, y축 및 양 축에서의 위치 측정 에러의 양을 도시한다. 각 카메라는 제한된 시야각을 가지므로, 시야각 밖에 존재하는 기준점은 검은 지역으로 도시된다. 에러는 기준점이 실제 객체 점에 가장 근접한 경우에 최소화된다.

위치 측정 에러는 본 발명에 따른 위치 측정 방법의 다수의 반복 수행을 통해 더 줄어들 수 있다. 도 20은 에러가 현저히 감소하는 것을 도시한다. 도 21은 반복 수행의 횟수에 대한 위치 측정 에러의 감소를 도시한다.

C. 객체 추적 성능

본 발명에 따라 객체 위치 측정 방법은 또한 추적에 대하여도 적용된다. 예를 들어, 객체가 4m*4m 지역에서 움직이고, 이미지들이 실제 카메라들로부터 얻어진다고 한다. 먼저, 본 발명에 따른 비반복적 위치 측정 방법을 이용하여 추적 문제가 보상될 수 있다. 시간에 따라 객체의 좌표가 변화되는데, 이의 대응되는 추정이 생성된다. 도 22의 (a)는 위치 측정의 궤도를 도시한다. 보상 후에, 추적 성능은 향상된다. 도 22의 (b) 및 (c)는 각각 x축, y축에 대한 추적 성능을 도시한다. 도 22는 추적 성능의 향상을 증명하고 있으나, 여전히 위치 측정 에러가 존재하는 문제가 있다.

유사하게, 본 발명에 따른 반복적 위치 측정 방법이 동일한 추적 문제에 적용된다. 이 경우, 단지 하나의 기준 좌표가 전체적인 위치 측정에 사용된다. 선택된 추정은 도 23의 궤도의 외부에 도시된다. 도 23은 위치 측정의 궤도 결과를 도시한다. 추정된 좌표가 객체와 근접하지 아니하기 때문에 한 번의 반복 수행으로는 현저한 에러가 발생한다. 에러는 객체가 추정된 좌표로부터 멀리 위치할수록 증가된다. 그러나, 본 발명에 따른 반복적 위치 측정에 의해 위치 측정 에러가 제거된다.

이상에서 설명된 본 발명은 전통적인 디지털 이미징 디바이스들로부터 얻어지는 비주얼 이미지들을 사용하는 환경에서의 객체들의 위치 측정을 위한 효과적이고 간단한 방법을 제시하였다. 구체적으로, 본 발명에 따른 평행 투사 모델은 주밍 및 패닝 특성들을 모두 지원하는 객체들의 위치를 결정하기 위한 계산적 복잡성을 간소화 하였다. 나아가, 본 발명에 따른 위치 측정 방법은 카메라 렌즈의 광학 특성과 같은 비이상적인 특성을 충분히 보상하였다. 기준 좌표로 불리는 이전의 정보는 파티클 필터링과 같은 추정 알고리즘의 일부로부터 얻어지는 시간에 따라 변화하는 하나 또는 다수의 포인트일 수 있다. 본 발명에 따른 비주얼 위치 측정은 불명확성을 보상할 수 있다.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.

도 1은 두 개의 카메라들이 적용되는 객체 위치 측정에서의 비주얼 위치 측정의 개념을 도시하는 도면이다.

도 2는 카메라에서 투사된 실제 이미지와 평행 투사 모델과의 관계를 나타내는 도면이다.

도 3은 주밍 팩터 z1 및 z2에 대응되어 실제 카메라 평면에 투사된 위치의 변화 Pp1(c) 및 Pp2(c)를 나타내는 도면이다.

도 4는 동일한 주밍에 근거한 실제 카메라 평면에서의 동일한 점에 주사되는 두 개의 다른 객체들에 대한 경우를 나타내는 도면이다.

도 5는 카메라의 패닝에 의한 다양한 뷰어블 평면들의 좌표 변환을 나타내는 도면이다.

도 6은 하나의 센서에 근거한 기준점 E를 사용한 객체 위치 측정을 도시한 도면이다.

도 7은 팬 팩터들 및 카메라 각도들을 갖는 다수의 카메라들을 나타내는 도면이다.

도 8은 두 개의 카메라가 동일한 축에, 또는 반대 축에 위치하는 경우를 나타내는 도면이다.

도 9는 특별한 경우(팬 팩터들 θp1 및 θp2의 값이 "0"인 경우)의 두 개의 카 메라를 사용하는 위치 측정 방법을 나타내는 도면이다.

도 10은 도 9에서의 이상적인 경우, 즉 정확한 위치 측정 결과를 내는 카메라의 중앙점으로 간주되는 실제 객체를 나타내는 도면이다.

도 11은 팬 팩터들 θp1 및 θp2이 "0"이 아닌 경우의 두 개의 카메라가 회전되는 상황을 나타내는 도면이다.

도 12는 두 개의 평행 객체 평면들을 형성하는 평행한 시야를 갖는 두 개의 카메라들을 나타내는 도면이다.

도 13은 오리지널 위치 측정 및 반복 결과를 나타내는 도면이다.

도 14는 도 11에 기반한 하나의 반복 실행에 대한 반복 결과를 나타내는 도면이다.

도 15는 파선 및 실선이 각각 줌 팩터 z = de/Lc 및 z' = (de+△d)/L'c인 이상적인 뷰어블 각도 및 실제 뷰어블 각도를 나타내는, 위치 측정이 요구되는 주밍 모델을 나타내는 도면이다.

도 16은 카메라들로부터의 거리의 함수 및 다양한 실제 줌 팩터들을 갖는 주밍 왜곡을 나타내는 도면이다.

도 17은 각각, Camera 1 및 Camera 2에서의 기준점 및 실제 객체 포인트 사이의 거리가 △u1 및 △u2인 경우의 두 개의 카메라를 사용하여 디스플레이된 이미지를 나타내는 도면이다.

도 18은 실제 객체를 측정하기 위한 실험에 대한 설정을 나타내는 도면이다.

도 19는 두 개의 카메라들이 Oc1(1.8, 0) 및 Oc2(0, 1.8)에 위치하고 보상 알 고리즘을 사용하지 아니하는 경우의 에러 분포를 나타내는 도면이다.

도 20은 본 발명의 따른 위치 측정 방법에 의하여 위치 측정 에러가 현저히 감소하는 것을 나타내는 도면이다.

도 21은 본 발명의 따른 위치 측정 방법의 반복 수행의 횟수에 대한 위치 측정 에러의 감소를 나타내는 도면이다.

도 22의 (a)는 위치 측정의 궤도를 나타내고, 도 22의 (b) 및 (c)는 각각 x축, y축에 대한 추적 성능을 나타내는 도면이다.

도 23은 위치 측정의 궤도 결과를 나타내는 도면이다.

Claims (11)

1. 객체 위치 측정 방법에 있어서,

   객체 평면에 위치하는 객체 및 상기 객체에 대응되는 기준점을 가상 뷰어블 평면 및 실제 카메라 평면에 투사하는 단계;

   상기 객체에 대응되는 기준점의 좌표를 추정하는 단계; 및

   상기 객체의 위치와 상기 기준점의 좌표의 관계를 규정하는 단계를 구비하는 것을 특징으로 하는 객체 위치 측정 방법.
2. 제 1 항에 있어서, 상기 가상 뷰어블 평면은,

   상기 객체 평면에 평행한 것을 특징으로 하는 객체 위치 측정 방법.
3. 제 1 항에 있어서, 상기 각 평면들은,

   이미징 장치들의 주밍(zooming) 및 패닝(panning)을 지원하는 것을 특징으로 하는 객체 위치 측정 방법.
4. 제 1 항에 있어서, 상기 객체는,

   하나의 센서에 의해 투사되는 것을 특징으로 하는 객체 위치 측정 방법.
5. 제 1 항에 있어서, 상기 객체는,

   다수의 센서들에 의해 투사되는 것을 특징으로 하는 객체 위치 측정 방법.
6. 제 5 항에 있어서, 상기 객체 위치 측정 방법은,

   상기 다수의 센서들에 의한 투사된 객체 및 기준점에 대한 위치 측정의 차이만큼을 서로 보상하는 단계를 더 구비하는 것을 특징으로 하는 객체 위치 측정 방법.
7. 제 5 항에 있어서, 상기 다수의 센서들은,

   각 센서들의 팬 팩터에 근거하여 선택되는 것을 특징으로 하는 객체 위치 측정 방법.
8. 제 7 항에 있어서, 상기 다수의 센서들은,

   각 센서의 팬 팩터의 절대값의 차가 "0"인 센서들로 선택되는 것을 특징으로 하는 객체 위치 측정 방법.
9. 제 1 항에 있어서, 상기 객체의 위치와 상기 기준점의 좌표의 관계를 규정하는 단계는,

   상기 객체의 위치와 상기 기준점의 위치가 일치하는 경우, 상기 기준점의 위치를 상기 객체의 위치로서 측정하는 것을 특징으로 하는 객체 위치 측정 방법.
10. 제 1 항에 있어서, 상기 객체 위치 측정 방법은,

    1회 수행되는 것을 특징으로 하는 객체 위치 측정 방법.
11. 제 1 항에 있어서, 상기 객체 위치 측정 방법은,

    반복적으로 수행되는 것을 특징으로 하는 객체 위치 측정 방법.

Images