KR101895125B1 - 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법 - Google Patents

Abstract

본 발명은 스테레오 카메라를 이용하여 비행체 및 비행체의 3차원 좌표와 궤적을 추적하는 장치 및 방법에 관한 것이다. 이를 위한 본 발명의 3차원 궤적 추정하는 장치는 비행체의 3차원 궤적을 추정하는 장치는 상기 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 이미지 수집부; 및 상기 카메라 이미지들을 분석함으로써, 상기 비행체의 3차원 좌표를 산출하는 좌표 측정부를 포함하고, 상기 2개의 스테레오 카메라들의 서로 대향하는 위치에 설치된 레이저 모듈; 다른 스테레오 카메라의 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 레이저 감지부; 및 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 정렬 여부 판단부를 더 포함하는 것을 특징으로 한다.

Description

스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법{3D TRACKING APPARATUS AND METHOD USING STEREO CAMERA}

본 발명은 스테레오 카메라를 이용하여 비행체 및 비행체의 3차원 좌표와 궤적을 추적하는 장치 및 방법에 관한 것이다.

최근 적외선(열상) 카메라의 발달로 군사 분야, 보안/감시분야에서 물체의 추적과 감시하는 기술이 활발히 연구되고 있다. 비행체의 정확한 거리측정과 3차원 좌표 및 궤도의 추적을 구성하기 위해서는 2대 이상의 스테레오 카메라가 필요하며, 수 km 의 원거리 물체의 3차원 좌표를 측정하기 위해서는 두 카메라 사이의 거리인 베이스라인을 수 m 이상으로 크게 설정하여야 한다.

기존의 스테레오 카메라 장치는 500m 이내에 있는 물체의 위치를 측정하는데 초점을 맞추다 보니, 베이스라인도 1m 이내이고, 스테레오 카메라의 캘리브레이션과 스테레오 조정(rectification)을 수행할 수 있는 캘리브레이션 상자나 바둑판을 이용하는 것이 가능하다. 그러나 원거리(수 km) 물체의 3차원 좌표를 측정하기 위해서는 원리적으로 베이스라인이 수십 m에 이를 정도로 매우 커야 하는데, 이 때, 캘리브레이션 상자나 바둑판이 두 카메라에 동시에 보이지 않는 문제가 발생하여 대응관계를 이용한 일반적인 캘리브레이션 방법이나 조정 알고리즘을 적용할 수 없다. 이처럼 스테레오 카메라의 캘리브레이션과 조정을 기존처럼 두 영상에서 취득된 대응되는 특징점의 관계로 구할 수 없는 환경이거나 돌발 상황으로 스테레오 카메라의 위치가 틀어진 경우에는 기존의 영상 처리 방법으로는 원거리 비행체의 3차원 좌표를 측정하는 것이 불가능하다.

도 1은 종래의 스테레오 카메라 캘리브레이션과 조정을 하는 결과를 보여주는데, 두 카메라에 동시에 대응되는 물체가 촬영되어야 하고, 서로 대응되는 특징점을 자동으로 구하여 카메라간의 기하학적인 관계를 구하게 된다. 베이스라인이 크고 두 카메라에 캘리브레이션을 수행할 물체가 동시에 보이지 않는 환경에서는 이러한 종래의 방법으로는 캘리브레이션을 수행할 수 없다.

한국등록특허 제1021015호(명칭: 3차원 사용자 인터페이스 방법)

본 발명은 원거리로 떨어진 스테레오 카메라를 통해 촬영된 카메라 이미지의 캘리브레이션을 수행하고, 비행체의 3차원 궤적에 대한 예측을 수행하며, 상기 비행체의 궤도 변화를 판정할 수 있는 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법을 제공하는데 그 목적이 있다.

상기와 같은 과제를 해결하기 위한 본 발명의 비행체를 촬영하는 평행식 스테레오 카메라인 2개의 스테레오 카메라를 통해 촬영된 카메라 이미지를 이용하여, 상기 비행체의 3차원 궤적을 추정하는 장치는 상기 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 이미지 수집부; 및 상기 카메라 이미지들을 분석함으로써, 상기 비행체의 3차원 좌표를 산출하는 좌표 측정부를 포함하고, 상기 2개의 스테레오 카메라들의 서로 대향하는 위치에 설치된 레이저 모듈; 다른 스테레오 카메라의 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 레이저 감지부; 및 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 정렬 여부 판단부를 더 포함하는 것을 특징으로 한다.

또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치는 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 교정값 산출부를 더 포함할 수 있다.

또한, 좌표 측정부는 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 교정 거리 및 교정 각도를 고려하여 상기 비행체의 3차원 좌표를 산출할 수 있다.

또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치는 비행체의 3차원 좌표를 이용하여, 상기 비행체의 이동 궤적을 예측함으로써, 상기 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 이동 궤적 예측부를 더 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치는 t 시점의 실제 이동 궤적을 도출하는 실제 궤적 도출부; 및 상기 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 궤도 변환 판정부를 더 포함할 수 있다.

또한, 기준 좌표는 2개의 스테레오 카메라 간 거리에 따라 상이하게 저장부에 저장될 수 있다.

상기와 같은 과제를 해결하기 위한 비행체를 촬영하는 평행식 스테레오 카메라인 2개의 스테레오 카메라를 통해 촬영된 카메라 이미지를 이용하여, 상기 비행체의 3차원 궤적을 추정하는 방법은 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 단계; 및 상기 카메라 이미지들을 분석함으로써, 상기 비행체의 3차원 좌표를 산출하는 단계를 포함하고, 레이저 감지부에 의해, 상기 2개의 스테레오 카메라에 각각 대향하도록 설치된 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 단계; 및 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 단계를 더 포함하는 것을 특징으로 한다.

또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법은 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 단계를 더 포함할 수 있다.

또한, 비행체의 3차원 좌표를 산출하는 단계는 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 교정 거리 및 교정 각도를 고려하여 이루어질 수 있다.

또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법은 상기 비행체의 3차원 좌표를 이용하여, 상기 비행체의 이동 궤적을 예측함으로써, 상기 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 단계를 더 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법은 t 시점의 실제 이동 궤적을 도출하는 단계; 및 상기 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 단계를 더 포함할 수 있다.

또한, 기준 좌표는 2개의 스테레오 카메라 간 거리에 따라 상이하게 저장부에 저장될 수 있다.

본 발명의 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법에 따르면 레이저 모듈을 이용하여 두 카메라의 기하학적인 위치에 대한 상관관계를 기록하므로 스테레오 보정(calibration)과 스테레오 조정(rectification)이 어려운 환경이나 원거리 베이스라인을 갖는 스테레오 장치, 그리고 실험 시 돌발 상황으로 카메라가 틀어진 상황에서도 비행체의 3차원 좌표를 측정할 수 있게 된다. 또한 레이저 모듈장치의 상관관계를 이용하면, 스테레오 카메라의 위치를 쉽게 설치할 수 있는 장점이 있다.

본 발명의 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법에 따르면 스테레오 카메라를 이용하여 추정한 3차원 좌표에 대하여 x, y, z축에 대하여 각각 시간에 대하여 다항함수로 표현함으로써, 비행체의 예측 궤적을 쉽게 정의할 수 있으며, 물리역학의 운동방정식으로도 설명할 수 있다. 또한 예측 궤적과 실제로 측정된 궤적의 차이를 측정함으로써, 외부적인 요소에 의하여 비행체의 궤적이 변경되었는지를 판단할 수 있어서 DIRCM 기만 성능을 평가하는데도 효과적이다.

도 1은 종래 기술에 따른 스테레오 카메라의 캘리브레이션 및 조정 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치에서 원거리로 떨어진 스테레오 카메라의 캘리브레이션 방법을 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치에 대한 블록도이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치를 통해
도 7은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법에 대한 흐름도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명의 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법에 대하여 설명하도록 한다. 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법은 원거리로 떨어진 스테레오 카메라를 통해 촬영된 카메라 이미지의 캘리브레이션을 수행하고, 비행체의 3차원 궤적에 대한 예측을 수행하며, 상기 비행체의 궤도 변화를 판정하는 것을 특징으로 한다. 먼저, 도 2를 참조로 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법에서 캘리브레이션을 수행하는 방법에 대해 설명된다.

도 2는 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치에서 원거리로 떨어진 스테레오 카메라의 캘리브레이션 방법을 설명하기 위한 개념도이다. 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 카메라 이미지의 캘리브레이션을 위해 각 스테레오 카메라(10, 20)에 레이저 모듈(13, 14)을 설치한 것을 특징으로 한다. 구체적으로, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 각 스테레오 카메라(10, 20)에 설치된 레이저 모듈(13, 14)을 통해 레이저를 방출하고, 레이저가 맺힌 지점의 위치 좌표를 근거로 카메라의 정렬 여부를 판단하는 것을 특징으로 한다.

즉, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 최적의 환경에서 미리 설정된 기준 좌표를 구비하되, 레이저가 맺힌 지점의 위치 좌표가 산출되면, 위치 좌표와 기준 좌표를 비교하는 과정을 거쳐 카메라의 정렬 여부를 확인할 수 있다. 이를 위해, 두 대의 스테레오 카메라에서 서로 마주 보는 방향으로 좌우 카메라에 3개 이상의 레이저 포인터를 각각 설치하고, 베이스라인 거리에 따라서 평행식 스테레오 위치 관계를 갖는 레이저 포인터의 도착 위치를 사전에 구함으로써 기준 좌표 및 기준 패턴을 미리 구비하는 것이 바람직하다. 이 때, 스테레오 카메라의 평행식 구조를 파악할 수 있는 물체를 활용하여 먼저 평행식 스테레오 카메라를 설치하고, 좌우 카메라에 고정된 레이저 포인터가 각각 반대편으로 가리키는 지점을 저장해 둔다. 여기서, 레이저 포인터는 3개 이상으로 좌우 카메라에 각각 고정되어 설치되는 것이 바람직하고, 레이저 포인터는 모두 동일 직선상에 놓이지 않도록 한다.

미리 설정된 레이저 포인터들이 반대편 카메라에서 도달하는 위치 관계를 이용하여 기하학적으로 두 카메라가 평행식으로 배열되도록 설치할 수 있으며, 캘리브레이션 상자와 같은 특징점 대응관계를 이용하지 않아도 상술한 기준 좌표의 도출이 가능해진다.

또한, 하나의 스테레오 카메라(10, 20)에 장착된 레이저 모듈은 측정 정확도를 높이기 위해 3개 이상의 레이저 포인터로 구성되는 것이 바람직하다. 여기서, 레이저 모듈이 3개 이상의 레이저 포인터로 구성될 경우, 상술한 좌표에 기반한 정렬 여부 판단뿐만 아니라, 레이저가 맺힌 지점을 꼭지점으로 하는 패턴을 도출할 수 있게 된다. 즉, 3개 이상의 레이저 포인터가 존재한다면, 카메라의 정렬 여부 판단은 좌표 값뿐만 아니라, 기준 패턴과 레이저가 맺힌 지점의 패턴 간 비교를 더 수행할 수 있게 되므로, 정렬 여부의 판단 정확도를 보다 높일 수 있다. 물론, 상술한 판단 기법 모두를 사용하는 것이 아닌 2개의 판단 기법 중 하나의 판단 기법만을 선택하는 것도 생각해볼 수 있다.

또한, 레이저의 경우 그 거리에 따라 레이저가 맺히는 지점의 위치 또는 패턴이 변경될 수 있다. 이에 따라 위에서 설명된 방법으로 기준 데이터(즉, 기준 좌표 및 기준 패턴)를 생성할 때에는 2개의 스테레오 카메라들 간 거리 별로 구분하여 그 값이 저장되는 것이 바람직하다.

이에 따라, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)에 따르면, 정상 조건 상태에서 레이저의 기준 좌표 및 기준 패턴을 도출할 수 있고, 다른 장소에서 2개의 스테레오 카메라의 설치 시, 상기 기준 좌표 및 기준 패턴을 근거로 2개의 스테레오 카메라들의 오정렬 여부를 판단할 수 있다. 만일 스테레오 카메라들이 올바르게 정렬되지 않은 경우, 레이저가 맺힌 지점의 위치 또는 패턴을 근거로 조작자가 스테레오 카메라의 위치 또는 방향을 조정할 수 있고, 이에 따라 비행체의 정확한 좌표 측정이 가능해진다.

뿐만 아니라, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 2개의 스테레오 카메라들간 거리인 베이스라인이 큰 경우, 스테레오 보정(calibration)과 스테레오 조정(rectification)이 어려운 환경 또는, 실험 과정에서 돌발 상황으로 카메라가 틀어진 상황에서도, 비행체의 정확한 좌표 측정이 가능한 것을 특징으로 한다. 이는 아래에서 다시 설명되는 것처럼 위에서 설명된 레이저가 맺힌 지점의 좌표를 측정함으로써 이루어질 수 있다. 이제, 도 3을 참조로 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)에 대한 설명이 더 이루어진다.

도 3은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치(100)에 대한 블록도이다. 위에서 설명한 것처럼, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치(이하, 3차원 궤적 추적 장치)는 원거리로 떨어진 스테레오 카메라를 통해 촬영된 카메라 이미지의 캘리브레이션을 수행하고, 비행체의 3차원 궤적에 대해 예측하며, 비행체의 궤도 변화를 판정하는 것을 특징으로 한다. 이를 위해, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 2개 이상의 레이저 감지부(111, 112), 2개 이상의 레이저 모듈(113, 114), 저장부(120), 이미지 수집부(130), 좌표 측정부(140), 실제 궤적 도출부(150), 이동 궤적 예측부(160), 궤도 변환 판정부(170), 정렬 여부 판단부(180) 및 교정값 산출부(190)를 포함하는 것을 특징으로 한다. 여기서, 이미지 수집부(130), 좌표 측정부(140), 실제 궤적 도출부(150), 이동 궤적 예측부(160), 궤도 변환 판정부(170), 정렬 여부 판단부(180) 및 교정값 산출부(190)는 본 발명의 이해를 돕기 위해 기능별로 각 구성을 구분한 것이고, 실제로는 하나의 처리 장치를 통해 구현되는 것도 가능하다.

저장부(120)는 2개의 스테레오 카메라(10, 20)에서 촬영된 카메라 이미지가 저장된다. 또한, 저장부(120)에는 아래에서 설명되는 정렬 여부 판단에 이용되는 기준 좌표 및 기준 패턴에 대한 정보가 포함될 수 있다. 앞서 설명한 것처럼 기준 좌표 및 기준 패턴의 경우, 정상 환경에서, 각 스테레오 카메라에 의해 서로 방출된 레이저가 맺힌 지점의 좌표 및 패턴을 근거로 생성될 수 있고, 레이저의 특성 상 거리에 따라 그 맺히는 지점이 달라질 수 있기에, 거리 별로 상이하게 저장되는 것이 바람직하다.

또한, 위에서 설명된 것처럼, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치(100)는 스테레오 카메라(10, 20)에 부착시킬 수 있는 레이저 모듈과, 다른 스테레오 카메라의 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 제 1 레이저 감지부(111) 및 제 2 레이저 감지부(112)를 포함할 수 있다. 즉, 2개의 스테레오 카메라(10, 20)에는 3개 이상의 레이저 포인터를 포함하는 레이저 모듈이 구비될 수 있다. 여기서, 제 1 스테레오 카메라(10)와 제 2 스테레오 카메라(20)는 평행식 스테레오 카메라인 것으로 가정되기에, 상기 레이저 모듈은 제 1 스테레오 카메라(10)와 제 2 스테레오 카메라(20)의 평행 여부를 판단하기 위해, 대향하는 지점에 포함되는 것이 바람직하다. 또한, 제 1 레이저 감지부(111) 및 제 2 레이저 감지부(112)는 다른 스테레오 카메라의 레이저 모듈에서 방출된 레이저가 맺힌 지점의 위치 좌표를 감지할 수 있다.

정렬 여부 판단부(180)는 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 기능을 한다. 앞서 설명한 것처럼, 저장부(120)에는 정상 환경에서 실험되어 저장된 기준 좌표 및 기준 패턴에 대한 정보가 저장된다. 또한, 기준 좌표 및 기준 패턴의 경우 2개의 스테레오 카메라(10, 20)들 간 거리에 따라 다른 값으로 저장되기에, 정렬 여부 판단부(180)는 현재 환경에서 2개의 스테레오 카메라 간 거리를 측정하고, 측정된 거리에 대응하는 기준 좌표와 기준 패턴 중 적어도 하나를 검색할 수 있다.

그 후, 정렬 여부 판단부(180)는 검색한 기준 좌표와 레이저가 맺힌 지점의 좌표를 비교함으로써 2개의 스테레오 카메라(10, 20)의 정렬 여부를 판단할 수 있다. 즉, 정렬 여부 판단부(180)는 검색한 기준 좌표와 레이저가 맺힌 지점의 좌표가 동일한 경우, 2개의 스테레오 카메라(10, 20)가 완벽하게 정렬되었다고 판단할 수 있다. 반대로, 정렬 여부 판단부(180)는 검색한 기준 좌표와 레이저가 맺힌 지점의 좌표가 상이하다면 2개의 스테레오 카메라(10, 20)가 완벽하게 정렬되지 않았다고 판단할 수 있다.

여기서, 2개의 스테레오 카메라(10, 20)가 완벽하게 정렬되지 않은 경우, 사용자 또는 조작자에게 이를 알림으로써 2개의 스테레오 카메라(10, 20)의 정렬이 이루어지도록 유도할 수 있다. 물론, 2개의 스테레오 카메라(10, 20)의 하부에 바퀴와 같은 구동부를 설치하고, 구동부의 직진 및 회전 움직임을 제어함으로써 상술한 정렬 과정이 자동으로 이루어지도록 하는 방법도 생각해 볼 수 있다.

또한, 위의 설명에서 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 좌표의 위치를 기초로 정렬 여부를 판단하는 것으로 설명하였으나, 레이저에 의해 형성된 점들에 의해 형성되는 패턴을 근거로 상술한 정렬 여부 판단을 수행하는 것도 가능하다.

또한, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 2개의 스테레오 카메라들간 거리인 베이스라인이 큰 경우, 스테레오 보정과 스테레오 조정이 어려운 환경 또는, 실험 과정에서 돌발 상황으로 카메라가 틀어진 상황에서도, 비행체의 정확한 좌표 측정이 가능한 것을 특징으로 한다. 예를 들어, 2개의 스테레오 카메라(10, 20)가 평행하지 않은 경우, 제 1 레이저 감지부(111) 및 제 2 레이저 감지부(112)를 통해 감지된 좌표들의 위치는 기준 좌표와 상이할 것이고, 마찬가지로 감지된 패턴은 기준 패턴의 형상과 상이할 것이다. 다만, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 정상 상태일 때 생성된 기준 좌표와 기준 패턴을 미리 알고 있으므로, 제 1 레이저 감지부(111) 및 제 2 레이저 감지부(112)를 통해 감지된 좌표들 및 패턴을 분석하면, 정상 상태의 좌표 및 패턴 대비 얼마나 이격되어 있는지, 그리고 어느 각도로 회전 되었는지를 알 수 있다. 이에 따라, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 2개의 스테레오 카메라가 오정렬 상태더라도, 비행체의 정확한 추적이 가능하도록 아래와 같이 교정값 산출부(190)를 통한 교정값 산출을 수행한다.

교정값 산출부(190)는 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 기능을 한다. 이렇게 산출된 교정 거리 및 교정 각도는 아래에서 설명되는 좌표 측정부(140)로 전달되어, 비행체의 정확한 좌표 측정에 이용될 수 있다.

즉, 이미지 수집부(130)는 저장부(120)에 저장된 카메라 이미지들을 수집하는 기능을 하고, 좌표 측정부(140)는 이미지 수집부(130)를 통해 수집된 카메라 이미지를 분석함으로써, 비행체의 3차원 좌표를 산출하는 기능을 한다. 여기서, 교정 거리 및 교정 패턴이 존재하는 경우, 즉, 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 좌표 측정부(140)는 교정 거리 및 교정 각도를 고려하여 비행체의 3차원 좌표를 산출할 수 있다. 또한, 좌표 측정부(140)를 통해 이루어지는 비행체의 위치 측정 방법은 통상적인 스테레오 정합 알고리즘과 위치 측정 방법을 통해 이루어지는 것도 가능하다.

실제 궤적 도출부(150)는 t 시점 즉, 현재 시점의 실제 이동 궤적을 도출하는 기능을 한다. 구체적으로, 실제 궤적 도출부(150)는 비행체가 발사된 후, 또는 비행체가 감지된 후 비행체의 3차원 좌표들을 근거로 현재 시점까지의 실제 이동 궤적을 도출하는 기능을 한다.

이동 궤적 예측부(160)는 비행체의 3차원 좌표를 이용하여, 비행체의 이동 궤적을 예측함으로써, 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 기능을 한다. 즉, 이동 궤적 예측부(160)는 스테레오 카메라를 이용하여 비행체의 3차원 좌표가 측정되면, 좌표 측정부(140)를 통해 측정된 비행체의 3차원 좌표를 이용하여 향후 비행체의 이동 궤적을 예측하는 기능을 한다. 이 때, x, y, z축 각각의 위치에 대하여 시간에 대한 다항함수의 형태로 예측 좌표를 표현할 수 있다. 측정된 좌표에 대한 통상적인 회귀분석 방법을 통하여 3개의 축에 대한 위치를 1차 함수, 2차 함수 또는 그 이상의 고차 다항함수로 표현할 수 있다. 유도된 다항함수에 의하면, 현재 시점까지 측정된 3개 축의 좌표로부터 이후 시점의 좌표를 각각 예측할 수 있다. 즉, 비행체의 움직임 속도가 일정할 때는 1차 함수로 표현이 가능하고, 일정한 힘을 받아서 움직이는 경우에는 2차 함수로 위치변화를 표현할 수 있다. 또한 일정한 힘을 받는 상황에서 원운동을 할 경우에는 4차 함수로 표현하는 것이 가능하다.

궤도 변환 판정부(170)는 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 기능을 한다. 측정된 비행체의 3차원 좌표가 다항함수로 예측된 3차원 좌표와 차이가 큰 경우에는 물체의 움직임 방향이 외부적인 요인에 의하여 변경된 것으로 판단할 수 있는데, 이러한 예측 궤적과 측정 궤적 사이의 거리차이를 측정함으로써, DIRCM의 기만 성능을 평가할 수 있다. 즉, DIRCM에 의하여 기만되기 이전의 비행체의 3차원 궤도를 측정하고, 이로부터 얻은 예측 함수에 의하여 예측된 비행체의 3차원 궤도와 DIRCM에 의하여 기만된 이후 측정된 비행체의 실제 3차원 궤적 사이의 차이를 비교함으로써, 기만성능을 평가하고 측정할 수 있다. 이 때, 궤적간의 차이는 통상적인 3차원 벡터 거리와 방향의 차이로 측정할 수 있으며, 예측 궤적의 함수와 측정된 궤적좌표의 차이를 누적하여 DIRCM 기만 여부를 판단할 수 있다.

도 4 내지 도 6은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치를 통해 측정된 3개의 비행체에 대한 측정 결과의 예시를 나타낸다. 구체적으로, 도 4 내지 도 6은 비행체에 대한 3차원 궤적 측정 실험에서 측정된 3차원 각 좌표(x, y, z)를 시간에 대한 2차 함수로 표현한 실시 예를 나타내고, 본 예시에서 3개의 비행체에 대한 측정 결과로서 점은 실제로 측정된 좌표, 점선 곡선을 2차 함수로 표현된 궤적으로 가로축인 시간이 2초 이후부터는 예측 궤적을 나타낸다. 또한, 도 4는 좌우(x축)에 대한 그래프, 도 5는 높이(y축)에 대한 그래프, 그리고 도 6은 거리(z축)에 대한 그래프를 각각 나타낸다.

도 7은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법에 대한 흐름도이다. 위에서 설명한 것처럼, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법(이하, 3차원 궤적 추적 방법)은 원거리로 떨어진 스테레오 카메라를 통해 촬영된 카메라 이미지의 캘리브레이션을 수행하고, 비행체의 3차원 궤적에 대해 예측하며, 비행체의 궤도 변화를 판정하는 것을 특징으로 한다. 이제, 도 7을 참조로 본 발명의 일 실시예에 따른 3차원 궤적 추적 방법에 대한 설명이 이루어지고, 아래에서는 위에서 언급된 부분과 중복되는 사항은 생략하여 그 설명이 이루어진다.

S110 단계는 2개의 스테레오 카메라에 각각 대향하도록 설치된 레이저 모듈을 통해 레이저를 방출하는 단계이고, S120 단계는 레이저 감지부에 의해, 레이저가 맺히는 지점을 감지하는 단계이다.

S130 단계는 정렬 여부 판단부에 의해 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 단계이다. 앞서 설명한 것처럼, 본 발명은 저장부에 미리 저장된 기준 데이터 즉, 기준 좌표와 기준 패턴 중 적어도 하나를 근거로 카메라의 정렬 여부를 판단하는 것을 특징으로 한다. 여기서 2개의 스테레오 카메라들이 올바르게 정렬된 상태라면, 레이저가 맺힌 지점의 위치 좌표와 기준 좌표는 동일할 것이다. 마찬가지로, 2개의 스테레오 카메라들이 올바르게 정렬된 상태라면, 레이저가 맺힌 지점들을 근거로 생성된 패턴과 기준 패턴은 동일할 것이다. 반대로, 2개의 스테레오 카메라들이 올바르게 정렬되지 않았다면, 상기 지점의 위치 좌표와 기준 좌표는 상이할 것이고, 지점들을 연결한 패턴과 기준 좌표 역시 상이할 것이다.

여기서, 2개의 스테레오 카메라들이 올바르게 정렬되지 않았을 때 별도의 처리 없이 그대로 비행체의 좌표 측정을 수행하면, 좌표 측정 정확도가 떨어질 수 밖에 없으므로, 본 발명의 일 실시예에 따른 3차원 궤적 추적 방법은 사용자로부터 2개의 스테레오 카메라들의 오정렬 상태를 알림으로써 정렬을 수행하도록 유도하거나, 아래에서 설명되는 바와 같이 교정값을 도출하여 캘리브레이션을 수행하는 것도 가능하다. 물론, 각 스테레오 카메라에 스테레오 카메라의 위치 및 각도 변경 수단이 구비된 경우, 스테레오 카메라의 위치 및 각도를 변경함으로써 정렬을 수행하는 것도 생각해볼 수 있다. 아래에서는, 2개의 카메라 이미지들이 오정렬 상태일 때, 캘리브레이션을 수행하는 방법을 중심으로 그 설명이 이루어진다.

S150 단계는 교정값 산출부에 의해, 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 단계이다. 이에 대한 설명은 위에서 상세히 언급하였으므로, 중복되는 설명은 생략한다.

S140 단계는 이미지 수집부에 의해, 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 단계이고, S160 단계는 좌표 측정부에 의해, 카메라 이미지들을 분석함으로써, 비행체의 3차원 좌표를 산출하는 단계이다. 앞서 언급한 것처럼, 2개의 스테레오 카메라들 간 정렬이 이루어지지 않은 경우 즉, 오정렬 상태인 경우 S160 단계는 아래에서 설명되는 비행체의 3차원 좌표의 측정 정확도를 높이기 위해 S150 단계를 통해 산출된 교정값 즉, 교정 각도 및 교정 거리를 고려함으로써 이루어질 수 있다.

S160 단계는 실제 궤적 도출부에 의해, t 시점의 실제 이동 궤적을 도출하는 단계이고, S170 단계는 이동 궤적 예측부에 의해, 비행체의 3차원 좌표를 이용하여, 상기 비행체의 이동 궤적을 예측함으로써, 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 단계이다.

S180 단계는 궤도 변환 판정부에 의해, t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 단계이다. S180 단계의 판단 결과 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적이 동일하거나, 궤적간 차이가 임계 궤적 차이 미만이라면, 제어는 S190 단계로 전달되어 정상 상태인 것으로 판정할 수 있다. 반대로, S180 단계의 판단 결과 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적간 차이가 임계 궤적 차이 이상인 경우, 제어는 S195 단계로 전달되어 외부 요인이 존재하는 것으로 판단할 수 있다.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100 : 스테레오 카메라를 이용한 3차원 궤적 추적 장치
111 : 제 1 레이저 감지부 112 : 제 2 레이저 감지부
113 : 제 1 레이저 모듈 114 : 제 2 레이저 모듈
120 : 저장부 130 : 이미지 수집부
140 : 좌표 측정부 150 : 실제 궤적 도출부
160 : 이동 궤적 예측부 170 : 궤도 변환 판정부
180 : 정렬 여부 판단부 190 : 교정값 산출부

Claims (7)

1. 비행체를 촬영하는 평행식 스테레오 카메라인 2개의 스테레오 카메라를 통해 촬영된 카메라 이미지를 이용하여, 상기 비행체의 3차원 궤적을 추정하는 장치로서,
   상기 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 이미지 수집부; 및
   상기 카메라 이미지들을 분석함으로써, 상기 비행체의 3차원 좌표를 산출하는 좌표 측정부를 포함하고,
   상기 2개의 스테레오 카메라들의 서로 대향하는 위치에 각각 설치된 3개 이상의 레이저 모듈;
   다른 스테레오 카메라의 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 레이저 감지부; 및
   상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 정렬 여부 판단부를 더 포함하며,
   상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 교정값 산출부를 더 포함하며,
   상기 3개 이상의 레이저 모듈은 모두 동일 직선상에 놓이지 않는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.
2. 삭제
3. 제1항에 있어서,
   상기 좌표 측정부는 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 교정 거리 및 교정 각도를 고려하여 상기 비행체의 3차원 좌표를 산출하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.
4. 제1항에 있어서,
   상기 비행체의 3차원 좌표를 이용하여, 상기 비행체의 이동 궤적을 예측함으로써, 상기 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 이동 궤적 예측부를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.
5. 제4항에 있어서,
   t 시점의 실제 이동 궤적을 도출하는 실제 궤적 도출부; 및
   상기 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 궤도 변환 판정부를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.
6. 제1항에 있어서,
   상기 기준 좌표는 2개의 스테레오 카메라 간 거리에 따라 상이하게 저장부에 저장된 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.
7. 비행체를 촬영하는 평행식 스테레오 카메라인 2개의 스테레오 카메라를 통해 촬영된 카메라 이미지를 이용하여, 상기 비행체의 3차원 궤적을 추정하는 방법으로서,
   상기 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 단계; 및
   상기 카메라 이미지들을 분석함으로써, 상기 비행체의 3차원 좌표를 산출하는 단계를 포함하고,
   레이저 감지부에 의해, 상기 2개의 스테레오 카메라에 각각 대향하도록 설치된 3개 이상의 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 단계; 및
   상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 단계를 더 포함하며,
   교정값 산출부에 의해, 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 단계를 더 포함하며,
   상기 3개 이상의 레이저 모듈은 모두 동일 직선상에 놓이지 않는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 방법.

Images