KR101649181B1 - 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법 - Google Patents

Abstract

본 발명은 저속 카메라만으로 3차원 공간을 비행하는 비행물체의 비행정보를 정밀하게 추정할 수 있는 장치 및 취득된 영상으로부터 비행물체의 비행정보를 추정하는 방법에 관한 것으로, 본 발명에 따른 비행물체의 비행정보 추정 장치는 감시 카메라(10); 제1 카메라(21)와 제2 카메라(22)로 구성되는 스테레오 카메라(20) 및 데이터를 처리하는 연산부를 포함하여 구성되는 비행물체의 비행정보 추정 장치에 있어서, 상기 감시 카메라(10)의 촬영 영역이 상기 스테레오 카메라(20)의 촬영 영역보다 상기 비행물체에 가깝게 설정되고, 상기 스테레오 카메라(20)에 의해 취득되는 스테레오 영상은 상기 비행물체가 상기 스테레오 카메라(20)에 소정 시간 동안 노출되어 상기 비행물체의 비행궤적이 연속적으로 포착된 영상이며, 상기 연산부가 상기 스테레오 영상으로부터 추출된 상기 비행물체의 비행궤적을 3차원 공간상의 직선식 L_s로 근사하는 것을 기술적 특징으로 한다.

Description

비행물체의 비행정보 추정 장치 및 비행정보 추정 방법{Flight information estimator and estimation method of the flying objects}

본 발명은 고가의 고속 카메라 또는 다중 노출 카메라를 사용하지 않고, 저속 카메라만으로 3차원 공간을 비행하는 비행물체의 비행정보를 정밀하게 추정할 수 있는 장치 및 취득된 영상으로부터 비행물체의 비행정보를 추정하는 방법에 관한 것이다.

축구, 야구, 농구, 골프와 같은 구기 종목 스포츠에서 비행하는 공의 선속도는 공의 궤적을 계산함에 있어 필수적이며(물론 공의 회전이나 바람, 습도 등의 외부환경을 고려할 수 있다), 이러한 비행물체의 초기 선속도는 스크린 골프, 스크린 야구, 스크린 축구와 같은 스포츠 그래픽 시뮬레이터의 입력 데이터로 활용된다.

스테레오 카메라를 이용하여 비행 중인 비행물체의 선속도를 추정하기 위한 종래의 방법은 아래와 같다.

① 2대 이상의 카메라로 구성된 영상취득 시스템으로부터 최소 두 시점에서 비행중인 비행물체의 스테레오 영상들을 취득한다. 이때 비행 중인 비행물체의 영상을 촬영할 시점들을 알려주는 별도의 트리거 장치를 이용한다.

② 첫 번째 시점에서 취득된 스테레오 카메라의 첫 번째 카메라 영상과 두 번째 카메라 영상 각각에 대하여 영상처리 기술을 이용하여 영상 내에서 비행물체의 중심점의 위치를 찾는다.

③ 스테레오 영상 이론을 적용하여 ② 단계에서 찾은 첫 번째 카메라 영상에서의 비행물체의 중심점과 두 번째 카메라 영상에서 비행물체의 중심점 위치 데이터로부터 3차원 공간에서 비행물체의 중심점을 계산한다{이를 위해서는 3차원 공간에서 임의의 점과 2차원 카메라 영상에서 그에 대응되는 점의 수학적 관계를 기술하는 수학식이 필요하며, 이러한 수학식은 사용되는 카메라 보정(calibration) 과정을 통해 구해진다}.

④ 두 번째 시점에서 취득된 스테레오 영상에 대해서도 상기 ② 및 ③ 단계를 적용하여 비행물체 중심점의 3차원 공간에서의 위치를 계산한다.

⑤ 앞서 계산된 두 시점에서의 비행물체 중심점의 3차원 공간에서의 위치와 두 시점의 시간 간격을 이용하여 비행물체의 선속도를 계산한다.

이와 같이 비행하는 비행물체의 선속도 추정을 위한 종래의 방법은 두 시점에서의 비행물체 중심점의 3차원 위치값들로부터 계산되기 때문에, 만약 두 시점에서의 비행물체 중심점의 3차원 위치값 중 하나라도 오차가 발생하면 비행물체의 선속도(속력 및 방향)가 부정확해진다. 이를 보완하기 위해 3개 이상의 여러 시점에서의 스테레오 영상을 취득하여 여러 시점에서의 비행물체 중심점의 3차원 위치값을 이용할 수도 있지만, 이러한 방법은 골프의 경우와 같이 공의 속도가 매우 빠른 경우에는 여러 시점(point of time)에서 스테레오 영상을 취득하기 위해서 더 빠른 속도로 영상을 취득할 수 있는 고속 스테레오 카메라를 사용하여야 하며(카메라 프레임 내에서 3개 이상의 영상을 얻어야 하므로 셔터 스피드가 빠른 고속 스테레오 카메라가 요구된다), 또한 여러 개의 취득된 스테레오 영상을 처리해야 하므로 계산시간이 증가하게 된다.

예를 들면, 골프공이 비행 속도 80m/sec로 카메라와 평행한 방향으로 비행한다고 할 때, 골프공의 이동거리 8cm 이내에서 두 시점의 골프공 영상을 취득하기 위해서는 최소 초당 1000 프레임(1000 fps)의 촬영이 가능한 카메라를 사용하여야 하며, 만약 골프공의 이동거리 8cm 이내에서 세 시점의 골프공 영상을 취득하기 위해서는 2000 프레임 급의 카메라를 사용하여야 한다. 이 예는 골프공이 카메라와 평행한 방향으로 비행하는 경우에 해당되는 것이며, 만약 골프공이 카메라와 가까워지는 방향으로 비행한다면 더 높은 fps(frame per second)의 카메라가 필요하다.

카메라의 노출 시점들을 알려주는 트리거 장치에서 카메라로 보내는 트리거 신호의 시간 간격은 비행하는 비행물체의 속도에 따라 달라져야 한다. 그렇지 않은 경우, 가령 비행속도는 빠른데 트리거 시간 간격이 늦다든지, 비행속도가 느린데 트리거 시간 간격이 빠르다든지 하면, 비행물체가 카메라 촬영 범위를 벗어난 후에 영상이 취득되거나, 비행물체가 너무 조금 움직였을 때 영상이 촬영되는 문제점이 발생하기 때문이다. 비행물체가 카메라 촬영 범위를 벗어난 후에 영상이 취득되면 비행정보 계산 자체가 불가능해지며, 비행물체가 너무 조금 움직였을 때 영상이 촬영되면 비행물체의 3차원 위치값 추정에 조금만 오차가 있더라도 비행물체의 비행방향 계산에 큰 오차가 발생된다.

고속 카메라는 고가의 장비이므로 고속 카메라의 사용을 피하기 위하여 다중 노출 카메라를 이용하는 방법들(특허 제10-0784967호, 특허 제10-0871595호, 특허 제10-1044887호)이 제안되었는데, 다중노출 영상 취득방법은 첫 번째 시점에서 비행물체의 영상을 촬영한 후 촬영된 영상을 카메라 외부의 처리장치로 보내지 않고 다시 두 번째 시점과 세 번째 시점에서의 비행물체 영상을 차례로 촬영하여 앞서 촬영된 영상에 중첩시켜 최종 합성된 영상을 카메라 외부의 처리장치로 보내는 방법이다. 이 과정은 다중 노출 카메라의 영상센서 내부에서 이루어지는데, 다중 노출 시점에 따라 물체가 중첩되어 보이는 문제점이 있으므로, 이러한 문제점을 해결하기 위해서는 다중 노출 카메라의 노출 시점들을 알려주는 트리거 역할을 하는 장치가 반드시 필요하다.

그러나 골프나 야구 등과 같은 경우는 골프공이나 야구공만 촬영되는 것이 아니고 골프클럽, 야구배트 등이 공과 함께 촬영 범위에 들어오기 때문에 공에 뒤 따라 오는 골프클럽, 야구배트 등이 첫 번째 또는 두 번째 시점에서의 공의 영상과 중첩되어 공의 영상을 훼손시킬 가능성이 높다. 따라서 골프클럽, 야구배트 등이 촬영범위 내에 들어오지 못하도록 공의 타격지점보다 떨어진 영역을 촬영해야 하는데, 공이 직진하지 않고 좌측 또는 우측방향으로 치우쳐 비행하는 경우를 대비하기 위해 카메라를 타격지점으로부터 멀리 이격하여 설치함으로 인해 넓은 범위를 촬영해야 한다는 단점이 있다. 이 문제를 해결하기 위해서는 고해상도의 카메라를 사용하든지 초점거리가 작은 렌즈를 사용하여야 하나 고해상도의 카메라를 사용할 경우 비용이 증가하게 되며, 초점거리가 작은 렌즈를 사용하면 물체가 작게 촬영되는 문제점이 있다.

이와 관련된 선행기술을 구체적으로 살펴보면 아래와 같다.

특허 제10-078496호 발명은 골프클럽 타격정보 및 골프공 비행정보를 추정하기 위한 것으로, 다중 노출 카메라 4개와 레이저 방식의 트리거 장치를 이용하고, 다중 노출 카메라의 다중노출을 이용하여 한 장의 영상에 촬영한 서로 다른 골프공 영상을 활용한다. 이때 한 장에 촬영된 골프공 영상들이 중첩되지 않도록 하기 위해 레이저 방식의 트리거 장치가 계측한 골프클럽의 속도로부터 노출 시점을 예측한다.

특허 제10-0871595호 발명은 하나의 라인스캔 카메라와 2개의 고속 카메라를 이용하여 비행물체의 비행정보를 추정하는 방법에 관한 것으로, 라인스캔 카메라를 이용하여 라인스캔 카메라를 통과하는 비행물체의 라인영상으로부터 비행물체의 초기속도를 예측하고, 예측된 초기속도를 바탕으로 다중노출시간 간격을 조절함으로써 한 장의 영상에 세 시점에서의 비행물체가 중첩되지 않게 촬영하는 방법으로 스테레오 영상을 취득한다.

특허 제10-0937922호 발명은 영상취득 시점을 알리는 1개의 트리거용 카메라와 고속 카메라의 사용을 피하기 위해 4개의 영상 취득용 일반 카메라를 이용하여 2쌍의 스테레오 영상을 취득한다. 스테레오 영상처리를 위해서는 사용된 카메라들 사이의 6개의 파라미터(3개의 직선이동 파라미터와 3개의 회전각 파라미터)로 기술되는 좌표 변환식이 반드시 필요한데 사용되는 카메라가 많을수록 이들 파라미터들을 구하기 위한 카메라 보정 과정이 복잡해지며, 설치 후에도 카메라들 중 하나라도 위치가 변경되거나 방향이 달라지면 비행물체 비행정보 계산에 오류가 발생한다. 따라서 사후 유지 및 신뢰도 측면에서 카메라의 숫자를 줄여야 하는 어려움이 있다.

특허 제10-1019823호 발명은 2대의 카메라와 스트로브 장치를 이용하여 운동하는 물체에 대한 다중 노출 영상을 취득하고, 취득된 영상에서 물체의 이미지를 추출하여 물체 이미지의 중심점 좌표를 구하고, 이들 중심점 좌표들을 이용하여 물체의 운동궤적을 구한다.

특허 제10-1044887호 발명은 트리거 역할을 하는 1대의 라인 스캔 카메라와 2대의 고속 카메라를 사용하여 골프공의 영상을 취득하고, 취득된 영상을 이용하여 골프공의 비행거리, 비행속도, 비행방향을 추정한다.

특허 제10-1231387호 발명은 별도의 외부 트리거 장치 없이 두 시점 이상에서 비행물체의 영상을 취득하고 취득된 비행물체의 단일 카메라 영상으로부터 비행물체의 비행 선속도를 추정하는 방법에 관한 것으로, 비행물체의 선속도를 추정하기 위해 비행물체의 직경을 미리 알아야 한다. 그러나 비행물체의 직경을 미리 알고 있다 하더라도 비행물체가 카메라로부터 비교적 멀리 떨어져 있는 경우에는 거리 변동에 비해 카메라 영상에서 비행물체 영상의 크기 변화가 작으므로 비행물체의 3차원 공간에서의 위치 계산에 오차가 발생되고, 따라서 선속도 계산 결과도 오차가 커진다.

특허 제10-1244044호 발명은 별도의 외부 트리거 장치 없이 두 시점 이상에서 비행물체의 영상을 취득하고 취득된 비행물체의 스테레오 영상으로부터 비행물체의 비행 선속도를 추정하는 방법에 관한 것으로, 이 방법도 선속도의 정확성을 높이기 위해서는 여러 시점의 영상을 취득하여야 하며, 이를 위해서는 저속 카메라는 사용이 어렵고, 최소 100 프레임 이상의 속도를 갖는 카메라가 필요하다. 또한 추정 정밀도를 향상시키기 위해서는 고해상도 카메라를 필요로 한다.

KR 10-0784967 B1 (2007. 12. 11.) KR 10-0871595 B1 (2008. 12. 2.) KR 10-0937922 B1 (2010. 1. 21.) KR 10-1019823 B1 (2011. 3. 4.) KR 10-1044887 B1 (2011. 6. 28.) KR 10-1231387 B1 (2013. 2. 7.) KR 10-1244044 B1 (2013. 3. 15.)

본 발명은 위와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명에서 해결하고자 하는 과제는 고속 카메라나 다중 노출 카메라가 아닌 일반 저속 카메라를 조합하여 비행물체의 비행정보를 보다 정확히 추정할 수 있는 장치 및 방법을 제공하는 것이다.

본 발명에 따른 비행물체의 비행정보 추정 장치는 감시 카메라; 제1 카메라와 제2 카메라로 구성되는 스테레오 카메라 및 데이터를 처리하는 연산부를 포함하여 구성되는 비행물체의 비행정보 추정 장치에 있어서, 상기 감시 카메라의 촬영 영역이 상기 스테레오 카메라의 촬영 영역보다 상기 비행물체에 가깝게 설정되고, 상기 스테레오 카메라에 의해 취득되는 스테레오 영상은 상기 비행물체가 상기 스테레오 카메라에 소정 시간 동안 노출되어 상기 비행물체의 비행궤적이 연속적으로 포착된 영상이며, 상기 연산부가 상기 스테레오 영상으로부터 추출된 상기 비행물체의 비행궤적을 3차원 공간상의 직선식 L_s로 근사하는 것을 기술적 특징으로 한다.

본 발명에 따른 비행물체의 비행정보 추정 방법은 비행물체가 감시영역에 감지되는지를 감시하는 감시 단계; 상기 감시 단계에서 비행물체가 감지되면 스테레오 카메라를 장노출하여 상기 비행물체의 연속적인 스테레오 영상을 촬영하는 스테레오 영상 획득 단계; 상기 스테레오 영상으로부터 비행물체의 비행궤적만 추출하는 비행궤적 추출단계 및 상기 추출된 비행물체의 비행궤적을 3차원 공간상의 직선식으로 근사하는 직선화 단계를 포함하여 구성되는 것을 기술적 특징으로 한다.

본 발명은 비행물체의 비행궤적 영상으로부터 비행물체의 비행 선속도를 취득하므로(비행궤적 영상이란 이론적으로 비행물체의 영상을 연속적으로 취합한 것과 같음), 비행궤적 영상으로부터 계산되는 비행물체의 선속도가 매우 정확하다.

또한, 본 발명은 여러 시점에서의 순간 스테레오 영상들을 취득하지 않고, 단 1쌍의 비행궤적 스테레오 영상만을 취득하므로, 비행정보 계산을 위한 영상 처리 시간이 매우 짧아진다.

또한, 본 발명은 취득된 스테레오 영상에서의 비행물체 훼손이 추정 결과에 끼치는 영향이 줄어들므로, 계산되는 비행물체의 비행정보 추정 결과가 다중 노출 카메라를 사용하는 경우보다 더 강건하다.

또한, 본 발명은 취득된 스테레오 영상에서 비행물체의 중심점을 직접 구하지 않으므로 영상 내에서 비행물체가 크게 보여야 할 필요가 없고, 따라서 종래의 방식보다 더 넓은 범위를 촬영할 수 있기에 고해상도 카메라를 사용할 필요가 없다.

또한, 본 발명은 스테레오 영상의 취득을 위해 고속 카메라 또는 다중 노출 카메라를 사용하지 않고 저속 카메라를 사용할 수 있으므로 경제적이며, 별도의 스트로브 장치를 사용하지 않으므로 시스템 구성이 간단해진다.

또한, 본 발명은 스테레오 영상의 취득을 위한 스테레오 카메라의 노출시간을 짧게 할 필요가 없으므로 컬러 카메라의 사용이 가능하며, 짧은 노출시간으로 인한 문제점들이 사라진다.

또한, 본 발명은 종래의 방법에서와 같이 여러 번의 영상 취득 시점을 알려 줄 필요가 없고, 카메라에 단 한 번의 영상의 촬영 개시 시점만을 알려주면 되므로 트리거 장치가 매우 간단해지며, 트리거 장치에서 카메라로 보내는 트리거 신호는 단 한번으로, 트리거 신호의 시간간격이란 것 자체가 없기 때문에 트리거 신호의 잘못된 시간간격에 의한 영상 훼손 가능성이 없다.

도 1은 본 발명에 따른 비행물체의 비행정보 추정 장치의 개략도
도 2는 감시 카메라 영상
도 3은 스테레오 카메라에 포착된 스테레오 영상
도 4는 3차원 공간에서 비행물체의 비행궤적, 제1 카메라 영상에 보이는 비행물체 비행궤적 및 제2 카메라 영상에 보이는 비행물체 비행궤적의 기하학적 관계를 도시한 것
도 5는 비행물체 중심점의 비행궤적 직선 L_s, 감시 카메라의 제1 감시영역의 제1 라인 m₁, 감시 카메라 좌표계 원점과 제1 라인 m₁을 통과하는 평면 π_m1, 그리고 감시 카메라의 제2 감시영역의 제2 라인 m₂ 및 감시 카메라 좌표계 원점과 제2 라인 m₂를 통과하는 평면 π_m2의 기하학적 관계를 도시한 것

이하에서는 본 발명에 따른 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법을 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 따른 비행물체의 비행정보 추정 장치의 개략도이다. 본 발명에 따른 비행물체의 비행정보 추정 장치는 감시 카메라(10), 스테레오 카메라(20) 및 데이터를 처리하는 연산부(미도시)로 구성되고, 감시 카메라(10)가 스테레오 카메라(20)보다 먼저 비행물체를 촬영할 수 있도록 감시 카메라(10) 및 스테레오 카메라(20)의 촬영 영역이 설정된다. 즉, 감시 카메라(10)의 촬영 영역은 스테레오 카메라(20)의 촬영 영역보다 비행물체에 가깝게 설정된다.

감시 카메라(10)는 스테레오 카메라(20)에 영상 취득 시점을 알리고, 시간을 측정하기 위해 사용되고, 제1 카메라(21)와 제2 카메라(22)로 구성된 스테레오 카메라(20)는 비행물체의 비행궤적 영상을 취득하기 위해 사용된다.

본 발명에 따른 비행물체의 비행정보 추정 장치의 작동은 감시 카메라(10)와 스테레오 카메라(20)의 위치와는 무관하므로 아래의 조건을 만족한다면 감시 카메라(10)와 스테레오 카메라(20)를 자유로이 배치할 수 있다.

i) 비행물체가 스테레오 카메라(20)의 촬영 영역보다 감시 카메라(10)의 촬영 영역을 먼저 지날 수 있도록 감시 카메라가 배치되어야 한다.

ii) 제1 카메라(21)와 제2 카메라(22)는 스테레오 영상을 취득하기 위한 것이므로, 스테레오 카메라의 배치 조건(스테레오 카메라가 한 물체를 동시에 촬영할 수 있도록 배치)에 따라 서로의 촬영 영역이 가능한 많이 중첩되도록 배치하여야 한다.

도 2는 감시 카메라 영상을 도시한 것으로, 감시 카메라 영상에는 감시영역 2 개가 설정되는데, 감시영역이 2 개가 설정되는 이유는 2 개의 감시영역에서 비행물체가 감지되는 시각의 차이를 이용하여 비행물체의 비행속도를 산출하기 위한 것이다.

감시영역(30)이란 비행물체가 특정 영역을 통과하는지를 짧은 감시시간 간격으로 반복적으로 검사하기 위해 감시 카메라 영상 내에 설정되는 영역으로, 비행물체가 감시영역을 통과하는지의 여부, 즉 감시 이벤트 발생은 이전 감시영역의 영상과 현재 감시영역 영상을 비교하여 명도차 또는 색상차 등(이하 ‘영상차’라 한다)을 계산한 후 영상차가 소정값 이상이 되는 연속된 픽셀 수가 소정 개수 이상이 되는지를 조사함으로 이루어진다. 여기서 ‘영상차가 소정값 이상’은 감시영역에 비행물체가 포착되어 비교 대상이 되는 이전 감시영역의 영상과 현재 감시영역의 영상에 소정값 이상의 영상차가 나타남을 의미하는 것이고, ‘연속된 픽셀 수가 소정 개수 이상이 되는지’는 감시영역에 비행물체가 포착되면 영상차가 소정값 이상이 되는 픽셀이 연속적으로 분포하므로 포착된 비행물체의 영상 크기에 따라 연속된 픽셀 수가 소정 개수 이상이 될 때에 감시 이벤트가 발생한 것으로 판단한다는 의미이다.

이때 조명의 변화에 따른 영향을 감소시키기 위해 물체가 감지되지 않은 경우에는 현재의 감시영역 영상을 이전의 감시영역 영상들과 평균화(누적 평균 개념)시켜 다음 검사 시점에 사용할 감시영역의 비교 대상 영상으로 사용할 수도 있다. 이는 주위 환경의 변화가 어느 정도 있는 경우 평균적인 주위 환경을 산출하여 비교 대상 영상으로 설정함으로써 특수한 경우, 예를 들면 주위 환경이 어두운 것이 정상인데 순간적으로 밝은 주위 환경이 되는 경우, 일시적인 현상에 불과한 특수한 경우의 영상이 비교 대상 영상으로 설정됨으로써 비행물체의 영상이 제대로 포착되지 않는 등의 오류가 발생하는 것을 방지하기 위한 것이다.

이와 같이 카메라 영상 내에 감시영역을 설정하기 위해서는 윈도우 기능을 제공하는 카메라를 사용하여야 한다. 카메라의 윈도우 기능이란 전체 화면이 아닌 화면 중의 일부분만을 사용자가 설정하여 촬영할 수 있는 기능으로, 이러한 윈도우 기능을 이용하면 필요한 영역만을 촬영하여 영상 데이터 개수를 줄일 수 있으며, 따라서 전체 화면을 촬영하는 것보다 초당 프레임 수를 높일 수 있다. 예를 들어 640×480 해상도를 갖는 카메라가 초당 30 프레임을 촬영할 수 있다면 감시영역을 640×3의 크기로 설정하였을 때에는 감시영역을 초당 4800(=30×480/3) 프레임으로 촬영할 수 있다.

골프공의 경우 최대속도가 약 76m/sec이므로 감시시간 간격(즉 프레임 간의 시간 간격)을 208㎲(=1 ÷ 4800 프레임/sec)로 잡으면, 골프공의 최대 이동거리는 약 15.8㎜(76m/sec × 208㎲)가 되므로, 직경이 약 42.5㎜인 골프공이 최대속도로 비행하더라도 골프공이 2 개 또는 3 개(42.5 ÷ 15.8 ≒ 2.7이므로 2 또는 3 개이다)의 프레임에 포착되어, 골프공의 통과 여부를 항상 감시할 수 있다.

감시영역의 세로 길이(픽셀 수)는 카메라 전체 영상의 세로 길이와 같으며, 가로 폭의 크기는 사용하는 감시 카메라의 촬영 가능한 초당 프레임 수를 감안하여 3에서 10 픽셀 정도로 선정하는 것이 바람직하다(즉, 감시 카메라를 고속으로 사용하고자 할수록 가로 폭의 픽셀 수를 줄이면 된다). 그리고 감시 카메라에 부착되는 렌즈는 영상에 보이는 비행물체의 크기가 감시영역의 가로 폭의 2배 정도 크기가 되도록 배율을 선정하는 것이 바람직하다. 위 사항은 감시영역을 감시 카메라 전체 영상의 가로 방향으로 잡을 때에도 가로와 세로만 바꾸어 동일한 원리로 적용할 수 있다.

그리고 감시 카메라는 비행물체가 감시영역을 통과하는 시간 간격을 측정하는 것이 목적이므로 비행물체의 영상이 카메라 영상에 크게 보일 필요가 없고, 이 점은 감시 카메라의 촬영 영역을 크게 잡을 수 있어 비행물체의 비행궤적을 넓은 촬영 영역에서 볼 수 있다는 이점을 제공한다.

감시 카메라 영상에 제1 감시영역(31), 제2 감시영역(32)을 설정한 후, 제1 감시영역(31)에서 비행물체가 감지되는지 짧은 감시시간 간격으로 반복적으로 감시하다가 제1 감시영역(31)에서 비행물체가 감지되면, 제1 감시영역(31)의 비행물체의 통과시각 t₁을 측정한 후에 제2 감시영역의 감시를 시작하고(제2 감시영역의 감시에 소모되는 에너지를 절감하기 위한 것이다), 제2 감시영역에서 비행물체가 감지되면 제2 감시영역의 비행물체의 통과시각 t₂를 측정한다. 이때 비행물체가 제1 감시영역 또는 제2 감시영역을 통과하는 시각에 스테레오 카메라가 촬영을 시작하도록 할 수 있는데, 그 이유는 감시 카메라의 촬영 영역이 스테레오 카메라의 촬영 영역보다 비행물체에 가까이 설정되므로, 적어도 제1 감시영역 또는 제2 감시영역을 통과한 후에 비행물체가 스테레오 카메라에 포착되기 때문이다.

물론, 비행물체가 감시 카메라의 촬영 영역을 벗어나 스테레오 카메라의 촬영 영역에 도달할 때까지의 시간 t_d가 산출 가능한 경우, 스테레오 카메라가 촬영을 시작하는 시각은 비행물체가 제1 감시영역 또는 제2 감시영역을 통과한 시각으로부터 t_d만큼 지연된 시각일 수 있다. 이 경우 스테레오 카메라가 비행물체가 포착되지 않는 동안 노출하는 시간을 줄일 수 있으므로 스테레오 영상에서 비행물체의 비행궤적이 선명하게 나타나는 장점이 있다.

스테레오 카메라(20)는 스테레오 영상을 취득하기 위하여 제1 카메라(21)와 제2 카메라(22)로 구성된다. 그런데 본 발명에서 스테레오 카메라(20)는 비행물체의 비행궤적을 촬영하기 위해 종래의 스테레오 카메라와 같이 노출시간을 짧게 설정하는 것이 아니라 길게 설정하여 비행물체의 비행궤적, 즉 비행물체의 이동 자취가 한 장의 스테레오 영상에 연속적으로 포착되도록 한다. 이것은 마치 밤하늘의 별자리 움직임을 한 장의 영상에 촬영하기 위해 카메라 노출시간을 길게 설정하는 것(소위 ‘장노출’)과 같은 원리이다. 이렇게 노출시간이 충분히 길면 카메라에 빛이 충분히 입력되기 때문에 컬러 카메라를 사용할 수 있으며, 조명을 아주 밝게 할 필요가 없다. 따라서 본 발명에 따른 비행물체의 비행정보 추정 장치에서 스테레오 카메라(20)에 의해 취득되는 스테레오 영상은 비행물체가 스테레오 카메라(20)에 소정 시간 동안 노출되어 비행물체의 비행궤적이 연속적으로 포착된 영상이다.

스테레오 카메라의 노출시간 설정은 비행물체의 최대속도, 조명의 밝기 등을 고려하여 비행물체의 궤적이 카메라 전체 영상에 충분히 나타날 수 있도록 설정한다.

이렇게 취득된 비행물체의 비행궤적 영상은 앞서 감시 카메라에서 설정한 감시영역의 위치 및 통과시각 데이터와 함께 비행물체의 비행 선속도 추정에 사용된다.

도 3은 스테레오 카메라에 포착된 스테레오 영상을 도시한 것이고, 도 4는 3차원 공간에서 비행물체의 비행궤적, 제1 카메라 영상에 보이는 비행물체 비행궤적 및 제2 카메라 영상에 보이는 비행물체 비행궤적의 기하학적 관계를 도시한 것이며, 도 5는 비행물체 중심점의 비행궤적 직선 L_s, 감시 카메라의 제1 감시영역의 제1 라인 m₁, 감시 카메라 좌표계 원점과 제1 라인 m₁을 통과하는 평면 π_m1, 그리고 감시 카메라의 제2 감시영역의 제2 라인 m₂ 및 감시 카메라 좌표계 원점과 제2 라인 m₂를 통과하는 평면 π_m2의 기하학적 관계를 도시한 것이다.

스테레오 카메라인 제1 카메라(21)와 제2 카메라(22)에서 취득된 비행물체의 비행궤적(41, 42)은 카메라에 보이는 비행물체의 크기에 따라 도 3에 도시된 바와 같이 굵은 선으로 보이게 된다. 여기서, 스테레오 영상으로부터 비행물체의 비행궤적만 추출{예를 들면, 영상처리 기술을 적용하여 영상의 배경과 비행물체의 비행궤적을 구분하는 영상 이진화(binarization 또는 thresholding) 단계를 수행}하는 비행궤적 추출단계를 수행하고, 추출된 비행물체의 비행궤적을 3차원 공간상의 직선식으로 근사(approximation)하는 직선화 단계를 거치면 본 발명에서 요구되는 비행물체의 비행궤적을 구할 수 있다. 즉, 연산부에서 이러한 비행궤적 추출단계 및 직선화 단계가 수행된다.

이때, 굵은 선으로 추출되는 분리된 비행물체의 비행궤적을 얇은 선으로 변환하는 단계{예를 들면, 영상처리에서 사용하는 세선화(여러 픽셀로 나타나는 굵은 선의 중앙을 1 픽셀의 가는 선으로 나타내는 것, thinning) 단계}가 영상 이진화 단계와 직선화 단계 사이에 수행될 수 있다. 세선화는 영상처리기법에 의해 수행되므로 처리속도가 비교적 빠른 편이어서, 이러한 세선화 단계를 거치는 경우 직선화 단계에서의 계산량이 현저히 감소하여, 직선화 단계가 빠르게 수행되는 장점이 있다. 세선화 단계 및 아래의 수학식들에 의한 프로세스 역시 연산부에서 수행된다.

비행궤적 추출단계를 거쳐 구해진 제1 카메라 영상에서 직선의 픽셀들의 위치값들을 제1 카메라 영상 좌표계로 기술한 후에 최소 자승법(least squares method) 또는 완전 최소 자승법(total least squares method) 등을 적용하면 제1 카메라 영상 좌표계로 기술된 아래와 같은 직선식을 구할 수 있다.

여기서 a₁, b₁, c₁은 최소 자승법에 의해 구해진 직선의 계수이며, u₁, v₁은 제1 카메라 영상 좌표를 의미한다. 상기 [수학식 1]은 아래 [수학식 2]와 같이 행렬 형태로 기술할 수 있다.

여기서 l₁ = (a₁, b₁, c₁)^T, u₁ = (u₁, v₁, 1)^T이며, 위첨자 T는 벡터의 전치(transpose)를 의미한다.

최소 자승법을 이용한 실시예를 살펴보면, 비행물체의 비행궤적을 형성하는 픽셀들의 좌표값을 (u_{1 ,k}, v_{1 ,k})(1≤k≤n ,k는 자연수이고, n은 비행물체의 비행궤적을 형성하는 픽셀의 개수)라 할 때, 구하고자 하는 직선식과의 오차의 제곱의 합인 J를 최소화시키는 직선식의 계수 a₁, b₁, c₁을 구함으로써 [수학식 1]을 도출할 수 있다.

세선화 단계는 영상처리기법에 의해 n을 작게 하는 단계라 할 수 있다.

제2 카메라 영상에 대해서도 상기와 같은 방법으로 아래 [수학식 4]와 같이 기술할 수 있다.

여기서 l₂ = (a₂, b₂, c₂)^T, u₂ = (u₂, v₂, 1)^T이며, u₂, v₂는 제2 카메라 영상 좌표들을 의미한다.

투영이론에 따르면 카메라 영상 좌표계에서 기술한 직선 l을 역투영하면 공간의 평면이 되며 다음과 같이 기술된다.

여기서 P는 카메라의 투영행렬이며, π는 카메라 영상 좌표계 원점과 직선 l 을 지나는 3차원 공간의 평면을 나타내는 4차원 벡터이다.

따라서 제1 카메라 영상 좌표계에서 기술한 비행물체 중심점의 비행궤적 직선 l₁과 제2 카메라 영상 좌표계에서 기술한 비행물체 중심점의 비행궤적 직선 l₂를 역투영하면 다음과 같다.

여기서 P₁, P₂는 각각 제1 카메라와 제2 카메라의 투영행렬이며, 카메라의 투영행렬 P₁, P₂는 카메라 보정(calibration) 단계에서 미리 계산된다.

제1 카메라 영상과 제2 카메라 영상이 동일 시점에 취득된 영상, 즉 스테레오 영상이라면, 스테레오 비전(stereo vision) 이론에 따라 [수학식 6]과 [수학식 7]에 의해 계산된 두 평면 π₁, π₂가 교차하는 생기는 직선 L_s가 3차원 공간에서의 비행물체 중심점의 비행궤적을 나타내는 직선이 된다.

3차원 공간의 비행물체 중심점의 비행궤적 직선 L_s가 계산되면 이 직선의 방향이 비행물체의 비행 방향이 되며, L_s와 비행물체가 비행하기 전에 위치한 바닥 평면과의 교점이 비행물체의 초기 출발위치가 되고, 직선 L_s와 바닥면 사이의 각(angle)이 비행물체의 비행 고도각이 된다.

여기서 계산된 3차원 공간의 직선 L_s로부터 비행물체의 비행방향은 알 수 있지만, 비행물체의 비행속력(flight speed)은 알 수가 없다. 그러나 감시 카메라를 통해 취득되는 2 개의 감시영역의 영상으로부터 취득되는 비행물체의 위치 및 비행물체가 감시영역들을 통과하는 시각 t₁. t₂를 이용하여 아래와 같이 비행물체의 비행속력을 계산할 수 있다.

예를 들어, 감시 카메라의 u₀ = m₁ 위치에 미리 설정한 제1 감시영역의 첫 번째 라인(이하 ‘제1 라인’이라 한다)과 u₀ = m₂ 위치에 설정한 제2 감시영역의 첫 번째 라인(이하 ‘제2 라인’이라 한다)을 직선의 식으로 기술하면 아래와 같이 기술된다(제1, 제2 라인이 각각 제1, 제2 감시영역에 포함되고, t₁, t₂가 비행물체가 제1, 제2 라인에 도달된 시각이면 충분하다).

여기서 m₁ = (m₁, 0, 0)^T, m₂ = (m₂, 0, 0)^T이며, u₀ = (u₀, v₀, 1)^T은 감시 카메라 영상 좌표계의 영상점 (u₀, v₀)의 동차좌표(homogeneous coordinates) 벡터이다.

감시 카메라 영상의 제1, 제2 라인인 m₁과 m₂를 역투영하면 아래와 같이 평면식 π_m1과 π_m2를 계산할 수 있다.

여기서 P₀은 감시 카메라의 투영행렬로 카메라 보정(calibration) 단계에서 미리 계산된다.

카메라의 평면식 π_m1은 감시 카메라 영상좌표계에서 기술한 제1 라인 m₁과 감시 카메라 좌표계 원점을 통과하는 평면의 식이고, 평면식 π_m2는 감시 카메라 영상좌표계에서 기술한 제2 라인 m₂와 감시 카메라 좌표계 원점을 통과하는 평면의 식이다. 이 식들은 감시 카메라 영상에서 제1 라인 m₁과 제2 라인 m₂가 설정될 때, 미리 계산될 수 있다. 따라서, 위 [수학식 10] 및 [수학식 11]은 본 발명에 따른 비행물체의 비행정보 추정 장치의 연산속도에 영향을 미치지 않는다.

앞서 계산된 3차원 공간에서의 비행물체 중심점의 비행궤적 직선 L_s는 여기서 계산된 평면식 π_m1과 π_m2를 통과하므로, 직선 L_s와 평면 π_m1의 교차점 p₁, 그리고 직선 L_s와 평면 π_m2의 교차점 p₂를 계산할 수 있으며, 교차점 p₁은 앞서 측정한 비행물체가 감시 카메라의 제1 감시영역을 통과하는 시각 t₁에서의 비행물체의 3차원 공간상 위치가 되고, 교차점 p₂는 비행물체가 감시 카메라의 제2 감시영역을 통과하는 시각 t₂에서의 비행물체의 3차원 공간상 위치가 된다.

최종적으로 시각 t₁에서 비행물체 중심점의 위치 p₁과 시각 t₂에서 비행물체 중심점의 위치 p₂가 구해지면, 비행물체의 선속도는 아래와 같이 계산된다.

만약 감시 카메라 영상에 감시영역을 여러 개 설정하면 상기 방법과 동일하게, 추가된 감시영역을 이용하여 비행물체의 3차원 공간에서의 위치를 계산할 수 있으며, 비행물체의 위치 정보가 많아질수록 비행물체 선속도의 정확성이 더욱 향상된다.

다음으로, 본 발명에 따른 비행물체의 비행정보 추정 방법은 비행물체가 감시영역에 감지되는지를 감시하는 감시 단계, 상기 감시 단계에서 비행물체가 감지되면 스테레오 카메라를 장노출하여 상기 비행물체의 연속적인 스테레오 영상을 촬영하는 스테레오 영상 획득 단계, 상기 스테레오 영상으로부터 비행물체의 비행궤적만 추출하는 비행궤적 추출단계 및 상기 추출된 비행물체의 비행궤적을 3차원 공간상의 직선식으로 근사하는 직선화 단계를 포함하여 구성되고, 각 단계에 대한 설명은 본 발명에 따른 비행물체의 비행정보 추정 장치의 작동원리에서 설명한 바 있으므로 반복되는 설명은 생략한다.

이때, 비행궤적 추출단계와 직선화 단계 사이에 굵은 선으로 추출되는 분리된 비행물체의 비행궤적을 얇은 선으로 변환하는 세선화 단계가 수행될 수 있는 것도 본 발명에 따른 비행물체의 비행정보 추정 장치의 경우와 같다.

본 발명에서 비행물체의 비행궤적 영상은 소정 시간 동안 영상이 중첩된 결과이므로, 단지 2 시점 또는 3 시점에서 비행물체의 중심점 위치를 구하고 이로부터 선속도를 구하는 종래의 방법보다 더 정확하게 비행물체의 선속도를 구할 수 있다.

본 발명에 따른 비행물체의 비행정보 추정 장치 및 방법은 여러 시점의 영상을 얻기 위해 고속 카메라 또는 다중 노출 카메라를 사용하는 대신 저속의 일반 카메라를 사용하여 단 1쌍의 비행물체의 비행궤적 스테레오 영상을 취득하므로 장치의 전체적인 구성과 처리 프로세스가 간단하다.

또한, 저가의 일반 카메라를 장시간 노출시켜 비행물체의 장노출 스테레오 영상을 얻고, 데이터가 풍부한 장노출 스테레오 영상을 이용하여 비행물체의 비행궤적을 산출하므로, 종래의 고가의 고속 카메라 또는 다중 노출 카메라를 사용하는 장치나 방법에 비해 가격은 저렴하면서 비행물체의 비행정보는 보다 정확히 산출할 수 있다.

10 감시 카메라 20 스테레오 카메라
21 제1 카메라 22 제2 카메라
30 감시영역 31 제1 감시영역
32 제2 감시영역 41, 42 비행물체의 비행궤적

Claims (10)

1. 감시 카메라(10);
   제1 카메라(21)와 제2 카메라(22)로 구성되는 스테레오 카메라(20) 및
   데이터를 처리하는 연산부를 포함하여 구성되는 비행물체의 비행정보 추정 장치에 있어서,
   상기 스테레오 카메라(20)에 의해 취득되는 스테레오 영상은 상기 비행물체가 상기 스테레오 카메라(20)에 소정 시간 동안 노출되어 상기 비행물체의 비행궤적이 포착된 영상이며,
   상기 연산부가 상기 스테레오 영상으로부터 추출된 상기 비행물체의 비행궤적을 3차원 공간상의 직선식 L_s로 근사하고,
   상기 감시 카메라(10)의 촬영 영역에 제1 감시영역(31) 및 제2 감시영역(32)이 설정되고,
   상기 제1 감시영역(31)의 비행물체의 통과시각 t₁을 측정한 후에 상기 제2 감시영역(32)의 감시를 시작하며,
   상기 비행물체가 상기 제1 감시영역(31)을 통과한 다음 상기 스테레오 카메라(20)가 상기 비행물체의 촬영을 시작하는 것을 특징으로 하는 비행물체의 비행정보 추정 장치.
   
2. 삭제
3. 청구항 1에 있어서,
   상기 제2 감시영역에서 비행물체가 감지되면, 제2 감시영역의 비행물체의 통과시각 t₂를 측정하는 것을 특징으로 하는 비행물체의 비행정보 추정 장치.
   
4. 청구항 3에 있어서,
   상기 스테레오 카메라(20)가 촬영을 시작하는 시각이 상기 t₁ 또는 t₂인 것을 특징으로 하는 비행물체의 비행정보 추정 장치.
   
5. 청구항 3에 있어서,
   상기 스테레오 카메라(20)가 촬영을 시작하는 시각이 상기 t₁ 또는 t₂에 상기 비행물체가 감시 카메라의 촬영 영역을 벗어나 스테레오 카메라의 촬영 영역에 도달할 때까지의 시간 t_d를 더한 시각인 것을 특징으로 하는 비행물체의 비행정보 추정 장치.
   
6. 청구항 1에 있어서,
   상기 3차원 공간상의 직선식은 상기 비행물체의 비행궤적의 각 픽셀에 최소 자승법 또는 완전 최소 자승법을 적용하여 도출되는 것을 특징으로 하는 비행물체의 비행정보 추정 장치.
   
7. 청구항 3에 있어서,
   상기 연산부가 상기 3차원 공간상의 직선식 L_s와, 상기 감시 카메라 좌표계 원점과 상기 제1 감시영역(31)을 통과하는 평면 π_m1의 교점 p₁ 및
   상기 3차원 공간상의 직선식 L_s와, 상기 감시 카메라 좌표계 원점과 상기 제2 감시영역(32)을 통과하는 평면 π_m2의 교점 p₂를 연산하고,
   아래 [수학식]에 의하여 상기 비행물체의 선속도 v_s를 계산하는 것을 특징으로 하는 비행물체의 비행정보 추정 장치.
   [수학식]
   

   

   
   
8. 감시카메라 및 스테레오 카메라를 이용하여 비행물체가 감시영역에 감지되는지를 감시하되, 상기 감시카메라의 제1 감시영역의 비행물체의 통과시각 t₁을 측정한 후에 제2 감시영역의 감시를 시작하는 감시 단계;
   상기 감시 단계에서 비행물체가 감지되면 스테레오 카메라를 장노출하여 상기 비행물체의 연속적인 스테레오 영상을 촬영하는 스테레오 영상 획득 단계;
   상기 스테레오 영상으로부터 비행물체의 비행궤적만 추출하는 비행궤적 추출단계 및
   상기 추출된 비행물체의 비행궤적을 3차원 공간상의 직선식으로 근사하는 직선화 단계를 포함하여 구성되는 것을 특징으로 하는 비행물체의 비행정보 추정 방법.
   
9. 청구항 8에 있어서,
   상기 비행궤적 추출단계와 직선화 단계 사이에, 굵은 선으로 추출되는 분리된 비행물체의 비행궤적을 얇은 선으로 변환하는 세선화 단계가 수행되는 것을 특징으로 하는 비행물체의 비행정보 추정 방법.
   
10. 청구항 8에 있어서,
    상기 직선화 단계는 상기 비행물체의 추출된 비행궤적의 각 픽셀에 최소 자승법 또는 완전 최소 자승법을 적용하여 도출되는 것을 특징으로 하는 비행물체의 비행정보 추정 방법.

Images