KR100434876B1 - 스테레오 물체 추적 방법 및 시스템 - Google Patents

Abstract

본 발명은 스테레오 물체 추적 방법 및 시스템에 관한 것이다. 본 발명에 따른 제1 영상 입력 장치 및 제2 영상 입력 장치를 구성하는 스테레오 물체 추적 시스템을 적응적으로 제어하는 방법은 제1 영상 입력 장치를 통하여 순차적으로 촬상된 적어도 두 개의 입력 영상으로부터 배경 정합을 통하여 적어도 두 개의 입력 영상에 포함된 표적 물체를 탐지하는 단계, 표적 투영 마스크를 이용하여 표적 물체를 분리하는 단계, 표적 물체를 포함하는 기준 영상을 생성하는 단계, 제2 영상 입력 장치를 통하여 촬상된 적어도 하나의 대상 영상과 기준 영상을 비교하여 제1 위치 정보를 추출하는 단계 및 제1 위치 정보를 이용하여 제2 영상 입력 장치를 제어하는 단계를 포함한다.

Description

스테레오 물체 추적 방법 및 시스템{Method and apparatus for a tracking stereo target}

본 발명은 주시각을 제어함으로써 이동 표적을 적응적으로 추적할 수 있는 스테레오 물체 추적 방법 및 시스템에 관한 것이다.

이동 표적을 실시간으로 추적하는 기술은 지난 수십 년 동안 여러 응용 분야에서 많은 연구가 이루어져 왔다. 최근에는 산업 및 군사 기술의 발달과 더불어 무인 자동화 시스템의 요구가 높아짐에 따라 이동 표적을 추적하는 기술에 대한 관심이 매우 고조되고 있다.

특히, 스테레오 로봇 비젼(stereo robot vision) 기술을 이용한 물체 추적 및 원격 작업은 로봇에게 사람과 같은 입체 시각을 부여함으로써 마치 현장에 있는 것과 같이 자연스러운 작업 처리가 가능하게 함으로써, 기존의 2차원 시각에 비해 30% 이상의 원격 작업 효율을 높여주는 것으로 알려지고 있다. 이와 같은 스테레오 로봇 비전 시스템에는 입체 시각을 부여하는 스테레오 카메라 기술, 스테레오 입력 영상을 처리하여 표적 물체를 인지하는 물체 인식 기술 그리고 표적 물체를 연속적으로 추적하여 관측자가 표적 물체를 계속적으로 추적 및 감시할 수 있는 스테레오 물체 추적 기술 등이 포함된다.

일반적으로, 양안 시차에 기반한 스테레오 물체 추적 시스템(stereo object tracking system)에서 좌, 우 두 눈의 초점 면에 표적 물체의 시점이 일치하지 않게 되면, 표적 물체가 두 개로 겹쳐 보이게 됨으로써 눈의 피로감 가중과 작업 효율의 저하를 초래하게 된다. 따라서, 추적 물체에 스테레오 시차(stereo disparity)가 존재할 경우에는 이 시차를 제거하게 되는데, 이것을 주시각제어(convergence angle control)라고 한다. 즉, 일반적인 스테레오 물체 추적 시스템에서는 양안 시차가 존재하면서 추적 물체에 대한 스테레오 시차를 없애주기 위한 주시각 제어 기술과 추적 물체가 항상 카메라 시야(FOV: field of view) 중앙에 위치하도록 하는 카메라 팬/틸트 제어(이하, FOV 제어라 칭함) 기술 등 두 가지 기능이 요구된다.

기존의 스테레오 물체 추적 시스템에서 주시각 제어 및 추적 물체의 FOV 제어를 위해서는 스테레오 입력 영상의 위치 좌표를 찾아내기 위한 기준 영상의 추출이 필수적이다. 이러한 기준 영상의 영역 추출 알고리즘은 대부분 2차원 순차 입력영상을 이용하여 이전 영상과 현재 영상 사이의 관계 등으로부터 배경 및 잡음을 제거함으로써 추적 물체를 식별하는 방법 등이 사용되고 있다. 즉, 이러한 2차원적 영상 처리에서 기준 영상을 추출하기 위한 방법으로는 전, 후 프레임의 비교에 의한 차영상(image difference)방법, 사전에 정의된 특정 모델의 특징을 이용하는 모델기반(model-based) 방법, 광류(optical flow)에 의한 방법 및 블록 매칭(block matching) 방법 등이 연구되고 있다.

하지만 차영상에 의한 방법은 영상 검출기가 움직이고 있는 경우에는 이동 표적을 검출하는데 문제가 있다. 모델 기반에 의한 방법은 입력되는 영상이 미리 저장된 모델의 물체와 달리 상대적 명암이나 약간 변형되는 경우에는 매칭에 대한 어려움의 제약이 있다. 또한 광류에 의한 방법은 화소 단위의 정합에 의한 방법이기 때문에 영상의 이동 변위가 클 경우 계산상의 오류가 발생하여 응용할 수 없고 일반적인 원근감을 갖는 정합은 어려운 것으로 보고되고 있다. 또한, 블록에 기반한 방법은 각 블록간을 비교하여 움직임을 추정하는 방법으로 가장 부합되는 블록을 찾기 위한 계산량과 전, 후 프레임의 배경에 변화가 있는 경우에는 이동 물체를 추출하기가 어려운 단점이 있다.

본 발명의 목적은 영상 검출기가 움직이고 있는 경우에도 이동 표적을 실시간으로 검출할 수 있는 스테레오 물체 추적 방법 및 시스템을 제공하는 데 있다.

본 발명의 다른 목적은 이동 표적의 상대적 명암의 변화 또는 형상의 변화 등의 변화 요인에도 실질적으로 검출할 수 있는 스테레오 물체 추적 방법 및 시스템을 제공하는 데 있다.

본 발명의 또 다른 목적은 실시간으로 용이하게 이동 표적에 대한 위치 정보를 추출한 후, 추출된 위치 정보를 이용하여 주시각 제어 및 FOV 제어를 할 수 있는 스테레오 물체 추적 방법 및 시스템을 제공하는 데 있다.

도 1a는 추적 물체에 대해 좌우 카메라의 스테레오 입력 영상이 주시점에 정확히 일치된 경우를 예시적으로 나타낸 도면.

도 1b는 추적 물체에 대한 좌우 카메라의 스테레오 입력 영상에 대한 주시점이 다르기 때문에 스테레오 시차가 생겨 화면에 2개의 영상이 겹쳐 나타난 경우를 예시적으로 나타낸 도면.

도 2는 본 발명에 따른 광-디지털 스테레오 물체 추적 시스템의 처리 흐름을 개략적으로 나타낸 도면.

도 3a 및 도 3b는 본 발명의 바람직한 일 실시예에 따른 카메라가 움직일 경우t+1프레임에서의 좌우 입력 영상인l(t+1), r(t+1)을 예시적으로 나타낸 도면.

도 4는 본 발명의 바람직한 일 실시예에 따른 좌측 영상에 대한 광 BPEJTC 시스템의 내부 구성도를 나타낸 도면.

도 5는 본 발명의 바람직한 일 실시예에 따른 광 BPEJTC의 입력 평면의 예를 나타낸 도면.

도 6a는 4개의 기본 구성요소로 이루어져 있는 기존의 Convex hull 필터를나타낸 도면.

도 6b는 본 발명의 바람직한 일 실시예에 따른 8개의 구성요소로 이루어진 변형된 Convex hull 필터를 나타낸 도면.

도 7은 본 발명의 바람직한 일 실시예에 따른 표적의 영역화를 위한 투영 과정을 나타낸 도면.

도 8은 본 발명의 바람직한 일 실시예에 따른 2단으로 분리하여 나타낸 광 BPEJTC 입력 평면의 예시도.

도 9a 및 도 9b는 본 발명의 바람직한 일 실시예에 따른 카메라가 움직일 경우의 입력영상을 나타낸 도면들.

도 10a 및 도 10b는 본 발명의 바람직한 일 실시예에 따른 표적 물체의 영역화된 결과를 나타낸 도면들.

도 11a 및 도 11b는 본 발명의 바람직한 일 실시예에 따른 상관 평면에서 나타나는 좌, 우측 영상의 상관 첨두치를 결과를 각각 나타낸 도면들.

<도면의 주요 부분에 대한 부호의 설명>

201…제1 단계 203…제2 단계

205…제3 단계

상술한 목적들을 달성하기 위하여, 본 발명의 일 측면에 따르면, 제1 영상 입력 장치 및 제2 영상 입력 장치를 구성하는 스테레오 물체 추적 시스템을 적응적으로 제어하는 방법에 있어서, 상기 제1 영상 입력 장치를 통하여 순차적으로 촬상된 적어도 두 개의 입력 영상으로부터 배경 정합을 통하여 상기 적어도 두 개의 입력 영상에 포함된 표적 물체를 탐지하는 단계, 표적 투영 마스크를 이용하여 상기표적 물체를 분리하는 단계, 상기 표적 물체를 포함하는 기준 영상을 생성하는 단계, 상기 제2 영상 입력 장치를 통하여 촬상된 적어도 하나의 대상 영상과 상기 기준 영상을 비교하여 제1 위치 정보를 추출하는 단계 및 상기 제1 위치 정보를 이용하여 상기 제2 영상 입력 장치를 제어하는 단계를 포함하는 스테레오 물체 추적 시스템의 적응 제어 방법을 제공할 수 있다.

상기 방법은 상기 분리된 표적 물체의 제2 위치 정보를 추출하는 단계 및 상기 제2 위치 정보를 이용하여 상기 제1 영상 입력 장치를 제어하는 단계를 더 포함하되, 상기 기준 영상은 상기 분리된 표적 물체를 상기 제2 위치 정보에 상응하도록 보정함으로써 생성되는 것이 바람직하다. 여기서, 상기 제1 영상 입력 장치는 상기 제2 위치 정보를 이용하여 팬/틸트 제어되는 것이 바람직하다. 상기 표적 투영 마스크는 영상 차분 필터링, 논리곱 연산 과정 및 모폴로지 필터링을 통하여 구성되는 것을 특징으로 한다. 상기 표적 물체의 제1 위치 정보는 광 BPEJTC(Binary Phase Extraction Joint Transform Correlator)를 이용하여 추출되는 것이 바람직하다. 상기 제2 영상 입력 장치는 상기 제1 위치 정보를 이용하여 주시각 및 팬/틸트 중 적어도 하나가 제어될 수 있다.

본 발명의 또 다른 측면에 따르면, 제1 영상 입력 장치 및 제2 영상 입력 장치를 구성하는 스테레오 물체 추적 시스템에 있어서, 상기 제1 영상 입력 장치를 통하여 순차적으로 촬상된 적어도 두 개의 입력 영상으로부터 배경 정합을 통하여 상기 적어도 두 개의 입력 영상에 포함된 표적 물체를 탐지하는 수단, 표적 투영 마스크를 이용하여 상기 표적 물체를 분리하는 수단, 상기 표적 물체를 포함하는기준 영상을 생성하는 수단, 상기 제2 영상 입력 장치를 통하여 촬상된 적어도 하나의 대상 영상과 상기 기준 영상을 비교하여 제1 위치 정보를 추출하는 수단 및 상기 제1 위치 정보를 이용하여 상기 제2 영상 입력 장치를 제어하는 수단을 구비하는 스테레오 물체 추적 시스템을 제공할 수 있다.

본 발명의 또 다른 측면에 따르면, 제1 영상 입력 장치 및 제2 영상 입력 장치를 구성하는 스테레오 물체 추적 시스템에 있어서, 프로그램이 저장되어 있는 메모리, 상기 메모리에 결합되어 상기 프로그램을 실행하는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램에 의해, 상기 제1 영상 입력 장치를 통하여 순차적으로 촬상된 적어도 두 개의 입력 영상으로부터 배경 정합을 통하여 상기 적어도 두 개의 입력 영상에 포함된 표적 물체를 탐지하는 단계, 표적 투영 마스크를 이용하여 상기 표적 물체를 분리하는 단계, 상기 표적 물체를 포함하는 기준 영상을 생성하는 단계, 상기 제2 영상 입력 장치를 통하여 촬상된 적어도 하나의 대상 영상과 상기 기준 영상을 비교하여 제1 위치 정보를 추출하는 단계 및 상기 제1 위치 정보를 이용하여 상기 제2 영상 입력 장치를 제어하는 단계를 실행하는 스테레오 물체 추적 시스템의 적응 제어 시스템을 제공할 수 있다.

이어서, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

본 발명에 따른 스테레오 물체 추적 방법 및 시스템에 대하여 개략적으로 살펴보면, 순차적인 입력 영상으로부터 배경 정합을 통해 이동 표적을 탐지하고, 영상 차분 필터, 논리곱 연산 및 모폴로지 필터를 이용하여 구성된 표적 투영마스크를 이용하여 이동 표적을 영역화한 다음 최종적으로, 광 BPEJTC(binary phase extraction joint transform correlator, 이진 위상 추출 JTC)를 이용하여 이동 표적의 위치 정보를 추출해 냄으로써 이를 이용하여 실시간적 카메라의 주시각 제어 및 이동 물체일 할 수 있다. 또한, 본 발명에 따른 스테레오 물체 추적 방법 및 시스템은 이동 표적 물체의 추출 및 카메라 주시각 제어 알고리듬의 광학적 구현을 통해 적응적 스테레오 물체 추적 시스템의 실시간적 구현 가능성을 제시한다.

즉, 본 발명에 따른 스테레오 물체 추적 방법 및 시스템은 광 BPEJTC를 이용하여 순차적으로 두 입력 프레임간의 상관을 통하여 배경(background)을 정합한 다음, 전후 프레임 영상에 변형된 영상 차분 필터를 이용하여 이동 표적 영역을 탐지하고, 변형된 Convex hull 필터를 적용함으로써 이동 표적을 영역화할 수 있다. 그리고, 본 발명에 따른 스테레오 물체 추적 방법 및 시스템은 영역화된 기준 영상과 스테레오 입력 영상 사이에 광 BPEJTC를 수행함으로써 이동 물체의 위치 정보를 산출할 수 있으며, 최종적으로 위치 정보를 이용하여 스테레오 카메라의 주시각 및 팬/틸트(FOV) 제어를 한다. 스테레오 카메라의 주시각 및 팬/틸트(FOV) 제어를 통하여 이동 표적이 실시간으로 추적될 수 있다. 본 발명에서, Convex hull 처리를 도입함으로써 기존의 차분 필터와 BMA 등에서 발생하는 영역화 오류를 감소시킬 수 있으며, 광학적 구성이 가능한 BPEJTC를 통하여 실시간으로 위상 상관이 가능한 상관 첨두치를 이용하여 정확히 이동 표적을 추출하고 이를 이용하여 스테레오 물체 추적 방법 및 시스템의 주시각 제어 및 팬/틸트(FOV) 제어가 가능하다.

일반적으로, 사람이 이동 물체를 추적할 때 이동 물체에 좌우 두 눈의 시점을 일치시키는 것과 마찬가지로, 스테레오 카메라를 이용한 물체 추적 시스템에서 이동 물체에 대하여 좌, 우 시점을 일치시키기 위해서는 카메라의 스테레오 시차가 "0" 이 되어야 한다. 이렇게 함으로써, 눈의 피로감이 없는 자연스러운 관측과 작업 효율의 개선이 이루어질 수 있다. 반면에 좌우 두 눈의 초점 면에 추적될 이동 물체의 시점이 일치하지 않아 스테레오 시차가 존재하는 경우는 이동 물체가 이중으로 보이게 되어 눈에 피로감이 가중되게 되어 작업 효율이 크게 떨어지게 된다.

도 1a는 추적 물체에 대해 좌우 카메라의 스테레오 입력 영상이 주시점에 정확히 일치된 경우를 예시적으로 나타낸 도면이며, 도 1b는 추적 물체에 대한 좌우 카메라의 스테레오 입력 영상에 대한 주시점이 다르기 때문에 스테레오 시차가 생겨 화면에 2개의 영상이 겹쳐 나타난 경우를 예시적으로 나타낸 도면이다.

본 발명에 따른 스테레오 물체 추적 방법 및 시스템은 추적할 이동 표적을 인식, 추출하여 추적하고 이동 표적을 화면의 중앙에 위치시키는 면에서는 기존 2차원 물체 추적 시스템의 기능과 같지만 좌우 두 카메라의 스테레오 영상에서 추적물체에 대하여 주시점을 일치시키고 동시에 추적해야 하는 점에서 차이가 있다. 즉, 주시각 제어 및 스테레오 카메라의 팬/틸트(FOV) 제어 기능이 추가된다. 여기서, 주시각 제어는 스테레오 카메라의 시점을 3차원 공간의 동일점(표적 물체)상에 일치시키는 것으로 이 점은 스테레오 시차가 "0" 이 되어 관측자의 좌우 두 눈의 초점이 일치하는 점이라고 할 수 있다. 또한, 스테레오 카메라의 팬/틸트(FOV) 제어는 표적 물체가 이동함에 따라 스테레오 카메라의 팬과 틸트(FOV)를 제어하여 사람의 눈동자 움직임과 같이 추적 물체가 항상 좌우 카메라 시야(FOV)의 중앙에 놓이도록 하는 기능을 말한다.

본 발명에 따라서, 스테레오 물체 추적 시스템에서 두 카메라의 입력 영상으로부터 추적 물체의 현재 위치 정보의 추출이 가능하면, 카메라의 주시각 제어 및 팬/틸트(FOV) 제어가 동시에 이루어 질 수 있다. 그러나, 스테레오 영상 처리에서 주시각 제어를 위한 스테레오 시차만 추출하는 경우에는 추적을 위한 물체의 현재위치 정보를 따로 구해야만 한다. 또한, 본 발명에 따르면, 상관 기법을 이용한 스테레오 영상 처리의 경우는 추적 물체의 현재 위치 정보의 추출이 가능함으로 이를 이용한 주시각 및 팬/틸트(FOV)의 동시 제어가 가능하다.

도 2는 본 발명에 따른 광-디지털 스테레오 물체 추적 시스템의 처리 흐름을 개략적으로 나타낸 도면이다.

도 2를 참조하면, 광-디지털 스테레오 물체 추적 시스템의 처리 흐름은 표적 물체의 배경을 정합하는 제1 단계(201), 배경 분리 및 표적 물체를 영역화하는 제2 단계(203) 및 표적 물체의 위치 정보를 추출하는 제3 단계(205)로 이루어진다. 즉, 1 단계에서, 광-디지털 스테레오 물체 추적 시스템은 광 BPEJTC를 이용하여 연속적인 세 개의 프레임 입력 영상 사이의 상관을 통해 카메라의 이동 속도와 방향에 대한 상대적 움직임을 찾아내고 이를 이용하여 두 영상 사이의 배경을 정합한다. 두 영상 사이의 배경을 정합한 결과는 제2 단계의 배경 분리 처리에 사용되게 된다. 제2 단계에, 광-디지털 스테레오 물체 추적 시스템은 영상 차분 필터와 논리곱 연산 등을 적용하여 두 영상 사이의 순수한 표적 운동 성분만을 추출하고, 모폴로지필터를 이용하여 마스크를 구성하여 기준영상에 투영시킴으로써 이동하는 표적 물체만을 영역화한다. 마지막 제3 단계에서, 광-디지털 스테레오 물체 추적 시스템은 영역화된 기준 영상과 스테레오 입력 영상 사이에 광 BPEJTC를 실행하여 이동하는 추적 물체의 위치 정보를 추출하고, 여기서 구한 이동 표적 물체의 위치 정보를 이용하여 최종적으로 스테레오 카메라의 주시각 제어뿐만 아니라 스테레오 카메라의 팬/틸트(FOV)를 제어한다. 각각의 단계에 대하여 도면을 참조하여 보다 상세하게 설명하기로 한다.

이동하는 표적 물체의 배경을 정합하는 제1 단계를 구체적으로 설명하면 다음과 같다.

일반적으로 순차적인 입력 영상 사이의 배경이 일치되는 경우에는 영상 차분필터만으로 이동하는 표적 물체의 움직임을 쉽게 검출할 수 있지만, 배경과 표적이 모두 움직이는 실제로 자주 발생하는 모델의 경우에는 배경 제거에 의한 표적 물체의 검출이 어렵다. 따라서, 본 발명에서 제안하는 알고리즘의 효율성을 분석하기 위하여 카메라 변위가 표적 변위보다 큰 경우와 카메라의 변위가 표적 변위보다 작은 경우로 구분하여 추적 시나리오를 구성하였다.

도 3a 및 도 3b는 본 발명의 바람직한 일 실시예에 따른 카메라가 움직일 경우t+1프레임에서의 좌우 입력 영상인l(t+1), r(t+1)을 예시적으로 나타낸 도면이다.

도 3a에서의 예시 화면에서 카메라 변위가 표적 변위보다 큰 경우를 나타내며, 도 3b에서의 예시 화면에서 오른쪽은 표적의 변위가 카메라 변위보다 큰 경우를 낸다.

도 4는 본 발명의 바람직한 일 실시예에 따른 좌측 영상에 대한 광 BPEJTC 시스템의 내부 구성도를 나타낸 도면이다.

도 4를 참조하면,t프레임의 좌측 입력 영상인l(t)이며 이를 이용하여 순차적인 입력 영상인l(t-1), l(t)혹은l(t), l(t+1)사이의 상관을 통해 배경과 표적 물체의 상관도를 구하게 된다. 광 BPEJTC 시스템은 기존의 광 JTC 시스템에서 발생하는 과도한 DC나 상관 오류 등을 제거하고 분리 조건에 보다 탄력적으로 대처할 수 있도록 제안된 위상형 광 상관기 시스템이다. 즉, 광세기 분포로 나타나는 JTPS(joint transform power spectrum)에서 자기 상관 성분과 동일 영상 평면에서 나타나는 상호 상관 성분을 효과적으로 제거하여 위상 함수만 추출함으로써 상관 판별력을 보다 개선하고 광효율을 극대화한 시스템이다. 광 BPEJTC 시스템에서 이진 위상 JTPS를 구성하기 위해서는 광 JTC의 JTPS 이외에 기준 영상 및 대상 영상에 대한 각각의 광세기 분포가 필요함으로 SLM3(413) 및 SLM4(415)와 제3 렌즈(421) 및 제4 렌즈(415)를 통하여 퓨리에 변환이 되어 제CCD3(405)과 CCD4(407)를 통해 기준 영상 및 대상 영상에 대한 광세기를 얻을 수 있도록 구성하였다.

광 BPEJTC 입력 평면의 SLM1(409) 영상은 제1 렌즈(417)에 의해 퓨리에 변환되어 JTPS 형태로 CCD1(401)에 검출되게 된다. 입력 평면은 도 5를 참조하여 설명하기로 한다.

도 5는 본 발명의 바람직한 일 실시예에 따른 광 BPEJTC의 입력 평면의 예를 나타낸 도면이다.

도 5를 참조하면, 입력 평면은 기준 영상인 l(t-1) 프레임과 현재 영상 즉, 입력 영상인 l(t) 프레임이 2단으로 표시되어 있다.

다시 도 4를 참조하면, 임의의 시간에서 두 영상(기준 영상, 대상 영상)을 동시에 관찰하면 영상간의 거리는 영상 간격 L에 실제 이동 거리가 더해진 상태로 나타나게 된다. 수학식 1은 기준 영상인를 표현한 것이고, 수학식 2는 대상 영상인을 표현한 것이다.

여기서, 는 영상 내에 포함된 표적을, 는 두 영상(프레임)간에 동일하게 나타나는 배경을, 그리고 는 입력 장치인 카메라의 요동으로 대상 프레임에는 존재하나 기준 프레임에서는 사라진 배경 영상을 각각 나타낸다.

여기서,는 대상 영상(현재 영상 또는 입력 영상)에 있는 표적이 x와 y축으로만큼 이동한 것을,는 팬/틸트의 흔들림에 따라 배경인만큼 이동한 것을 각각 나타낸 것이다. 또한,는 표적의 이동과 검출기인 카메라의 요동으로 기준 프레임에서 새로이 입력된 배경 영상을 나타낸다. 여기서,는 상하 프레임 간격인 W/2가 포함된 값이다.

이와 같이 구성된 두 프레임을 동시에 제1 렌즈(417)를 통하여 퓨리에 변환하여 에너지 검출기인 제1 CCD 카메라(401)로 검출할 수 있는 광세기 분포인 JTPS는 수학식 3과 같이 나타낼 수 있다.

여기에서, L(u,v) 는 l(x,y) 의 퓨리에 변환식을, *는 복소 공액을 각각 나타낸다. 수학식 3에서 세 번째 항과 네 번째 항이 두 프레임 간의 상관 스펙트럼으로 이 항을 추출하여 이치화 시키고 이진값으로 변환된 JTPS를 제2 렌즈(419)를 통하여 역퓨리에 변환함으로써 최종적으로 BPEJTC 상관 출력을 제2 CCD 카메라(403)를 통하여 얻을 수 있다.

수학식 4는 수학식 1 및 수학식 2를 이용하여 재구성된 JTPS이다. 여기서, 표적과 표적, 배경과 배경간의 자기상관은 높은 상관 첨두치로 나타나며 나머지 항들은 서로 다른 영상간에 발생한 상호상관 성분으로 비교적 작은 값으로 나타나게 된다.

여기서,는의 퓨리에 변환값을,는의 퓨리에 변환값을,는의 퓨리에 변환값을,는의 퓨리에 변환값을,는의 퓨리에 변환값을,는의 퓨리에 변환값을, *는 복소 공액을,는의 위상을,는의 위상을 각각 나타낸다. 표적과 표적, 배경과 배경간의 자기 상관은 높은 상관 첨두치로 나타나며 나머지 항들은 서로 다른 영상간에 발생한 상호 상관 성분으로 비교적 작은 값으로 나타나게 된다.

따라서, 최종 출력 상관값인 c(x,y)는 수학식 5와 같이 나타낼 수 있다.

여기서, Edge[·]는 영상의 위상 신호를 발생시킨 이상적인 경계를 나타낸 것이다. 또한 δ[·]는 임펄스 함수를 나타낸다. 결과적으로, 복잡한 환경을 가진 경우는 표적 물체의 크기를 고려해 볼 때 배경 성분이 표적 물체의 성분보다 많이 존재한다고 가정할 수 있으므로, 최대 상관값의 위치는 배경 즉, 카메라의 이동성분으로 정의할 수 있다. 여기서,는 상관을 그리고 *는 컨볼루션을 각각 나타내며 실제 검출된 배경의 움직임 정도는로 구할 수 있다.

배경 분리 및 표적 물체를 영역화하는 제2 단계를 구체적으로 설명하면 다음과 같다.

순차적인 3개 프레임의 입력 영상이로 주어지고, 광 BPEJTC를 통해 구한간의 배경 이동 정도가,로 주어지는 경우, 영상간의 배경을 없애는 용이한 방법으로 영상 차분 필터를 사용할 수 있다. 그 결과는 수학식 6 및 수학식 7로 표현되는데, 영상 사이에 움직임 성분으로 표현된다.

다음으로, 영상 차분 필터의 결과로부터 공통된 움직임을 구별해 내기 위하여과의 값을 서로 논리곱 연산(AND operation)을 취함으로써 표적을 검출할 수 있다. 이런 과정을 통하여 연속으로 입력된 세 영상으로부터 운동 성분을 찾아내게 된다. 즉, 표적 물체의 운동 성분값을라고 하면 수학식 8과 같이 나타낼 수 있으며 식에서는 이진화 과정을 의미한다.

본 발명에서, 효율적인 이진화를 위하여 확률적인 방법으로 영역 전체의 분산을 최소화하는 방법을 사용하였다. 즉, 본 발명의 바람직한 일 실시예에서, 영상 차분 결과를 이진화시키기 위하여, 각 그룹내 분산(within-group variance)을 최소화하거나, 그룹간 분산(between-group variance)을 최대로 하는 임계값 τ 를 전 범위에 걸쳐 확률적으로 선택함으로써 전체 영상의 분산은 수학식 9와 같이 얻어지게 된다. 여기서,서는 임계값 τ 보다 작은 부분에서의 확률 분포값을,는 임계값 t보다 큰 경우의 확률 분포값을 각각 나타낸다. 그리고,는 첫 번째 영역의 평균값을 그리고,는 두 번째 영역의 평균값을 의미한다. 따라서, 각 영역내 분산을 최소화하며 각 영역들간의 분산차가 최대가 되는 t를 찾음으로써 임계값을 결정하게 되며 그 결과는 수학식 10과 같이 주어진다.

일반적으로, 모폴로지 필터는 영상 처리 과정에서 없어지지 않고 남아있는 배경 등에 대한 잡음을 없애거나 윤곽선 검출, 필터링, 세선화 등의 처리에 광범위하게 사용되고 있다. 본 발명의 바람직한 실시예에서, 움직임 검출 결과로부터 기준영상에서의 표적 영역화를 위하여 Convex hull 필터와 클로징(closing) 기법의 순차적인 반복 과정을 적용하였다. Convex hull 필터와 클로징 기법을 영상 전반에 적용함으로써 경계선을 평활시킬 뿐만 아니라 각 경계면 안에 존재하는 빈 공간을 채움으로써 표적 마스크를 만들 수 있다.

한편, 기존의 Convex hull 필터는 도 6a와 같이 4개의 기본 구성요소로 이루어져 있다. 그러나, 이러한 기존의 구성 요소들을 각 영상에 적용하는 경우 실제 표적보다 큰 잉여적인 외곽 패턴이 발생하여 정확한 영역화를 기대할 수 없다. 이와 같은 문제점을 해결하기 위하여 즉, 가능한 원래 표적 물체에 가까운 영상을 추출하기 위하여 본 발명의 바람직한 일 실시예에서 변형된 마스크를 설정하는데, 도 6b와 같이 8개의 변형된 Convex hull 필터인 마스크를 표시할 수 있다.

입력 영상을A,구성 요소를라고 하고 Convex hull 필터를 적용하기 전의 초기 조건으로서라고 정의하면, 전체 수행 과정은 수학식 11 및 수학식 12와 같이 나타낼 수 있다.

여기서, ø 는 hit-or-miss 변환을 나타낸다. 구성 요소를 하나씩 적용시킨 결과를라고 할 때, 하나의 구성 요소에 대해서 완전하게 수렴되는 결과를 찾기 위한 일시적 과정을라고 표현하게 된다. 따라서, 이는 새로 구해진 결과X가 이전값에 수렴되는 조건인이 만족될 때까지 계속해서 반복적으로 계산을 한다는 의미로써CONV란 첨자를 삽입하게 된다. 결국, 최종적인 Convex hull 필터 결과인 C(A)는 구성 요소를 전부 적용시킨 영상 결과 { D}^{ i} 를 전부 합함으로써 얻을 수 있다. 따라서, 표적 물체의 검출 결과로부터 이동 영역 마스크를 설정하기 위하여 Convex hull 필터링과 클로징 과정이 결합된 새로운 모폴로지 필터를 수학식 8에 추가적으로 적용함으로써 수학식 13과 같은 표적 마스크를 설정하게 된다.

후단의 인식 과정을 고려하여 표적 물체의 위치를 좌표값으로 영역화하기 위하여 수학식 13에 의해 구해진 표적 마스크를 기준 영상로 투영시키면 표적만을 부각시킬 수 있다. 여기서, 검출된 마스크를 x, y 방향으로 각각 투영하는 방법이 새로이 도입되었다.

도 7은 본 발명의 바람직한 일 실시예에 따른 표적의 영역화를 위한 투영 과정을 나타낸 도면이다.

도 7을 참조하면, 투영 과정은 움직임 검출값으로부터 먼저 x축으로 투영시켜 x축상에 존재하는 표적의 위치를 알아낸다. 이 후, 다시 y축으로 투영시킴으로써 y축상에 존재하는 표적의 정확한 위치를 찾아내어 배경으로부터 표적만을 분리해 낼 수 있게 된다.

또한, 배경이 분리된 좌측 영상의 마스크에서 추적 물체의 위치 좌표를 추출하여 카메라 화면의 중앙으로 위치하도록만큼 이동시킨 후에, 광 BPEJTC 입력 평면의 기준 영상으로 사용하게 된다. 그리고 이동값인은 좌측 카메라의 팬/틸트 제어값이 된다.

마지막으로 표적 물체의 위치 정보를 추출하는 제3 단계를 구체적으로 설명하면 다음과 같다.

표적 물체의 위치 정보를 구하기 위하여 표적 마스크의 기준영상과 우측 영상인r(t)간에 광 BPEJTC를 통해 두 물체간에 떨어진 상대 거리값을 구하여 우측 카메라의 주시각 제어값으로 사용하게 된다. 여기서, 표적의 위치 정보를 추출하기 위해 사용되는 광 BPEJTC의 수행 절차는 제1 단계에서 설명한 배경 정합 과정과 같으므로 생략하고, 그 결과값에 대해서 설명하기로 한다.

즉, 광 BPEJTC 입력 평면에서 SLM1의 영상은 제1 렌즈에 의해 퓨리에 변환되어 JTPS 형태로 CCD1에 검출되게 된다. 도 4로 표현한 입력 평면은 도 8과 같이 2단으로 분리하여 광 BPEJTC 입력 평면으로 나타낼 수 있다. 도 4에서 광 BPEJTC 입력으로 사용되는 기준 영상과 입력 영상[r(t)]의 추적 물체의 위치 좌표는로 각각 주어진다. 그리고, 이진 위상 형태로 변형된 JTPS를 SLM2의 입력으로 사용하고 역퓨리에 변환하여 상관 평면에서 얻은 결과는 수학식 14와 같이 얻을 수 있다.

수학식 14는 도 4에서 나타낸 상관 평면인 CCD2 에서 상관 첨두치로 검출된다. 상기 첨두치는 중심 좌표에 있는 기준 영상과 우측 영상 사이에 떨어진 상대 거리로 첨두치의 위치 좌표를 얻을 수 있다. 또한, 이러한 위치 좌표로부터 우측 영상의 추적 물체의 위치 좌표값과 우측 카메라의 팬/틸트(FOV) 제어값을 각각 구할 수 있다.

수학식 14에서, Edge[·]는 영상의 이상적인 경계선 추출 함수를 나타낸 것이다. 그리고, 수학식 15에서, 퓨리에 변환하여 진폭 성분을 제거하고 다시 역퓨리에 변환하여 영상의 경계 추출 결과를 얻을 수 있음을 알 수 있다. 결과적으로 광 BPEJTC는 DC와 배경으로 인하여 발생하는 상관 오류를 제거할 수 있을 뿐만 아니라, 공간 정합 필터에서 우수한 peak-to-sidelobe를 나타내는 특성을 가지고 있다.

따라서,l(t)영상의 전처리에서 구한 좌측 카메라의 제어값과 광 BPEJTC를 통해 구한 우측 영상의 제어값으로부터 스테레오 카메라의 팬/틸트(FOV)를 제어함으로써 스테레오 물체의 실시간적인 추적이 가능하게 된다.

다음은 본 발명에 따른 스테레오 물체 추적 방법 및 시스템을 적용한 실험 과정 및 결과에 대해서 상세히 설명하도록 한다.

본 실험에서 좌, 우측의 영상 입력용 카메라는 동경 전자(주)의 CS-8239B 카메라를 사용하였으며, 이동 표적 물체(자동차 모형)를 포함하는 입력 영상 데이터의 크기는 256x256 픽셀로 하였다. 영상 저장용 프레임 그래버는 Matrox사의 Metero II/4와 Metero II MC/2의 2개를 사용하여 저장하였으며 디지털 시스템은 펜티엄 III-800(256MB)을 사용하였다.

1. 제1 단계인 표적 물체의 배경 정합에 대한 실험

본 발명에 따른 알고리즘의 효율성을 보이기 위한 시나리오는 카메라 변위가 표적 변위보다 클 경우와 카메라 변위가 표적 변위보다 작은 경우로 구분하여 실험이 이루어 졌다.

도 9a 및 도 9b는 본 발명의 바람직한 일 실시예에 따른 카메라가 움직일 경우의 입력영상을 나타낸 도면이다.

도 9a 및 도 9b를 참조하면, 입력 영상의 왼쪽(도 9a)은 카메라의 변위가 표적 물체의 변위보다 큰 경우이며 오른쪽(도 9b)은 표적 물체의 변위가 카메라의 변위보다 큰 경우를 나타낸 것이다.

배경 정합을 위한 기준 영상은 2번째 프레임인l(t)로 하였으며 기준 영상과 비교하여 순차적으로 입력되는 영상들을 연속적으로 상관시켜서 얻은 최대 상관값 위치와 카메라의 이동 변위 성분을 표1에 나타내었다.

<표 1>

표 1에서 각 영상간 상관 첨두치 위치를 살펴보면 카메라 변위가 표적 물체의 변위보다 클 경우에 영상간 변위 성분이 크므로 광 BPEJTC를 이용하여 상관시켜 얻은 최대 상관값의 위치가 배경에 의한 것임을 알 수 있다. 그리고, 변위 성분의 부호는 대상 영상과 기준 영상 사이에 배경 정합을 위하여 상대적으로 움직여야 하는 방향으로 주어지게 된다. 즉, 표 1에서 카메라 변위가 표적 물체의 변위보다 클 때 1, 2 번째 영상을 상관시킨 결과를 보면 x방향으로 음의 값을, y 방향으로는 양의 값의 결과가 나왔다. 이는 기준 영상을 중심으로 할 때 x 방향으로는 기준 영상보다 오른쪽에 위치하고, y 방향으로는 왼쪽에 위치한다는 것을 의미한다. 따라서, 첫 번째 영상l(t-1) 을 두 번째 영상l(t) 의 배경과 정합시키기 위하여 왼쪽으로 16 화소, 아래쪽으로 5화소를 이동시켜 주면 영상간 배경이 일치하게 된다. 그리고, 이치화 과정, 논리곱 연산 등을 이용하여 두 결과값을 결합시켜 공통된 움직임 부분만을 계산해 낼 수 있다.

2. 제2 단계인 표적 물체의 이동 성분인 위치 정보를 추출하는 실험

입력 영상 사이의 상관을 통해 배경을 정합시킨 후, 영상 차분 필터를 이용함으로써 배경을 효과적으로 제거하게 되는데 도 10a 및 도 10b는 검출된 표적의 움직임 값을 이용하여 Convex hull 필터링과 클로징 기법을 영상 전반에 적용함으로써 경계선을 평활시킬 뿐만 아니라 각 경계면 안에 존재하는 빈 공간을 채움으로써 표적 마스크와 이 결과값을 기준 영상에 투영시켜 매핑함으로써 영역화된 결과를 나타낸 도면들이다.

도 10a 및 도 10b를 참조하면, 배경 잡음에 관계없이 추적하고자 하는 표적물체의 효과적인 검출과 그에 따른 표적 마스크가 적응적으로 이루어지고 있음을 알 수 있다. 또한, Convex hull 처리 후에 일정 크기의 영역화 마스크만을 선택하기 때문에 전경과 배경에 존재하는 다른 물체와 관계없이 적응적인 표적 탐지가 가능함을 알 수 있다.

3. 제3 단계인 표적 물체의 위치 정보를 추출하는 실험

도 11a 및 도 11b는 카메라 변위가 표적 변위보다 클 때의 표적 물체의 검출 및 영역화된 좌측 영상과 현재 입력되는 우측 영상 r(t)간에 광 BPEJTC를 실행하기 위한 입력 평면과 광 BPEJTC를 실행한 후 상관 평면에서 나타나는 좌, 우측 영상의 상관 첨두치를 결과를 각각 나타낸 도면이다. 이러한 상관 첨두치의 위치 좌표값을 이용함으로써 좌우 영상의 표적 물체가 화면의 중심으로부터 떨어진거리인를 구할 수 있다.

표 2는 순차적인 4개 프레임의 좌우 입력 영상에 대해서 본 발명의 바람직한 실시예에 따른 추적 알고리즘을 사용하여 최종적으로 구한 표적 물체의 이동된 위치좌표(x,``y) 를 나타낸 것이다. 여기서, 위치 좌표는 입력 영상(256x256)의 중심 좌표(128,128)를 기준으로 하여 x, y축 방향으로 이동된 표적 물체의 위치를 각각 나타낸 것이다.

<표 2>

또한, 도 11의 우측 하단에 있는 각각의 영상은 도 9의 입력 영상에서 제안된 방법을 사용하여 구한 표적 물체의 이동 성분인 표 2를 통해 추적한 후에 합성된 스테레오 영상을 나타낸 것이다.

도 11을 참조하면, 표적 물체(자동차 모형)는 본 발명의 바람직한 실시예에 따른 추적 알고리즘을 통해 스테레오 카메라의 주시각 및 팬/틸트(FOV)가 정확히 제어되어 좌우 시점이 표적 물체에 일치되는 하나의 합성 영상으로 나타나지만 그 이외의 전경 및 배경 물체들은 스테레오 시차로 인해 2개로 겹쳐 보임을 알 수 있다.

본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.

본 발명에 의하여, 계층적인 디지털 영상 처리 알고리즘과 광 BPEJTC 시스템을 상호 보완적으로 사용함으로써 스테레오 카메라의 주시각 및 팬/틸트를 제어할 수 있는 새로운 광-디지털 스테레오 물체 추적 방법 및 장치를 제공할 수 있다.

또한, 본 발명에 의하여, 표적 물체 추출 및 스테레오 카메라 주시각 제어 알고리듬의 광학적 구현을 통해 적응적 스테레오 물체 추적시스템의 실시간적 구현 가능성도 제시될 수 있다.

또한, 본 발명에 의하여, 스테레오 물체 추적의 새로운 접근 방법으로 계층적 디지털 알고리즘과 광 BPEJTC를 상호 보완적으로 이용한 새로운 하이브리드 광-디지털 스테레오 물체 추적 방법 및 장치를 제공할 수 있다. 즉, 제안된 물체 추적 시스템(장치)에서는 순차적으로 입력되는 표적 물체의 영상에 대한 배경 정합을 수행하고 이어서, 영상 차분 필터, 논리곱 연산 및 모폴로지 필터를 이용하여 구성된 표적 투영 마스크를 통해 표적 물체를 영역화한 다음 최종적으로, 광 BPEJTC를 이용하여 표적 물체의 위치 정보를 추출할 수 있다. 그리고, 추출된 표적 물체의 위치 정보를 이용하여 카메라의 주시각 및 팬/틸트를 제어함으로써 이동하는 표적 물체의 실시간적 추적이 가능한 새로운 광-디지털 스테레오 물체 추적 방법 및 장치(시스템)를 제공할 수 있다.

Claims (8)

1. 제1 영상 입력 장치 및 제2 영상 입력 장치를 구성하는 스테레오 물체 추적 시스템을 적응적으로 제어하는 방법에 있어서,

   상기 제1 영상 입력 장치를 통하여 순차적으로 촬상된 적어도 두 개의 입력 영상으로부터 배경 정합을 통하여 상기 적어도 두 개의 입력 영상에 포함된 표적 물체를 탐지하는 단계;

   표적 투영 마스크를 이용하여 상기 표적 물체를 분리하는 단계;

   상기 표적 물체를 포함하는 기준 영상을 생성하는 단계;

   상기 제2 영상 입력 장치를 통하여 촬상된 적어도 하나의 대상 영상과 상기 기준 영상을 비교하여 제1 위치 정보를 추출하는 단계; 및

   상기 제1 위치 정보를 이용하여 상기 제2 영상 입력 장치를 제어하는 단계

   를 포함하는 스테레오 물체 추적 시스템의 적응 제어 방법.
2. 제1항에 있어서,

   상기 분리된 표적 물체의 제2 위치 정보를 추출하는 단계; 및

   상기 제2 위치 정보를 이용하여 상기 제1 영상 입력 장치를 제어하는 단계

   를 더 포함하되,

   상기 기준 영상은 상기 분리된 표적 물체를 상기 제2 위치 정보에 상응하도록 보정함으로써 생성되는 것

   을 특징으로 하는 스테레오 물체 추적 시스템의 적응 제어 방법.
3. 제2항에 있어서,

   상기 제1 영상 입력 장치는 상기 제2 위치 정보를 이용하여 팬/틸트 제어되는 것

   을 특징으로 하는 스테레오 물체 추적 시스템의 적응 제어 방법.
4. 제1항에 있어서,

   상기 표적 투영 마스크는

   영상 차분 필터링, 논리곱 연산 과정 및 모폴로지 필터링을 통하여 구성되는 것

   을 특징으로 하는 스테레오 물체 추적 시스템의 적응 제어 방법.
5. 제1항에 있어서,

   상기 표적 물체의 제1 위치 정보는

   광 BPEJTC(Binary Phase Extraction Joint Transform Correlator)를 이용하여 추출되는 것

   을 특징으로 하는 스테레오 물체 추적 시스템의 적응 제어 방법.
6. 제1항에 있어서,

   상기 제2 영상 입력 장치는 상기 제1 위치 정보를 이용하여 주시각 및 팬/틸트 중 적어도 하나가 제어되는 것

   을 특징으로 하는 스테레오 물체 추적 시스템의 적응 제어 방법.
7. 제1 영상 입력 장치 및 제2 영상 입력 장치를 구성하는 스테레오 물체 추적 시스템에 있어서,

   상기 제1 영상 입력 장치를 통하여 순차적으로 촬상된 적어도 두 개의 입력 영상으로부터 배경 정합을 통하여 상기 적어도 두 개의 입력 영상에 포함된 표적 물체를 탐지하는 수단;

   표적 투영 마스크를 이용하여 상기 표적 물체를 분리하는 수단;

   상기 표적 물체를 포함하는 기준 영상을 생성하는 수단;

   상기 제2 영상 입력 장치를 통하여 촬상된 적어도 하나의 대상 영상과 상기 기준 영상을 비교하여 제1 위치 정보를 추출하는 수단; 및

   상기 제1 위치 정보를 이용하여 상기 제2 영상 입력 장치를 제어하는 수단

   을 구비하는 스테레오 물체 추적 시스템.
8. 제1 영상 입력 장치 및 제2 영상 입력 장치를 구성하는 스테레오 물체 추적 시스템에 있어서,

   프로그램이 저장되어 있는 메모리;

   상기 메모리에 결합되어 상기 프로그램을 실행하는 프로세서

   를 포함하되,

   상기 프로세서는 상기 프로그램에 의해,

   상기 제1 영상 입력 장치를 통하여 순차적으로 촬상된 적어도 두 개의 입력 영상으로부터 배경 정합을 통하여 상기 적어도 두 개의 입력 영상에 포함된 표적 물체를 탐지하는 단계;

   표적 투영 마스크를 이용하여 상기 표적 물체를 분리하는 단계;

   상기 표적 물체를 포함하는 기준 영상을 생성하는 단계;

   상기 제2 영상 입력 장치를 통하여 촬상된 적어도 하나의 대상 영상과 상기 기준 영상을 비교하여 제1 위치 정보를 추출하는 단계; 및

   상기 제1 위치 정보를 이용하여 상기 제2 영상 입력 장치를 제어하는 단계

   를 실행하는 스테레오 물체 추적 시스템의 적응 제어 시스템.