KR20100121020A - 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치 및 그 제어방법 - Google Patents

Abstract

본 발명은 철도건널목의 위험지역을 촬영한 동영상분석에 의해 건널목의 위험지역에 진입한 관심객체를 검지하여 경보를 발생시키는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상 검지장치 및 그 제어방법에 관한 것으로서, 철도건널목의 영상으로부터 이동영역과 정지영역을 검출한다. 객체 추출부(60)는 상기 이동영역 및 정지영역 영상신호에서 관심객체를 추출하고, 경로 추출부(70)는 객체 추출부(60)의 영상신호에서 관심객체의 경로정보를 추출하고, 영상검지 제어부(80)는 객체의 경로정보로부터 건널목의 위험지역에 있는지를 판단하여 위험지역에 있는 경우 경보신호를 발생시킴으로써, 철도건널목 주변의 상황을 인식하여 철도건널목에서 발생할 수 있는 사고로 인한 인명과 재산 피해를 예방하고, 사고예방을 위한 구조물의 건설비용을 절감할 수 있다.

컴퓨터 시각기술, 동영상 분석, 객체, 이동궤적, 지장물, 철도건널목, 영상검지

Description

객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치 및 그 제어방법{Apparatus for detecting a obstacle in a road crossing and controlling method thereof using a moving track of an object}

본 발명은 철도건널목의 위험지역을 촬영한 동영상분석에 의해 건널목의 위험지역에 진입한 관심객체를 검지하여 경보를 발생시키는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치 및 그 제어방법에 관한 것으로서, 특히 철도건널목의 위험지역을 촬영한 동영상분석에 의해 철도건널목 위험지역에 진입한 관심객체를 검지하고, 열차가 진입하고 있고 차단봉이 내려져 있는 경우 열차에게 경보를 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치 및 그 제어방법에 관한 것이다.

종래 철도건널목에서의 사고발생 원인으로는 일단정지 무시에 의한 사고가 46.2%를 차지하며, 건널목 경보장치가 동작한 후 차단봉 하강 직전에 진입 중인 사고가 대부분이며, 차단봉이 내려진 후에도 건널목 내로 진입하여 통과하여 차단봉 을 파손하고 지나가 버린 경우도 있다.

종래기술의 대표적인 예로서, 철도건널목에 장애물 감지센서를 설치하거나 비상버튼을 설치하여 건널목에 장애물이 발생할 경우 최초의 장애물 발견자가 비상버튼을 작동시키거나 장애물 감지센서에 의해 확인된 건널목의 장애물을 주행하는 기관차의 기관사에게 무선송신장치를 통해 음성으로 통보해 줌으로써, 즉시 기관차를 정지시킬 수 있도록 하는 기술로서, 한국특허공개 제1998-0072880호(발명의 명칭: 철도건널목 차단기의 제어장치 및 그 제어방법)에 개시되어 있다.

도 1에 종래기술에 의한 철도건널목 차단기의 제어장치의 구성을 나타내는 블록도가 도시된다.

이 종래의 기술은 건널목 내에 열차 진입/통과를 감지하는 수단과; 상기 건널목 내에 열차 진입/통과에 지장을 주는 이물체 유무, 이물체 이동방향 및 속도를 검지하는 수단(1)과; 건널목 내로 진입을 차단하는 수단(2)과; 상기 수단의 변형, 파손, 고장 상황을 검지하는 수단 및 건널목 내에 차량진입을 방지하는 수단(3)과; 상기 수단들로부터 감지된 신호를 기설정된 프로그램에 의하여 판단 제어하여 제어된 신호를 출력하는 수단(4)과; 상기 수단으로부터 제어된 신호를 받아 건널목 내에 통제/해제 상황을 표시하는 수단(5)과; 상기 수단에 의하여 건널목 내의 열차 진입 및 통과 상황을 영상으로 기록하는 수단(7)과; 상기 수단에서 기록된 상황을 필요시 현장상황을 분석하는 수단과; 상기 수단으로부터 제어신호를 받아 건널목 유무 및 건널목 내에 상황을 무선으로 진입하는 열차에 통보하는 수단(6)과; 상기 수단에서 기록된 상황을 원격 통신으로 자료를 송수신하여 원격에서 장비 이상유무를 감시하는 수단으로 이루어짐을 특징으로 하는 철도건널목 종합제어장치로 구성된다.

그러나 상기 종래의 철도건널목 차단기의 제어장치들은 철도건널목의 위험지역에 진입한 사람이나 차량을 이물체 검출센서로 검출하기 때문에 사람이나 차량이 아닌 물체를 사람이나 차량으로 잘못 감지하여 건널목 차단기를 오작동시키는 문제가 있었다.

이러한 문제를 해결하기 위해 카메라로 철도건널목의 위험지역을 촬영하여 획득한 영상으로 이물체의 대상을 정확하게 인식하여 판단할 필요가 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 컴퓨터 시각기술에 기초하여 서서히 변화하는 조도변화 뿐만 아니라, 급작스런 조도변화에 의해 발생하는 감지 오류율을 낮출 수 있는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치 및 그 제어방법을 제공하는 것이다.

본 발명의 다른 목적은 오작동이 많은 센서를 대체할 수 있는 컴퓨터 시각기술에 기초하여 열차 진입시 건널목의 위험지역에서 객체가 움직이거나, 정지하고 있을 때 양자 모두를 검지해낼 수 있는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치 및 그 제어방법을 제공하는 것이다.

본 발명의 또 다른 목적은 이동궤적을 통해 객체를 검지함으로써 외부 환경으로 인한 잡음의 영향을 제거하여 오경보 발생빈도를 낮출 수 있는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치 및 그 제어방법을 제공하는 것이다.

본 발명의 또 다른 목적은 단순하고 계산량이 적은 최소경계영역을 추출하여 그 궤적을 추적함으로써 무인 영상감시가 가능한 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치 및 그 제어방법을 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명에 의한 철도건널목 위험지역의 지장물 영상검지장치는, 철도건널목에 설치되어 건널목의 영상을 촬영하는 카메라부와; 상기 카메라부에서 출력되는 건널목의 영상을 현재 프레임 I(t)과 이전 프레임 I(t-1) 및 배경 프레임 B(t)으로 분리하고, 상기 현재 프레임I(t)과 이전 프레임 I(t-1)의 차영상신호를 구하고 현재 프레임 I(t)과 배경 프레임 B(t)의 차영상 신호를 구하는 차영상신호 연산부와; 상기 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차영상신호 그리고 현재 프레임 I(t)과 배경 프레임 B(t)의 차영상신호를 앤드 연산하여 이동영역을 검출하는 이동영역 검지부와; 상기 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차영상신호 그리고 현재 프레임 I(t)과 배경 프레임 B(t)의 차영상신호를 감산연산하여 정지영역을 검출하는 정지영역 검지부와; 상기 이동영역 검지부 및 정지영역 검지부에서 출력되는 영상신호에서 블럽부분에 식별기호를 부여하고, 동일객체의 블럽부분을 병합하여 객체를 추출하는 관심객체 추출부와; 상기 관심객체 추출부에서 추출된 관심객체의 영상신호에서 관심객체의 경로정보를 추출하는 경로 추출부와; 상기 관심객체의 경로정보로부터 건널목의 위험지역에 있는지를 판단하여 위험지역에 있는 경우 경보부를 제어하여 경보신호를 출력하는 영상검지 제어부와; 상기 영상검지 제어부로부터 경보신호를 입력받아 경보를 발생하는 경보부로 구성로 구성된다.

본 발명에 의한 철도건널목 위험지역의 지장물 영상검지장치는 상기 이동영역 검지부 및 정지영역 검출부에서 출력되는 영상신호를 상기 차영상신호 연산부로 피드백하여 배경 프레임 B(t)을 갱신하도록 하는 것을 특징으로 한다.

본 발명에 의한 철도건널목 위험지역의 지장물 영상검지장치의 차영상신호 연산부는 상기 감시 카메라부에서 출력되는 영상신호 중에서 이전 프레임 I(t-1)과 현재 프레임 I(t)의 차를 구하는 제1 감산부와; 상기 제1 감산부의 출력을 이진화하는 제1 이진화부와; 상기 제1 이진화부의 출력을 필터링하여 노이즈를 제거하는 제1 필터링부와; 상기 현재 프레임 I(t)과 상기 배경 프레임 B(t)의 차를 구하는 제2 감산부와; 상기 제2 감산부의 출력을 이진화하는 제2 이진화부와; 상기 제2 이진화부의 출력을 필터링하여 노이즈를 제거하는 제2 필터링부로 구성하는 것을 특징으로 한다.

본 발명에 의한 철도건널목 위험지역 영상검지장치의 객체 추출부는 상기 정지영역 검지부와 상기 이동영역 검지부에서 출력되는 정지영역 데이터와 이동영역 데이터를 앤드연산하여 이동물체를 추출하고, 상기 앤드연산한 결과값이 임계치를 넘지 못하면 이동물체로 판단하지 않는 것을 특징으로 한다.

본 발명에 의한 상기 배경영상 갱신부는 초기 배경영상 모델링 단계와 실시간 배경영상 업데이트 단계를 나누어 실행하고, 초기 배경영상 모델링 단계에서는 다수의 영상 프레임 동안 픽셀의 히스토그램을 추출하고, 상기 픽셀 히스토그램에서 최대빈도를 갖는 히스토그램의 빈(Bin)값을 초기 배경영상의 픽셀 값으로 결정하고,

실시간 배경영상 업데이트 단계에서는 이전영상 프레임까지 결정된 배경영상의 픽셀 값과 현재 t의 영상 프레임까지 누적된 (x,y) 좌표의 픽셀 히스토그램에서 최대빈도를 갖는 빈(Bin)값의 가중치 평균 계산에 의하여 최종 결정된 빈(Bin)값으 로 배경영상을 갱신하는 것을 특징으로 한다.

본 발명에 의한 객체 추출부는 이동영역 검지부와 정지영역 검지부로부터 이동영역과 정지영역에 대한 블럽데이터를 입력받아서 블럽 레이블링 작업과 끊어진 블럽영역을 일정한 조건하에 각 화소별로 연결하는 작업을 하는 블럽요소 연결부와; 상기 블럽요소 연결부에서 레이블링되고 합쳐진 블럽영역들을 뭉쳐주거나 끊어주어 블럽머징(blob merging)을 실행하는 블럽머징부와; 상기 블럽머징부에서 출력되는 객체 블럽의 중심 위치, 세로 및 가로 길이, 가로세로비, 가로세로의 면적 정보를 추출하여 관심객체를 추출하는 관심객체 추출부로 구성되는 것을 특징으로 한다.

본 발명에 의한 블럽머징부는 상기 블럽요소 연결부에서 입력되는 영상을 N×N 영상으로 다중 분할한 후, 관심객체의 분할된 각 영역에 대하여 수평/수직방향으로 투영시켜 분할영역별로 관심객체의 분할 최소경계영역을 추출하고, 상기 분할 최소경계영역들을 인접한 것끼리 서로 정합(merging)하여 최종적으로 관심객체의 최소경계영역을 독립적으로 추출하는 것을 특징으로 한다.

본 발명에 의한 블럽머징부는 상기 다중 분할영역의 수평/수직 방향 투영시 누산되는 값을 일정 임계값 이상의 것만을 선택하여 움직임 에너지가 조밀한 부분만을 투영 결과로 추출하고, 움직임 에너지가 조밀하지 못한 부분은 분할 최소경계영역으로 설정하지 않는 것을 특징으로 한다.

본 발명에 의한 블럽머징부는 상기 수평/수직 방향 투영을 통하여 얻은 분할 최소경계영역들의 좌표는 다음의 수식(5)에 의해 얻고,

.....(5)

x-축상에서 분할 최소경계영역의 정합여부는 상기 영상의 가로세로 크기에 비례하여 수립되는 추출객체들 사이의 x-축, y-축상의 다양한 거리 조건에 의한 정합조건을 만족시키면 정합하는 것을 특징으로 한다.

본 발명에 의한 관심객체 추출부는 상기 블럽머징부에서 출력되는 병합된 최소 경계영역으로부터 그 객체의 중심 위치, 세로 및 가로 길이, 가로세로비, 가로세로의 면적, 밀집도의 정보를 추출하여 관심객체에 대한 정보를 추출하는 것을 특징으로 한다.

본 발명에 의한 경로추출부는 상기 관심객체 추출부로부터 관심객체에 대한 정보(객체의 중심 위치, 세로 및 가로 길이, 가로세로비, 가로세로의 면적, 밀집도)를 입력받고, 상기 관심객체 추출부에서 입력되는 영상 프레임에서 현재 관심객체와 이전 관심객체의 변위를 산출하고, 현재 관심객체가 앞으로 이동할 예측변위를 상기 산출된 변위와 동일하게 설정함으로써 상기 관심객체가 앞으로 이동할 예상 위치를 예측하고, 상기 관심객체의 예상 위치에서 추적하고자 하는 상기 관심객체의 외형 모델을 다음의 수식(8), 수식(9), 수식(10)으로 표현하고,

.....(8)

.......(9)

......(10)

(여기서, M_RGB(x,y)는 관심객체의 색상모델로써 이동물체 및 정지물체 영역 내의 픽셀 색상정보이다. P_c(x,y)은 관심객체의 확률마스크로써 이동물체 및 정지물체 영역 내에서 관찰되는 객체의 유사도(likelihood)를 의미한다.)

상기 관심객체의 외형 모델과 가장 유사한 픽셀 위치를 찾음으로써 이동하는 관심객체를 추적하는 것을 특징으로 한다.

본 발명에 의한 상기 경로추출부는 상기 관심객체 추출부에서 입력되는 관심객체에 대한 정보로부터 추출된 기본영역정보를 이용하여 이동객체의 특징(feature)들을 갱신 및 모델링한 후, 이를 바탕으로 관심객체의 외형 모델을 관심객체의 색상모델로써 이동물체 및 정지물체 영역내의 픽셀 색상정보와 관심객체의 확률마스크로써 이동물체 및 정지 물체의 변화하는 모양특성 정보로 산출 및 갱신하고, 상기 관심객체의 외형 모델을 기준으로 확률 마스크가 0 값을 갖는 픽셀은 객체가 아니고 배경영상의 픽셀로 결정하고, 추출된 객체 픽셀의 색상정보와 유사성을 결정함으로써 관심객체의 추적을 수행하는 것을 특징으로 한다.

본 발명에 의한 관심객체의 외형 모델을 기준으로 현재 영상 프레임에 대하여 특정 픽셀위치에서의 최대유사도(Maximum Likelihood)를 다음 수식(11), 수식(12)에 의해 계산하고,

.......(11)

.......(12)

(여기서, 상기 수식(11)에서 X는 영상 프레임에서의 픽셀 좌표 벡터이고, Y는 추적 객체의 외형 모델의 최대 유사도를 산출하기 위한 예상 객체 영역 내의 픽셀 변위 값을 나타낸다.

P_c(X)는 추적 객체의 외형 모델 중에서 확률 마스크이며, M_RGB(X)는 추적 객체의 외형 모델 중에서 색상 정보를 나타내며, 앞서 언급한데로 객체의 픽셀 평균 색상 값을 의미한다.

I(X)는 현재 영상 프레임의 픽셀 색상 값이다. P_RGB(X)은 평균이 M_RGB(X)이고 분산이 σ²인 가우시안 색상 분포를 나타내며, 현재 영상 프레임의 픽셀 색상 값과 평균인 M_RGB(X)의 색상 값의 차이가 ±1σ일 때, P_RGB(X)는 0.9의 가중치를 가지며, ±2σ일 때, P_RGB(X)는 0.5의 가중치를 가지게 된다.)

현재 영상 프레임의 픽셀 색상 값과 평균인 M_RGB(X)의 색상 값의 차이가 클수록 작은 가중치로 P(I,X,M)가 적용되어 계산되고 차이가 작을수록 최대의 가중치로 적용되어 P(I,X,M)가 계산되어 외형 모델이 제일 유사한 영역이 추적 객체의 위치로 결정되도록 하는 것을 특징으로 한다.

본 발명에 의한 철도건널목 위험지역 영상 검지장치의 제어방법은 초기화하고, 카메라부로부터 건널목 영상을 입력받는 단계;

상기 건널목 영상으로부터 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차연산에 의해 차영상 화면을 산출하고, 현재 프레임 I(t)과 배경 프레임 B(t)의 차에 의해 차영상 화면을 검출하는 단계와;

상기 차영상 화면과, 차영상 화면을 앤드연산하여 이동영역을 검출하고 상기 차영상 화면과 차영상 화면을 감산연산하여 정지영역을 검출하는 단계와;

상기 이동영역 및 정지영역 영상신호에서 블럽부분에 식별기호를 부여하여 객체를 구성하는 블럽들을 하나의 영역으로 묶어주는 단계와;

상기 이동영역 및 정지영역 영상신호의 한 프레임을 N×N으로 다중 분할한 후, 관심객체의 각 분할영역에 대하여 수평/수직 방향으로 투영시켜 분할영역별로 분할 최소경계영역을 추출하고, 상기 분할 최소경계영역들을 인접한 것끼리 서로 정합(merging)하여 최종적으로 관심객체의 최소경계영역을 추출하는 단계와:

최소경계영역에 대한 영상신호에서 관심객체에 대한 정보를 입력받고, 현재 관심객체와 이전 관심객체의 변위를 산출하여 현재 관심객체가 앞으로 이동할 예측변위를 상기 산출된 변위와 동일하게 설정함으로써 관심객체의 앞으로 이동할 예상 위치를 예측하는 단계와;

관심객체에 대한 정보를 포함하는 영상 프레임에서 관찰할 수 있는 관심객체의 색상정보, 모양(shape)정보를 적용하여 외형 모델(appearance model)을 산출하고, 상기 예상 위치에서 추적하고자 하는 관심객체의 외형 모델과 가장 유사한 픽셀 위치를 찾음으로써 이동하는 관심객체를 추적하여 관심객체의 경로정보를 추출하는 단계와;

상기 관심객체의 경로정보로부터 관심객체가 위험지역 내에 있는지를 판단하여 관심객체가 위험지역 내에 있지 않은 경우, 상기 카메라부로부터 건널목 영상을 입력받는 단계로 복귀하여 그 이하의 과정을 수행하는 단계와;

관심객체가 위험지역 내에 있는 경우 경보를 울리는 조건이 만족되고 있는지 판단하여 만족하는 경우, 경보부를 제어하여 경보를 발생하는 단계로 구성되는 것을 특징으로 한다.

본 발명에 의한 상기 배경영상은 상기 이동영역 및 정지영역의 영상신호에 대해 다수의 영상 프레임 동안 얻은 픽셀 히스토그램에서 최대빈도를 갖는 빈(Bin)값을 배경영상의 픽셀 값으로 결정하여 초기 배경영상을 모델링하고, 다수의 영상 프레임 동안 얻은 픽셀 히스토그램에서 최대빈도를 갖는 빈(Bin)값을 이전영상 프레임까지 결정된 픽셀 값과 가중치 평균으로 배경영상 프레임을 갱신하는 것을 특징으로 한다.

본 발명에 의한 상기 경보발생 조건은 상기 건널목의 위험지역에 관심객체가 있고, 건널목을 향하여 열차가 진행하고 있으며, 차단기가 내려져 있는 경우인 것을 특징으로 한다.

이와 같이 본 발명에 의하면 컴퓨터 시각기술에 기초한 동영상분석에 의하여 철도건널목에서 위험지역에 진입한 관심객체를 검지하여 건널목으로 열차가 진행하고 있으며, 차단기가 내려져 있는 경우 경보를 발생하여 철도건널목에서 발생할 수 있는 사고로 인한 인명과 재산 피해를 예방하고, 사고발생을 예방하기 위한 입체교차로 등의 구조물 건설비용을 절감할 수 있다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

도 2에 본 발명에 의한 객체의 이동궤적을 이용한 철도건널목 위험지역의 영상 검지장치의 구성을 나타내는 블록도가 도시된다.

본 발명에 의한 철도건널목 위험지역 영상 검지장치는 철도건널목에 설치되어 건널목의 영상을 촬영하는 카메라부(10)와; 상기 카메라부(10)에서 출력되는 건널목의 영상을 현재 프레임 I(t)과 이전 프레임 I(t-1) 및 배경 프레임 B(t)으로 분리하고, 상기 현재 프레임 I(t)과 이전 프레임I(t-1)의 차영상신호를 구하고 현재 프레임 I(t)과 배경 프레임 B(t)의 차영상신호를 구하는 차영상신호 연산부(20)와; 상기 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차영상신호 그리고 현재 프레임 I(t)과 배경 프레임 B(t)의 차영상신호를 앤드 연산하여 이동영역을 검출하는 이동영역 검지부(30)와; 상기 현재 프레임I(t)과 이전 프레임 I(t-1)의 차영상신호 그리고 현재 프레임 I(t)과 배경 프레임 B(t)의 차영상신호를 감산연산하여 정지영역을 검출하는 정지영역 검지부(40)와; 상기 이동영역 검지부(40) 및 정지영역 검출부(30)에서 출력되는 영상신호를 상기 차영상신호 연산부(20)로 피드백하여 배경 프레임 B(t)을 갱신하도록 하는 배경영상 갱신부(50)와; 상기 이동영역 검지부(40) 및 정지영역 검지부(30)에서 출력되는 영상신호에서 블럽부분에 식별기호를 부여하고, 동일객체의 블럽부분을 병합하여 객체를 추출하는 관심객체 추출부(60)와; 상기 관심객체 추출부(60)에서 추출된 관심객체의 영상신호에서 관심객체의 경로정보를 추출하는 경로 추출부(70)와; 상기 관심객체의 경로정보로부터 건널목의 위험지역에 있는지를 판단하여 위험지역에 있는 경우 경보부(90)를 제어하여 경보신호를 출력하는 영상검지 제어부(80)와; 상기 영상검지 제어부(80)로부터 경보신호를 입력받아 경보를 발생하는 경보부(90)로 구성된다.

카메라부(10)는 철도건널목에 설치되어 건널목의 영상을 촬영하여 차영상신호 연산부(20)로 출력한다. 카메라부(10)에서 출력되는 영상신호는 인터넷 등의 통신망을 통해 원거리에 떨어져 있는 지상장치에 송신되어 처리될 수 있다.

차영상신호 연산부(20)는 상기 카메라부(10)에서 출력되는 건널목의 영상을 현재 프레임 I(t)과 이전 프레임 I(t-1) 및 배경 프레임 B(t)으로 분리하고, 상기 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차영상신호를 구하여 이진화하고 현재 프레임 I(t)과 배경영상 프레임 B(t)의 차영상신호를 구하여 이진화하고 필터링하여 노이즈를 제거한다.

도 3에 본 발명에 의한 차영상신호 연산부의 일실시예가 도시된다.

본 발명에 의한 차영상신호 연산부(20)는 상기 감시 카메라부(10)에서 출력되는 영상신호 중에서 이전 프레임 I(t-1)과 현재 프레임 I(t)의 차를 구하는 제1 감산부(24)와; 상기 제1 감산부(24)의 출력을 이진화하는 제1 이진화부(22)와; 상기 제1 이진화부(22)의 출력을 필터링하여 노이즈를 제거하는 제1 필터링부(23)와; 상기 현재 프레임I(t)과 상기 배경 프레임 B(t)의 차를 구하는 제2 감산부(21)와; 상기 제2 감산부(21)의 출력을 이진화하는 제2 이진화부(25)와; 상기 제2 이진화부(25)의 출력을 필터링하여 노이즈를 제거하는 제2 필터링부(26)로 구성된다.

차영상신호 연산부(20)는 다음 수식(1)에 의하여 상기 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차신호를 구한다.

.......(1)

그리고 현재 프레임 I(t)과 배경 프레임 B(t)의 차영상신호를 다음 수식(2)에 의하여 구한다.

........(2)

여기서, 상기 수식(1)에서 I(x,y,t)은 시간 t에 입력된 영상 F의 (x,y)에 위치한 픽셀의 명암값을 나타내며, 이때 픽셀의 위치를 나타내는 (x,y)는 x,y∈F를 만족한다. 그리고 Δt는 연속된 두 영상의 시간 간격이다.

상기 수식(1)과 (2)에 의하여 구한 차영상에 절대값을 취한 후, 적절한 임계값으로 이진화하여 배경영역으로부터 움직임 영역의 분리와 함께 영상내의 잡음을 제거함으로써 이진 차영상을 얻는다. 이진 차영상은 움직임 에너지를 추출한 결과 인 동시에 움직임 영역과 배경 영역을 분리한 결과이다.

상기 카메라부(10)에서 출력되는 영상신호 중에서 이전 프레임 I(t-1)과 현재 프레임 I(t)의 차를 구하면, 도 4에 도시된 바와 같이, 이동하는 물체 A의 이동 전후의 겹치는 부분을 제외한 차영상 화면(43)이 표시된다. 상기 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차영상 화면(43)은 물체의 움직임 에너지를 나타내므로, 상기 차영상 화면(43)을 통해 영상 내에 이동물체를 검출할 수 있다.

상기 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차연산에 의해 구한 차영상화면(43)에 의해 이동물체를 검출하는 방법은 이동 중 일시정지한 사람인 경우, 팔, 다리의 움직임이 2개 이상의 독립적인 물체로 검출될 수 있다.

한편, 현재 프레임 I(t)과 배경 프레임 B(t)의 차를 표시한 화면(44)을 보면, 이동물체 및 정지 물체가 표시된다. 현재 프레임 I(t)과 상기 배경 프레임 B(t)의 차연산에 의해 영상 내 추적 물체를 추출하면 이동 중이거나 정지한 물체를 모두 찾아낼 수 있기 때문에 상기 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차연산 방법의 단점을 보완할 수 있다.

따라서, 본 발명은 도 4에 도시된 바와 같이 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차연산 방법과 현재 프레임 I(t)과 배경 프레임 B(t)의 차연산 방법을 조합하여 이동물체와 정지물체의 자취를 모두 검출할 수 있다.

이동영역 검지부(40)는 상기 겹치는 부분을 제외한 차영상 화면(43)과 이동 물체 및 정지 물체가 표시되는 차영상화면(44)을 앤드 연산하여 이동물체를 구하여 이동영역 화면(45)에 표시하고, 정지영역 검지부(30)는 상기 겹치는 부분을 제외한 차영상 화면(43)과 이동물체 및 정지 물체가 표시되는 차영상화면(44)을 감산연산하여 정지물체를 구하여 정지영역 화면(46)에 표시한다.

이때 상기 겹치는 부분을 제외한 차영상 화면(43)과 이동물체 및 정지 물체 표시화면(44)을 앤드연산한 결과값이 임계치(예를 들면, 임계치> 픽셀 변화량/단위시간)를 넘지 못하면 이동물체로 판단하지 않는다.

본 발명에 의한 배경영상 갱신부(50)는 철도건널목에 연결되는 도로환경에 최적화될 수 있도록 배경영상을 모델링하고 추출 및 실시간으로 업데이트 한다. 배경영상 갱신부(50)는 초기 배경영상 모델링 단계와 실시간 배경영상 업데이트 단계를 나누어 실행한다.

배경영상 갱신부(50)는 초기 배경영상 모델링 단계에서 아래의 수식 (3)에 의해 다수의 영상 프레임(예를 들면, 50 내지 100 프레임) 동안 픽셀 값의 변화를 관찰할 수 있도록 먼저 픽셀의 히스토그램을 추출한다. 그 결과로 다수의 영상 프레임(예를 들면, 50 내지 100 프레임) 동안 얻은 픽셀 히스토그램에서 최대빈도를 갖는 히스토그램의 빈(Bin)값을 배경영상의 픽셀 값으로 결정한다.

도 5에 본 발명에 의해 초기 배경영상 모델링 과정을 일정 간격으로 나누어 실행한 결과가 도시된다.

배경영상을 추출하고자 하는 영상에 이미 다수의 이동객체가 빈번하게 발생되는 도로환경에서 본 발명에 의해 적용한 배경영상의 실시예이다. 즉, 최종 단계인 T의 배경영상에는 T-8에 아직 남아 있는 이동객체의 자취가 완전히 제거된 결과를 얻을 수 있다.

이 경우 초기에 감시 영상에 이동객체가 존재하더라도 그 이동객체는 다수의프레임 중에서 몇개의 프레임에만 표시되어서 최대빈도를 가질 수 없으므로 결국 이동객체의 픽셀 값은 제거되고, 도 5에 도시된 바와 같이 원래의 배경 픽셀 값만이 남아서 깨끗한 배경영상을 초기에 추출할 수 있게 된다.

그리고 초기 배경영상 모델링이 완료된 후, 배경영상 갱신부(50)는 초기에 추출된 배경영상만을 사용하지 않고 계속적으로 업데이트 과정을 거쳐서 외부 조도변화에 적응하도록 함으로써 실시간 배경영상 업데이트 단계를 실행한다.

도 6에 본 발명에 의한 배경영상 모델링 및 실시간 배경영상 업데이트 단계를 실행한 결과가 도시된다.

실시간 배경영상 업데이트 단계에서는 연속해서 픽셀 값을 누적함으로써 얻은 픽셀 히스토그램에서 최대빈도를 갖는 빈(Bin)값으로 배경영상을 바로 갱신하지 않고, 이전영상 프레임까지 결정된 배경영상의 픽셀 값과 가중치 평균 계산(수식(4) 참조)을 통하여 최종 결정하는 방법을 사용한다.

즉, 픽셀 히스토그램 방식과 앞에서 언급한 픽셀 값의 연속적인 가중치 평균화 방법을 조합하여 배경영상을 업데이트하는 것이다.

......(3)

.......(4)

여기서, B_t(x,y)은 초기 배경영상 모델링 결과이며, 수식(3)의

은 t-λ의 영상 프레임부터 t-1의 영상 프레임까지 추출된 좌표의 픽셀에 대한 히스토그램 중 최대빈도를 갖는 빈(Bin)값을 나타낸다. λ는 픽셀 히스토그램을 얻기 위해 사용된 영상 프레임수(예를 들면, 50 내지 100 프레임)가 된다.

수식(4)의 B_{t +1} (x,y)은 다음 영상 프레임 처리시 사용될 배경영상의 추출 결과이고, B_t(x,y)은 현재까지 추출되어 사용된 배경영상이다.

는 현재 t의 영상 프레임까지 누적된 (x, y)좌표의 픽셀 히스토그램에서 최대빈도를 갖는 빈(Bin)을 나타내며, T는 시정수로써 정의된 값으로, 이 값을 조정함으로써 배경영상의 적응 속도를 제어할 수 있다.

본 발명에서는 T는 2~3의 값을 가지며, λ는 50~100의 값으로 결정한다. 따라서 50 내지 100 프레임의 배경영상에 대해 추출된 좌표의 픽셀에 대한 히스토그램 중 최대빈도를 갖는 빈(Bin)값을 구하게 된다. 이 파라미터들은 실 환경의 특성에 맞게 결정할 수 있다.

도 7에 본 발명에 의한 객체 추출부의 내부 구성을 나타내는 블록도가 도시된다.

본 발명에 의한 객체 추출부(60)는 이동역역 검지부(40)와 정지영역 검지부(30)로부터 이동영역과 정지영역에 대한 블럽데이터를 입력받아서 블럽 레이블링 작업과 배경과 유사한 밝기값 등에 의해 끊어진 블럽영역을 일정한 조건(예를 들면, 수직/수평 방향으로 2픽셀 이하로 끊어진 영역은 하나의 영역으로 판단)하에 각 화소별로 연결하는 작업을 하는 블럽요소 연결부(61)와;

상기 블럽요소 연결부(61)에서 레이블링되고 합쳐진 블럽영역들을 뭉쳐주거나 끊어주어 블럽머징(blob merging)을 실행하는 블럽머징부(62)와;

상기 블럽머징부(62)에서 출력되는 객체 블럽의 중심 위치, 세로 및 가로 길이, 가로세로비, 가로세로의 면적 등의 정보를 추출하여 관심객체를 추출하는 관심객체 추출부(63)로 구성된다.

이동역역 검지부(40)와 정지영역 검지부(30)로부터 출력되는 이동영역과 정지영역에 대한 블럽데이터는 빛의 반사와 노이즈 등의 영향에 의해 하나의 객체영상이라도 반사하는 빛 등에 의해 크고 작은 블럽 영역들이 서로 연결되고 끊어져 표시된다.

블럽요소 연결부(61)는 이동역역 검지부(40)와 정지영역 검지부(30)로부터 출력되는 이동영역과 정지영역에 대한 블럽 영역들을 일정한 조건(예를 들면, 수직/수평방향으로 2 픽셀 이하로 끊어진 영역은 하나의 영역으로 판단)하에 각 픽셀별 로 연결하는 작업을 한다.

블럽머징부(62)는 상기 블럽요소 연결부(61)에서 레이블링되고 합쳐진 블럽영역을 일정한 조건하에 뭉쳐주거나 끊어주어 하나의 객체를 구성하는 블럽들을 하나의 영역으로 묶어준다.

블럽머징부(62)는 먼저 다수물체의 위치정보를 찾기 위해 도 8에 도시된 바와 같이 N×N으로 영상을 다중 분할한 후, 분할된 각 영역에 대하여 수평/수직방향으로 투영시켜 다중 영역별로 분할 최소경계영역(MBB: Minimum Bounding Box, 64)을 추출하고 분할 최소경계영역(64)들을 인접한 것끼리 서로 정합(merging)하여 최종적으로 관심객체의 최소경계영역(68a, 68b)을 독립적으로 추출한다.

즉, 이동영역과 정지영역에 대한 데이터 추출 결과, 하나의 물체가 여러개로 떨어져 검출되더라도 다중분할을 이용한 수평/수직 방향 투영방법을 적용한다면 분리된 구성성분들을 정합하여 단일물체의 최소경계영역으로 추적물체의 위치를 추출할 수 있다.

관심객체(65a, 65b)의 최소경계영역(68a, 68b)을 추출시에는 배경영역으로부터 움직임 영역을 분리한 결과인 이진 차영상(45)을 수평/수직 방향으로 투영함으로써 이동물체의 최소경계영역(68a, 68b)의 모서리 좌표를 얻어낸다.

도 8에 도시된 바와 같이 수평/수직방향 투영을 수행하기 전에 먼저 영상을 N×N의 분할영역(64)으로 분할한 후, 각 분할영역(64)별로 수평/수직 방향으로 투영을 한다. 따라서 투영 결과로 이동물체의 영역(65a)을 구성하는 분할영역(64)에 서 1개씩의 작은 분할 최소경계영역(66a, 66b)을 얻는다.

즉, 이동물체의 영역(65a)에 투영 결과로 얻은 작은 사각형들이 채워져 다중 분할영역의 분할 최소경계영역(66a, 66b)들이 이동물체의 영역(65a, 65b)의 형태대로 분포하게 된다.

그리고 다중 분할영역의 수평/수직 방향 투영시 누산되는 값은 일정 임계값이상의 것만을 선택하여 움직임 에너지가 조밀한 부분만을 투영 결과로 추출하고, 움직임 에너지가 조밀하지 못한 부분(67)은 분할 최소경계영역(66a, 66b)이 설정되지 못한다.

분할된 각 다중 영역에서의 수평/수직 방향 투영의 결과로 다중 분할영역(64)별로 분할 최소경계영역(66a, 66b)들을 얻게 되고, 추적대상이 되는 이동물체의 영역(65a, 65b) 위에 다수의 분할 최소경계영역(66a, 66b)들이 나타나게 된다.

최종적으로 다중 이동물체의 영역(65a, 65b)의 정합된 최소경계영역(68a, 68b)을 독립적으로 추출하기 위해서는 다중 분할영역에서의 수평/수직방향 투영 결과로 얻은 다중 분할영역의 분할 최소경계영역(66a, 66b)들을 인접한 것들로 서로 정합해야 하는 과정이 필요하다.

다중 영역의 분할 최소경계영역(66a, 66b)의 정합은 도 9에 도시된 바와 같이 3가지 조건을 적용하여 수행한다. 도 9에서 실선으로 그려진 4개의 작은 사각형들이 정합되어야 할 다중 영역의 분할 최소경계영역(71, 72, 73, 74)들이다. 이 작 은 분할 최소경계영역(71, 72, 73, 74)들을 둘러싸고 있는 점선으로 그려진 큰 사각형(75)이 정합된 결과이다. 다중 영역에서의 수평/수직방향 투영을 통하여 얻은 분할 최소경계영역(71, 72, 73, 74)들의 좌표는 다음의 수식(5)에 의해 얻는다.

.....(5)

분할 최소경계영역(71, 72, 73, 74)들의 정합은 영상의 최좌측 상단의 분할 최소경계영역(71)으로부터 최우측 하단에 위치한 분할 최소경계영역(74)의 순으로 수행한다.

예를 들어, 처리되는 영상의 크기가 320×240이고 다중 영역이 N×N(여기서 N=10)으로 분할하였다고 가정한다. 우선, 다중 영역의 분할 최소경계영역(71, 72, 73, 74)들이 x-축상에서 인접해 있는지를 조사한다.

x-축상에서의 거리(distance) 측정은 도 9에 도시된 바와 같이 각 분할 최소경계영역(71, 72, 73, 74)의 x-축 최소점과 최대점의 거리를 사용한다. x-축상에서 분할 최소경계영역(71, 72, 73, 74)의 정합여부는 다음의 수식(6)에 의해 판별한다.

..(6)

상기 수식(6)의 조건의 의미는 예를 들어 N=10인 경우, 최소 경계영역(72)과 최소 경계영역(71)의 x-축상 거리가 320/20=16 보다 작거나 같다면 최소 경계영 역(71)은 최소 경계영역(72)에 정합되고, 마찬가지로 최소 경계영역(72)과 최소 경계영역(71)의 x-축상 거리가 320/20=16 보다 작거나 같다면 최소 경계영역(73)은 최소 경계영역(72)에 정합되는 것을 나타내는 조건이다.

분할 최소경계영역(72)와 분할 최소경계영역(74)와 같이 x-축상에서의 거리가 충분히 짧다면 y-축상에서의 거리(distance)를 측정하여 수식(7)의 정합조건을 만족시키면 정합한다.

y-축상의 거리 측정은 도 9에 도시된 바와 같이 각 분할 최소경계영역(72, 74)의 y-축상의 중심점을 사용하여 측정하며, 정합여부는 수식(7)의 조건으로 결정한다.

즉 N=10일 경우, 각 분할 최소경계영역(72, 74)의 y-축상의 중심거리가 72보다 작거나 같다면 분할 최소경계영역(72)과 분할 최소경계영역(74)은 서로 정합된다. 정합조건을 나타내는 수식(6)과 수식(7)의 정합 조건은 실험을 통해서 결정된 것이다.

....(7)

관심객체 추출부(63)는 상기 블럽머징부(62)에서 출력되는 객체 블럽(즉, 병합된 최소 경계영역(68a, 68b)을 의미)으로부터 그 객체의 중심 위치, 세로 및 가로 길이, 가로세로비, 가로세로의 면적, 밀집도 등의 정보를 추출하여 관심객체에 대한 정보를 추출한다.

경로추출부(70)는 상기 관심객체 추출부(63)로부터 관심객체에 대한 정보( 예를 들면, 객체의 중심 위치, 세로 및 가로 길이, 가로세로비, 가로세로의 면적, 밀집도 등)를 입력받고, 도 10에 도시된 바와 같이 영상 프레임에서 현재 관심객체(81)와 이전 관심객체(81a)의 변위(82)를 산출한다.

상기 산출된 변위(82)는 앞으로 관심객체(81)가 이동할 변위와 동일하므로, 현재 관심객체(81)가 앞으로 이동할 예측변위(82a)를 상기 산출된 변위(82)와 동일하게 놓고 관심객체(81)의 앞으로 이동할 예상 위치를 예측한다.

관심객체(81)의 예상 위치가 예측되면 그 예상 위치에서 추적하고자 하는 관심객체의 외형 모델과 가장 유사한 픽셀 위치를 찾음으로써 이동하는 관심객체를 추적한다.

경로추출부(70)는 상기 관심객체 추출부(60)에서 입력되는 관심객체에 대한 정보로부터 추출된 기본 영역정보를 이용하여 이동객체의 특징(feature)들을 갱신 및 모델링한 후, 이를 바탕으로 추적하는 기능을 수행한다.

이동하는 관심객체의 추적을 실시간으로 처리하기 위하여 관심객체의 외형을 중심으로 모델링한다. 외형중심의 관심객체 모델링은 상기 관심객체 추출부(63)에서 입력되는 영상 프레임에서 관찰할 수 있는 관심객체의 색상정보, 모양(shape)정보를 적용하여 이동하는 관심객체를 초기 모델링 데이터를 추출하고 그 정보를 갱 신 및 추적한다.

본 발명에 의한 외형 모델(appearance model)은 확률 마스크와 결합되어진 객체의 RGB 색상정보와 경계선정보로 이루어지고, 가장 유사한 픽셀 위치를 찾음으로써 이동하는 관심객체의 추적이 수행된다. 본 발명에 의한 외형 모델은 다음의 수식(8), 수식(9), 수식(10)으로 표현될 수 있다.

...(8)

...(9)

...(10)

여기서, M_RGB(x,y)는 관심객체의 색상모델로써 이동물체 및 정지물체 영역 내의 픽셀 색상정보이다. P_c(x,y)은 객체의 확률마스크로써 이동물체 및 정지물체 영역 내에서 관찰되는 객체의 유사도(Likelihood)를 의미한다.

관심객체의 색상모델과 확률 마스크인 M_RGB(x,y), P_c(x,y)에서의 픽셀 좌표인 (x,y)는 입력되는 영상의 픽셀 좌표이며, 실제로 이 위치 좌표는 관심객체 중심 픽셀 좌표로 노멀라이즈되며, 모델링되는 관심객체 영역이외의 픽셀 좌표에 대한 색상정보 및 확률 마스크 값은 0을 갖는다.

입력되는 영상 프레임에서 새로운 관심객체가 발생될 때, 추출되는 관심객체 의 사각영역에 대하여 상기 수식(8), 수식(9), 수식(10)에 의해서 동일한 크기를 갖는 색상 정보 및 확률 마스크를 만든다.

이에 대한 외형 모델(appearance model)은 추출된 사각 영역내의 픽셀 색상 값으로 초기화되고, 확률 마스크의 초기값은 0.4로 할당되며, 추출된 객체의 사각영역(bounding box) 이외의 픽셀 좌표의 값은 0으로 주어진다.

이렇게 생성된 관심객체의 외형 모델은 다음의 영상 프레임에서 수식(8), 수식(9), 수식(10)에 의해서 업데이트된다. 관심객체의 색상모델은 현재 입력되는 영상의 해당 관심객체의 픽셀 색상 값과 가중치 평균화되어 갱신되고(수식(8) 참조), 마찬가지로 확률 마스크 값은 수식(9)와 같이 해당 픽셀 좌표가 관심객체 내에 존재할 경우, 이전 확률 마스크 값에 λ비율로 가산되며, 존재하지 않을 경우, 수식(10)과 같이 λ비율로 감산하여 갱신시킨다.

즉, 연속적으로 관심객체의 해당 픽셀에 대한 외형 모델(appearance model)을 수식(8), 수식(9), 수식(10)에 의하여 갱신함으로써 이동물체 및 정지물체의 모델에 대한 데이터를 갱신하며, 이렇게 갱신된 외형 모델을 기준으로 관심객체의 추적을 수행한다.

수식(8), 수식(9), 수식(10)에서의 가중치인 λ, α은 본 발명에서는 모두 0.95의 값을 사용한다. 그리고 추적되는 객체의 확률 마스크는 입력되는 영상에서 객체의 영역을 찾는 마스크로써 사용된다. 따라서 확률 마스크가 0값을 갖는 픽셀은 객체가 아니고 배경영상의 픽셀임을 의미하게 된다.

도 11에 본 발명에 의해 관심객체의 색상정보와 확률 마스크로 이루어진 외형 모델(appearance model)의 생성을 시간의 흐름 순서로 나열한 모델의 갱신과정이 도시된다.

시간의 흐름 순서로 2개의 사각영역으로 영상이 나열되어 있는데, 이 중에 왼쪽 사각영역의 영상이 관심객체의 색상정보 모델이고, 오른쪽 사각영역의 흑백영상이 관심객체의 확률 마스크 모델을 표현한 것이다.

확률 마스크의 영상은 실제로 [0, 1]의 범위를 갖는 확률 값이지만 시각적으로 [0, 255]의 범위로 변환하여 표현된 것이다. 윗 열에 도시한 것은 관심객체가 사람일 경우의 외형 모델이며, 아랫 열에 도시한 것은 관심객체가 도로 교통 차량일 경우를 도시한 것이다.

관심객체의 외형 모델이 이동하는 관심객체를 연속적으로 추적하는 모듈에서 기준으로써 사용된다. 도 10에 도시된 바와 같이 현재 영상 프레임에서 상기 수식(8), 수식(9), 수식(10)에 의해 관심객체(81)의 예상 위치가 예측되면 그 예상 위치에서 추적하고자 하는 관심객체의 외형 모델과 가장 유사한 픽셀 위치를 찾음으로써 이동객체 추적이 수행된다.

즉, 관심객체의 외형 특성인 색상정보는 각 픽셀의 가우시안 색상 분포로 근사화되고, 입력되는 영상 프레임에서 연속적으로 학습되고 갱신된 객체의 색상 모델은 추적하고자 하는 관심객체 픽셀의 평균 색상 값을 의미한다.

따라서 현재 영상 프레임에 대하여 특정 픽셀위치에서의 최대유사도(Maximum Likelihood)를 다음 수식(11), 수식(12)과 같이 계산할 수 있다.

.......(11)

.......(12)

상기 수식(11)에서 X는 영상 프레임에서의 픽셀 좌표 벡터이고, Y는 추적 객체의 외형 모델의 최대 유사도를 산출하기 위한 예상 객체 영역 내의 픽셀 변위 값(예를 들면, ±2 픽셀)을 나타낸다.

P_c(X)는 추적 객체의 외형 모델 중에서 확률 마스크이며, M_RGB(X)는 추적 객체의 외형 모델 중에서 색상 정보를 나타내며 앞서 언급한데로 객체의 픽셀 평균 색상 값을 의미한다.

I(X)는 현재 영상 프레임의 픽셀 색상 값이다. P_RGB(X)은 평균이 M_RGB(X)이고 분산이 σ²인 가우시안 색상 분포를 나타내며, 도 12에 도시된 바와 같이 현재 영상 프레임의 픽셀 색상 값과 평균인 M_RGB(X)의 색상 값의 차이가 ±1σ일 때, P_RGB(X)는 0.9의 가중치를 가지며, ±2σ일 때, P_RGB(X)는 0.5의 가중치를 가지게 된다.

즉, 현재 영상 프레임의 픽셀 색상 값과 평균인 M_RGB(X)의 색상 값의 차이가 클수록 작은 가중치로 P(I,X,M)가 적용되어 계산되고 차이가 작을수록 최대의 가중 치로 적용되어 P(I,X,M)가 계산되어 외형 모델이 제일 유사한 영역이 추적 객체의 위치로 결정되도록 한다.

따라서 수식(11)과 수식(12)의 계산을 수행함으로써 연속적으로 입력되는 영상 프레임 상에서 이동물체와 정지물체의 좌표를 검출하여 경로 데이터를 추출함으로써 관심객체를 추적한다.

영상검지 제어부(80)는 상기 경로 추출부(70)에서 추출된 경로 데이터를 입력받아 해당 관심객체가 위험지역에 들어갔는지를 판단한다. 도 13에 도시된 바와 같이 위험지역(71)은 초기에 철로 주변에 설정하고, 상기 설정된 위험지역(71)에 관심객체(72)가 진입하게 되면 영상검지 제어부(80)는 경로 데이터와 객체 데이터를 경로 추출부(70)에서 입력받아 관심객체(72)가 위험지역(71) 내에 있는지를 판단하여 경보부(90)에 경보신호를 출력하여 경보를 발생시키도록 한다.

도 14에 본 발명에 의한 철도건널목 위험지역의 영상 검지장치를 제어하는 방법을 나타내는 플로우차트가 도시된다.

단계 S81에서 초기화하고, 단계 S82에서 카메라부(10)로부터 건널목 영상을 입력받는다.

단계 S83에서 상기 건널목 영상으로부터 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차연산에 의해 구한 차영상 화면(43)을 검출하고, 현재 프레임 I(t)과 배경 프레임 B(t)의 차연산에 의해 차영상 화면(44)을 검출하고, 상기 차영상 화면 (43)과 차영상 화면(44)을 앤드연산하여 이동영역을 검출하고 상기 차영상 화면 (43)과 차영상 화면(44)을 감산연산하여 정지영역을 검출한다.

단계 S84에서 상기 이동영역 및 정지영역의 영상신호에 대해 다수의 영상 프레임 동안 얻은 픽셀 히스토그램에서 최대빈도를 갖는 히스토그램의 빈(Bin)값을 배경영상의 픽셀 값으로 결정하여 초기 배경영상을 모델링하고, 다수의 영상 프레임 동안 연속해서 픽셀 값을 누적함으로써 얻은 픽셀 히스토그램에서 최대빈도를 갖는 빈(Bin)값으로 배경영상을 바로 갱신하지 않고, 이전영상 프레임까지 결정된 배경영상의 픽셀 값과 가중치 평균 계산을 통하여 최종 결정하여 배경영상 프레임을 갱신한다.

단계 S85에서 상기 이동영역 및 정지영역 영상신호에서 블럽부분에 식별기호를 부여하여 객체를 구성하는 블럽들을 하나의 영역으로 묶어준다.

단계 S86에서 상기 이동영역 및 정지영역 영상신호의 한 프레임을 N×N으로 다중 분할한 후, 분할된 각 영역에 대하여 수평/수직방향으로 투영시켜 다중 영역별로 분할 최소경계영역(64)을 추출하고, 상기 분할 최소경계영역(64)들을 인접한 것끼리 서로 정합(merging)하여 최종적으로 관심객체의 최소경계영역(68a, 68b)을 독립적으로 추출한다.

단계 S87에서 최소경계영역(68a, 68b)에 대한 정보를 추출한 영상신호에서 관심객체에 대한 정보를 입력받고, 현재 영상 프레임에서 현재 관심객체(81)와 이전 관심객체(81a)의 변위(82)를 산출하여 현재 관심객체(81)가 앞으로 이동할 예측변위(82a)를 상기 산출된 변위(82)와 동일하게 설정함으로써 관심객체(81)의 앞으 로 이동할 예상 위치를 예측한다.

단계 S88에서 관심객체에 대한 정보를 포함하는 영상 프레임에서 관찰할 수 있는 관심객체의 색상정보, 모양(shape)정보를 적용하여 외형 모델(appearance model)을 산출하고, 상기 예상 위치에서 추적하고자 하는 관심객체의 외형 모델과 가장 유사한 픽셀 위치를 찾음으로써 이동하는 관심객체를 추적하여 관심객체의 경로정보를 추출한다.

단계 S89에서 상기 관심객체의 경로정보로부터 관심객체가 위험지역 내에 있는지를 판단하여 관심객체가 위험지역 내에 있지 않은 경우 상기 카메라부(10)로부터 건널목 영상을 입력받는 단계로 복귀하여 그 이하의 과정을 수행한다.

단계 S90에서 관심객체가 위험지역 내에 있는 경우 다음의 3가지 경보발생 조건이 만족되고 있는지를 판단하고,

① 상기 건널목의 위험지역에 관심객체가 있고, ② 건널목으로 열차가 진행하고 있으며, ③ 차단기가 내려져 있는 경우 경보부(90)를 제어하여 경보를 발생하고, 상기 3가지 경보발생 조건이 만족되지 않는 경우 상기 카메라부(10)로부터 건널목 영상을 입력받는 단계로 복귀하여 그 이하의 과정을 수행한다.

도 1은 종래기술에 의한 철도건널목 차단기의 제어장치의 구성을 나타내는 블록도,

도 2는 본 발명에 의한 객체의 이동궤적을 이용한 철도건널목 위험지역 영상 검지장치의 구성을 나타내는 블록도,

도 3은 본 발명에 의한 차영상신호 연산부의 일실시예,

도 4는 본 발명에 의해 차영상신호 연산부에서 이전 프레임 I(t-1)과 현재 프레임 I(t)의 차 그리고 현재 프레임 I(t)과 상기 배경 프레임 B(t)의 차를 구하여 표시한 화면의 실시예,

도 5는 본 발명에 의해 초기 배경영상 모델링 과정을 일정 간격으로 나누어 실행한 결과,

도 6은 본 발명에 의한 배경영상 모델링 및 실시간 배경영상 업데이트 단계를 실행한 결과,

도 7은 본 발명에 의한 객체 추출부의 내부 구성을 나타내는 블록도,

도 8은 본 발명에 의해 다중 분할영역에서 수평/수직 방향으로 투영시켜 분할 최소경계영역을 추출하는 실시예,

도 9는 본 발명에 의해 다중 분할영역에서 분할 최소경계영역을 정합하는 실시예,

도 10은 본 발명에 의해 관심객체의 연속 영상 프레임에서 관심객체의 변위를 산출하여 다음 영상 프레임에서의 예상위치를 예측하여 추적에 이용하는 예,

도 11에 본 발명에 의해 관심객체의 색상정보와 확률 마스크로 이루어진 외형 모델의 생성을 시간의 흐름 순서로 나열한 모델의 갱신과정,

도 12는 본 발명에 의해 현재 영상 프레임의 픽셀 색상 값과 평균인 M_RGB(X)의 색상 값의 차이에 의해 P_RGB(X)의 가중치를 결정하는 실시예,

도 13은 본 발명에 의해 위험지역에 이동객체가 진입하게 되어 경보를 울리는 실시예,

도 14는 본 발명에 의한 철도건널목 위험지역의 영상 검지장치를 제어하는 방법을 나타내는 플로우차트이다.

< 도면의 주요 부분에 대한 부호의 설명 >

10: 감시 카메라부 20: 차신호 연산부

30: 이동영역 검지부 40: 정지영역 검지부

50: 배경영상 갱신부 60: 객체 추출부

70: 경로 추출부 80: 영상검지 제어부

90: 경보부

Claims (16)

1. 철도건널목에 설치되어 건널목의 영상을 촬영하는 카메라부(10)와;

   상기 카메라부(10)에서 출력되는 건널목의 영상을 현재 프레임 I(t)과 이전 프레임 I(t-1) 및 배경 프레임 B(t)으로 분리하고, 상기 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차영상 신호를 구하고 현재 프레임 I(t)과 배경 프레임 B(t)의 차영상 신호를 구하는 차영상신호 연산부(20)와;

   상기 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차영상신호 그리고 현재 프레임 I(t)과 배경 프레임 B(t)의 차영상신호를 앤드 연산하여 이동영역을 검출하는 이동영역 검지부(30)와;

   상기 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차영상신호 그리고 현재 프레임 I(t)과 배경 프레임 B(t)의 차영상신호를 감산연산하여 정지영역을 검출하는 정지영역 검지부(40)와;

   상기 이동영역 검지부(40) 및 정지영역 검지부(30)에서 출력되는 영상신호에서 블럽부분에 식별기호를 부여하고, 동일객체의 블럽부분을 병합하여 객체를 추출하는 관심객체 추출부(60)와;

   상기 관심객체 추출부(60)에서 추출된 관심객체의 영상신호에서 관심객체의 경로정보를 추출하는 경로 추출부(70)와;

   상기 관심객체의 경로정보로부터 건널목의 위험지역에 있는지를 판단하여 위험지역에 있는 경우 경보부(90)를 제어하여 경보신호를 출력하는 영상검지 제어 부(80)와;

   상기 영상검지 제어부(80)로부터 경보신호를 입력받아 경보를 발생하는 경보부(90)로 구성되는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치.
2. 청구항 1에 있어서, 상기 이동영역 검지부(40) 및 정지영역 검출부(30)에서 출력되는 영상신호를 상기 차영상신호 연산부(20)로 피드백하여 배경 프레임 B(t)을 갱신하도록 하는 배경영상 갱신부(50)를 더 구비하는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치.
3. 청구항 1에 있어서, 상기 차영상신호 연산부(20)는 상기 감시 카메라부(10)에서 출력되는 영상신호 중에서 이전 프레임 I(t-1)과 현재 프레임 I(t)의 차를 구하는 제1 감산부(24)와; 상기 제1 감산부(24)의 출력을 이진화하는 제1 이진화부(22)와; 상기 제1 이진화부(22)의 출력을 필터링하여 노이즈를 제거하는 제1 필터링부(23)와; 상기 현재 프레임 I(t)과 상기 배경 프레임 B(t)의 차를 구하는 제2 감산부(21)와; 상기 제2 감산부(21)의 출력을 이진화하는 제2 이진화부(25)와; 상기 제2 이진화부(25)의 출력을 필터링하여 노이즈를 제거하는 제2 필터링부(26)로 구성하는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치.
4. 청구항 1에 있어서, 상기 객체 추출부(60)는 상기 정지영역 검지부(30)와 상기 이동영역 검지부(40)에서 출력되는 정지영역 데이터와 이동영역 데이터를 앤드연산하여 이동물체를 추출하고, 상기 앤드연산한 결과값이 임계치를 넘지 못하면 이동물체로 판단하지 않는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치.
5. 청구항 1 또는 청구항 2에 있어서, 상기 배경영상 갱신부(50)는 초기 배경영상 모델링 단계와 실시간 배경영상 업데이트 단계를 나누어 실행하고, 초기 배경영상 모델링 단계에서는 다수의 영상 프레임 동안 픽셀의 히스토그램을 추출하고, 상기 픽셀 히스토그램에서 최대빈도를 갖는 히스토그램의 빈(Bin)값을 초기 배경영상의 픽셀 값으로 결정하고,

   실시간 배경영상 업데이트 단계에서는 이전영상 프레임까지 결정된 배경영상의 픽셀 값과 현재 t의 영상 프레임까지 누적된 (x,y) 좌표의 픽셀 히스토그램에서 최대빈도를 갖는 빈(Bin)값의 가중치 평균 계산에 의하여 최종결정된 픽셀값으로 배경영상을 갱신하는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치.
6. 청구항 1에 있어서, 상기 객체 추출부(60)는, 이동역역 검지부(40)와 정지영역 검지부(30)로부터 이동영역과 정지영역에 대한 블럽데이터를 입력받아서 블럽 레이블링 작업과 끊어진 블럽영역을 일정한 조건하에 각 화소별로 연결하는 작업을 하는 블럽요소 연결부(61)와;

   상기 블럽요소 연결부(61)에서 레이블링되고 합쳐진 블럽영역들을 뭉쳐주거나 끊어주어 블럽머징을 실행하는 블럽머징부(62)와;

   상기 블럽머징부(62)에서 출력되는 객체 블럽의 중심 위치, 세로 및 가로 길이, 가로세로비, 가로세로의 면적 정보를 추출하여 관심객체를 추출하는 관심객체 추출부(63)로 구성되는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치.
7. 청구항 6에 있어서, 상기 블럽머징부(62)는 상기 블럽요소 연결부(61)에서 입력되는 영상을 N×N 영상으로 다중 분할한 후, 관심객체(65a, 65b)의 분할된 각 영역(64)에 대하여 수평/수직 방향으로 투영시켜 분할영역(64)별로 관심객체(65a, 65b)의 분할 최소경계영역(66a, 66b)을 추출하고 상기 분할 최소경계영역(66a, 66b)들을 인접한 것끼리 서로 정합하여 최종적으로 관심객체(65a, 65b)의 최소경계영역(68a, 68b)을 독립적으로 추출하는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치.
8. 청구항 6 또는 청구항 7항에 있어서, 상기 블럽머징부(62)는 상기 다중 분할영역의 수평/수직 방향 투영시 누산되는 값을 일정 임계값이상의 것만을 선택하여 움직임 에너지가 조밀한 부분만을 투영 결과로 추출하고, 움직임 에너지가 조밀하지 못한 부분(67)은 분할 최소경계영역(66a, 66b)으로 설정하지 않는 것을 특징으 로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치.
9. 청구항 6 또는 청구항 7항에 있어서, 상기 블럽머징부(62)는 상기 수평/수직 방향 투영을 통하여 얻은 분할 최소경계영역(71, 72, 73, 74)들의 좌표는 다음의 수식(5)에 의해 얻고,

   

   .....(5)

   x-축상에서 분할 최소경계영역(71, 72, 73, 74)의 정합여부는 상기 영상의 가로세로 크기에 비례하여 수립되는 추출객체들 사이의 x-축, y-축상의 다양한 거리 조건에 의한 정합조건을 만족시키면 정합하는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치.
10. 청구항 6에 있어서, 상기 관심객체 추출부(63)는 상기 블럽머징부(62)에서 출력되는 병합된 최소 경계영역(68a, 68b)으로부터 그 객체의 중심 위치, 세로 및 가로 길이, 가로세로비, 가로세로의 면적, 밀집도의 정보를 추출하여 관심객체에 대한 정보를 추출하는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치.
11. 청구항 10에 있어서, 상기 경로추출부(70)는 상기 관심객체 추출부(63)로부터 관심객체에 대한 정보(객체의 중심 위치, 세로 및 가로 길이, 가로세로비, 가로세로의 면적, 밀집도)를 입력받고, 상기 관심객체 추출부(63)에서 입력되는 영상 프레임에서 현재 관심객체(81)와 이전 관심객체(81a)의 변위(82)를 산출하고, 현재 관심객체(81)가 앞으로 이동할 예측변위(82a)를 상기 산출된 변위(82)와 동일하게 설정함으로써 상기 관심객체(81)가 앞으로 이동할 예상 위치를 예측하고, 상기 관심객체(81)의 예상 위치에서 추적하고자 하는 상기 관심객체(81)의 외형 모델을 다음의 수식(8), 수식(9), 수식(10)으로 표현하고,

    

    .....(8)

    

    .......(9)

    

    ......(10)

    (여기서, M_RGB(x,y)는 관심객체의 색상모델로써 이동물체 및 정지물체 영역 내의 픽셀 색상정보이다. P_c(x,y)은 객체의 확률마스크로써 이동물체 및 정지물체 영역 내에서 관찰되는 객체의 유사도(Likelihood)를 의미한다.)

    상기 관심객체(81)의 외형 모델과 가장 유사한 픽셀 위치를 찾음으로써 이동하는 관심객체를 추적하는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치.
12. 청구항 11에 있어서, 상기 경로추출부(70)는 상기 관심객체 추출부(60)에서 입력되는 관심객체에 대한 정보로부터 추출된 기본 영역정보를 이용하여 이동하는 관심객체의 특징들을 갱신 및 모델링한 후, 이를 바탕으로 관심객체(81)의 외형 모 델을 관심객체의 색상모델로써 이동물체 및 정지물체 영역내의 픽셀 색상정보와 관심객체의 확률마스크로써 이동물체 및 정지 물체 영역내의 변화하는 모양특성 정보로 산출 및 갱신하고, 상기 관심객체(81)의 외형 모델을 기준으로 확률 마스크가 0 값을 갖는 픽셀은 객체가 아니고 배경영상의 픽셀로 결정하고, 추출된 객체 픽셀의 색상정보와 유사성을 결정함으로써 관심객체의 추적을 수행하는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치.
13. 청구항 12에 있어서, 상기 관심객체(81)의 외형 모델을 기준으로 현재 영상 프레임에 대하여 특정 픽셀위치에서의 최대유사도(Maximum Likelihood)를 다음 수식(11), 수식(12)에 계산하고,

    

    .......(11)

    

    .......(12)

    (여기서, 상기 수식(11)에서 X는 영상 프레임에서의 픽셀 좌표 벡터이고, Y는 추적 객체의 외형 모델의 최대 유사도를 산출하기 위한 예상 객체 영역 내의 픽셀 변위 값을 나타낸다.

    P_c(X)는 추적 객체의 외형 모델 중에서 확률 마스크이며, M_RGB(X)는 추적 객체의 외형 모델 중에서 색상 정보를 나타내며 앞서 언급한데로 객체의 픽셀 평균 색상 값을 의미한다.

    I(X)는 현재 영상 프레임의 픽셀 색상 값이다. P_RGB(X)은 평균이 M_RGB(X)이고 분산이 σ²인 가우시안 색상 분포를 나타내며, 현재 영상 프레임의 픽셀 색상 값과 평균인 M_RGB(X)의 색상 값의 차이가 ±1σ일 때, P_RGB(X)는 0.9의 가중치를 가지며, ±2σ일 때, P_RGB(X)는 0.5의 가중치를 가지게 된다.)

    현재 영상 프레임의 픽셀 색상 값과 평균인 M_RGB(X)의 색상 값의 차이가 클수록 작은 가중치로 P(I,X,M)가 적용되어 계산되고 차이가 작을수록 최대의 가중치로 적용되어 P(I,X,M)가 계산되어 외형 모델이 제일 유사한 영역이 추적 객체의 위치로 결정되도록 하는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치.
14. 초기화하고, 카메라부(10)로부터 건널목 영상을 입력받는 단계;

    상기 건널목 영상으로부터 현재 프레임 I(t)과 이전 프레임 I(t-1)의 차연산에 의해 차영상 화면(43)을 산출하고, 현재 프레임 I(t)과 배경 프레임 B(t)의 차에 의해 차영상 화면(44)을 검출하는 단계와;

    상기 차영상 화면(43)과 차영상 화면(44)을 앤드연산하여 이동영역을 검출하고 상기 차영상 화면(43)과 차영상 화면(44)을 감산연산하여 정지영역을 검출하는 단계와;

    상기 이동영역 및 정지영역 영상신호에서 블럽부분에 식별기호를 부여하여 객체를 구성하는 블럽들을 하나의 영역으로 묶어주는 단계와;

    상기 이동영역 및 정지영역 영상신호의 한 프레임을 N×N으로 다중 분할한 후, 관심객체(65a, 65b)의 각 분할영역(64)에 대하여 수평/수직 방향으로 투영시켜 분할영역별로 분할 최소경계영역(66a, 66b)을 추출하고, 상기 분할 최소경계영역(66a, 66b)들을 인접한 것끼리 서로 정합하여 최종적으로 관심객체의 최소경계영역(68a, 68b)을 추출하는 단계와:

    최소경계영역(68a, 68b)에 대한 영상신호에서 관심객체에 대한 정보를 입력받고, 현재 관심객체(81)와 이전 관심객체(81a)의 변위(82)를 산출하여 현재 관심객체(81)가 앞으로 이동할 예측변위(82a)를 상기 산출된 변위(82)와 동일하게 설정함으로써 관심객체(81)의 앞으로 이동할 예상 위치를 예측하는 단계와;

    관심객체에 대한 정보를 포함하는 영상 프레임에서 관찰할 수 있는 관심객체의 색상정보, 모양정보를 적용하여 외형 모델을 산출하고, 상기 예상 위치에서 추적하고자 하는 관심객체의 외형 모델과 가장 유사한 픽셀 위치를 찾음으로써 이동하는 관심객체를 추적하여 관심객체의 경로정보를 추출하는 단계와;

    상기 관심객체의 경로정보로부터 관심객체가 위험지역 내에 있는지를 판단하여 관심객체가 위험지역 내에 있지 않은 경우 상기 카메라부(10)로부터 건널목 영상을 입력받는 단계로 복귀하여 그 이하의 과정을 수행하는 단계와;

    관심객체가 위험지역 내에 있는 경우 경보를 울리는 조건이 만족되고 있는지 판단하여 만족하는 경우 경보부(90)를 제어하여 경보를 발생하는 단계로 구성되는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상 검지장치의 제어방법.
15. 청구항 14에 있어서, 상기 배경영상은 상기 이동영역 및 정지영역의 영상신호에 대해 다수의 영상 프레임 동안 얻은 픽셀 히스토그램에서 최대빈도를 갖는 빈(Bin)값을 배경영상의 픽셀 값으로 결정하여 초기 배경영상을 모델링하고, 다수의 영상 프레임 동안 얻은 픽셀 히스토그램에서 최대빈도를 갖는 빈(Bin)값을 이전영상 프레임까지 결정된 픽셀 값과 가중치 평균으로 배경영상 프레임을 갱신하는 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치의 제어방법.
16. 청구항 14에 있어서, 상기 경보발생 조건은 상기 건널목의 위험지역에 관심객체가 있고, 건널목으로 열차가 진행하고 있으며, 차단기가 내려져 있는 경우인 것을 특징으로 하는 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치의 제어방법.

Images