KR20170108564A - 영상을 이용한 차량 침입 검출 시스템 및 방법 - Google Patents

Abstract

본 발명은 차량 침입 검출 시스템 및 방법에 관한 것으로 보다 상세하게는 차량 내부를 촬영된 영상을 분석하여 차량 창문(이하 "차창"이라 함) 영역을 검출하고 검출된 차창 영역에 대응하는 마스크를 생성한 후 생성된 마스크와 모니터링되는 차창영역을 포함하는 영상을 비교하여 비차창영역을 검출하고 비차창영역에서의 움직임 물체를 검출하여 침입 판단을 하는 영상을 이용한 차량 침입 검출 장치 및 방법에 관한 것이다.

Description

영상을 이용한 차량 침입 검출 시스템 및 방법{System and method for detecting vehicle invasion using image}

본 발명은 차량 침입 검출 시스템 및 방법에 관한 것으로 보다 상세하게는 차량 내부를 촬영한 영상을 분석하여 차량 창문(이하 "차창"이라 함)영역을 검출하고 검출된 차창영역에 대응하는 마스크를 생성한 후 생성된 마스크와 모니터링되는 차창영역을 포함하는 영상을 비교하여 비차창영역을 검출하고 비차창영역에서의 움직임 물체를 검출하여 침입 판단을 하는 영상을 이용한 차량 침입 검출 장치 및 방법에 관한 것이다.

일반적으로, 차량 및 차량 내의 물품의 도난을 방지하기 위해 차량에는 침입 검출 장치가 설치되고 있다. 통상적으로 침입 검출 장치는 초음파 센서, 적외선 센서 등을 이용한다. 그러나 최근에는 이미지 처리 기술이 발전함에 따라 비전 기반의 차량 침입 검출 장치가 많은 주목을 끌고 있다.

이러한 영상을 이용한 침입 검출 장치는 영상(비디오) 감시 기술이 중요하다. 영상 감시 기술은 컴퓨터 기술, 특히 이미지 분할 방법과, 배경 및 전경 검출 방법의 빠른 발전에 따라 뜨거운 연구 주제가 되어 왔다. 차량 침입 검출 시스템은 주로, 지하 주차 영역, 개방된 차량 주차, 도로 양측 등과 같은 정상적 상황 하에서의 침입을 검출하는데 초점을 맞추고 있다.

비디오 감시는 모션(Motion: 움직임) 검출, 모션 추적 및 모션 인식을 포함하는 세 가지 부분으로 더 분할될 수 있다. 비디오 감시의 기본 부분인 모션 검출은 비디오 내 움직이는 물체의 추출을 의미한다. 일반적인 모션 검출 알고리즘들은 배경 종속 알고리즘, 프레임 차분 알고리즘 및 광학적 플로우 알고리즘의 세 가지 카테고리들로 분할될 수 있다.

대부분의 일반적인 모션 검출 알고리즘으로서, 배경 종속 알고리즘은 모션 영역을 검출하기 위해 구성된 배경 프레임과 현재의 프레임의 감산을 이용한다.

프레임 차분 알고리즘은 모션 영역을 검출하기 위해 현재의 프레임을 이전 프레임과 비교하므로, 동적 상황에 강력하다.

광학적 플로우 방식은 주로, 이동하는 물체들의 광학적 플로우 특성을 이용하며, 다른 시간대에서의 픽셀들의 세기 값을 산출하여 객체들의 이동 속도 및 방향을 검출한다.

차량 운영 시스템에 병합되기 위해, 영상 기반 차량 침입 검출 알고리즘은 낮은 메모리 공간 비용 및 낮은 계산 비용이라는 이점을 가져야 한다. 또한, 그 알고리즘은 조도 변화 및 복잡한 배경에 대해 강해야 한다.

상술한 방법들은 어느 정도까지는 차량 침입 검출을 수행할 수 있다. 그러나 예컨대 다음과 같은 몇 가지 한계와 결함을 가진다.

먼저, 주요 간섭이 상이한 조도의 영향이다. 예컨대, 낮밤의 조도는 완전히 상이하다. 또한, 차량 침입 검출 알고리즘은 동적인 미약한 조도를 극복할 수 있어야 한다. 배경 종속 알고리즘과 같은 어떤 알고리즘들은 그것의 배경 모델에 민감하다. 앞서 구축된 배경이 현재의 배경과 상이하면, 침입 검출 시 더 많은 오류들이 발생할 것이다.

둘째, 차창 밖의 상황이 자주 변한다. 예를 들어, 움직이는 보행자, 움직이는 차량 및 움직이는 나뭇잎들이 있을 것이다. 단순히 프레임 차분 알고리즘을 이용하면 변화하는 상황으로 인해 많은 경보 오작동이 있을 것이다. 그리고, 광학적 플로우 방식들의 계산 비용은 프레임 차분 알고리즘 보다 훨씬 더 높다.

따라서, 조도의 변화에 영향이 적고, 차창밖의 상황의 변화에 적응적이며, 계산이 빠른 실시간 및 고효율 차량 침입 검출 시스템의 개발이 요구되어지고 있다.

등록특허 제1510948호

따라서 본 발명의 목적은 차량 내부를 촬영한 영상을 분석하여 차창영역을 검출하고 검출된 차창영역에 대응하는 마스크를 생성한 후 생성된 마스크와 모니터링되는 차창영역을 포함하는 영상을 비교하여 비차창영역을 검출하고 비차창영역에서의 움직임 물체를 검출하여 침입 판단을 하는 영상을 이용한 차량 침입 검출 장치 및 방법를 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상을 이용한 차량 침입 검출 시스템은: 영상을 촬영하여 출력하는 카메라를 포함하는 영상 획득부; 침입 검출을 경보하는 경보부; 및 차량 내부의 차창영역 및 비차창영역에 대한 바이너리 이미지인 마스크를 구비하고 있으며, 상기 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하고, 상기 정지 이미지에 상기 마스크를 적용하여 비차창영역을 검출하고, 검출된 비차창영역에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 생성하며, 상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하고 침입 검출 시 상기 경보부를 통해 경보를 발생시키는 제어부를 포함하는 것을 특징으로 한다.

상기 제어부는, 상기 마스크를 구비하고 있으며, 상기 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하는 이미지 생성부; 상기 정지 이미지에 상기 마스크를 적용하여 비차창영역을 검출하여 비차창영역 정지 이미지를 출력하는 비차창영역 검출부; 검출된 비차창영역 정지 이미지에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 출력하는 침입 항목 검출부; 및 상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하고 침입 검출 시 상기 경보부를 통해 경보를 발생시키는 침입 판단부를 포함하는 것을 특징으로 한다.

상기 시스템은: 낮 및 밤을 구분하기 위한 밝기를 측정하는 밝기 측정부를 더 포함고, 상기 영상 획득부는 적외선 광의 세기를 조절할 수 있는 적외선 라이트를 더 포함하되, 상기 제어부는, 상기 밝기 측정부해 측정되는 밝기에 의해 낮인지 밤인지를 판단하고, 낮이면 상기 적외선 라이트를 오프하고, 밤이면 상기 적외선 라이트를 온하는 주야 판단부를 더 포함하는 것을 특징으로 한다.

상기 이미지 생성부는, 생성된 정지 이미지의 그레이 값을 검출하고 미리 가지고 있는 상기 그레이 값에 대응하는 적외선 광 세기 값에 따라 상기 적외선 라이트의 적외선 광 세기를 조절하는 적외선 세기 조절부를 더 포함하는 것을 특징으로 한다.

상기 제어부는, 정지 이미지를 입력받고 상기 정지 이미지로부터 차창영역 및 비차창영역을 검출하고, 검출된 차창영역을 0으로, 비차창영역을 1로 변환하여 바이너리 이미지인 마스크를 생성하여 저장하고, 상기 비차창영역 검출부로 정지 이미지의 출력 시마다 상기 마스크를 상기 비차창영역 검출부로 출력하는 이미지 마스크 획득부; 및 상기 이미지 생성부로부터 생성된 정지 이미지를 입력받고, 미리 정의된 마스크 설정 플래그의 셋 여부를 판단하여 초기 구동인지 아닌지를 판단하고, 초기 구동이 아니면 상기 정지 이미지를 상기 비차창영역 검출부로 출력하고, 초기 구동이면 상기 이미지 마스크 획득부로 출력하는 초기 구동 판단부를 더 포함하는 것을 특징으로 한다.

차문의 닫힘 및 잠금 중 적어도 하나를 검출하는 도어 닫힘 검출부를 더 포함하되, 상기 제어부의 이미지 마스크 획득부는 상기 도어 닫힘 검출부에 의해 도어의 닫힘 및 잠금 중 하나의 상태일 때 상기 마스크를 생성하는 것을 특징으로 한다.

상기 이미지 마스크 획득부는, 그랩컷 알고리즘에 의해 상기 마스크를 생성하는 것을 특징으로 한다.

상기 침입 항목 검출부는, 상기 비차창영역 검출부에서 출력되는 비차창영역 정지 이미지에 하기 수학식을 적용하여 상기 비차창영역 정지 이미지에서 움직이는 물체를 검출하되, 문턱값 T가 20인 것을 특징으로 한다.

[수학식]

I(t)는 시간 t에 캡처된 이미지의 비차창영역이다. T는 문턱치이다.

상기 제어부는, 상기 침입 항목 검출부에서 수행된 프레임 차분 알고리즘에 의해 생성된 침입 항목 정지 이미지의 잡음을 제거하여 출력하는 잡음 제거부를 더 포함하되, 상기 잡음 제거부는 3*3 및 5*5 컨볼루션 커널 중 적어도 하나를 적용하고, 상기 3*3 컨볼루션이 적용되는 경우 필터 문턱치를 4로 설정하고, 상기 5*5 컨볼루션이 적용되는 경우 필터 문턱치를 12로 설정하며, 침입 항목 정지 이미지의 움직임 물체에 대한 픽셀들의 합 값에 대한 필터 문턱치를 200으로 설정하여 잡음을 제거하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상을 이용한 차량 침입 검출 방법은: 제어부가 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하는 이미지 생성 과정; 상기 제어부가 상기 정지 이미지에 미리 생성되어 있는 마스크를 적용하여 비차창영역을 검출하여 비차창영역 정지 이미지를 생성하는 비차창영역 검출 과정; 검출된 상기 비차창영역 정지 이미지에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 출력하는 침입 항목 검출 과정; 상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하는 침입 판단 과정; 및 침입 검출 시 경보부를 통해 경보를 발생시키는 경보 과정를 포함하는 것을 특징으로 한다.

상기 방법은: 상기 제어부가 카메라 구동 시 낮이면 적외선 라이트를 오프시키고 밤이면 적외선 라이트를 온시켜 구동하는 적외선 라이트 구동 과정을 더 포함하는 것을 특징으로 한다.

상기 이미지 생성 과정은, 상기 정지 이미지 생성 시 생성된 정지 이미지의 그레이 값을 검출하고, 검출된 그레이 값에 따라 적외선 라이트의 적외선 광 세기를 조절하는 적외선 광 세기 조절 단계; 및 상기 적외선 라이트의 적외선 광 세기가 조절된 후 상기 적외선 광 세기가 적용된 영상으로부터 정지 이미지를 생성하여 출력하는 정지 이미지 출력 단계를 포함하는 것을 특징으로 한다.

상기 방법은: 상기 제어부가 영상획득부의 구동 시 미리 정의된 마스크 설정 플래그의 셋 여부를 판단하여 초기 구동인지 아닌지를 판단하는 초기 구동 판단 과정; 및 상기 초기 구동 여부 판단 결과 초기 구동이면 상기 정지 이미지로부터 차창영역 및 비차창영역을 검출하고, 검출된 차창영역을 0으로, 비차창영역을 1로 변환하여 바이너리 이미지인 마스크를 생성하여 저장하고, 상기 비차창영역 검출부(16)로 정지 이미지의 출력 시마다 상기 마스크를 상기 비차창영역으로 출력하는 이미지 마스크 획득 과정을 더 포함하되, 상기 비차창영역 검출 과정은, 상기 초기 구동 여부 판단 결과 초기 구동이 아닌 경우 수행되는 것을 특징으로 한다.

상기 방법은: 상기 제어부가 도어 닫힘 검출부를 통해 도어의 닫힘 및 잠금 중 적어도 하나의 검출에 의한 도어 닫힘 여부를 판단하는 도어 닫힘 판단 과정을 더 포함하되, 상기 이미지 생성 과정은 상기 도 닫힘 판단 과정에서 도어 닫힘으로 판단될 때 수행되는 것을 특징으로 한다.

상기 침입 항목 검출 과정에서, 상기 제어부가 비차창영역 정지 이미지에 하기 수학식을 적용하여 상기 비차창영역 정지 이미지에서 움직이는 물체를 검출하되, 문턱값 T가 20으로 설정되는 것을 특징으로 한다.

[수학식]

I(t)는 시간 t에 캡처된 이미지의 비차창영역이다. T는 문턱치이다.

본 발명은 조도, 즉 밝기에 따라 적외선 라이트를 온 또는 오프함으로써 급격한 조도의 변화에 따른 영향을 최소화할 수 있는 효과를 갖는다.

또한, 본 발명은 획득된 이미지의 그레이 값에 따라 적외선의 광 세기를 조정하므로 조도 변화의 영향을 적게 받는 효과를 갖는다.

또한, 본 발명은 비차창영역에 대한 마스크를 적용함으로 차창영역, 즉 차창밖의 상황의 변화에 영향을 받지 않는 효과를 갖는다.

또한, 본 발명은 조도 변화에 영향을 적게 받고 차창밖의 상황 변화에 영향을 받지 않으므로 실시간으로 고효율의 침입 검출을 수행할 수 있는 효과를 갖는다.

도 1은 본 발명에 따른 영상을 이용한 침입 검출 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 카메라의 차량 내 설치 위치를 나타낸 도면이다.
도 3은 본 발명에 따른 영상을 이용한 침입 검출 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일실시예에 따른 적외선 라이트가 오프된 낮의 소프트웨어 인터페이스 수단을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 그랩컷 알고리즘의 차창영역 및 비차창영역 수동 선택 결과의 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 그랩컷 알고리즘에 의한 분할 결과를 나타낸 도면이다.
도 7은 상기 도 6을 흑백(그레이스케일)화하여 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따라 차량의 4개의 창문 모두에 대해 그랩컷 알고리즘에 의해 분할된 분할 결과를 흑백화하여 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따라 적외선 라이트가 오프된 낮의 전방 좌측의 침입 검출 일예를 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따라 적외선 라이트가 오프된 낮의 후방 좌측의 침입 검출 일예를 나타낸 도면이다.
도 11은 본 발명의 일실시예에 따른 적외선 라이트가 오프된 낮의 전방 우측 침입 검출 일예를 나타낸 도면이다.
도 12는 본 발명의 일실시예에 따른 적외선 라이트가 온된 밤의 소프트웨어 인터페이스 수단을 나타낸 도면이다.
도 13은 본 발명의 일실시예에 따른 적외선 라이트가 온된 밤의 4개의 창문 모두에 대해 그랩컷 알고리즘에 의해 분할된 분할 결과를 흑백화하여 나타낸 도면이다.
도 14는 본 발명의 일실시예에 따른 적외선 라이트가 온된 밤의 후방 좌측의 침입 검출 일예를 나타낸 도면이다.
도 15는 본 발명의 일실시예에 따른 적외선 라이트가 온된 밤의 후방 좌측의 침입 검출을 필터링한 결과를 나타낸 도면이다.
도 16은 본 발명의 일실시예에 따른 적외선 라이트가 온된 밤의 전방 좌측의 침입 검출 일예를 나타낸 도면이다.
도 17은 본 발명의 일실시예에 따른 적외선 라이트가 온된 밤의 전방 좌측의 침입 검출을 필터링한 결과를 나타낸 도면이다.
도 18은 본 발명의 일실시예에 따라 적외선 라이트가 온된 밤에 손을 사용해 운전석 위치로의 침입을 검출한 검출 일예를 나타낸 도면이다.
도 19는 본 발명의 일실시예에 따라 적외선 라이트가 온된 밤에 손을 사용해 운전석 뒤의 위치로의 침입을 검출한 검출 일예를 나타낸 도면이다.
도 20은 본 발명의 일실시예에 따라 적외선 라이트가 온된 밤에 차창 밖으로 걸어가는 물체를 검출한 결과의 일예를 나타낸 도면이다.

이하 첨부된 도면을 참조하여 본 발명에 따른 영상을 이용한 차량 침입 검출 시스템의 구성 및 동작을 설명하고, 상기 시스템에서의 차량 침입 검출 방법을 설명한다.

도 1은 본 발명에 따른 영상을 이용한 침입 검출 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명의 일실시예에 따른 카메라의 차량 내 설치 위치를 나타낸 도면이다. 이하 도 1 및 도 2를 참조하여 설명한다.

본 발명에 따른 영상을 이용한 침입 검출 시스템은 제어부(10), 카메라(21) 및 적외선 라이트(22)를 포함하는 영상획득부(20), 밝기 검출부(30), 도어 닫힘 검출부(40) 및 경보부(50)를 포함하고, 표시부(60)를 선택적으로 포함할 수 있을 것이다.

제어부(10)는 본 발명에 따른 침입 검출 시스템의 전반적인 동작을 제어한다. 제어부(10)의 상세 구성 및 동작은 후술한다.

영상획득부(20)는 카메라(21), 적외선 라이트(22) 및 영상 처리부(23)를 포함한다.

카메라(21)는 렌즈에 들어오는 장면을 촬영한 영상신호를 출력한다. 카메라(21)는 차량 내부에 설치되어 차량 내부의 모든 차창영역(Window Area)이 촬영되도록 설치되는 것이 바람직하다. 그리고 상기 카메라(21)에 의해 촬영되는 영상의 해상도는 640*480인 것이 바람직하고 프레임 레이트는 30fps인 것이 바람직할 것이다.

적외선 라이트(22)는 상기 카메라(21) 렌즈의 주변에 일체로 구성되고, 제어부(10)의 제어를 받아 온/오프되며, 태양광이 있는 오전/오후(설명의 편의상 "낮", "주" 또는 "주간"이라 함)에는 오프되고, 태양광이 없는 밤(또는 "야", "야간"이라 함)에는 온되도록 구성된다. 또한 적외선 라이트(22)는 제어부(10)의 제어를 받아 적외선 광 세기를 조절한다. 통상 적외선 라이트(22)가 구성되는 렌즈를 적외선 렌즈라 한다.

상기 적외선 렌즈를 구비하는 카메라(21)는 일예로, 도 2에서와 같이 카메라(21)는 차량 내측 천정 중앙에 설치될 수 있으며, 렌즈의 화각은 차량 내부 차창영역을 모두 촬영할 수 있도록 180도인 것이 바람직하다.

영상 처리부(23)는 촬영되는 영상신호를 미리 설정된 영상 포맷으로 변환하여 제어부(10)로 출력한다.

밝기 검출부(30)는 조도계 등이 사용될 수 있으며, 빛의 세기를 검출하여 제어부(10)로 출력한다.

도어 닫힘 검출부(40)는 도어의 닫힘 및 잠김 중 적어도 하나 이상을 검출하고, 도어 닫힘 및 잠김 중 하나일 경우 도어 닫힘 신호를 제어부(10)로 출력한다.

경보부(50)는 제어부(10)의 제어를 받아 경보를 발생한다. 상기 경보는 알람음이 될 수도 있고, 차량 전조등 등의 라이트의 점멸이 될 수도 있으며, 차량 관리자의 휴대폰, 스마트폰 등의 이동통신단말기로 메시지를 전송하는 통신수단이 될 수도 있을 것이다.

표시부(60)는 액정표시장치(Liquid Crystal Display: LCD) 및 LCD와 터치패드가 일체로 구성된 터치스크린 등이 될 수 있으며, 차량 침입 검출 시스템과 일체로 구성될 수도 있고, 착탈 방식으로 구성될 수 있으며, 케이블 연결 방식으로 구성될 수도 있을 것이다. 표시부(60)는 제어부(10)의 제어를 받아 차량 침입 검출 시스템의 다양한 동작 상태 정보 및 동영상 및 정지 영상 등을 표시한다.

제어부(10)의 구성 및 동작을 상세히 설명하면, 제어부(10)는 주야 판단부(11), 도어 닫힘 판단부(12), 이미지 생성부(13), 초기 구동 판단부(14), 이미지 마스크 획득부(15), 비차창영역 검출부(16), 침입 항목 검출부(17) 및 침입 판단부(19)를 포함하며, 실시예에 따라 잡음 제거부(18)를 더 포함할 수 있을 것이다.

주야 판단부(11)는 밝기 검출부(30)로부터 입력되는 빛의 세기에 의해 낮(주간)인지 밤(야간)인지를 판단하고, 낮인 경우 적외선 라이트(22)를 오프(Off)하고, 밤인 경우 적외선 라이트(22)를 온(On)한다. 여기서 주간이란 빛의 세기가 일정 세기 이상인 경우를 나타내는 것으로 밤이라도 밝은 곳에 있다면 주간으로 판단될 수도 있고, 낮이라도 어두운 건물 내에 있다면 밤으로 판단될 것이다.

도어 닫힘 판단부(12)는 도어 닫힘 검출부(40)로부터 도어 닫힘 신호의 입력여부를 판단하여 도어가 닫혔는지 열려 있는지를 판단한다. 여기서 닫힘이란 말 그대로 도어의 닫힘 상태일 수도 있고, 도어의 잠김 상태가 될 수도 있을 것이다. 도어 닫힘 판단부(12)는 도어가 닫혀있는 경우 이미지 생성부(13)를 구동한다.

이미지 생성부(13)는 구동 시 상기 영상 처리부(23)를 통해 영상을 로드하고 로드된 영상으로부터 정지 이미지(또는 "정지영상"이라 하며, 이하 정지영상을 "이미지"라 한다)를 획득하여 출력한다.

또한, 이미지 생성부(13)는 적외선 광 세기 조절 이벤트 발생 시마다 생성된 이미지의 그레이 값을 검출하고, 검출된 그레이 값에 따라 적외선 라이트(22)의 적외선 광 세기를 조절하는 적외선 세기 조절부(13-1)를 더 포함할 수도 있을 것이다. 상기 적외선 광 세기 조절 이벤트는 주야 판단부(11)에 의한 주야 판단 시마다 발생될 수도 있고, 일정 주기 또는 일정 개수의 정지 이미지 생성 시마다 발생될 수도 있으며, 차량 관리자에 의해 발생될 수도 있을 것이다. 상기 그레이 값별 적외선 광 세기는 실험치에 의해 획득될 수 있을 것이다.

초기 구동 판단부(14)는 상기 이미지 생성부(13)로부터 출력되는 정지 이미지를 입력받고, 마스크 설정 플래그가 셋(1 or 0)되어 있는지 리셋(0 or 1)되어 있는지를 검사하여 마스크가 생성되지 않은 상태인 초기 구동 여부를 판단하고, 초기 구동인 경우 상기 정지 이미지를 이미지 마스크 획득부(15)로 출력하고, 마스크가 획득되어 있는 경우, 즉 초기 구동이 아닌 경우, 상기 정지 이미지를 비차창영역 검출부(16)로 출력한다.

이미지 마스크 획득부(15)는 상기 이미지 생성부(13)로부터 출력되는 이미지에 하기 수학식 1이 적용되는 그랩컷(GrabCut) 알고리즘을 적용하여 차량 내부의 상기 이미지로부터 차창영역과 비차창영역을 분리한 마스크를 생성하여 저장하며, 이미지 생성부(13)로부터 이미지 생성 시마다 마스크를 비차창영역 검출부(16)로 출력한다. 상기 마스크는 차창영역이 0으로 표시하고 비차창영역이 1로 표시되는 바이너리 이미지이다.

여기서 E는 에너지 함수이다. 그랩컷 알고리즘은 에너지 함수를 최소화하여 이미지 내 배경 및 전경을 검출한다. 배경은 침입 검출 알고리즘에서 유리, 즉 차창영역을 나타내고, 전경은 이미지의 나머지 부분인 비차창영역을 가리킨다.

따라서, 이미지가 촬영될 때 차량의 도어들이 닫혀 있어야 한다. 이미지의 목적은 모션 검출을 수행하기 위해 차량 내 비차창영역의 위치를 분할하는 것이다. 그래서 도어들이 닫혀 있어야 하며, 차량의 창문이 가려지지 않는 한 차량의 내부 뷰(View)는 관련이 없다. 또한 차량 밖의 배경은 분할에 영향을 미치지 않을 것이다. 이 단계는 상기 초기 구동 판단부(14)에 의해 카메라가 고정된 후 또는 시스템 초기화 시 한 번만 수행될 것이다.

비차창영역 검출부(16)는 상기 이미지 생성부(13)에서 생성된 이미지에 상기 이미지 마스크 획득부(15)에서 출력되는 마스크를 곱하여 비차창영역을 검출하고 검출된 비차창영역을 포함하는 비차창영역 정지 이미지를 출력한다.

침입 항목 검출부(17)는 상기 비차창영역 검출부(16)에서 출력되는 비차창영역 정지 이미지에 프레임 차분 알고리즘을 적용하여 침입 항목, 즉 움직이는 물체를 검출하고, 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 출력한다.

상기 침입 항목 검출부(17)는 배경 모델을 가진 현재의 프레임의 감산 시 문턱치를 이용하여 비차창영역 내 움직이는 물체를 검출한다. 프레임 차분 내 배경 모델은 이전 프레임과 동일하다. 그 이론은 하기 수학식 2와 같다:

I(t)는 시간 t에 캡처된 이미지의 비차창영역이다. T는 문턱치이다.

상술한바와 같이 마스크는 차창영역이 0인 값을 가지고 비차창영역이 1의 값을 가지는 바이너리 이미지이다. 새로운 촬영 이미지 내 비차창영역은 그것을 이미지 마스크와 곱함으로써 얻어진다. 그런 다음 프레임 차분 알고리즘이 비차창영역 내 움직이는 물체들을 검출하기 위해 사용된다. 차 밖에서 움직이는 물체들의 영향은 차량의 비차창영역 검출에 의해서만 제거된다. 움직이는 물체들은 값이 20인 문턱치를 결과 이미지에 적용함으로써 검출된다.

잡음 제거부(18)는 상기 침입 항목 검출부(16)에서 수행된 프레임 차분 알고리즘에 의해 야기된 침입 항목 정지 이미지의 잡음을 제거한 후 출력한다.

구체적으로 설명하면, 잡음 제거부(18)는 잡음을 제거하기 위해 캡처된 침입 항목 정지 이미지에 컨볼루션할 3x3 및 5x5 컨볼루션 커널을 적용하고, 컨볼루션이 적용된 정지 침입 항목 정지 이미지에 문턱치 필터를 적용하여, 후술할 도 15 및 도 17에서 보이는 바와 같은 필터링된 필터링 이미지를 침입 판단부(18)로 출력한다. 상기 문턱치 필터의 문턱값으로는 200이 적용될 수 있을 것이다. 다시 설명하면, 상기 3x3 컨볼루션 커널이 적용되는 경우 필터 문턱치를 4로 설정하고, 상기 5x5 컨볼루션 커널이 적용되는 경우 필터 문턱치를 12로 설정하며, 침입 항목 정지 이미지의 움직임 물체에 대한 픽셀들의 합 값에 대한 필터 문턱치는 200 으로 설정될 수 있을 것이다.

침입 판단부(19)는 상기 필터링 이미지 내 남은 픽셀들의 합을 산출하여 침입을 판단한다. 구체적으로, 침입 판단부(19)는 필터링 이미지 픽셀들의 합 값이 문턱치보다 크면, 침입이 일어어난 것으로 판단하여 경보부(50)를 통해 경보를 발생한다.

보다 구체적으로, 차량의 차창영역이 제거되어도, 프레임 차분 알고리즘 이후 여전히 잡음이 있는 픽셀들이 존재할 것이다. 두 개의 컨볼루션 커널들이 그러한 잡음 있는 픽셀들을 제거한다. 두 컨볼루션 커널들의 크기는 각각 3x3 및 5x5이다. 커널들 안의 픽셀들의 값들은 1이다. 3x3 커널에 있어서, 컨볼루션 결과 이미지를 필터링하기 위해 문턱치 4가 사용된다. 5x5 커널에 있어서, 컨볼루션 결과 이미지를 필터링하기 위해 문턱치 12가 사용된다. 마지막으로, 컨볼루션 결과 이미지 이후 남은 픽셀들을 산출하여 침입이 판단된다.

도 3은 본 발명에 따른 영상을 이용한 침입 검출 방법을 나타낸 흐름도이고, 도 4는 본 발명의 일실시예에 따른 적외선 라이트가 오프된 오후의 소프트웨어 인터페이스 수단을 나타낸 도면이며, 도 5는 본 발명의 일실시예에 따른 그랩컷 알고리즘의 차창영역 및 비차창영역 수동 선택 결과의 예를 나타낸 도면이고, 도 6은 본 발명의 일실시예에 따른 그랩컷 알고리즘에 의한 분할 결과를 나타낸 도면이고, 도 7은 상기 도 6을 흑백(그레이스케일)화하여 나타낸 도면이고, 도 8은 본 발명의 일실시예에 따라 차량의 4개의 창문 모두에 대해 그랩컷 알고리즘에 의해 분할된 분할 결과를 흑백화하여 나타낸 도면이고, 도 9 내지 도 11은 본 발명의 일실시예에 따른 적외선 라이트가 오프된 오후의 침입 검출 일예를 나타낸 도면이고, 도 12는 본 발명의 일실시예에 따른 적외선 라이트가 온된 밤의 소프트웨어 인터페이스 수단을 나타낸 도면이고, 도 13은 본 발명의 일실시예에 따른 적외선 라이트가 온된 밤의 4개의 창문 모두에 대해 그랩컷 알고리즘에 의해 분할된 분할 결과를 흑백화하여 나타낸 도면이며, 도 14는 본 발명의 일실시예에 따른 적외선 라이트가 온된 밤의 후방 좌측의 침입 검출 일예를 나타낸 도면이고, 도 15는 본 발명의 일실시예에 따른 적외선 라이트가 온된 밤의 후방 좌측의 침입 검출을 필터링한 결과를 나타낸 도면이며, 도 16은 본 발명의 일실시예에 따른 적외선 라이트가 온된 밤의 전방 좌측의 침입 검출 일예를 나타낸 도면이고, 도 17은 본 발명의 일실시예에 따른 적외선 라이트가 온된 밤의 전방 좌측의 침입 검출을 필터링한 결과를 나타낸 도면이며, 도 18 내지 도 19는 본 발명의 일실시예에 따라 적외선 라이트가 온된 밤에 손을 사용해 운전석 위치 및 운석 뒤의 위치로의 침입을 검출한 검출 일예를 나타낸 도면이며, 도 20은 본 발명의 일실시예에 따라 적외선 라이트가 온된 밤에 차창 밖으로 걸어가는 물체를 검출한 결과의 일예를 나타낸 도면이다. 이하 도 3 내지 도 20을 참조하여 설명한다.

우선, 제어부(10)는 침입 검출 시스템이 구동되면 밝기 검출부(30)를 통해 빛의 밝기, 즉 조도를 검출하여(S101) 낮인지 밤인지를 판단한다(S103).

낮이면 제어부(10)는 영상획득부(20)의 적외선 라이트(22)를 오프시키고(S105), 밤이면 적외선 라이트(22)를 온시켜 구동한다(S107).

제어부(10)는 적외선 라이트(22)의 조작이 완료되면 카메라(21)를 통해 촬영되는 영상을 리드한다(S111).

영상이 리드되면 제어부(10)는 마스크 설정 플래그가 셋(1 or 0)되어 있는지 리셋(0 or 1) 되어 있는지를 판단하여 최초 구동인지를 판단한다(S113). 상기 마스크 설정 플래그는 마스크 생성 과정에 의해 마스크가 생성되어 저장되어 있는지의 여부를 나타내는 플래그로, 마스크가 생성되어 저장되는 경우 셋될 수 있을 것이다.

최초 구동인 것으로 판단되면 제어부(10)는 리드되는 영상으로부터 도 4(낮인 경우) 및 도 12(밤인 경우)의 프로그램 인터페이스 수단에 표시된 것과 같은 정지 이미지를 획득한다(S115). 즉 제어부(10)는 차창영역을 모두 포함하는 정지 이미지를 획득한다. 그러나 마스크를 생성하기 위한 정지 이미지는 낮에 획득하는 것이 바람직할 것이다. 또한, 상기 정지 이미지 생성 시 후술할 S125 내지 S131 단계를 동일하게 수행하여 적외선 광 세기를 조절한 후 조절한 적외선 광 세기가 적용된 정지 이미지를 획득하여 이후 과정을 수행하도록 구성될 수도 있을 것이다.

정지 이미지가 획득되면 제어부(10)는 획득된 정지 이미지로부터 그랩컷 알고리즘을 적용하여 차창영역을 검출한다(S117). 상기 차창영역은 상술한 바와 같이 그랩컷 알고리즘을 적용하여 검출될 수도 있고, 도 5에서 나타낸 바와 같이 차량 관리자 직접 선택하여 검출하도록 구성될 수도 있을 것이다. 상기 차량 관리자는 차량 생산 단계의 차량 생산자, 운전자, 차량 정비사 등이 될 수 있을 것이다.

차창영역이 검출되면 제어부(10)는 도 6과 같이 비차창영역을 검출하고, 도 7 내지 도 8에서 보이는 바와 같이 비차창영역을 1로, 차창영역을 0로 변환한 바이너리(이진) 이미지인 마스크를 생성하여 저장하고, 마스크 설정 플래그를 셋시킨다(S119).

상술한 S115 내지 S119의 마스크 생성 과정에 의해 마스크가 생성되면 제어부(10)는 이후 입력되는 영상으로부터 획득되는 정지 이미지(S121)에서 그레이 값을 검출하고(S125), 검출된 그레이 값에 따른 적외선 광 세기 값을 로드한다(S127). 상기 적외선 광 세기 값은 그레이 값별로 미리 정의되어 있는 것이 바람직하며, 실험에 의해 구해질 수 있을 것이다.

적외선 광 세기 값이 로드되면 제어부(10)는 로드된 광 세기 값이 허용 가능한 세기인지를 판단한다(S129).

판단결과, 적외선 광 세기 값이 허용 가능한 세기가 아니면 상기 S101 단계 이후의 과정을 다시 수행하도록 구성되고, 이때, 적외선 광 세기 값이 허용 세기 보다 작으면 적외선 광 세기 값을 커지도록 조절을 유도하고, 적외선 광 세기 값이 허용 세기 보다 크면 광 세기 값이 작아지도록 조절 유도하도록 구성될 수도 있을 것이다.

로드된 적외선 광 세기 값이 허용 가능한 세기이면 제어부(10)는 적외선 라이트(22)를 제어하여 상기 로드된 적외선 광 세기 값으로 적외선 광 세기를 조절한다(S131).

적외선 광 세기 조절 후 제어부(10)를 상기 조절된 세기의 적외선이 적용된 정지 이미지를 획득하고(S133), 획득된 정지 이미지에 상기 마스크를 곱하여 침입 항목을 포함할 수 있는 비차창영역을 포함하는 비차창영역 정지 이미지를 생성한다(S135).

비차창영역 정지 이미지가 생성되면 제어부(10)는 프레임 차분 알고리즘을 비차창영역 정지 이미지에 적용하여 비차창영역에서 움직이는 물체(침입 항목)가 있는지의 정보를 포함하는 침입 항목이 포함된 침입 항목 정지 이미지를 생성한다(S136).

상기와 같이 침입 항목이 포함된 침입 항목 정지 이미지가 생성되면 제어부(10)는 3x3 또는 5x5 컨벌루션 커널을 상기 이미지에 컨볼루션하여 필터링을 수행하여 도 15 및 도 17과 같은 필터링 이미지를 생성한다(S137).

필터링 이미지가 생성되면 제어부(10)는 상술한 바와 같이 필터링 이미지 내의 픽셀들의 합을 산출하고, 산출된 픽셀들의 합 값이 필터 문턱치를 초과하는지의 여부에 따라 침입 여부를 판단한다(S139). 제어부(10)는 도 10 내지 도 11, 도 13 내지 14, 도 16, 도 18 내지 도 20과 같은 경우 침입으로 판단할 것이다.

침입이 발생된 것으로 판단되면 제어부(10)는 경보부(50)를 통해 경보를 발생시킨다(S141).

한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.

10: 제어부 11: 주야 판단부
12: 도어 닫힘 판단부 13: 이미지 생성부
13-1 적외선 세기 조절부 14: 초기 구동 판단부
15: 이미지 마스크 획득부 16: 비차창영역 검출부
17: 침입 항목 검출부 18: 잡음 제거부
19: 침입 판단부 20: 영상 획득부
21: 카메라 22: 적외선 라이트
23: 영상 처리부 30: 밝기 검출부
40: 도어 닫힘 검출부 50: 경보부
60: 표시부

Claims (15)

1. 영상을 촬영하여 출력하는 카메라를 포함하는 영상 획득부;
   침입 검출을 경보하는 경보부; 및
   차량 내부의 차창영역 및 비차창영역에 대한 바이너리 이미지인 마스크를 구비하고 있으며, 상기 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하고, 상기 정지 이미지에 상기 마스크를 적용하여 비차창영역을 검출하고, 검출된 비차창영역에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 생성하며, 상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하고 침입 검출 시 상기 경보부를 통해 경보를 발생시키는 제어부를 포함하는 것을 특징으로 하는 영상을 이용한 차량 침입 검출 시스템.
   
2. 제1항에 있어서,
   상기 제어부는,
   상기 마스크를 구비하고 있으며, 상기 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하는 이미지 생성부;
   상기 정지 이미지에 상기 마스크를 적용하여 비차창영역을 검출하여 비차창영역 정지 이미지를 출력하는 비차창영역 검출부;
   검출된 비차창영역 정지 이미지에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 출력하는 침입 항목 검출부; 및
   상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하고 침입 검출 시 상기 경보부를 통해 경보를 발생시키는 침입 판단부를 포함하는 것을 특징으로 하는 영상을 이용한 차량 침입 검출 시스템.
   
3. 제2항에 있어서,
   낮 및 밤을 구분하기 위한 밝기를 측정하는 밝기 측정부를 더 포함고,
   상기 영상 획득부는 적외선 광의 세기를 조절할 수 있는 적외선 라이트를 더 포함하되,
   상기 제어부는,
   상기 밝기 측정부해 측정되는 밝기에 의해 낮인지 밤인지를 판단하고, 낮이면 상기 적외선 라이트를 오프하고, 밤이면 상기 적외선 라이트를 온하는 주야 판단부를 더 포함하는 것을 특징으로 하는 영상을 이용한 차량 침입 검출 시스템.
   
4. 제3항에 있어서,
   상기 이미지 생성부는,
   생성된 정지 이미지의 그레이 값을 검출하고 미리 가지고 있는 상기 그레이 값에 대응하는 적외선 광 세기 값에 따라 상기 적외선 라이트의 적외선 광 세기를 조절하는 적외선 세기 조절부를 더 포함하는 것을 특징으로 하는 영상을 이용한 차량 침입 검출 시스템.
   
5. 제2항에 있어서,
   상기 제어부는,
   정지 이미지를 입력받고 상기 정지 이미지로부터 차창영역 및 비차창영역을 검출하고, 검출된 차창영역을 0으로, 비차창영역을 1로 변환하여 바이너리 이미지인 마스크를 생성하여 저장하고, 상기 비차창영역 검출부로 정지 이미지의 출력 시마다 상기 마스크를 상기 비차창영역 검출부로 출력하는 이미지 마스크 획득부; 및
   상기 이미지 생성부로부터 생성된 정지 이미지를 입력받고, 미리 정의된 마스크 설정 플래그의 셋 여부를 판단하여 초기 구동인지 아닌지를 판단하고, 초기 구동이 아니면 상기 정지 이미지를 상기 비차창영역 검출부로 출력하고, 초기 구동이면 상기 이미지 마스크 획득부로 출력하는 초기 구동 판단부를 더 포함하는 것을 특징으로 하는 영상을 이용한 차량 침입 검출 시스템.
   
6. 제5항에 있어서,
   차문의 닫힘 및 잠금 중 적어도 하나를 검출하는 도어 닫힘 검출부를 더 포함하되,
   상기 제어부의 이미지 마스크 획득부는 상기 도어 닫힘 검출부에 의해 도어의 닫힘 및 잠금 중 하나의 상태일 때 상기 마스크를 생성하는 것을 특징으로 하는 영상을 이용한 차량 침입 검출 시스템.
   
7. 제6항에 있어서,
   상기 이미지 마스크 획득부는,
   그랩컷 알고리즘에 의해 상기 마스크를 생성하는 것을 특징으로 하는 영상을 이용한 차량 침입 검출 시스템.
   
8. 제2항에 있어서,
   상기 침입 항목 검출부는,
   상기 비차창영역 검출부에서 출력되는 비차창영역 정지 이미지에 하기 수학식 3을 적용하여 상기 비차창영역 정지 이미지에서 움직이는 물체를 검출하되, 문턱값 T가 20인 것을 특징으로 하는 영상을 이용한 차량 침입 검출 시스템.
   [수학식 3]
   

   

   
   I(t)는 시간 t에 캡처된 이미지의 비차창영역이다. T는 문턱치이다.
   
9. 제2항 또는 제8항에 있어서,
   상기 제어부는,
   상기 침입 항목 검출부에서 수행된 프레임 차분 알고리즘에 의해 생성된 침입 항목 정지 이미지의 잡음을 제거하여 출력하는 잡음 제거부를 더 포함하되,
   상기 잡음 제거부는 3x3 및 5x5 컨볼루션 커널 중 적어도 하나를 적용하고,
   상기 3x3 컨볼루션이 적용되는 경우 필터 문턱치를 4로 설정하고,
   상기 5x5 컨볼루션이 적용되는 경우 필터 문턱치를 12로 설정하며,
   침입 항목 정지 이미지의 움직임 물체에 대한 픽셀들의 합 값에 대한 필터 문턱치를 200으로 설정하여 잡음을 제거하는 것을 특징으로 하는 영상을 이용한 차량 침입 검출 시스템.
   
10. 제어부가 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하는 이미지 생성 과정;
    상기 제어부가 상기 정지 이미지에 미리 생성되어 있는 마스크를 적용하여 비차창영역을 검출하여 비차창영역 정지 이미지를 생성하는 비차창영역 검출 과정;
    검출된 상기 비차창영역 정지 이미지에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 출력하는 침입 항목 검출 과정;
    상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하는 침입 판단 과정; 및
    침입 검출 시 경보부를 통해 경보를 발생시키는 경보 과정를 포함하는 것을 특징으로 영상을 이용한 차량 침입 검출 방법.
    
11. 제10항에 있어서,
    상기 제어부가 카메라 구동 시 낮이면 적외선 라이트를 오프시키고 밤이면 적외선 라이트를 온시켜 구동하는 적외선 라이트 구동 과정을 더 포함하는 것을 특징으로 하는 영상을 이용한 차량 침입 검출 방법.
    
12. 제10항에 있어서,
    상기 이미지 생성 과정은,
    상기 정지 이미지 생성 시 생성된 정지 이미지의 그레이 값을 검출하고, 검출된 그레이 값에 따라 적외선 라이트의 적외선 광 세기를 조절하는 적외선 광 세기 조절 단계; 및
    상기 적외선 라이트의 적외선 광 세기가 조절된 후 상기 적외선 광 세기가 적용된 영상으로부터 정지 이미지를 생성하여 출력하는 정지 이미지 출력 단계를 포함하는 것을 특징으로 하는 영상을 이용한 차량 침입 검출 방법.
    
13. 제10항에 있어서,
    상기 제어부가 영상획득부의 구동 시 미리 정의된 마스크 설정 플래그의 셋 여부를 판단하여 초기 구동인지 아닌지를 판단하는 초기 구동 판단 과정; 및
    상기 초기 구동 여부 판단 결과 초기 구동이면 상기 정지 이미지로부터 차창영역 및 비차창영역을 검출하고, 검출된 차창영역을 0으로, 비차창영역을 1로 변환하여 바이너리 이미지인 마스크를 생성하여 저장하고, 비차창영역 검출부로 정지 이미지의 출력 시마다 상기 마스크를 상기 비차창영역 검출부로 출력하는 이미지 마스크 획득 과정을 더 포함하되,
    상기 비차창영역 검출 과정은,
    상기 초기 구동 여부 판단 결과 초기 구동이 아닌 경우 수행되는 것을 특징으로 하는 영상을 이용한 차량 침입 검출 방법.
    
14. 제10항에 있어서,
    상기 제어부가 도어 닫힘 검출부를 통해 도어의 닫힘 및 잠금 중 적어도 하나의 검출에 의한 도어 닫힘 여부를 판단하는 도어 닫힘 판단 과정을 더 포함하되,
    상기 이미지 생성 과정은 상기 도 닫힘 판단 과정에서 도어 닫힘으로 판단될 때 수행되는 것을 특징으로 하는 영상을 이용한 차량 침입 검출 방법.
    
15. 제10항에 있어서,
    상기 침입 항목 검출 과정에서, 상기 제어부가 비차창영역 정지 이미지에 하기 수학식 4을 적용하여 상기 비차창영역 정지 이미지에서 움직이는 물체를 검출하되, 문턱값 T가 20으로 설정되는 것을 특징으로 하는 영상을 이용한 차량 침입 검출 방법.
    [수학식 4]
    

    

    
    I(t)는 시간 t에 캡처된 이미지의 비차창영역이다. T는 문턱치이다.

Images