KR101381580B1

KR101381580B1 - 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 방법 및 시스템

Info

Publication number: KR101381580B1
Application number: KR1020140012467A
Authority: KR
Inventors: 김중석; 해용석; 송재현
Original assignee: (주)나인정보시스템
Priority date: 2014-02-04
Filing date: 2014-02-04
Publication date: 2014-04-17

Abstract

본 발명은 주간과 야간의 영상에 각각 적응적으로 베이스 임계치를 설정하고, 야간 영상에서 주변 조명의 색을 검출한 후 정규화를 통해 조명의 영향을 제거하며, 그림자 영역의 엣지를 추출하고 엣지의 방향을 참조하여 정확하게 그림자 영역을 검출함으로써 주 야간의 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 방법 및 시스템에 관한 것으로, 본 발명의 시스템은 카메라로부터 입력된 영상을 영상분석서버가 분석하여 차량을 검지하기 위한 차량 검지 시스템에 있어서, 상기 영상 분석 서버가 다양한 실외 환경에서 각각의 환경에 맞는 다양한 평균 밝기값의 베이스 임계치를 설정함과 아울러 자동으로 갱신하는 베이스 임계치 갱신모듈; 야간 영상에서 다양한 조명 색 성분을 검출한 후 정규화하여 조명에 의한 영향을 제거하는 조명색 검출 및 정규화 모듈; 및 상기 조명색 검출 및 정규화 모듈에 의해 처리된 영상에서 엣지를 추출하고 엣지의 방향을 참조하여 바닥 영역의 질감성분을 제거하고 상기 베이스 임계치 갱신모듈에 의해 갱신된 베이스 임계치를 이용하여 정확하게 그림자 영역을 검출하는 엣지추출 및 그림자영역 판단모듈을 포함하여 주 야간의 다양한 조명 환경에서 영상 내 차량 위치를 정확하게 판단하는 것이다.

Description

다양한 조명 환경에 강인한 영상 내 차량 위치 판단 방법 및 시스템{ METHOD AND SYSTEM FOR DETECTING POSITION OF VEHICLE IN IMAGE OF INFLUENCED VARIOUS ILLUMINATION ENVIRONMENT }

본 발명은 차량 검지 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 주간과 야간의 영상에 각각 적응적으로 베이스 임계치를 설정하고, 야간 영상에서 주변 조명의 색을 검출한 후 정규화를 통해 특정 조명의 영향을 제거하며, 그림자 영역의 엣지를 추출하고 엣지의 방향을 참조하여 정확하게 그림자 영역을 검출함으로써 주 야간의 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 방법 및 시스템을 제공하는 것이다.

우리나라에는 매년 차량의 증가세가 가파르게 상승하지만, 주차 공간이라든가 도로 상황은 그 증가세가 그 차량의 증가세를 따라가지 못하는 실정이다. 특히, 주차 공간의 부족으로 인해 도로 상의 불법 주정차는 이미 진부한 법규 위반 사례가 된 실정이다. 이는 또한 도로 상의 교통 흐름을 방해하여 교통 상황을 악화시키는 요인이 되고 있다.

이러한 불법 주정차를 방지하기 위해 이미 다양한 방식의 불법 주정차 단속이 이루어지고 있는데, 가장 기본적인 방식은 단속 인력이 직접 단속을 하는 방식이나 다발적으로 발생되는 불법 주정차를 한정된 인력으로 단속하는 것은 무리가 있다.

다른 방식으로서 CCTV(closed circuit television)를 이용한 단속 방식이 있다. 그러나, CCTV를 이용한 방식 역시 단속 상황실에서 단속 인력이 일일이 영상을 분석하여 단속하여야 하므로, 단속 인력의 증원이 여전히 요구된다는 문제점이 있다. 즉, 기존의 방식은 자동으로 불법 주정차 차량을 검지하여 단속까지 자동으로 일괄 동작하는 알고리즘이 없기 때문에, 여전히 효율성에 있어서 부족한 면이 많다.

이러한 문제점을 해소하고 자 CCTV를 이용한 자동 주정차 차량 검지 및 단속 방법이 제안되었는데, 이 방법은 CCTV 영상을 자동 분석하여 주정차된 차량의 위치를 판단하는 것이다. 이러한 방식은 영상에서 차량을 검지하기 위해 배경 모델링 기법과 템플렛 매칭(template matching) 기법을 사용하고 있다. 배경 모델링 기법에서는 세부적으로 가우시안 분포의 혼합을 이용한 GMM(Gaussian mixture modeling)기법과 커널의 밀도추정을 이용한 KDE(kernel density estimation)기법이 주로 사용된다.

그런데, 이러한 방식 모두 고정된 카메라 환경에서 효과적으로 차량을 검출 할 수 있다는 장점이 있지만, 조명의 변화에 굉장히 민감히 반응하며, 초당 일정 프레임 이상의 모든 픽셀을 처리해야지만 효과적인 성능을 기대할 수 있다는 문제점이 있다.

특히, 최근에 교차로 등에서 여러 방향의 도로를 모두 모니터링할 수 있는 1대의 PTZ 카메라(PTZ Camera)의 경우 이러한 영상 처리 기법을 적용하기 어렵다. 즉, PTZ 카메라에서는 프리셋(preset) 기능을 이용하여 다수의 시점을 만들어서 배경 모델링 방법을 사용할 수는 있지만 계속되는 프리셋 이동은 카메라의 PTZ(pan/tilt/zoom) 모터의 이상을 발생시킬 수 있으며, PTZ 모터의 이상으로 인한 프리셋 이동의 오류는 배경 모델링의 결과 신뢰도에 치명적인 역할을 초래할 수 있다.

또한, 현재처럼 네트워크로 고 해상도의 영상을 전송하는 상황에서는 각 현장의 네트워크 상황에 따라 현장에서 단속 상황실로 전송되는 이미지의 프레임에 많은 차이를 가져올 수 있어 배경 모델링 방법을 안정적으로 수행하는데 문제를 가져올 수 있다.

또 다른 방식인 템플릿 매칭의 경우 차량 템플릿을 이용하여 고정된 영상에서의 차량을 판단하는 기술이나 이 방식 역시 다양한 차량의 검출을 위해서 다수의 템플릿이 필요하며, 이 역시 조명의 변화에 민감한 특성을 보이고, 처리 이미지 해상도에 따라 그 처리 속도가 확연히 증가되는 단점이 있다.

이와 같이, 기존의 영상 처리 방식은 1대의 PTZ 카메라(Pan Tilt Zoom Camera)를 이용한 단속 방식에서 모두 조명에 대해서는 그 변화에 민감하여 처리 속도가 증가하고, 안정적으로 동작하지 못하다는 문제점이 있다.

선행문헌인 공개특허공보 10-2010-0025338 및 10-0752583 역시 이러한 배경 모델링 기법과 템플렛 매칭(template matching) 기법을 이용하는 사례이다.

KR

10-1327256

B1

종래의 PTZ 카메라를 이용한 차량 검지 기술은 야간 영상에서 주변의 조명 색에 의한 잘못된 영상의 입력되고, 주 야간의 영상에 같은 임계치 베이스를 사용하게 되면 잘못된 출력 결과가 나올 수 있다. 또한 종래에는 바닥 영역이 질감성분이 많다면 평균 밝기값 탐지로 인하여 오검출될 수 있다.

본 발명은 상기와 같은 종래의 문제점들을 해소하기 위해 제안된 것으로, 본 발명의 목적은 주간과 야간의 영상에 각각 적응적으로 베이스 임계치를 설정함과 아울러 자동으로 임계치를 업데이트하고, 야간 영상에서 주변 조명의 색을 검출한 후 정규화를 통해 조명의 영향을 제거하며, 바닥 영역의 질감 성분 제거를 위해 해당 영역 엣지를 추출하고 엣지의 방향을 참조하여 정확하게 그림자 영역을 검출함으로써 PTZ 카메라에 의한 영상에서도 차량을 정확하게 검출할 수 있는 차량 그림자 영역의 각도 정보 활용 및 주 야간의 다양한 조명 환경에서 강인한 영상 내 차량 위치 판단 방법 및 시스템을 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명의 시스템은, 카메라로부터 입력된 영상을 영상분석서버가 분석하여 차량을 검지하기 위한 차량 검지 시스템에 있어서, 상기 영상 분석 서버가 다양한 실외 환경에서 각각의 환경에 맞는 다양한 평균 밝기값의 베이스 임계치를 설정함과 아울러 자동으로 갱신하는 베이스 임계치 갱신모듈; 야간 영상에서 다양한 조명 색 성분을 검출한 후 정규화하여 조명에 의한 영향을 제거하는 조명색 검출 및 정규화 모듈; 및 상기 조명색 검출 및 정규화 모듈에 의해 처리된 영상에서 엣지를 추출하고 엣지의 방향을 참조하여 바닥 영역의 질감성분을 제거하고 상기 베이스 임계치 갱신모듈에 의해 갱신된 베이스 임계치를 이용하여 정확하게 그림자 영역을 검출하는 엣지추출 및 그림자영역 판단모듈을 포함하여 주 야간의 다양한 조명 환경에서 영상 내 차량 위치를 정확하게 판단하는 것을 특징으로 한다.

상기 베이스 임계치 갱신 모듈은 기본으로 설정된 해당 시간대의 기본 밝기값을 평균 밝기값으로 설정한 후, 영상의 대각선 픽셀들의 평균 밝기값을 연산하여 미리 설정된 평균 밝기값과 현재 영상의 평균 밝기값 차이의 절대값이 제1 임계치보다 크면 기본 밝기값을 현재의 밝기값으로 대체하는 것이고, 상기 조명색 검출 및 정규화 모듈은 해당 픽셀의 각 성분간의 차이를 구하고, 각 성분간의 차이 절대값이 제2 임계치보다 크면 해당 픽셀을 확장 픽셀로 설정한 후 확장 픽셀 개수를 1 증가시키고, 모든 픽셀에 대해 이를 적용한 후 확장 픽셀 수를 전체 픽셀 수로 나누어 그 비가 제3 임계치보다 크면 각 성분의 차 중 가장 큰 픽셀 성분의 차를 검색하여, 확장된 정도를 수학식

으로 계산한 후 모든 픽셀에서 확장된 성분 값을 차감하여 조명에 의한 영향을 제거하는 것이다.

또한 상기 엣지추출 및 그림자 영역 판단모듈은 검지영역 내의 수평라인 평균 밝기값을 탐지한 후 수직라인으로 평균 밝기값의 변화를 탐지하여 그 변화 값이 제4 임계치보다 크면, 해당 라인을 피크 밸리(peak-vally) 영역으로 설정하고, 피크-밸리 영역 내 엣지를 추출한 후 엣지의 각도를 계산하여 그 결과가 제5 임계치와 제6 임계치 사이에 들어오면, 해당 영역의 픽셀 밝기값이 제7 임계치보다 작으면 실제 검지 영역의 수평라인 픽셀 수와 수평라인으로 타겟 픽셀 수의 비가 제8 임계치보다 크면 차량 그림자 영역으로 판단하는 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명의 방법은, PTZ 카메라가 다 시점을 생성하기 위해 미리 정해진 소정의 프리셋 동작을 수행하는 제1 단계; 상기 PTZ 카메라가 상기 프리셋 동작에 따라 정지 영상을 촬영하여 송신하는 제2 단계; 영상 분석 서버가 상기 PTZ 카메라로부터 상기 정지 영상을 수신하는 제3 단계; 상기 영상 분석 서버가 다양한 실외 환경에서 각각의 환경에 맞는 다양한 평균 밝기값의 베이스 임계치를 설정함과 아울러 자동으로 갱신하는 제4 단계; 상기 영상 분석 서버가 야간 영상에서 다양한 조명 색 성분을 검출한 후 정규화하여 조명에 의한 영향을 제거하는 제5 단계; 및 상기 영상 분석 서버가 조명에 의한 영향이 제거된 영상에서 엣지를 추출하고 엣지의 방향을 참조하여 바닥 영역의 질감성분을 제거함으로써 정확하게 그림자 영역을 탐지하여 차량의 유무 및 위치를 판단하는 제6 단계를 포함하는 것을 특징으로 한다.

상기 제4 단계는 기본으로 설정된 해당 시간대의 기본 밝기값을 평균 밝기값으로 설정하여 현재 시간대의 기본 밝기값을 베이스 임계치로 설정하는 단계와, 영상의 대각선 방향 픽셀들의 평균 밝기값을 연산하여 영상의 대각선 방향 평균 밝기값을 구하는 단계와, 베이스 임계치로 설정된 평균 밝기값과 현재 영상의 평균 밝기값 차이의 절대값을 제1 임계치와 비교하여 그 차이의 절대값이 제1 임계치보다 크면 현재의 밝기값을 해당 시간대의 기본 밝기값으로 설정하며, 이러한 기본 밝기값 설정 과정을 일정 시간마다 반복하여 기본 밝기값을 갱신하는 단계로 구성되고,

상기 제5 단계는 해당 픽셀의 R성분과 G성분의 차와 G성분과 B성분의 차, B성분과 R성분의 차를 연산하는 단계와, 연산 결과 해당 픽셀의 각 성분간의 차이 절대 값이 제2 임계치보다 크면, 해당 픽셀을 확장 픽셀로 설정하고, 확장 픽셀 개수를 1 증가시킨 후, 각 성분 차의 값을 수학식

으로 산출하고, 입력된 영상의 모든 픽셀에 대해 상기 수학식에 따른 연산을 수행하여 모든 픽셀에 대해 연산이 완료되면, 확장 픽셀수과 전체 픽셀수의 비율을 구해 제3 임계치 비율보다 클 경우, 각 성분의 차 중 가장 큰 성분을 검색하여 확장된 성분값을 수학식2

로 연산하고, 모든 픽셀에서 수학식2에서 연산된 확장된 성분 값을 차감하여 조명 성분에 의한 영향을 제거한다.

상기 제6 단계는 입력된 영상에서 차량을 검지하고자 하는 영역을 관심영역으로 설정하는 단계와, 검지영역 내의 수평라인 평균 밝기값을 탐지하는 단계와, 수직라인으로 평균 밝기값 변화가 제4 임계치보다 큰지 비교하는 단계와, 수직라인으로 평균 밝기값의 변화가 제4 임계치보다 큰 경우 해당 영역을 피크-밸리 영역으로 설정하는 단계와, 피크-밸리 영역에서 엣지를 추출하는 단계와, 추출된 엣지의 각도를 계산하여 그 결과가 제5 임계치와 제6 임계치 사이에 들어오면 해당 영역의 픽셀 밝기값을 조사하여 이 픽셀 밝기값이 제7 임계치보다 작으면 타겟 픽셀의 수와 실제 검지 영역의 수평라인 픽셀 수의 비율을 구해 이 비율이 제8 임계치보다 크면, 해당 영역을 차량 그림자 영역으로 판단하는 단계로 이루어진다.

본 발명에 따른차량 그림자 영역 탐지를 이용한 차량 검지 시스템 및 방법에 의하면, 정지 영상에서 차량의 그림자 영역을 추출하고 추출된 그림자 영역을 기준으로 차량의 위치를 판단함으로써, 한 대의 회전형 PTZ 카메라에서 촬영된 정지 영상에서 주로 발생하는 조명의 민감도 문제가 해결되는 효과가 있다.

또한, 본 발명에 따르면 주간과 야간의 영상에 각각 적응적으로 베이스 임계치를 설정함과 아울러 자동으로 임계치를 업데이트하고, 야간 영상에서 주변 조명의 색을 검출한 후 정규화를 통해 조명의 영향을 제거하며, 바닥 영역의 질감 성분 제거를 위해 해당 영역 엣지를 추출하고 엣지의 방향을 참조하여 정확하게 그림자 영역을 검출함으로써 PTZ 카메라에 의한 영상에서도 차량을 정확하게 검출할 수 있는 장점이 있다.

도 1은 본 발명에 따라 PTZ 카메라가 촬영한 영상에서 차량을 검지하는 전체 시스템을 도시한 개략도,
도 2는 본 발명에 따라 PTZ 카메라를 이용하여 차량을 검지하는 전체 절차를 도시한 순서도,
도 3은 본 발명에 따라 주간과 양간 영상의 베이스 임계치를 설정하고 자동 으로 갱신하는 절차를 도시한 순서도,
도 4는 본 발명에 따라 야간 영상에서 조명 색 성분을 검출한 후 정규화하는 절차를 도시한 순서도,
도 5는 도 4에 따른 절차를 수행하기 전 붉은 색 조명 때문에 전체적으로 붉은 색 성분이 입력된 영상의 예,
도 6은 도 5에 도시된 영상에 도 4에 따른 절차를 적용한 결과 영상의 예,
도 7은 본 발명에 따라 질감 성분을 제거하기 위해 엣지를 추출하여 그림자 영역을 검출하는 절차를 도시한 순서도,
도 8은 본 발명을 적용하기 위한 주간 영상의 예,
도 9는 도 8에 도시된 주간 영상에서 차량을 검지한 예,
도 10은 도 8에 도시된 주간 영상에 본 발명을 적용한 결과 영상의 예,
도 11은 본 발명을 적용하기 위한 야간 영상의 예,
도 12는 도 11에 도시된 야간 영상에서 차량을 검지한 예,
도 13은 도 11에 도시된 야간 영상에 본 발명을 적용한 결과 영상의 예이다.

본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 본 발명의 바람직한 실시예들에 의하여 보다 명확해질 것이다. 다음의 실시예들은 단지 본 발명을 설명하기 위하여 예시된 것에 불과하며, 본 발명의 범위를 제한하기 위한 것은 아니다.

도 1은 본 발명의 일 실시예에 따라 PTZ 카메라가 촬영한 영상에서 차량을 검지하는 전체 시스템을 도시한 개략도이다.

본 발명의 일 실시예에 따른 차량 그림자 영역 탐지를 이용한 차량 검지시스템은 도 1에 도시된 바와 같이, PTZ 카메라(Pan Tilt Zoom Camera)(110), 영상 분석 서버(120), DB(database) 서버(130), FTP(file transfer protocol) 서버(140) 및 모니터링 단말(150)로 구성되어 차량 그림자 영역을 탐지함으로써 실외에서 조명의 민감도에 따라 검지하지 못하던 차량을 정확하게 검지할 수 있다. 또한, 본 발명이 적용된 차량 검지 시스템은 차량 검지 여부도 사용자(단속 상황실)가 직접 검지하지 않아도 자동으로 일괄검지하여 판단하므로, 차량 검지를 분석하기 위한 단속 인력이 요구되지 않고 단속 효율성을 높일 수 있다.

도 1에서 PTZ 카메라(110)는 다 시점(multiple viewpoint)을 생성하기 위해 미리 정해진 소정의 프리셋(preset)동작을 수행하여 각각의 정지 영상을 촬영하여 영상 분석 서버(120)로 송신한다. 여기에서, PTZ 카메라(110)는 교차로 등에서 회전 가능한 PTZ(pan/tilt/zoom) 카메라로 구성되며, 교차로에 한 대만 설치되면 각 도로의 방향을 모두 회전하면서 촬영할 수 있다.

본 발명에 따른 영상 분석 서버(120)는 다양한 실외 환경에서 각각의 환경에 맞는 다양한 평균 밝기 값의 베이스 임계치를 설정함과 아울러 주간과 야간에 서로 다른 베이스 임계치를 설정하고 자동으로 갱신하는 베이스 임계치 갱신모듈(122)과, 야간 영상에서 다양한 조명 색 성분을 검출한 후 정규화하여 조명에 의한 영향을 제거하는 조명색 검출 및 정규화 모듈(124)과, 바닥 영역의 질감성분을 제거하기 위해 해당 영역 엣지를 추출하고 엣지의 방향을 참조하여 정확하게 그림자 영역 검출하는 엣지추출 그림자영역 판단모듈(126)을 포함하여 PTZ 카메라 영상과 같이 열악한 환경의 영상에서도 차량을 정확하게 검지할 수 있다.

도 1을 참조하면, 영상분석서버의 베이스 임계치 갱신모듈(122)은 기본으로 설정된 해당 시간대의 기본 밝기값을 평균 밝기값으로 설정한 후, 영상의 대각선 픽셀들의 평균 밝기값을 연산하여 미리 설정된 평균 밝기값과 현재 영상의 평균 밝기값 차이의 절대값이 제1 임계치보다 크다면 기본 밝기값을 현재의 밝기값으로 대체하며, 이 과정을 일정 시간마다 수행하여 베이스 임계치를 갱신한다.

영상분석서버의 조명색 검출 및 정규화 모듈(124)은 해당 픽셀의 각 성분간의 차이를 구하고, 각 성분간의 차이 절대값이 제2 임계치보다 크면 해당 픽셀을 확장 픽셀로 설정한 후 확장 픽셀 개수를 1 증가시키고, 모든 픽셀에 대해 이를 적용한 후 확장픽셀수를 전체픽셀수로 나누어 그 비가 제3 임계치보다 크면 영상이 어떤 조명 성분으로 확장되었다고 판단하여 각 성분의 차 중 가장 큰 픽셀 성분이 무엇인지 검색하여, 확장된 정도를 '확장된 성분 차의 합' / '확장된 픽셀 개수 / 2'의 연산으로 계산한 후 모든 픽셀에서 확장된 성분 값을 차감하여 정규화시켜 조명에 의한 영향을 제거한다. 따라서 야간 영상의 경우 주변의 간판이나 신호등, 가로등 등에 의해서 영상 자체에 전체적으로 해당 조명의 색이 영향을 주는 문제점을 해소할 수 있다.

영상분석서버의 엣지추출 그림자영역 판단모듈(126)은 차량을 검지하고자 하는 영역을 설정하고, 검지영역내의 수평라인 평균 밝기값을 탐지한다. 수직라인으로 평균 밝기값의 변화를 탐지하여 제4 임계치보다 크면, 해당 라인을 peak, vally 영역으로 설정한다. 이어 피크 밸리 영역내 엣지를 추출하고, 엣지의 각도를 계산하여 그 결과가 제5 임계치와 제6 임계치 사이에 들어오면, 이를 통해서 차량의 번호판 인식이 될 범위내의 차량 위치만을 판단할 수 있다. 그리고 해당 영역의 픽셀 밝기값이 제7 임계치보다 작은지를 판단하여 작으면 수평라인으로 타겟 픽셀의 개수가 실제 검지 영역의 수평라인 픽셀 수에서 얼마만큼 차지하는지 비율을 조사하여 제8 임계치보다 크면 차량 그림자 영역으로 판단하고, 작으면 제7 임계치를 변화하여 해당 영역의 픽셀 밝기값이 제7 임계치보다 작은지를 다시 판단하여 이를 반복한다. 이와 같이 엣지추출 그림자영역 판단모듈은 바닥 영역의 질감 성분을 제거하기 위해 해당 영역의 엣지를 추출하고 엣지의 방향을 참조하여 정확하게 그림자 영역을 검출한다. 따라서 본 발명에 따르면, 바닥의 질감 성분에 최대한 영향을 받지 않기 위하여 엣지 추출 및 엣지의 방향성을 연산하여 엣지의 방향이 일정 임계치에 성립하는 영역만을 차량의 그림자 영역으로 판단한다.

한편, 판단 결과 차량이 검지된 경우, 영상 분석 서버(120)는 차량의 번호를 인식하고 해당 정지 영상을 DB(database) 서버(130)로 송신한다. 이때, 차량의 번호를 인식하기 위해 PTZ 카메라(110)로 하여금 해당 차량의 차량 번호판을 확대하여 촬영하고 송신하도록 제어할 수 있고, 확대 촬영된 영상을 수신하여 차량 번호판의 번호를 인식하도록 구성할 수도 있다.

DB 서버(130)는 영상 분석 서버(120)로부터 정지 영상을 수신하여 저장하고, FTP(file transfer protocol) 서버(140)는 DB 서버(120)에 저장된 정지 영상을 FTP(file transfer protocol) 통신으로 모니터링 단말(150)로 송신한다. 모니터링 단말(150)은 사용자(단속 상황실)가 차량 검지 결과를 모니터링할 수 있도록 FTP 서버(140)로부터 정지 영상을 수신하여 디스플레이한다. 모니터링 단말(150)은 단속 상황실에 배치된다.

도 2는 본 발명에 따라 PTZ 카메라를 이용하여 차량을 검지하는 전체 절차를 도시한 순서도이다.

도 2를 참조하면, 먼저 PTZ 카메라(110)가 다 시점(multiple viewpoint)을 생성하기 위해 미리 정해진 소정의 프리셋(preset) 동작을 수행한다(S1).

다음으로, PTZ 카메라(110)가 프리셋 동작에 따라 정지 영상을 촬영하여 영상분석서버로 송신하고(S2), 영상 분석 서버(120)가 PTZ 카메라(110)로부터 정지 영상을 수신한다(S3).

이어 영상분석서버는 다양한 실외 환경에서 각각의 환경에 맞는 다양한 평균 밝기 값의 베이스 임계치를 설정함과 아울러 주간과 야간에 서로 다른 베이스 임계치를 설정하고 자동으로 갱신한다(S4).

그리고 야간 영상에서 다양한 조명 색 성분을 검출한 후 정규화하여 조명에 의한 영향을 제거하고(S5), 바닥 영역의 질감성분을 제거하기 위해 해당 영역 엣지를 추출하고 엣지의 방향을 참조하여 정확하게 그림자 영역을 탐지하여 차량의 유무 및 위치를 판단한다(S6).

판단 결과 차량의 위치가 검지된 경우, 영상 분석 서버(120)가 차량의 번호를 인식하고 해당 정지 영상과 함께 차량번호 정보를 DB(database) 서버(130)로 송신한다(S7).

DB 서버(130)는 앞서 인식된 번호 및 정지 영상을 수신하여 저장하고(S8), FTP(file transfer protocol) 서버(140)가 앞서 저장된 번호 및 정지 영상을 모니터링 단말(150)로 송신한다(S9). 모니터링 단말(150)은 차량의 번호 및 정지 영상을 수신하면 모니터 화면에 이를 디스플레이하여 사용자가 알 수 있게 한다(S10).

도 3은 본 발명에 따라 주간과 양간 영상의 베이스 임계치를 설정하고 자동 으로 갱신하는 절차(도 2의 S4)를 도시한 상세 순서도이다.

다양한 실외 환경에서 각각의 환경에 맞는 다양한 평균 밝기값의 베이스 임계치를 설정하고, 주간과 야간에 서로 다른 베이스 임계치를 설정하는 단계(S4)는 도 3에 도시된 바와 같이, 기본으로 설정된 해당 시간대의 기본 밝기값을 평균 밝기값으로 설정하여 현재 시간대의 기본 밝기값을 베이스 임계치로 설정하는 단계(S41)와, 영상의 대각선 방향 픽셀들의 평균 밝기값을 연산하여 영상의 대각선 방향 평균 밝기값을 구하는 단계(S42)와, 베이스 임계치로 설정된 평균 밝기값과 현재 영상의 평균 밝기값 차이의 절대값을 제1 임계치와 비교하여 그 차이의 절대값이 제1 임계치보다 크면 현재의 밝기값을 해당 시간대의 기본 밝기값(베이스 임계치)으로 설정하며, 이러한 기본 밝기값(베이스 임계치) 설정 과정을 일정 시간마다 반복하여 기본 밝기값(베이스 임계치)을 갱신한다(S43,S44).

도 4는 본 발명에 따라 야간 영상에서 조명 색 성분을 검출한 후 정규화하는 절차를 도시한 순서도이고, 도 5는 도 4에 따른 절차를 수행하기 전 붉은 색 조명 때문에 전체적으로 붉은 색 성분이 입력된 영상의 예이며, 도 6은 도 5에 도시된 영상에 도 4에 따른 절차를 적용한 결과 영상의 예이다.

야간 영상에서 다양한 조명 색 성분을 검출하여 정규화하는 단계(S5)는 도 4에 도시된 바와 같이, 해당 픽셀의 R성분과 G성분의 차와 G성분과 B성분의 차, B성분과 R성분의 차를 연산하는 단계와, 연산 결과 해당 픽셀의 각 성분간의 차이 절대 값이 제2 임계치보다 크면, 해당 픽셀을 확장 픽셀로 설정하고, 확장 픽셀 개수를 1 증가시킨 후, 각 성분 차의 값을 다음 수학식1과 같이 산출한다.

입력된 영상의 모든 픽셀에 대해 이와 같은 연산을 수행하여 모든 픽셀에 대해 연산이 완료되면, 확장 픽셀수과 전체 픽셀수의 비율을 구해 제3 임계치 비율보다 클 경우, 해당 입력 영상이 어떤 조명 성분으로 확장되었다고 판단한다.

이어 정규화를 위해 각 성분의 차 중 가장 큰 성분을 검색하여 확장된 성분값을 다음 수학식2와 같이 산출하여 확산된 정도를 구한다.

그리고 모든 픽셀에서 수학식2에서 연산된 확장된 성분 값을 차감하여 조명 성분에 의한 영향을 제거한다. 즉, 야간 영상의 경우 주변의 간판이나 신호등, 가로등 등에 의해서 영상 자체에 전체적으로 해당 조명의 색이 영향을 주기 때문에 입력된 영상에서 조명 색 성분을 검출한 후 이를 제거하여 조명에 의한 영향을 최소화한다.

도 5의 영상은 붉은 색 조명 때문에 전체적으로 붉은 색 성분이 입력된 것을 알 수 있고, 이 영상을 도 4에 도시된 절차에 따라 처리할 경우 도 6에 도시된 바와 같이 붉은 색이 차감되어 붉은 색 조명에 의한 영향을 제거한 것을 알 수 있다.

도 7은 본 발명에 따라 질감 성분을 제거하기 위해 엣지를 추출하여 그림자 영역을 검출하는 절차를 도시한 순서도이다.

바닥 영역의 질감성분을 제거하기 위해 해당 영역의 엣지를 추출하고 엣지의 방향을 참조하여 정확한 그림자 영역을 검출하는 단계(S6)는 도 7에 도시된 바와 같이, 입력된 영상에서 차량을 검지하고자 하는 영역을 관심영역(region of interest, ROI)으로 설정하는 단계와, 검지영역 내의 수평라인 평균 밝기값을 탐지하는 단계와, 수직라인으로 평균 밝기값 변화가 제4 임계치보다 큰지 비교하는 단계와, 수직라인으로 평균 밝기값의 변화가 제4 임계치보다 큰 경우 해당 영역을 피크(peak)-밸리(vally) 영역으로 설정하는 단계와, 피크(peak)-밸리(vally) 영역에서 엣지를 추출하는 단계와, 추출된 엣지의 각도를 계산하여 그 결과가 제5 임계치와 제6 임계치 사이에 들어오는지를 조사하여 차량의 번호판 인식이 될 범위내의 차량 위치만을 판단한다. 여기서, 제4 임계치는 도 3에서 구한 기본 밝기값에서 10을 뺀 값으로 설정하고, 제5 임계치와 제6 임계치는 차량 번호판의 각도를 의미하는 것이며, -30도에서 30도 정도로 설정한다.

이어 차량의 번호판을 인식할 수 있는 위치에 있으면, 해당 영역의 픽셀 밝기값을 조사하여 이 픽셀 밝기값이 제7 임계치보다 작은지를 판단하고, 작으면 수평라인으로 타겟 픽셀의 개수를 감지영역 수평라인 픽셀수로 나누어 타겟 픽셀의 수와 실제 검지 영역의 수평라인 픽셀수의 비율을 구해 이 비율이 제8 임계치보다 크면, 해당 영역을 차량 그림자 영역으로 판단하고, 아니면 제7 임계치를 변화하고 해당 영역의 픽셀 밝기값을 조사하여 이 픽셀 밝기값이 제7 임계치보다 작은지 판단하고, 작으면 수평라인으로 타겟 픽셀의 개수를 감지영역 수평라인 픽셀수로 나누어 타겟 픽셀의 수와 실제 검지 영역의 수평라인 픽셀수의 비율을 구해 이 비율이 제8 임계치보다 크면, 해당 영역을 차량 그림자 영역으로 판단하는 과정을 반복한다.

여기서 제7 임계치는 음영 임계치로서 현장의 조명 환경에 따라 계속해서 업데이트되는 값으로서 도 3에서 계산된 기본 밝기값에서 20을 뺀 값으로 설정하고, 제8 임계치는 평균 그림자 영역 비율로서 관심 영역 중 그림자가 발생할 수 있는 영역의 비율로서 20% 내지 30%로 설정하는 것이 바람직하다.

이와 같이 본 발명에 따르면, 바닥의 질감 성분에 최대한 영향을 받지않기 위하여 엣지을 추출하고 엣지의 방향성을 연산한 후 엣지의 방향이 일정 임계치 조건을 만족하는 영역만을 차량의 그림자 영역으로 판단하여 정확하게 차량을 검출한다.

도 8은 본 발명을 적용하기 위한 주간 영상의 예이며, 도 9는 도 8에 도시된 주간 영상에서 차량을 검지한 예이고, 도 10은 도 8에 도시된 주간 영상에 본 발명을 적용한 결과 영상의 예이고, 도 11은 본 발명을 적용하기 위한 야간 영상의 예이며, 도 12는 도 11에 도시된 야간 영상에서 차량을 검지한 예이고, 도 13은 도 11에 도시된 야간 영상에 본 발명을 적용한 결과 영상의 예이다.

도 8 내지 도 10을 참조하면, 본 발명에 따라 주간 영상에서나 베이스 임계치를 갱신하여 설정함과 아울러 그림자의 엣지를 추출한 후 각도를 산출하여 정확하게 그림자영역을 추출함으로써 보다 정확하게 차량을 자동으로 검지하는 것을 알 수 있다.

또한 도 11 내지 도 13을 참조하면, 야간 영상에서 조명 색성분을 검출하여 정규하시킴과 아울러 야간 영상에서나 베이스 임계치를 갱신하고 그림자의 엣지를 추출한 후 각도를 산출하여 정확하게 그림자영역을 추출함으로써 보다 정확하게 차량을 자동으로 검지하는 것을 알 수 있다.

이상에서 본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

110: PTZ 카메라 102: 네트워크
120: 영상분석서버 122: 베이스 임계치 갱신모듈
124: 조명색 검출 및 정규화모듈 126: 엣지추출 및 그림자 영역 판단모듈
130: DB 서버 140: FTP 서버
150: 모니터링 단말

Claims

카메라로부터 입력된 영상을 영상분석서버가 분석하여 차량을 검지하기 위한 차량 검지 시스템에 있어서,
상기 영상 분석 서버가
다양한 실외 환경에서 각각의 환경에 맞는 다양한 평균 밝기값의 베이스 임계치를 설정함과 아울러 자동으로 갱신하는 베이스 임계치 갱신모듈;
야간 영상에서 다양한 조명 색 성분을 검출한 후 정규화하여 조명에 의한 영향을 제거하는 조명색 검출 및 정규화 모듈; 및
상기 조명색 검출 및 정규화 모듈에 의해 처리된 영상에서 엣지를 추출하고 엣지의 방향을 참조하여 바닥 영역의 질감성분을 제거하고 상기 베이스 임계치 갱신모듈에 의해 갱신된 베이스 임계치를 이용하여 정확하게 그림자 영역을 검출하는 엣지추출 및 그림자영역 판단모듈을 포함하여 주 야간의 다양한 조명 환경에서 영상 내 차량 위치를 정확하게 판단하는 것을 특징으로 하는 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 시스템.
제1항에 있어서, 상기 베이스 임계치 갱신 모듈은
기본으로 설정된 해당 시간대의 기본 밝기값을 평균 밝기값으로 설정한 후, 영상의 대각선 픽셀들의 평균 밝기값을 연산하여 미리 설정된 평균 밝기값과 현재 영상의 평균 밝기값 차이의 절대값이 제1 임계치보다 크면 기본 밝기값을 현재의 밝기값으로 대체하는 것을 특징으로 하는 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 시스템.
제1항에 있어서, 상기 조명색 검출 및 정규화 모듈은
해당 픽셀의 각 성분간의 차이를 구하고, 각 성분간의 차이 절대값이 제2 임계치보다 크면 해당 픽셀을 확장 픽셀로 설정한 후 확장 픽셀 개수를 1 증가시키고, 모든 픽셀에 대해 이를 적용한 후 확장 픽셀 수를 전체 픽셀 수로 나누어 그 비가 제3 임계치보다 크면 각 성분의 차 중 가장 큰 픽셀 성분의 차를 검색하여, 확장된 정도를 수학식
으로 계산한 후 모든 픽셀에서 확장된 성분 값을 차감하여 조명에 의한 영향을 제거하는 것을 특징으로 하는 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 시스템.
제1항에 있어서, 상기 엣지추출 및 그림자 영역 판단모듈은
검지영역 내의 수평라인 평균 밝기값을 탐지한 후 수직라인으로 평균 밝기값의 변화를 탐지하여 그 변화 값이 제4 임계치보다 크면, 해당 라인을 피크 밸리(peak-vally) 영역으로 설정하고, 피크-밸리 영역 내 엣지를 추출한 후 엣지의 각도를 계산하여 그 결과가 제5 임계치와 제6 임계치 사이에 들어오면, 해당 픽셀의 밝기값이 제7 임계치보다 작은지 판단하고, 작으면 타겟 픽셀의 수와 실제 검지 영역의 수평라인 픽셀 수의 비율을 구해 이 비율이 제8 임계치보다 크면 해당 영역을 차량 그림자 영역으로 판단하는 것을 특징으로 하는 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 시스템.
PTZ 카메라가 다 시점을 생성하기 위해 미리 정해진 소정의 프리셋 동작을 수행하는 제1 단계;
상기 PTZ 카메라가 상기 프리셋 동작에 따라 정지 영상을 촬영하여 송신하는 제2 단계;
영상 분석 서버가 상기 PTZ 카메라로부터 상기 정지 영상을 수신하는 제3 단계;
상기 영상 분석 서버가 다양한 실외 환경에서 각각의 환경에 맞는 다양한 평균 밝기값의 베이스 임계치를 설정함과 아울러 자동으로 갱신하는 제4 단계;
상기 영상 분석 서버가 야간 영상에서 다양한 조명 색 성분을 검출한 후 정규화하여 조명에 의한 영향을 제거하는 제5 단계; 및
상기 영상 분석 서버가 조명에 의한 영향이 제거된 영상에서 엣지를 추출하고 엣지의 방향을 참조하여 바닥 영역의 질감성분을 제거함으로써 정확하게 그림자 영역을 탐지하여 차량의 유무 및 위치를 판단하는 제6 단계를 포함하는 것을 특징으로 하는 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 방법.
제5항에 있어서, 상기 제4 단계는
기본으로 설정된 해당 시간대의 기본 밝기값을 평균 밝기값으로 설정하여 현재 시간대의 기본 밝기값을 베이스 임계치로 설정하는 단계와, 영상의 대각선 방향 픽셀들의 평균 밝기값을 연산하여 영상의 대각선 방향 평균 밝기값을 구하는 단계와, 베이스 임계치로 설정된 평균 밝기값과 현재 영상의 평균 밝기값 차이의 절대값을 제1 임계치와 비교하여 그 차이의 절대값이 제1 임계치보다 크면 현재의 밝기값을 해당 시간대의 기본 밝기값으로 설정하며, 이러한 기본 밝기값 설정 과정을 일정 시간마다 반복하여 기본 밝기값을 갱신하는 것을 특징으로 하는 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 방법.
제5항에 있어서, 상기 제5 단계는
해당 픽셀의 R성분과 G성분의 차와 G성분과 B성분의 차, B성분과 R성분의 차를 연산하는 단계와, 연산 결과 해당 픽셀의 각 성분간의 차이 절대 값이 제2 임계치보다 크면, 해당 픽셀을 확장 픽셀로 설정하고, 확장 픽셀 개수를 1 증가시킨 후, 각 성분 차의 값을 수학식
으로 산출하고,
입력된 영상의 모든 픽셀에 대해 상기 수학식에 따른 연산을 수행하여 모든 픽셀에 대해 연산이 완료되면, 확장 픽셀수과 전체 픽셀수의 비율을 구해 제3 임계치 비율보다 클 경우, 각 성분의 차 중 가장 큰 성분을 검색하여 확장된 성분값을 수학식2
로 연산하고, 모든 픽셀에서 수학식2에서 연산된 확장된 성분 값을 차감하여 조명 성분에 의한 영향을 제거하는 것을 특징으로 하는 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 방법.
제5항에 있어서, 상기 제6 단계는
입력된 영상에서 차량을 검지하고자 하는 영역을 관심영역으로 설정하는 단계와, 검지영역 내의 수평라인 평균 밝기값을 탐지하는 단계와, 수직라인으로 평균 밝기값 변화가 제4 임계치보다 큰지 비교하는 단계와, 수직라인으로 평균 밝기값의 변화가 제4 임계치보다 큰 경우 해당 영역을 피크-밸리 영역으로 설정하는 단계와, 피크-밸리 영역에서 엣지를 추출하는 단계와, 추출된 엣지의 각도를 계산하여 그 결과가 제5 임계치와 제6 임계치 사이에 들어오면 해당 영역의 픽셀 밝기값을 조사하여 이 픽셀 밝기값이 제7 임계치보다 작으면 타겟 픽셀의 수와 실제 검지 영역의 수평라인 픽셀 수의 비율을 구해 이 비율이 제8 임계치보다 크면, 해당 영역을 차량 그림자 영역으로 판단하는 것을 특징으로 하는 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 방법.