KR102662901B1

KR102662901B1 - 차량 그림자를 이용해 영상의 특정영역의 밝기를 차량번호 인식에 적합하도록 제어하는 ｃｃｔｖ 시스템 및 그 카메라 제어방법

Info

Publication number: KR102662901B1
Application number: KR1020230144340A
Authority: KR
Inventors: 김경록
Original assignee: 주식회사 엘리소프트
Priority date: 2023-10-26
Filing date: 2023-10-26
Publication date: 2024-05-03

Abstract

차량 그림자를 이용해 영상의 특정영역의 밝기를 차량번호 인식에 적합하도록 제어하는 CCTV 시스템 및 그 카메라 제어방법이 개시된다. 본 발명에 따른 CCTV 시스템은 이미지의 차량 전방 영역의 그레이 스케일과 색상정보를 추출하여 차량에 역광이 작용하고 있는지 여부를 확인하고, 역광이 작용하는 경우에는 이미지 센서의 게인 또는 셔터 스피드를 조정하여 차량번호 인식에 적합한 과하게 밝은 이미지를 획득하도록 제어한다. 수 개 프레임의 차량 인식용 이미지를 획득한 후에는 이전의 제어모드로 복귀함으로써 카메라의 전체 영상이 시각적으로 확인하기에 적합한 밝기의 영상을 생성하도록 제어한다.

Description

차량 그림자를 이용해 영상의 특정영역의 밝기를 차량번호 인식에 적합하도록 제어하는 ＣＣＴＶ 시스템 및 그 카메라 제어방법{CCTV System for Controlling the Brightness of a Specific Area of the Image Opt to Number Recognition to Suit License Plate Recognition by Using the Shadow of Vehicle and Method for Controlling the CCTV Camera}

본 발명은, 도로에 설치되어 차량번호판을 인식할 수 있는 영상을 촬영하는 CCTV 시스템에 관한 것으로서 태양에 의한 역광 조명에 의해 차량 번호를 인식할 수 없는 문제를 해결하는 CCTV의 카메라 제어방법에 관한 것이다.

CCTV(Closed-circuit Television)란 보안 감시 카메라를 의미하는 것으로서 촬영된 영상이 특정 폐쇄망을 통해서만 공유되는 장치이다. 종래의 CCTV는 대부분 카메라와 카메라 영상을 처리하는 영상제어기를 포함하는 것이나, 영상제어기가 카메라와 하나의 하드웨어로 만들어지는 소위 '임베디드(Embedded) 타입'으로 만들어지기도 한다.

도로에 설치된 CCTV의 주요 기능 중 하나는 도로를 주행하거나 도로에 주정차 중인 차량을 촬영하고 그 차량의 번호판에서 차량번호를 인식하는 것이다. 예를 들어, 차량 방범용 CCTV는 경찰 등이 카메라를 이용해 수배 중이거나 도주 중인 차량과 같은 '범법차량'을 색출하는데 사용되는 시스템이다.

차량 방범용 CCTV는 레이저 광이나 루프코일(Loop Coil) 또는 기타 다양한 센서를 사용하여 도로를 통과하는 차량을 검출할 수도 있고, 촬영된 영상을 이용해 차량을 검출할 수 있다. 차량이 검출되면 카메라가 해당 차량을 촬영하여 그 촬영한 이미지로부터 차량번호를 인식한다. 인식된 차량 번호는 차량 이미지와 함께 외부의 관제센터로 제공됨으로써 도난 또는 수배 차량인지 확인한다.

한편, 도로에 고정된 자세로 설치되는 CCTV 시스템 중에서 역광이 생기도록 설치된 카메라는 자동 노출(Exposure)제어로 인해 문제가 생긴다. 도 1의 차량 이미지에서는 차량의 좌측 앞부분(a2)에 그림자가 생긴 것으로 보아 이미지 상의 2시 방향에 역광이 작용 중이다. 역광 상황에서 카메라 자동 노출제어는 이미지 전체의 밝기를 기준값에 맞추기 위해 도 1처럼 차량을 더욱 어둡게 표현한다. 따라서 차량의 차량번호판 부분(a1)이 어둡게 표현됨으로써 번호인식이 어려운 이미지를 얻게 된다.

종래에 역광 문제를 해결하는 방법들이 제시된 바 있었지만, 대부분은 이미지 전체의 평균 밝기를 조정하는 용도이었다. 예를 들어, 카메라가 설치된 지역에서의 시간별 태양 위치에 맞춘 스케줄에 따라 조리개 등을 조정하는 방법은 스케줄에 따라 조정된 조리개가 몇 시간 동안 유지되어 전체적으로 밝거나 어두워지는 영상이 생성된다. 강한 역광이 있을 때 차량번호판이 그늘져 어두지기 때문에, 이 발명을 차량 번호 인식용에 사용하려면 강한 역광이 있을 때 오히려 밝기를 높여 그늘진 차량번호판이 밝게 보이도록 조정해야 한다. 문제는 차량 번호 인식에 사용되지 않는 영상에서는 평균밝기가 과도하게 높다는 것이다. 따라서 방범용 CCTV 시스템에 이런 방법을 사용하면 전체 영상의 품질이 나빠지는 문제가 생긴다. 다시 말해, 차량 번호 검출에 적합하지 않은 것이다.

출원인은 역광 상태에서 카메라의 셔터 속도와 조리개 개방 정도를 조정하는 방법을 개발하여 특허(대한민국 특허 제10-1833418호)를 받은 바 있다. 위 특허는 번호판 내에서 배경과 글자 사이의 밝기 차이가 기준값 이하인 경우에 그 밝기 차이가 일정 크기 이상이 되도록 조리개를 미세 조정하는 방법을 제시한다.

KR

10-1833418

B

본 발명의 목적은 태양에 의한 역광 조명에 의해 차량 번호를 인식할 수 없는 상태를 영상 처리를 통해 인식하는 방법을 제시하고, 역광으로 판단된 때에 이미지 센서의 게인(Gain) 또는 셔터 스피드(Shutter Speed)를 임시로 수 개 프레임 동안 조정하여 역광 문제를 해결한 영상을 생성할 수 있는 CCTV 카메라 또는 CCTV 시스템을 제공함에 있으며, 그 카메라 제어방법도 제공한다.

본 발명의 다른 목적은 촬영 중인 차량의 번호판에 역광에 의한 그림자가 생긴 것으로 인식한 경우에 이어지는 수 프레임 동안의 이미지 센서의 게인 또는 셔터 스피드를 즉시 높게 조정하여 차량번호 인식용 이미지를 획득하고 다시 통상의 제어방법으로 복귀함으로써, 차량번호 인식에 사용할 몇 개 프레임의 밝은 이미지를 생성하면서도 나머지 영상에서는 이미지의 평균 밝기를 일정 범위 내로 유지하는 제어방법을 제시함에 있다.

상기 목적을 달성하기 위하여 본 발명에 따른 CCTV 시스템의 카메라 제어방법은, 카메라 모듈이 기설정된 프레임 속도로 생성하는 이미지에 대해 차량의 전방에 역광에 의한 그림자가 있는지 판단함으로써 상기 차량에 역광이 작용하는지 판단하는 단계와; 상기 차량에 역광이 작용한 것으로 판단되면, 상기 카메라 모듈의 이미지 센서의 게인 또는 셔터 스피드(Shutter Speed)를 이벤트용 제어값으로 설정하는 검출 이벤트를 수행하는 단계와; 상기 차량에 대해 적어도 하나의 차량번호 검출용 이미지를 생성한 후에 상기 검출 이벤트를 해제하여 이전의 제어모드로 복원하는 단계를 포함한다. 여기서, 상기 이벤트용 제어값은 상기 카메라 모듈에 기설정된 게인값보다 큰 게인값이거나 설정된 셔터 스피드보다 낮은 스피드로서 역광 상황에서 차량번호를 인식할 수 있을 정도의 밝기에 해당하는 값이 바람직하다.

역광 판단

실시 예에 따라, 상기 역광이 작용하였는지 판단하는 단계는, 상기 이미지가 차량-이미지인지 판단하되, 상기 차량-이미지는 차량번호 인식에 적합한 위치로 설정된 인식존에 상기 차량이 위치한 상태에서 촬영된 이미지인 단계와; 상기 차량-이미지에 대해 상기 차량의 전방, 우측전방 및 좌측전방에 마련된 역광 그림자 영역(z2, z3, z4) 중 어느 하나에 그림자가 있는지 판단하는 단계를 포함할 수 있다.

다른 실시 예에 따라, 상기 그림자가 있는지 판단하는 단계는, 상기 역광 그림자 영역(z2, z3, z4) 중 어느 하나의 색상정보와 그레이 스케일을 추출하여 대조값과 비교하는 단계와; 상기 색상정보는 대조값과 동일하고 상기 그레이 스케일은 대조값보다 기설정된 값 이상 낮은 값인 경우에 상기 역광 그림자 영역(z2, z3, z4) 중 어느 하나에 그림자가 생긴 것으로 판단하는 단계를 포함하여 수행될 수 있다.

다른 실시 예에 따라, 상기 대조값은 상기 카메라 모듈이 촬영한 이미지로서 상기 차량-이미지가 아닌 이미지에서 계산한 도로 바닥의 색상정보와 그레이 스케일이거나, 상기 역광 그림자 영역(z2, z3, z4)의 좌측 또는 우측의 차량이 없는 영역의 색상정보와 그레이 스케일인 것이 바람직하다.

또 다른 실시 예에 따라, 상기 이벤트용 제어값은 차량번호 인식이 가능한 것으로 기설정된 차량번호판 영역의 그레이 스케일과 상기 차량-이미지의 차량번호판 영역의 그레이 스케일의 차이를 보상하는 게인값 또는 셔터 스피드인 것이 바람직하다.

CCTV 시스템

본 발명은 카메라 모듈과 영상제어기를 포함하는 CCTV 시스템에도 미친다. 이 경우, 영상제어기는 카메라 모듈과 일체로 임베디드되어 하나의 CCTV 카메라가 될 수도 있고, 상호 별도의 케이스에 장착되어 랜 통신 등으로 연결될 수도 있다.

여기서, 영상제어기는, 차량번호 인식에 관한 컴퓨터로 읽을 수 있는 복수의 명령어가 저장된 메모리와; 상기 메모리에 저장된 명령어들을 실행할 수 있는 하나 이상의 프로세서를 포함한다.

상기 프로세서는, 상기 명령어를 실행함으로써, 상기 이미지에 대해 차량의 전방에 역광에 의한 그림자가 있는지 판단함으로써 상기 차량에 역광이 작용하는지 판단하는 동작과; 상기 차량에 역광이 작용한 것으로 판단되면, 상기 카메라 모듈의 이미지 센서의 게인을 이벤트용 제어값으로 설정하는 검출 이벤트를 수행하는 동작과; 상기 카메라 모듈이 상기 이벤트용 제어값에 따라 차량에 대해 적어도 하나의 차량번호 검출용 이미지를 생성한 후에 상기 검출 이벤트를 해제하여 이전의 게인값 제어모드로 복원하는 동작을 수행한다.

본 발명에 따른 CCTV 카메라 또는 CCTV 시스템은 촬영한 이미지의 차량 앞쪽의 그림자 영역에서의 색상정보와 그레이 레벨을 계산하여 비교함으로써, 이미지에 찍힌 차량에 역광이 작용하는지 여부를 용이하게 판단할 수 있다.

또한, 본 발명의 CCTV 카메라는 역광이 작용한 차량을 포착한 때에 즉시 이미지 센서의 게인(Gain) 또는 셔터 스피드를 높게 조정하여 이어지는 몇 개 프레임 동안의 이미지의 밝기를 차량번호 인식에 적합하도록 조정함으로써 차량번호 인식용 이미지를 얻을 수 있다. 차량번호 인식용 이미지를 획득한 후에는 다시 통상의 게인 제어(Gain Control)나 이전의 셔터 스피드로 복귀함으로써 차량번호 인식에 사용하지 않는 나머지 이미지의 평균 밝기를 일정 범위 내로 유지할 수 있다. 이로써 도로상에 자세 고정되어 설치된 CCTV 카메라는 역광이 작용하는 도로에서 도로 상황이나 차량 주행 상황을 파악하기에 적합한 밝기의 이미지를 생산하면서도 차량번호를 인식하는데도 문제가 없도록 할 수 있다.

이처럼 이미지 센서의 게인 또는 셔터 스피드를 조정하는 방법은 종래에 사용하던 조리개를 조정하는 방법에 비해 매우 빠르게 제어할 수 있기 때문에, 차량의 속도가 빠르더라도 차량이 지나가기 전에 번호판 영역이 차량번호를 인식할 수 있는 정도의 밝기로 조정된 이미지를 획득할 수 있다.

도 1은 역광 상황에서 종래의 CCTV 카메라로 촬영한 사진,
도 2는 본 발명의 일 실시 예에 따른 CCTV 카메라의 블록도,
도 3은 본 발명에 따라 도로에 설치된 CCTV 카메라를 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 CCTV 시스템의 카메라 제어방법의 설명에 제공되는 흐름도,
도 5는 차량-이미지의 예를 도시한 도면, 그리고
도 6은 이벤트용 게인으로 조정하여 촬영한 이미지의 예이다.

이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.

도 2 및 도 3을 참조하면, 본 발명의 CCTV 시스템은 도로를 촬영하는 적어도 하나의 카메라모듈(210)과, 카메라모듈(210)의 영상을 처리하는 영상제어기(230)를 포함한다. CCTV 시스템은 영상제어기(230)가 전송하는 이미지를 수신하여 모니터(미도시)에 표시하는 관제장치(미도시)에 연결될 수 있다.

아래에서 다시 설명하는 것처럼, 영상제어기(230)는 카메라모듈(210)과 별도의 케이스에 탑재된 별개 장치로 구현되어 카메라모듈(210)과 랜(LAN) 등으로 연결될 수도 있지만, 도 2와 도 3에 도시된 것처럼 카메라모듈(210)과 영상제어기(230)가 결합하여 하나의 CCTV 카메라(200)로 구현되는 것이 바람직하다. CCTV 카메라(200)는 영상제어기(230)가 카메라모듈(210)에 임베디드(Embadded)된 것으로 볼 수 있다. 이하에서는 영상제어기(230)가 카메라모듈(210)에 임베디드되어 시스템 버스(System Bus)로 연결된 도 2의 CCTV 카메라(200)를 중심으로 설명한다.

도 2의 CCTV 카메라(200)는 하나의 케이스 내에 카메라모듈(210)과 영상제어기(230)가 동일한 시스템 버스를 사용하도록 구현된 것이다. CCTV 카메라(200)는 지지 구조물(10)에 지지되는 형태로 설치되며 고정된 자세로 도로를 촬영한다.

도 3에서처럼, 카메라모듈(210)의 자세는 전방에서 다가오는 차량(20)의 차량번호를 인식할 수 있도록 지지 구조물(10)에 지지된 상태로 설정된다. 차량(20)이 도로를 주행함에 따라 카메라모듈(210)이 기설정된 프레임 속도로 생성하는 이미지에 차량이 찍힌다.

도 2를 참조하면, 카메라모듈(210)은 적어도 하나의 렌즈를 포함하는 광학계(211), 이미지 센서(213), 카메라구동부(215) 및 영상신호처리부(ISP: Image Signal Processor)(217)를 구비하며, 이밖에도 IR 필터(Infrared filter), AF 모터(Auto-Focus Motor) 등을 구비할 수 있다. 실시 예에 따라 카메라구동부(215)와 영상신호처리부(217)가 하나의 칩으로 구현될 수도 있다.

카메라모듈(210)은 도로의 노면으로부터 일정 높이에 설치된 지지 구조물에(10) 부착되어 차량의 주행방향과 마주보도록 설치된다. 아래에서 설명되는 것처럼, 카메라모듈(210)은 통상 복수 개의 차선을 동시에 촬영할 수도 있다.

이미지 센서(213)는 광학계(211)를 통해 입사되는 광을 전기적 신호로 변환한다. 카메라구동부(215)는 설정된 각종 파라미터에 따라 이미지 센서(213)의 동작을 제어하고, 이미지 센서(213)의 출력을 디지털 신호로 변환한다. 종래에 알려진 카메라용 AFE(Analog Front End)는 카메라구동부(215)의 일 예이다.

한편, 파라미터에는 색 보정, 조리개 개방, 셔터 스피드(Shutter Speed), 이미지 센서(213)의 신호증폭에 관한 게인(Gain) 등을 포함한다. 파라미터는 기설정된 자동제어모드에 따라 카메라구동부(215)가 제어할 수도 있고, 영상제어기(230)가 카메라구동부(215)를 통해 파라미터 값을 바꿈으로써 카메라모듈(210)의 동작을 제어할 수도 있다.

파라미터들 중에 게인은 이미지 센서(213)의 신호 증폭율로서 이미지 센서(213)의 픽셀값을 전체적으로 조정한다. 이미지의 각 픽셀값은 해당 픽셀의 밝기값, 또는 그레이 스케일(Gray Scale)이라고도 한다. 픽셀값을 8 비트로 처리할 경우에 픽셀값은 0-255 사이의 값이 된다. 게인을 높이면 이미지 센서(213)로 들어오는 모든 신호를 더 높은 증폭도로 증폭하여 처리하기 때문에, 이미지의 전체 픽셀값이 비례적으로 커지면서 이미지가 밝아진다. 반대로 게인을 낮게 설정하면, 이미지가 전체적으로 어두워진다. 게인을 높이면 잡음을 포함해 모든 신호를 증폭하기 때문에, 자동모드의 자동 게인제어(AGC: Automatic Gain Control)는 이미지 전체의 밝기를 평균적인 범위 내에 있도록 제어한다. 셔터 스피드도 마찬가지다. 셔터 스피드를 높이면 이미지 센서(213)로 들어오는 빛의 양이 줄어들어서 전체 이미지의 픽셀값이 낮아지고, 셔터 스피드를 낮추면 이미지 센서(213)로 들어오는 빛의 양이 많아지면서 전체 이미지의 픽셀값이 높아진다.

카메라모듈(210)은 처음 전원이 공급되면 카메라구동부(215)의 초기 설정으로 동작하고 이후에는 자동 모드에 따라 조정되고, 아래에서 설명하는 역광처리모듈(237b)이 자동 모드 중에 발생하는 '검출 이벤트'에 따라 카메라구동부(215)에게 '이벤트용 제어값'을 제공함으로써 이미지의 밝기를 바꿀 수 있다.

영상신호처리부(217)는 카메라구동부(215)에서 출력되는 디지털 영상신호에 대해 신호처리(Image Signal Processing)를 수행하는 것으로서, 잡음 제거, 화이트 밸런스(White Balance), 색상보정, 감마 보정(Gamma correction) 등을 수행하고 프레임 단위로 인코딩하여 기설정된 포맷(예컨대, jpg)의 이미지로 변환한다. 따라서 이미지 센서(213)가 만든 신호는 카메라구동부(215)와 영상신호처리부(217)에 의해 순차적으로 처리되면서 디지털 이미지 파일로 변환된다.

임베디드 형태의 영상제어기(230)는 카메라모듈(210)과 동일한 시스템 버스로 연결된다. 영상제어기(230)는 카메라모듈(210)이 제공하는 이미지 중에서 '차량-이미지'를 추출하고 아래에서 설명하는 '검출 이벤트'를 생성하여 처리한다. 여기서, '차량-이미지'는 차량번호를 추출하기 위해 차량번호 인식에 적합하도록 촬영된 이미지로서 아래에서 설명하는 인식존(zone)(z1)에 차량의 전부 또는 일부가 위치하거나 차량번호판이 위치한 이미지를 말한다. 따라서 차량이 찍힌 이미지이지만 그 차량의 전부 또는 일부가 인식존(z1)을 점유하지 않으면 차량-이미지가 아니다. 한편, 영상제어기(230)는 기설정된 프레임 속도에 맞춘 프레임 단위로 이미지를 처리하므로, 아래에서 '이미지'라고 표현되는 것은 특별한 부가설명이 없는 한 프레임 단위의 이미지로 이해되어야 한다.

영상제어기(230)는 통신부(231), 저장매체(233), 프로세서(235) 및 메모리(237)를 포함한다. 통신부(231), 영상신호처리부(217), 프로세서(235) 및 메모리(237)는 시스템 버스로 상호 연결된다.

통신부(231)는 유선 또는 무선 통신 프로토콜에 따른 통신 인터페이스로서, 최종적으로 생성한 일반 이미지와 차량-이미지를 외부의 관제서버(미도시) 등으로 제공한다.

저장매체(233)에는 영상신호처리부(217)가 생성한 모든 이미지가 저장된다.

프로세서(235)는 메모리(237)에 저장된 명령어를 수행하여 본 발명의 영상제어기(230)의 전반적인 동작을 제어한다. 프로세서(235)는 하나 또는 그 이상의 프로세서로 구현될 수 있다. 프로세서(235)는 영상제어기(230)의 다양한 기능을 수행하고 데이터를 처리하기 위해 메모리(237)에 저장된 다양한 소프트웨어 프로그램 및/또는 명령어 세트를 실행한다.

메모리(237)는 운영체제를 포함해 영상제어기(230)의 동작에 필요한 다양한 정보, 데이터, 명령어, 소프트웨어 등이 저장되며, 카메라모듈(210)에서 출력되는 디지털 이미지들도 저장된다. 메모리(237)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나 또는 이들의 조합을 포함해, 하나 이상의 컴퓨터-판독가능한 저장 매체를 포함할 수 있다. 메모리(237)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

메모리(237)에는 본 발명의 영상제어기(230)의 동작 수행을 위한 명령어 집합 또는 소프트웨어(또는 애플리케이션)인, 차량인식모듈(237a), 역광처리모듈(237b) 및 차량번호검출모듈(237c)이 저장된다. 차량인식모듈(237a), 역광처리모듈(237b) 및 차량번호검출모듈(237c) 각각은 프로세서(235)에 의해 실행되면서 하나의 하드웨어 구성처럼 동작하며, 이하에서도 하드웨어 구성인 것처럼 그 동작을 설명한다.

차량인식모듈(237a)은 카메라 모듈(210)이 기설정된 프레임 속도로 출력하는 이미지에 대해 영상분석을 수행하여 차량-이미지를 추출하고, 차량번호검출모듈(237c)은 동일한 차량(20)에 대해 촬영한 적어도 하나의 차량-이미지들 중에서 하나를 선택해 차량번호판을 인식하고 차량번호를 추출한다.

CCTV 카메라(200)의 동작을 간략히 설명하면, 카메라 모듈(210)이 기설정된 프레임 속도로 이미지를 생성하면, 차량인식모듈(237a)은 카메라 모듈(210)이 생성하는 이미지들 중에서 접근 중인 차량(20)을 촬영한 적어도 하나의 차량-이미지를 추출하고, 차량번호검출모듈(237c)이 적어도 하나의 차량-이미지를 이용해 검출된 차량(20)의 차량번호판을 인식하고 차량번호를 인식한다. 이밖에도, 카메라 모듈(210), 차량인식모듈(237a) 및 차량번호검출모듈(237c)에 의한 차량번호 인식과정은 종래에 알려진 다양한 방법을 그대로 사용해도 무방하다.

차량인식 및 차량번호 추출과정에서, 역광처리모듈(237b)은 차량-이미지에 역광이 작용하는지 판단하고, 역광이 작용하는 경우에 이미지 센서(213)의 게인 또는 셔터 스피드를 이벤트용 제어값으로 조정함으로써 역광에 불구하고 카메라 모듈(210)이 차량번호를 추출할 수 있는 이미지를 생성하도록 제어한다. 아래에서 설명하는 것처럼, 역광처리모듈(237b)은 차량-이미지에서 역광 그림자 영역(z2, z3, z4)에 그림자가 있는 확인하여 역광이 작용하는지 판단한다.

카메라 제어방법

이하에서는 도 4 및 도 5를 참조하여, 차량인식모듈(237a), 역광처리모듈(237b) 및 차량번호검출모듈(237c)의 동작을 중심으로, 역광이 작용하는 상황에서 차량번호 인식에 적합한 이미지를 생성하기 위한 카메라 제어방법을 설명한다. 앞서 설명한 것처럼, 카메라 모듈(210), 차량인식모듈(237a) 및 차량번호검출모듈(237c)에 의한 차량번호 인식과정은 어떠한 방법을 사용해도 무방하므로, 도 4의 설명은 이미지 센서(213)의 게인 설정을 중심으로 설명하고, 차량번호를 인식하는 방법에 대한 설명은 생략한다. 여기서는 게인 조정방법과 셔터 스피드 조정방법 중에서 게인 조정방법을 중심으로 설명한다.

<이미지 생성: S401>

카메라모듈(210)은 전방을 촬영하여 기설정된 프레임 속도로 이미지를 생성한다. 카메라모듈(210)의 카메라구동부(215)와 영상신호처리부(217)는 이미지 센서(213)가 만든 신호를 순차적으로 처리하여 이미지 파일로 변환된다.

이때, 이미지 센서(213)는 설정된 게인에 따라 이미지를 생성한다. 이때의 게인은 카메라구동부(215)에 의해 설정된 것이든 자동모드에 따라 설정된 것을 포함해 어떤 것이어도 무방하다. 만약, 자동모드 게인 조정 알고리즘에 따라 이미지를 생성하는 중에 역광이 작용하면, 도 1처럼 차량번호판(a1)이 역광에 의해 어둡게 표현된다. 카메라모듈(210)은 기설정된 프레임 속도로 이미지를 반복 생성하여 메모리(237)와 저장매체(233)에 저장한다.

<차량-이미지 추출: S403>

차량인식모듈(237a)은 카메라모듈(210)이 생성한 프레임 단위의 이미지 중에서 차량-이미지를 추출한다. 이를 위해, 본 발명은 카메라 모듈(210)이 생성하는 이미지에 대해 인식존(z1)을 설정한다. 차량인식모듈(237a)은 카메라 모듈(210)이 기설정된 프레임 속도로 연속 생성하는 각 이미지를 분석하여, 인식존(z1)에 차량(20) 또는 차량번호판(21)이 위치한 이미지를 차량-이미지로 추출한다. 도 5의 (a)와 (b)는 차량-이미지의 예로서, 동일한 차를 촬영하여 생성한 것이다. 도 5의 (a)와 (b) 사이에는 수 개(예컨대 4개) 프레임의 시간 차가 있다.

차량인식모듈(237a)은 인식존(z1)에 차량(20)의 전부 또는 일부가 포착되었는지를 검출할 수도 있고 차량번호판(21)이 포착되었는지를 판단할 수도 있으며, 그에 따라 인식존(z1)의 크기와 위치를 결정할 수 있다. 차량(20)이 주행하면서 카메라 모듈(210)로 접근하는 것이므로, 인식존(z1)에 차량의 일부가 찍힌 시점과 차량번호판(21)이 찍힌 시점에 큰 차이가 없다.

도 5를 참조하면, 인식존(z1)은 이미지에 설정된 영역이다. 인식존(z1)은 역광을 발견한 경우에 즉각적으로 게인을 조정하여 차량번호 인식용 이미지를 생성하기 위해 설정한 영역이므로, 인식존(z1)은 차량번호검출모듈(237C) 또는 그에 준하는 알고리즘에 따라 차량번호 인식에 적합한 것으로 설정된 이미지상의 차량 위치를 기준으로 그 차량 전단이나 차량번호판 위치에 설정하는 것이 좋다. 인식존(z1)의 위치 또는 차량번호 인식을 위한 차량 위치와 관련하여, 차량(20)은 카메라모듈(210)에 가까울수록 차량번호판(21)이 크게 찍혀서 차량번호 인식에 유리하지만 카메라모듈(210)에 너무 가까워지면 반대로 번호 인식이 불가능해지는 점을 고려해야 한다. 또한, 이미지 센서(213)의 게인을 조정하더라도 적어도 한 개 이상의 프레임이 지난 다음에 바뀐 게인이 적용되므로, 조정된 게인에 의해 생성될 몇 장의 차량번호 인식용 이미지가 차량번호 인식에 적합한 차량 위치를 벗어나지 않도록 인식존(z1)을 배치하는 것이 좋다. 여기서, 차량번호 인식용 이미지는 카메라 모듈(210)이 생성하는 이미지 중 하나로 차량번호검출모듈(237c)가 차량번호 검출에 사용하기 위한 선택한 이미지이며, 차량번호검출모듈(237c) 자체의 알고리즘에 의해 정해진다.

차량인식모듈(237a)의 차량 인식방법은 이미지에서 객체를 추출함으로써 인식존(z1)에 위치한 객체가 있는지 판단함으로써 차량을 인식할 수 있으며, 인공지능 알고리즘을 사용할 수 있다. 인식존(z1)에 차량이 포착된 상황은 차량의 주행방향을 고려할 때 인식존(z1)에 차량번호판(21)이 포착된 것과 같은 상황이다.

차량인식모듈(237a)은 분석한 이미지가 차량-이미지가 아니면, S401 단계로 돌아가 다음 이미지를 대기하였다가 분석한다.

실시 예에 따라, CCTV 시스템은 차량을 검출하는 차량센서(미도시)를 더 구비할 수 있다. 차량 센서는 차량이 통과하였음을 감지할 수 있는 어떠한 종류의 센서도 가능하며, 도로에 설치되어 전자기 유도방식으로 차량을 검출하는 루프 코일(Loop Coil) 방식 센서나, 카메라모듈(210) 인근에 설치되어 레이저를 이용하여 차량을 검출하는 센서 등이 해당한다. 이 경우, 차량 센서는 인식존(z1)에 대응하는 도로상 위치에 설치됨으로써, 차량인식모듈(237a)은 차량센서의 감지를 이용해 차량-이미지를 추출할 수 있다.

<역광이 작용 중인지 판단: S405>

S403 단계에서 검출한 차량-이미지에 대해, 역광처리모듈(237b)은 역광 그림자 영역(z2, z3, z4)에 역광에 의한 차량 그림자가 있는지를 판단함으로써 차량-이미지에 역광이 작용하였는지를 판단한다. 주행중인 차량(20)에 역광이 작용하면, 차량 그림자는 차량의 전방, 차량의 우측전방 및 차량의 좌측전방에 생긴다. 도 5의 (a)을 참고할 때 역광은 12시를 중심으로 10시 방향에서 2시 방향 사이에 위치한 태양을 의미하므로, 역광 그림자 영역(z2, z3, z4)은 차량 전방(z2), 차량 좌측전방(z3), 우측전방(z3)에 기설정된 크기로 설정할 수 있다. 역광 그림자 영역(z2, z3, z4)은 인식존(z1)의 하단에 설정될 수도 있고 인식존(z1)의 설정에 따라 인식존(z1) 내에 설정할 수도 있다. 역광 그림자 영역(z2, z3, z4)의 좌표는 차량(20)와 종류의 위치에 따라 바뀌도록 설정할 수 있지만, 차량(20)이 인식존(z1)에 위치한 때의 차량 위치를 기준으로 하기 때문에 역광 그림자 영역(z2, z3, z4)의 위치를 고정할 수도 있다. 역광에 의한 차량 그림자는 상당하게 크게 생기기 때문에, 역광 그림자 영역(z2, z3, z4)도 넓게 설정해도 무방하다.

역광처리모듈(237b)은 차량-이미지에서 역광 그림자 영역(z2, z3, z4)의 색상정보(RGB)와 그레이 스케일(Gray Scale)을 계산한 다음, 대조값과 비교하여 차량-이미지에 역광이 작용하였는지 판단한다. 대조값은 차량-이미지가 아닌 이미지에서 도로 바닥의 색상정보와 그레이 스케일이며, 대조값을 추출하는 이미지상 위치는 역광 그림자 영역(z2, z3, z4)과 일치하는 것이 좋다. 다른 방법으로, 대조값은 역광 그림자 영역(z2, z3, z4)의 좌측 또는 우측의 차량이 없는 영역의 색상정보와 그레이 스케일을 사용할 수도 있다. 비교 결과, 역광 그림자 영역(z2, z3, z4)의 색상정보는 대조값과 동일한데 역광 그림자 영역(z2, z3, z4)의 그레이 스케일이 대조값보다 낮은 값이 나오면, 역광 그림자 영역(z2, z3, z4)에 그림자가 생긴 것으로 판단할 수 있고, 역광이 작용 중으로 판단할 수 있다.

만약, 역광 그림자 영역(z2, z3, z4)의 색상정보와 그레이 스케일 모두가 대조값이 오차범위 내에서 일치하면, 역광 그림자 영역(z2, z3, z4)에 그림자가 없고 역광이 없는 것으로 판단할 수 있다. 역광이 없는 것으로 판단하면, S401 단계로 돌아가 현재의 게인 설정을 유지하면서 다음 이미지를 대기한다.

<검출 이벤트에 따른 게인 또는 셔터 스피드 조정: S407>

S405 단계에서 차량-이미지에 역광이 작용중인 것으로 판단되면, 다시 말해 그림자가 생긴 것으로 판단하면, 역광처리모듈(237b)은 검출 이벤트를 생성한다.

역광처리모듈(237b)은 검출 이벤트에 따라 카메라구동부(215)에게 '이벤트용 제어값'을 카메라구동부(215)에게 제공함으로써 카메라구동부(215)가 이미지 센서(213)의 게인 또는 셔터 스피드를 바꾸도록 제어한다. 이벤트용 제어값은 역광상황에서 차량번호판(21)이 어둡게 표시된 것을 밝게 보이도록 조정하는 것이므로, 이벤트용 제어값으로 조정된 후에 획득한 이미지는 차량번호판 영역이 차량번호 인식에 적합한 밝기가 되지만 이미지의 전체 밝기(픽셀값)는 시각적으로 인식하기에 과하게 밝은 것이 된다.

게인조정방법에서는 자동모드 게인조정에서의 게인보다 큰 게인값으로 이벤트용 제어값을 설정한다. 예를 들어, 이벤트용 제어값은 차량번호 인식이 가능한 것으로 기설정된 차량번호판 영역(21)의 그레이 스케일과 S405에서 확인한 도 5의 (a)의 차량-이미지의 차량번호판 영역(21)의 그레이 스케일의 차이를 보상하는 게인값으로 설정할 수 있다. 카메라구동부(215)는 이미지 센서(213)의 게인을 이벤트용 제어값으로 바꾼다. 게인 조정은 즉각적으로 반영된다.

한편, 셔터 스피드 조정방법에서는 자동모드에서의 셔터 스피드보다 낮은 스피드로 설정한다. 예를 들어 이벤트용 제어값은 차량번호 인식이 가능한 것으로 기설정된 차량번호판 영역(21)의 그레이 스케일과 S405에서 확인한 도 5의 (a)의 차량-이미지의 차량번호판 영역(21)의 그레이 스케일의 차이를 보상하는 셔터 스피드로 설정할 수 있다 셔터 스피드 조정도 즉각적으로 반영된다.

검출 이벤트가 생성되면, 이벤트용 제어값에 따른 게인 또는 셔터 스피드는 검출 이벤트가 해제될 때까지 유지되고, 이미지 센서(213)의 S405 및 S407 절차'는 검출 이벤트가 해제될 때까지 수행되지 않는다.

<검출이벤트 해제: S409>

검출 이벤트가 해제되면, 역광처리모듈(237b)은 이전의 제어모드로 복귀한다. 예를 들어, 카메라구동부(215)가 자동모드에 따라 게인 또는 셔터 스피드를 자체 조정하였다면 자동모드로 복귀함으로써 이미지 센서(213)의 게인 또는 셔터 스피드를 이전 상태로 복원시킨다. 또한, 이미지 센서(213)의 게인 또는 셔터 스피드가 다른 제어모드에 따라 제어되고 있었다면 그 상태로 복귀한다.

검출 이벤트 해제조건은 기설정된 시간으로 정할 수 있다. 예를 들어, 설정된 개수의 프레임에 해당하는 시간이 지나면 검출 이벤트를 해제하는 것이다. 검출 이벤트가 유지되는 시간은 차량번호 검출용 이미지를 확보하는데 필요한 시간으로 실험적으로 정할 수 있는데, 차량이 인식존(z1)을 완전히 벗어나지 않을 정도의 시간이 바람직하다. 예를 들어, 10개 프레임에 해당하는 시간으로 설정하면, S407 단계에서 검출 이벤트를 생성하고 이미지 센서(213)가 10개의 이미지를 더 생성하면, 역광처리모듈(237b)은 검출 이벤트를 해제한다. 차량번호검출모듈(237c)은 검출 이벤트 동안 생성된 이미지를 이용해 차량번호를 인식하게 된다.

이상의 방법으로 본 발명의 카메라 제어방법이 수행된다.

실시예 1: 분리형 영상제어기

실시 예에 따라, 카메라 모듈(210)과 영상제어기(230)가 별도의 장치로 구현될 수 있다. 이 경우, 영상제어기(230)는 카메라모듈(210)로부터 이격되어 도로의 외측에 설치될 수 있다. 카메라 모듈(210)과 영상제어기(230)는 유선 랜(LAN)으로 연결되므로, 카메라 모듈(210)과 영상제어기(230)에는 상호 랜통신을 수행하기 위한 랜통신 인터페이스(미도시)를 각각 구비한다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims

도로를 주행하는 차량을 촬영하는 CCTV 시스템의 카메라 제어방법에 있어서,
카메라 모듈이 기설정된 프레임 속도로 생성하는 이미지에 대해 차량의 전방에 역광에 의한 그림자가 있는지 판단함으로써 상기 차량에 역광이 작용하는지 판단하는 단계;
상기 차량에 역광이 작용한 것으로 판단되면, 상기 카메라 모듈의 이미지 센서의 게인 또는 셔터 스피드를 이벤트용 제어값으로 설정하는 검출 이벤트를 수행하는 단계. 상기 이벤트용 제어값은 역광 상황에서 촬영한 이미지에서 차량번호를 인식할 수 있을 정도의 픽셀값이 나오도록 설정된 게인 또는 셔터 스피드로서 이전 게인보다 큰 게인값 또는 이전 셔터 스피드보다 느린 셔터 스피드임; 및
상기 차량이 인식존을 벗어나기 전에 상기 차량에 대해 적어도 하나의 차량번호 검출용 이미지를 생성한 후에 상기 검출 이벤트를 해제하여 이전의 제어모드로 복원하는 단계를 포함하고,
상기 역광이 작용하였는지 판단하는 단계는,
상기 이미지가 차량-이미지인지 판단하되, 상기 차량-이미지는 차량번호 인식에 적합한 위치로 설정된 상기 인식존에 상기 차량이 진입한 상태에서 촬영된 이미지인 단계; 및
상기 차량-이미지에 대해 상기 차량의 전방, 우측전방 및 좌측전방에 마련된 역광 그림자 영역(z2, z3, z4) 중 어느 하나에 그림자가 있는지 판단하는 단계를 포함하는 것을 특징으로 하는 CCTV 시스템의 카메라 제어방법.
삭제
제1항에 있어서,
상기 그림자가 있는지 판단하는 단계는,
상기 역광 그림자 영역(z2, z3, z4) 중 어느 하나의 색상정보와 그레이 스케일을 추출하여 대조값과 비교하는 단계; 및
상기 색상정보는 대조값과 동일하고 상기 그레이 스케일은 대조값보다 기설정된 값 이상 낮은 값인 경우에 상기 역광 그림자 영역(z2, z3, z4) 중 어느 하나에 그림자가 생긴 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 CCTV 시스템의 카메라 제어방법
제3항에 있어서,
상기 대조값은 상기 카메라 모듈이 촬영한 이미지로서 상기 차량-이미지가 아닌 이미지에서 계산한 도로 바닥의 색상정보와 그레이 스케일이거나, 상기 역광 그림자 영역(z2, z3, z4)의 좌측 또는 우측의 차량이 없는 영역의 색상정보와 그레이 스케일인 것을 특징으로 하는 CCTV 시스템의 카메라 제어방법.
제1항에 있어서,
상기 이벤트용 제어값은 차량번호 인식이 가능한 것으로 기설정된 차량번호판 영역의 그레이 스케일과 상기 차량-이미지의 차량번호판 영역의 그레이 스케일의 차이를 보상하는 게인값 또는 셔터 스피드인 것을 특징으로 하는 CCTV 시스템의 카메라 제어방법.
기설정된 프레임 속도로 이미지를 생성하는 카메라 모듈과, 상기 카메라 모듈의 동작을 제어하며 상기 이미지에 대해 차량번호를 인식하는 동작을 수행하는 영상제어기를 포함하여 도로를 주행하는 차량을 촬영하는 CCTV 시스템에 있어서,
상기 영상제어기는,
차량번호 인식에 관한 컴퓨터로 읽을 수 있는 복수의 명령어가 저장된 메모리; 및
상기 메모리에 저장된 명령어들을 실행할 수 있는 하나 이상의 프로세서를 포함하고,
상기 프로세서는, 상기 명령어를 실행함으로써,
상기 이미지에 대해 차량의 전방에 역광에 의한 그림자가 있는지 판단함으로써 상기 차량에 역광이 작용하는지 판단하는 동작;
상기 차량에 역광이 작용한 것으로 판단되면, 상기 카메라 모듈의 이미지 센서의 게인을 이벤트용 제어값으로 설정하는 검출 이벤트를 수행하는 동작. 상기 이벤트용 제어값은 역광 상황에서 촬영한 이미지에서 차량번호를 인식할 수 있을 정도의 픽셀값이 나오도록 설정된 게인 또는 셔터 스피드로서 이전 게인보다 큰 게인값 또는 이전 셔터 스피드보다 느린 셔터 스피드임; 및
상기 차량이 인식존을 벗어나기 전에, 상기 카메라 모듈이 상기 이벤트용 제어값에 따라 상기 차량에 대해 적어도 하나의 차량번호 검출용 이미지를 생성한 후에 상기 검출 이벤트를 해제하여 이전의 제어모드로 복원하는 동작을 수행하고,
상기 역광이 작용하였는지 판단하는 동작은, 상기 이미지가 차량-이미지인지 판단하고 상기 차량-이미지에 대해 상기 차량의 전방, 우측전방 및 좌측전방에 마련된 역광 그림자 영역(z2, z3, z4) 중 어느 하나에 그림자가 있는지 판단함으로써 수행되며,
상기 차량-이미지는 차량번호 인식에 적합한 위치로 설정된 상기 인식존에 상기 차량이 위치한 상태에서 촬영된 이미지인 것을 특징으로 하는 CCTV 시스템.
삭제
제6항에 있어서,
상기 그림자가 있는지 판단하는 동작은, 상기 역광 그림자 영역(z2, z3, z4) 중 어느 하나의 색상정보와 그레이 스케일을 추출하여 대조값과 비교하여, 상기 색상정보는 대조값과 동일하고 상기 그레이 스케일은 대조값보다 기설정된 값 이상 낮은 값인 경우에 상기 역광 그림자 영역(z2, z3, z4) 중 어느 하나에 그림자가 생긴 것으로 판단하는 것을 특징으로 하는 CCTV 시스템.
제8항에 있어서,
상기 대조값은 상기 카메라 모듈이 촬영한 이미지로서 상기 차량-이미지가 아닌 이미지에서 계산한 도로 바닥의 색상정보와 그레이 스케일이거나, 상기 역광 그림자 영역(z2, z3, z4)의 좌측 또는 우측의 차량이 없는 영역의 색상정보와 그레이 스케일인 것을 특징으로 하는 CCTV 시스템.
제6항에 있어서,
상기 이벤트용 제어값은 차량번호 인식이 가능한 것으로 기설정된 차량번호판 영역의 그레이 스케일과 상기 차량-이미지의 차량번호판 영역의 그레이 스케일의 차이를 보상하는 게인값 또는 셔터 스피드인 것을 특징으로 하는 CCTV 시스템.
제6항에 있어서,
상기 영상제어기와 카메라 모듈은 별개의 케이스에 담겨 상호 이격된 상태로 랜 통신으로 연결되는 것을 특징으로 하는 CCTV 시스템.