KR101553589B1 - Lpr 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법 - Google Patents

Abstract

본 발명은 저조도와 고조도 영역에서 발생되는 영상의 왜곡을 보정함으로써 LPR 시스템의 번호 인식 성능을 크게 향상시킬 수 있는 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리에 관한 것이다. 본 발명의 일례와 관련된 LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치는, CCD 센서가 장착되고, 상기 CCD 센서를 이용하여 차량의 번호판이 포함된 원영상을 촬영하는 촬영모듈; 및 상기 차량의 번호판의 문자를 인식하기 위하여 상기 촬영모듈에서 촬영된 상기 원영상을 입력받는 번호 인식 모듈;을 포함하되, 상기 번호 인식 모듈은, 상기 원영상과 관련된 판별인자에 기초하여 상기 원영상을 저조도 영상, 고조도 영상 및 미처리 영상 중 하나로 분류하는 판별부; 및 상기 원영상을 이용하여 보정영상을 생성하는 영상 처리부;를 더 포함하고, 상기 영상 처리부는, 상기 판별부에 의하여 상기 원영상이 상기 저조도 영상으로 분류된 경우, 개선된 절단 히스토그램 평활화(Advanced Clipped Histogram Equalization) 방식을 이용하여 상기 원영상으로부터 상기 보정영상을 생성하는 저조도 영상 처리부; 및 상기 판별부에 의하여 상기 원영상이 상기 고조도 영상으로 분류된 경우, 상기 원영상에 발생된 스미어를 제거하여 상기 보정영상을 생성하는 고조도 영상 처리부;를 더 포함한다.

Description

LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법{APPRATUS AND METHOD FOR IMPROVEMENT OF LOW LEVEL IMAGE AND RESTORATION OF SMEAR BASED ON ADAPTIVE PROBABILITY IN LICENSE PLATE RECOGNITION SYSTEM}

본 발명은 LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법에 관한 것으로서, 보다 상세하게는 저조도와 고조도 영역에서 발생되는 영상의 왜곡을 보정함으로써 LPR 시스템의 번호 인식 성능을 크게 향상시킬 수 있는 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법에 관한 것이다.

경제성장과 소득증가로 인해 차량의 수요가 급증하고 있는 데 반하여 도로 사정이나 교통상황을 관리하는 인력은 이에 미치지 못하고 있다. 따라서 제한된 인원으로 현재의 열악한 교통 관리 체계를 극복하고자 하는 노력들이 많이 이루어지고 있다.

이러한 노력의 일환으로서 차량의 자동인식(번호인식 포함) 시스템의 개발이 활발하게 진행되고 있다. 차량 인식 혹은 차량의 번호(문자) 인식을 통해 교통 단속은 물론 교통량 조사, 도난 차량 검거, 출입 차량 통제, 주차 시설 관리 등의 다양한 분야에 효과적으로 이용할 수 있며, 현재까지 많은 연구가 이루어져 왔다.

특히, 차량 번호판의 문자를 인식하기 위한 과정은 다른 문자 인식과는 달리 주변 환경적인 영향으로 카메라 잡음, 조명변화, 날씨 등으로 인해 왜곡된 현상이 발생하기 때문에 강인한 처리방법들이 고려되어야 한다. 하지만 차량의 번호판 영역의 경우 그 고유의 특성상 내용이 제한되어 있고, 일반적인 문자 인식(패턴인식)에 비해 구조가 단순하다. 이러한 이유로 인해서 차량 번호 인식(License Plate Recognition: LPR)은 환경적인 특성, 차량의 수요 증가, 인력수급 및 주차공간의 자원 관리를 효율적으로 운영하기 위한 가장 보편적인 시스템이라고 할 수 있다.

LPR 시스템 또는 번호인식 기술은 영국에서 1976년에 가장 먼저 개발되었다. 그 이후 수십 년 동안, 기술이 진화하고 시장 수요가 증가함에 따라 LPR 시스템은 꾸준히 성장하였고, 동남아시아를 비롯한 유럽 국가에서 점차 확대되었다. 이로 인해 미국 북미 지역에서도 LPR 시스템 시장이 크게 성장하고 있다. 이는 효율적인 범죄 진압 및 예방 기술에 대한 강한 동기부여로 이어져서 더 넓은 시장으로 활성화되는 계기가 되었다.

과거의 차량 번호 인식(LPR) 또는 ALPR(Automated LPR) 시스템은 차량 번호판을 판독하기 위해 카메라로부터 획득된 이미지(영상)에서 광학문자인식(Optical Character Recognition: OCR)을 사용하여 감시방법(Surveillance Method)에 적용되었다. 최근에는 주차관리 시스템이란 명칭으로 주차공간의 효율적인 업무를 진행하고 있다. 현재 LPR 시스템은 주차환경과 관련하여 관리인이 주차 요금을 정산함으로써 인력수급 및 인건비 부담과 요금 누수현상을 해결하고 있고, LPR 시스템의 수요는 끊임없이 증가되고 가면서 기술의 변화 및 개발이 지속적으로 이어지고 있다.

하지만 운영측면에서 주차권을 사용함에 있어서 주차권 분실, 훼손, 자원 낭비 등의 갑작스러운 이벤트들이 생기게 되고, 현금이 없거나 고액권만 소지하고 있는 경우 등의 당황스러운 이벤트들이 발생하게 된다.

또한, 삶의 질적인 변화에 따른 자가 차량의 급격한 증가와 함께 주차문제(공간), 비효율적인 운영 관리 및 지식 부족으로 인한 이용자의 불편사항, 관리원의 불필요한 행위 등의 원인들이 발생되어 이를 해결하기 위해 무인 자동화 시스템이 필요시 되고 있다.

일반적으로 무인 자동화 시스템(이하 LPR 시스템)의 경우는 차량을 검지하는 수단으로 아직도 루프방식이 주로 사용되고 있으나, 매설공사에 따르는 주변 시민의 불편과 유지 보수상의 애로점이 많아 비매설형 검지기가 요구되고 있다. 이를 대체하기 위해 초음파 센서 또는 도플러 센서를 이용하여 차량을 검지하거나 차량의 종류를 분류(구분)하여 고속도로 요금소 등에 활용되어 차종에 따른 요금을 달리 징수하고 있다.

이처럼 시스템의 기술과 적용범위가 점차적으로 확대 및 보급화 되면서 전형적인 LPR 시스템의 세 가지 기본 구성요소를 포함한다.

첫 번째는 카메라 혹은 비디오(이미지)로부터 영상 소스를 획득, 두 번째는 LPR 시스템에서 핵심 또는 엔진에서 입력된 카메라 또는 비디오(이미지)의 정보에 대한 차량의 번호를 추출, 마지막으로는 미리 저장 혹은 학습된 번호 문자에 대하여 일치하는 과정의 인식 혹은 타 시스템간의 통합으로 구성된다.

본 발명에서는 LPR 시스템에서 번호인식 향상을 위해 카메라로 입력되는 영상 화질 개선 및 태양광으로부터 피사체의 반사된 고조도 분포에 따른 스미어 현상을 복원 및 처리하는 방법을 개발한다.

대부분의 LPR 시스템에서 카메라로 입력된 영상들은 카메라의 조리개 및 셔터 스피드를 고려하여 취득하고, 혹은 조도 변화의 영향을 받거나 피사체 고유 성질에 따른 왜곡 현상들이 그대로 노출되어 원하지 않는 정보가 발생되고 그 결과 번호인식 성능의 악영향을 미치게 된다.

그 중에서도 LPR 시스템이 설치된 환경에서 차량이 유입될 때의 날씨 변화, 건물 위치 및 진입도로 환경, 카메라의 특성(CCD, CMOS 타입), 그 이외에도 차량 번호판의 물리적인 왜곡 상태, 번호판의 컬러 색상분포변화 등에 따라서 인식 성능이 결정된다. 이러한 요인 중에서 날씨 변화, 카메라의 특성, 컬러 색상분포 변화들은 하드웨어보다는 소프트웨어 기술적으로 왜곡된 정보를 처리가 가능하며 시스템의 안정화를 가져올 수 있다.

일반적으로 날씨 변화에는 저조도 혹은 고조도 영역분포들로 인해 열화된 영상이 입력된다. 저조도로 입력된 영상은 피사체(차량)가 어둡게 나타나므로 번호영역 자체가 검출되지 않거나 부분적인 검출이 되므로 인식저하의 요인이 되고, 이를 극복하기 위해 카메라의 셔터 및 조리개를 변경하여 빛의 양을 조절한다. 그러나, 이는 일반적인 날씨 환경에 유입된 차량에는 악영향을 초래하기 때문에 카메라의 기능보다는 기술적인, 즉 영상처리, 신호처리 그리고 컴퓨터비전 분야에서 수많은 접근방법들이 있다.

가장 손쉽게 적용할 수 있는 부분이 전체 영상에 대해서 임의의 값으로 밝기값(Intensity Value)을 증가시키거나, 감마 보정(Gamma Correction) 방법, 히스토그램 평활화(Histogram Equalization) 등의 방법이 있다. 이 중에서도 단순히 각각의 픽셀의 화소값에 임의의 값을 더하여 저조도 영역의 밝기를 보정하는 방법이 있으나, 고조도 영역에서 더한 값으로 인해 오히려 정보왜곡이 발생하게 된다.

이를 해결하기 위한 방법으로 동일한 화소의 밝기를 누적하여 균일한 값들로 존재하도록 하는 히스토그램 평활화 방법이 있지만, 이는 영상의 잡음 정도와 형태에 따라 적절한 임계치 값들이 달라서 원하지 않는 결과를 얻을 수 있고, 다이나믹 레인지(Dynamic Range)의 영향에서는 크게 도움이 되지 못한다.

또 다른 방법으로는 감마 보정이 있다. 감마 보정은 비선형 전달 함수(nonlinear transfer function)를 사용하여 빛의 강도(intensity) 신호를 비선형적으로 변형하는 것을 말한다. 즉 인간의 시각은 베버의 법칙(Weber's law)에 따라 밝기에 대해 비선형적으로 반응한다. 예를 들어 채널 당 8 bit와 같이 한정된 정보 표현량(bit depth) 안에서 선형적으로 빛의 밝기를 갖는다면, 사람의 눈이 민감하게 반응하는 어두운 부분의 경우 밝기가 변화할 때 부드럽게 느껴지지 않고 단절(왜곡)되어 보이는 현상(posterization)이 발생한다. 또한 감마값에 따라 변화를 주게 되어 저조도 영역에 대해 개선을 시킬 수 있으나, 적용된 감마값들의 값이 환경마다 다르게 적용되므로 환경변화에 적응적으로 대처하기가 어렵다.

아울러 카메라의 특성으로는 일반적으로 빛에 의해 발생하는 현상에는 스미어 뿐만 아니라 블루밍(Blooming) 현상도 있다. 촬상 소자(Image Sensor Device)로 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor)를 사용함에 있어서 전기적 신호와 디지털 체계로 이미지를 저장하게 되는데, 이 과정에서 나타나는 오류로 인해 발생하는 현상이 바로 블루밍, 스미어 현상이다.

블루밍 현상은 CCD나 CMOS 센서에서 모두 나타나는데, 태양 즉 광원과 같은 고휘도(High brightness)의 물체로 인해 발생한다. 블루밍 현상은 광원의 주변, 가로등 주위에 동그란 테두리가 생기는 것을 말한다. 이와 같은 현상은 피사체(물체)에 광원, 조명등의 물체가 포함되어 있을 때 이 물체의 빛이 너무 밝아 이미지 센서(Image sensor)가 처리할 수 있는 용량을 넘어서면서 빛이 주위로 번지는 현상으로 나타난 것이다. 반면, 스미어 현상은 블루밍 현상과 발생하는 원인이 유사하지만 이와 다르게 CCD 센서에서만 나타나는 것으로서, 광원이나 조명등의 강한 반사광을 촬영했을 때 화면의 수직으로 한 줄의 선이 나타나는 현상을 말한다.

LPR 시스템에 적용된 카메라의 특성상 CCD 타입으로 구성되어 있어서 강한 광원의 빛으로부터 취약한 특징이 있으며 경우에 따라 왜곡 정도가 전체 영상에 고르게 분포될 수 있다. 특히 이러한 원인은 강한 광원과 같은 태양이나 자동차 헤드라이트 등의 CCD 이미지 센서에 의해 획득된 영상에서 흔히 볼 수 있다.

따라서, 본 발명은 LPR 시스템에서 카메라로부터 획득된 영상에 대해서 저조도 영역과 스미어 복원처리가 가능한 개선된 LPR 시스템을 구성하여 번호인식 성능향상과 환경변화에도 강인한 특성을 갖는 시스템의 안정화된 기술을 제안한다.

대한민국 출원번호 제10-2014-0183200호 대한민국 등록특허 제10-0756318호

B. Lucas and T. Kanade, "An iterative image registration technique with an application to stereo vision," Proc. the 1981 DARPA Imaging Understanding Workshop, pp. 121-130, 1981.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 저조도와 고조도 영역에서 발생되는 영상의 왜곡을 보정함으로써 LPR 시스템의 번호 인식 성능을 크게 향상시킬 수 있는 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법을 사용자에게 제공하는 데 그 목적이 있다.

또한, 본 발명은 절단 비율을 영상에 따라 유동적으로 설정하는 개선된 절단 히스토그램 평활화(A_CHE)를 이용하여 저조도 영상의 대비(contrast)를 크게 개선하고 안정된 영상을 확보할 수 있는 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법을 사용자에게 제공하는 데 그 목적이 있다.

또한, 본 발명은 센서 레벨 단위가 아닌 영상처리를 이용한 후처리 과정을 통하여 스미어 현상을 해소함으로써 구조적 복잡성이 크지 않으며 저렴한 비용으로 구현이 가능하고 효율적인 동작을 확보할 수 있는 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법을 사용자에게 제공하는 데 그 목적이 있다.

한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 실현하기 위한 본 발명의 일례와 관련된 LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치는, CCD 센서가 장착되고, 상기 CCD 센서를 이용하여 차량의 번호판이 포함된 원영상을 촬영하는 촬영모듈; 및 상기 차량의 번호판의 문자를 인식하기 위하여 상기 촬영모듈에서 촬영된 상기 원영상을 입력받는 번호 인식 모듈;을 포함하되, 상기 번호 인식 모듈은, 상기 원영상과 관련된 판별인자에 기초하여 상기 원영상을 저조도 영상, 고조도 영상 및 미처리 영상 중 하나로 분류하는 판별부; 및 상기 원영상을 이용하여 보정영상을 생성하는 영상 처리부;를 더 포함하고, 상기 영상 처리부는, 상기 판별부에 의하여 상기 원영상이 상기 저조도 영상으로 분류된 경우, 개선된 절단 히스토그램 평활화(Advanced Clipped Histogram Equalization) 방식을 이용하여 상기 원영상으로부터 상기 보정영상을 생성하는 저조도 영상 처리부; 및 상기 판별부에 의하여 상기 원영상이 상기 고조도 영상으로 분류된 경우, 상기 원영상에 발생된 스미어를 제거하여 상기 보정영상을 생성하는 고조도 영상 처리부;를 더 포함하며, 상기 번호 인식 모듈은 대상영상을 상기 차량의 번호판의 문자 인식에 이용하고, 상기 판별부에 의하여 상기 원영상이 상기 저조도 영상 또는 상기 고조도 영상으로 분류된 경우, 상기 대상영상은 상기 보정영상이고, 상기 판별부에 의하여 상기 원영상이 상기 미처리 영상으로 분류된 경우, 상기 대상영상은 상기 원영상이다.

또한, 상기 판별인자는 그레이 스케일(Gray Scale)로 변환된 상기 원영상의 빛의 강도(Intensity)이고, 상기 원영상의 빛의 강도가 소정의 임계치보다 높은 경우, 상기 판별부는 상기 원영상을 상기 미처리 영상으로 분류한다.

또한, 상기 원영상의 빛의 강도가 상기 임계치보다 낮은 경우, 상기 판별부는, 상기 원영상의 빛의 강도에 따라 상기 원영상을 상기 저조도 영상 및 상기 고조도 영상 중 하나로 분류한다.

또한, 상기 개선된 절단 히스토그램 평활화 방식은, 상기 원영상에 대한 적응적 절단비율을 결정하고, 상기 결정된 적응적 절단비율에 따라 상기 원영상의 히스트그램의 상단영역이 제거된 절단 히스토그램을 생성하며, 상기 상단영역 중 적어도 일부를 절단하여 상기 절단 히스토그램에 재할당함으로써 상기 보정영상을 생성한다.

또한, 상기 적응적 절단비율은 수학식

에 의하여 결정된다. 상기 수학식에서,

는 상기 적응적 절단비율이고,

는 상기 원영상의 그레이 값이며,

이다.

또한, 상기 상단영역의 절단되는 부분은, 저조도 분포 영역에 대한 잘림범위 및 고조도 분포 영역에 대한 잘림범위를 포함한다.

또한, 상기 저조도 분포 영역은 수학식

에 따라 결정되고, 상기 고조도 분포 영역은 수학식

에 따라 결정된다. 상기 수학식에서,

은 상기 상단영역에서 상기 저조도 분포 영역이고,

는 상기 상단영역에서 상기 고조도 분포 영역이며,

는 저조도와 고조도를 구분하기 위하여 임의로 설정된 값이고,

은 상기 원영상의 global level 이다.

또한, 상기 저조도 분포 영역에 대한 잘림범위는 하기의 수학식 3에 따라 결정되고, 상기 고조도 분포 영역에 대한 잘림범위는 하기의 수학식 4에 따라 결정된다.

수학식 3

수학식 4

상기 수학식 3 및 상기 수학식 4에서,

은 상기 저조도 분포 영역에 대한 잘림범위이고,

는 상기 고조도 분포 영역에 대한 잘림범위이며,

는 상기 절단 히스토그램이고,

는 그레이 스케일에서 상기 저조도 분포 영역이며,

는 그레이 스케일에서 상기 고조도 분포 영역이고,

는 그레이 스케일의 합의 수이다.

또한, 상기 고조도 영상 처리부는, 상기 원영상을 구성하는 열(column) 중 상기 스미어가 발생된 제 1 열의 위치를 검출하는 검출부; 및 상기 검출된 제 1 열의 위치 정보에 기반하여 상기 원영상으로부터 상기 스미어를 제거하는 제거부;를 더 포함할 수 있다.

또한, 상기 검출부는, 상기 번호 인식 모듈에 입력된 상기 원영상을 이용하여 상기 원영상을 구성하는 각각의 열에 대한 신호분포 곡선을 추출하는 추출부; 및 상기 신호분포 곡선을 정규분포 곡선으로 변환하는 변환부;를 더 포함하되, 상기 신호분포 곡선은 상기 원영상을 구성하는 각각의 열을 이루는 복수의 픽셀의 그레이 값의 합을 나타낸다.

또한, 상기 검출부는 상기 정규분포 곡선을 기 설정된 임계치와 비교하여 이진패턴 맵을 생성하고, 상기 정규분포 곡선이 상기 임계치보다 작은 영역에서 상기 이진패턴 맵은 0의 값을 갖고, 상기 정규분포 곡선이 상기 임계치보다 큰 영역에서 상기 이진패턴 맵은 1의 값을 가지며, 상기 이진패턴 맵이 1의 값을 갖는 영역은 상기 원영상의 상기 제 1 열에 대응된다.

또한, 상기 검출부는, 상기 제 1 열과 인접한 열 중 일부를 상기 제 1 열에 추가시킴으로써 상기 제 1 열의 너비를 확장시키고, 상기 제거부는, 상기 원영상을 이루는 복수의 픽셀 각각의 그레이 값에서 상기 이진패턴 맵을 이루는 복수의 픽셀 각각의 그레이 값을 차감하고, 상기 차감된 결과를 이용하여 상기 제 1 열에 발생된 상기 스미어를 제거할 수 있다.

또한, 소정의 보간법을 이용하여 상기 스미어가 제거된 상기 제 1 열에 대한 원영상을 복원하는 복원부;를 더 포함할 수 있다.

또한, 상기 복원부의 보간법은, 패치 내의 복수의 픽셀 각각에 대하여 우선순위를 계산하고, 상기 계산된 우선순위 중 가장 높은 우선순위를 갖는 최우선순위의 픽셀을 결정하며, 상기 최우선순위의 픽셀과 상기 패치 내의 복수의 픽셀 중 상기 제 1 열을 구성하지 않는 픽셀의 유사도 비교를 통하여 복원을 수행하고, 상기 패치는 상기 제 1 열을 구성하는 픽셀의 적어도 일부를 포함한다.

또한, 상기 번호 인식 모듈은, 상기 대상영상에 초점열화방법(Focus Degradation Method)을 적용하여 복원영상을 생성하는 영상 복원부;를 더 포함하되, 상기 복원영상은 상기 번호 인식 모듈의 상기 차량의 번호판의 문자 인식에 이용되고, 상기 초점열화방법은 고해상도 영상생성방법과 디테링(Detailing) 방법을 결합한 것이며, 상기 고해상도 영상생성방법을 수행하기 위해 상기 영상 복원부는, 초점열화가 있는 대상영상을 기 설정된 업-스케일(up-scale) 계수에 따라 업-스케일링(up-scaling)하는 영상추정수단; 및 상기 대상영상과 상기 업-스케일링된 영상에 쌍입방 보간법(Bicubic Interpolation)을 적용하여 상기 초점열화의 적어도 일부가 제거된 고해상도 영상을 생성하는 영상생성수단;을 더 포함할 수 있다.

또한, 상기 디테링 방법을 수행하기 위해 상기 영상 복원부는, 방향 적응적 가이디드 필터(Guided Filtering)를 이용하여 상기 생성된 고해상도 영상으로부터 상기 초점열화의 적어도 일부를 제거하는 영상복원수단;을 더 포함할 수 있다.

한편, 상술한 과제를 실현하기 위한 본 발명의 일례와 관련된 LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 방법은, CCD 센서가 장착된 촬영모듈이 상기 CCD 센서를 이용하여 차량의 번호판이 포함된 원영상을 촬영하는 촬영단계; 상기 차량의 번호판의 문자를 인식하기 위하여 상기 촬영모듈에서 촬영된 상기 원영상이 번호 인식 모듈에 입력되는 입력단계; 상기 번호 인식 모듈의 판별부가 상기 원영상과 관련된 판별인자에 기초하여 상기 원영상을 저조도 영상, 고조도 영상 및 미처리 영상 중 하나로 분류하는 판별단계; 상기 번호 인식 모듈의 영상 처리부가 상기 원영상을 이용하여 보정영상을 생성하는 영상 처리단계; 및 상기 번호 인식 모듈이 대상영상을 이용하여 상기 차량의 번호판의 문자를 인식하는 인식단계;를 포함하되, 상기 영상 처리부는, 상기 판별부에 의하여 상기 원영상이 상기 저조도 영상으로 분류된 경우, 개선된 절단 히스토그램 평활화(Advanced Clipped Histogram Equalization) 방식을 이용하여 상기 원영상으로부터 상기 보정영상을 생성하는 저조도 영상 처리부 및 상기 판별부에 의하여 상기 원영상이 상기 고조도 영상으로 분류된 경우, 상기 원영상에 발생된 스미어를 제거하여 상기 보정영상을 생성하는 고조도 영상 처리부를 더 포함하며, 상기 판별부에 의하여 상기 원영상이 상기 저조도 영상 또는 상기 고조도 영상으로 분류된 경우, 상기 대상영상은 상기 보정영상이고, 상기 판별부에 의하여 상기 원영상이 상기 미처리 영상으로 분류된 경우, 상기 대상영상은 상기 원영상이다.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 저조도와 고조도 영역에서 발생되는 영상의 왜곡을 보정함으로써 LPR 시스템의 번호 인식 성능을 크게 향상시킬 수 있는 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법을 사용자에게 제공할 수 있다.

또한, 본 발명은 절단 비율을 영상에 따라 유동적으로 설정하는 개선된 절단 히스토그램 평활화(A_CHE)를 이용하여 저조도 영상의 대비(contrast)를 크게 개선하고 안정된 영상을 확보할 수 있는 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법을 사용자에게 제공할 수 있다.

또한, 본 발명은 센서 레벨 단위가 아닌 영상처리를 이용한 후처리 과정을 통하여 스미어 현상을 해소함으로써 구조적 복잡성이 크지 않으며 저렴한 비용으로 구현이 가능하고 효율적인 동작을 확보할 수 있는 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법을 사용자에게 제공할 수 있다.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시례를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명과 관련된 전형적인 LPR 시스템의 일 실시례이다.
도 2는 본 발명의 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치의 블록 구성도의 일례를 나타낸다.
도 3a 및 도 3b는 본 발명과 관련된 영상의 히스토그램 절단을 도식적으로 나타낸다.
도 4는 본 발명에 적용될 수 있는 개선된 절단 히스토그램 평활화를 설명하기 위한 모식도이다.
도 5는 촬영모듈에서 획득된 영상의 각 열에 따른 신호분포 곡선 일례를 도시한 것이다.
도 6은 도 5의 신호분포 곡선을 입력으로 한 정규분포 곡선을 나타낸다.
도 7은 본 발명의 일례와 관련된 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 방법의 순서도이다.
도 8a 내지 도 8c와 도 9a 내지 도 9c는 본 발명에 따라 저조도 영상을 처리한 결과를 나타내는 일례이다.
도 10a 내지 도 10c와 도 11a 내지 도 11c는 본 발명에 따라 고조도 영상에 발생되 스미어를 복원 처리한 결과를 나타내는 일례이다.

이하, 도면을 참조하여 본 발명의 바람직한 일 실시례에 대해서 설명한다. 또한, 이하에 설명하는 실시례는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.

일반적인 LPR 시스템은 차량의 입-출차 정보를 가지고 운영 요금체계에 따라 요금징수를 받도록 하거나, 운영 요금체계 없이 불특정 차량의 입-출차 현황 및 정보수집에 활용되고 있다. 더 나아가서는 지역적으로 분산된 조직 내의 차량 이동 여부를 관측하기 위한 통합적인 방향으로 제시되고 있다. 도 1은 본 발명과 관련된 전형적인 LPR 시스템의 일 실시례이다.

도 1에 도시된 것과 같이, LPR 시스템은 카메라로 입력된 차량의 번호판 영역을 검지하여 번호 및 문자 검출방법을 이용하여 차량의 번호판 문자를 인식하게 되고, 이를 로컬 PC 또는 서버로 전송하여 차량을 전체적으로 관리 및 감독을 할 수 있다.

이러한 차량의 번호 정보들은 입차, 출차, 그리고 요금체계에 따른 요금의 징수, 차량 통행량 분석, 지역적인 혼잡도 분석, 시간대별 차량 출입 분석 등에 활용되며, 이를 통하여 원활한 운영관리를 도모하고 이용자의 편의성을 극대화하고 하는 목적이 있다.

이하에서는, 저조도 영역과 스미어 복원처리가 가능한 개선된 LPR 시스템을 구성하여 번호인식 성능향상과 환경변화에도 강인한 특성을 갖는 LPR 시스템을 제안하고 한다.

< LPR 시스템의 구성>

이하에서는, 도면을 참조하여 본 발명에 따른 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치의 구성을 구체적으로 살펴본다.

도 2는 본 발명의 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치의 블록 구성도의 일례를 나타낸다. 도 2를 참조하면, 본 발명의 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치(100)는 촬영모듈(10), 번호 인식 모듈(20), 판별부(30), 영상 처리부(40), 영상 복원부(70) 등을 포함할 수 있다.

단, 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치(100)가 구현될 수도 있다. 또한, 도 2에 도시된 구성요소는 상호 의존적으로 연결되어 있으며, 각 구성요소가 도 2에 도시된 것과 달리 별도로 또는 통합하여 구현되는 것이 가능하다. 이하, 각 구성에 대하여 살펴본다.

촬영모듈(10)은 차량을 촬영하기 위하여 LPR 시스템에 설치되며, 기 설정된 구간에 위치하는 차량을 촬영하여 원영상을 생성한다. 촬영모듈(10)에 의하여 촬영된 원영상에는 차량의 번호판이 촬영되어 있으며, 원영상은 번호 인식 모듈(20)로 전달되어 차량의 번호판 인식에 이용된다.

촬영모듈(10)은 x축, y축, z축 방향으로 각각 틸팅할 수 있는 틸팅장치를 구비한다. 이와 같은 촬영모듈(10)은 지정된 x, y 좌표로 카메라를 회전시켜 차량에 대해 줌인(zoom-in) 영상 또는 줌아웃(zoom-out) 영상을 촬영할 수 있는 구성을 갖고 있다.

촬영모듈(10)은 어안렌즈(Fisheye Lens)가 장착된 카메라를 사용하여 구현될 수도 있다. 넓은 화각을 갖는 어안렌즈를 사용하면 촬영모듈(10)을 중심으로 전방위(360˚) 영역의 영상을 촬영할 수 있다.

촬영모듈(10)은 CCD 센서 또는 CMOS 센서를 장착하고 있으며, 바람직하게는 CCD 센서를 이용한다. CCD형 이미지 센서와 CMOS형 이미지 센서는 공통적으로 빛을 받아들여 전기신호로 전환하는 수광부를 가지고 있다. CCD형 이미지 센서는 전기신호를 CCD를 통해 전달하며 마지막 단계에서 전압으로 변환을 하게 된다. 반면 CMOS형 이미지 센서는 각 픽셀에서 전압으로 신호를 변환하여 외부로 전달한다. 즉, CCD형 이미지 센서는 빛에 의해 발생한 전자를 그대로 게이트 펄스를 이용하여 출력부까지 이동시키며, CMOS형 이미지 센서는 빛에 의해 발생한 전자를 각 픽셀 내에서 전압으로 변환한 후에 픽셀 수만큼의 CMOS 스위치를 통해 출력하는 차이점이 있다.

CCD형 이미지 센서는 그 신호처리방식에 의하여 스미어 현상이 발생되기도 한다. 상기 스미어 현상은 광원이나 조명등의 강한 반사광을 촬영했을 때 화면의 수직으로 한 줄의 선이 나타나는 현상을 말한다. 주로 고속셔터를 사용할 때 많이 나타나며, 광원과 같이 매우 밝은 물체를 촬영할 때 흔히 볼 수 있다. CCD형 이미지 센서는 한 셀에 하나의 빛만이 존재되는 구조로 이루어지며, 셀간의 반사 현상과 간섭 현상 등이 영향을 미쳐 한 셀에 저장할 수 있는 전하량이 흘러 넘치는 경우 스미어 현상이 발생된다.

스미어 현상은 고속 셔터 설정인 경우 빛의 노출에 따라 이미지 센서에 저장 또는 전송하기 위한 버퍼 영역에서 쉽게 발생된다. CCD의 고속 셔터는 CCD의 노출시간이 카메라 몸체의 셔터를 통해서 이루어지고, 동조속도 이상의 셔터속도에서 CCD를 직접 제어함으로써 노출을 조절한다. CCD의 전자 셔터를 이용하여 이미지를 획득하는 경우 카메라 몸체의 셔터가 열려 있다면, 포토다이오드에는 계속 빛이 입사되어 저장된 공간에서 전하가 넘치게 되고, 종 배열로 구성된 CCD의 전하를 읽어낸다면 넘치는 전하들로 인해 밝은 줄이 생겨나게 됨으로써 스미어 현상이 발생되는 것이다.

이렇게 발생된 스미어 현상은 촬영된 이미지를 왜곡하고, 차량 검지 혹은 단속하는 시스템에서 차량 형태파악, 차량의 번호인식을 방해하는 문제를 유발시킬 수 있다.

한편, 본 발명의 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치(100)의 번호 인식 모듈(20)은, 판별부(30), 영상 처리부(40), 영상 복원부(70) 등을 포함할 수 있다.

판별부(30)는 원영상과 관련된 판별인자에 기초하여 촬영모듈(10)에서 생성된 원영상을 저조도 영상, 고조도 영상 및 미처리 영상 중 하나로 분류한다. 여기서, 원영상과 관련된 판별인자는 그레이 스케일(Gray Scale)로 변환된 원영상의 빛의 강도(Intensity)이다.

구체적으로, 원영상의 빛의 강도가 소정의 임계치보다 높은 경우, 판별부(30)는 원영상을 미처리 영상으로 분류한다. 원영상의 빛의 강도가 임계치보다 낮은 경우에는, 원영상의 빛의 강도에 따라 원영상을 저조도 영상이나 고조도 영상으로 분류한다. 즉, 원영상의 빛의 강도가 기 설정된 제 1 수치 이하이면 원영상은 저조도 영상으로 분류되고, 원영상의 빛의 강도가 상기 제 1 수치보다 높으면 원영상은 고조도 영상으로 분류된다.

한편, 영상 처리부(40)는 저조도 영상이나 고조도 영상으로 분류된 원영상의 영상을 개선한다. 영상 처리부(40)에는 저조도 영상으로 분류된 원영상을 대상으로 하는 저조도 영상 처리부(50)와 고조도 영상으로 분류된 원영상을 대상으로 하는 고조도 영상 처리부(60)를 더 포함할 수 있다.

저조도 영상 처리부(50)는 원영상이 저조도 영상으로 분류된 경우, 개선된 절단 히스토그램 평활화(Advanced Clipped Histogram Equalization: A_CHE) 방식을 이용하여 원영상으로부터 보정영상을 생성한다.

구체적으로, 개선된 절단 히스토그램 평활화 방식에 따르면, 원영상에 대한 적응적 절단비율을 결정하고, 결정된 적응적 절단비율에 따라 원영상의 히스트그램의 상단영역이 제거된 절단 히스토그램을 생성하며, 상단영역 중 적어도 일부를 절단하여 절단 히스토그램에 재할당하게 된다.

이와 관련하여, 도 3a 및 도 3b는 본 발명과 관련된 영상의 히스토그램 절단을 도식적으로 나타낸다. 도 3a는 기존의 CHE 방식에 따라서 원영상의 히스토그램 상단영역이 제거되는 모습을 도식적으로 나타내고, 도 3b는 본 발명에 적용되는 개선된 절단 히스토그램 평활화(A_CHE) 방식에 따라서 원영상의 히스토그램 상단영역이 제거되는 모습을 도식적으로 나타낸다.

기존의 CHE 방식에 의하면, 도 3a에 도시된 것과 같이, 고정된 절단비율에 따라 히스트그램의 상단영역을 제거하게 된다. 대한민국 등록특허 제10-0756318호(특허문헌 2)에 개시되어 있는 CHE 방식도 이렇게 고정된 절단비율을 사용하고 있다.

그러나, 본 발명의 개선된 절단 히스토그램 평활화(A_CHE) 방식에 의하면, 도 3b에 도시된 것과 같이, 원영상에 따라 절단비율이 유동적으로 결정되며, 이렇게 결정된 절단비율에 따라 제거된 상단영역이 절단 히스토그램에 할당되게 된다. 여기서, 적응적 절단비율

은 아래의 수학식 1에 의하여 결정된다.

상기 수학식 1에서

는 상기 원영상의 그레이 값이며,

이다.

또한, 도 4는 본 발명에 적용될 수 있는 개선된 절단 히스토그램 평활화를 설명하기 위한 모식도이다. 적응적 절단비율에 따라 제거된 상단영역은 저조도 분포 영역과 고조도 분포 영역이 절단(clip)되어 절단 히스토그램에 재할당된다. 도 4에 도시된 것과 같이, 상단영역의 절단되는 부분은, 저조도 분포 영역에 대한 잘림범위 및 고조도 분포 영역에 대한 잘림범위를 포함한다.

여기서, 저조도 분포 영역

과 고조도 분포 영역

은 각각 수학식 2와 수학식 3과 같이 표현할 수 있다.

수학식 2 및 수학식 3에서

는 저조도와 고조도를 구분하기 위하여 임의로 설정된 값으로서, 예를 들어

는 128이다.

은 원영상의 global level을 의미한다.

저조도 분포 영역에 대한 잘림범위

는 수학식 4와 같이 표현되고, 고조도 분포 영역에 대한 잘림범위

는 수학식 5와 같이 표현될 수 있다.

수학식 4 및 수학식 5에서

는 상기 절단 히스토그램이고,

는 그레이 스케일에서 상기 저조도 분포 영역이며,

는 그레이 스케일에서 상기 고조도 분포 영역이고,

는 그레이 스케일의 합의 수이다.

한편, 다시 도 2를 참조하면, 고조도 영상 처리부(60)는 고조도 영상으로 분류된 원영상에 스미어가 발생된 경우, 원영상에 발생된 스미어를 제거하여 보정영상을 생성한다. 고조도 영상 처리부(60)는 검출부(62), 제거부(64), 복원부(66) 등을 더 포함할 수 있다.

검출부(62)는 입력된 원영상에 스미어가 발생되었는지 여부를 판단하며, 스미어가 발생되었다고 판단된 경우 스미어가 발생된 열(제 1 열)의 위치를 검출할 수 있다.

이러한 검출부(62)는 추출부 및 변환부를 더 포함할 수 있다. 추출부는 원영상을 이용하여 원영상을 구성하는 각각의 열에 대한 신호분포 곡선을 추출한다. 변환부는 추출부에서 생성된 신호분포 곡선을 정규분포 곡선으로 변환하는 역할을 한다.

이와 관련하여, 도 5는 촬영모듈에서 획득된 영상의 각 열에 따른 신호분포 곡선 일례를 도시한 것이고, 도 6은 도 5의 신호분포 곡선을 입력으로 한 정규분포 곡선을 나타낸다.

도 5에 도시된 것과 같이, 검출부(62)의 추출부는 입력된 원영상을 열(column) 단위 신호에 대한 신호분포로 곡선화할 수 있다. 상기 신호분포 곡선은 원영상을 구성하는 각각의 열을 이루는 복수의 픽셀의 그레이 값의 합을 나타낸다.

또한, 도 6에 도시된 것과 같이, 검출부(62)의 변환부는 입력된 원영상에 관한 신호분포 곡선을 정규분포 곡선으로 변환할 수 있다.

다시 도 2를 참조하면, 제거부(64)는 검출부(62)에서 검출된 제 1 열의 위치 정보에 기반하여 원영상에 생성된 스미어를 제거할 수 있다.

복원부(66)는 패치의 우선순위를 기초로 하는 보간법을 이용하여 스미어가 제거된 제 1 열에 대한 원영상을 복원할 수 있다. 구체적으로, 복원부(66)는 패치 내의 복수의 픽셀 각각에 대하여 우선순위를 계산하고, 상기 계산된 우선순위 중 가장 높은 우선순위를 갖는 최우선순위의 픽셀을 결정하며, 상기 최우선순위의 픽셀과 패치 내의 복수의 픽셀 중 제 1 열을 구성하지 않는 픽셀의 유사도 비교를 통하여 복원을 수행할 수 있다.

한편, 영상 복원부(70)는 대상영상에 초점열화방법(Focus Degradation Method)을 적용하여 복원영상을 생성한다. 영상 복원부(70)는 영상추정수단(72), 영상생성수단(74), 영상복원수단(76) 등을 포함할 수 있다.

여기서, 대상영상은 원영상 또는 보정영상이 될 것이다. 판별부(30)에 의하여 원영상이 저조도 영상이나 고조도 영상으로 분류되는 경우에는 보정영상이 대상영상이 되며, 원영상이 미처리 영상으로 분류되는 경우에는 원영상이 대상영상이 된다.

영상추정수단(72)은 초점열화방법으로 고해상도 영상생성방법을 사용하는 경우 이용된다.

영상추정수단(72)은 저해상도 열화영상을 업-스케일(up-scale) 계수에 따라 업-스케일링(up-scaling)하여 초해상도 영상(Super-resolution)을 생성할 수 있다.

대상영상에 흔들림이나 오차 등으로 인하여 초점열화가 생긴 경우, 영상추정수단(72)은 대상영상의 영상에서 초점이 맞는 영상을 예측할 수 있다.

초점열화가 생긴 영상의 경우 피사체의 에지 부분이 흐릿하게 보이게 되며, 실제 에지 정보를 예측하기 위하여 여러 가지 알고리즘이 사용될 수 있다. 이러한 알고리즘은 이 발명이 속하는 기술분야의 통상의 지식을 가진 자에게 널리 알려져 있으며 자세한 설명은 생략하기로 한다.

영상추정수단(72)은 상기 알고리즘을 이용하여 초점열화가 있는 단속영상에서 저해상도 영상으로부터 초해상도 영상(SR)을 획득하며, 이를 이용하여 초점이 맞는 영상을 추정할 수 있다.

영상생성수단(74)은 개선된 초점열화방법으로 고해상도 영상생성방법을 사용하는 경우 이용된다.

상기 영상추정수단(74)에서 입력된 저해상도 영상에서 업-스케일(Up-scale) 계수에 따라 초해상도 영상을 생성한 경우, 영상생성수단(74)은 상기 초해상도 영상과 대상영상을 이용하여 초점열화의 적어도 일부가 제거된 고해상도 영상을 생성할 수 있으며, 상기 고해상도 영상은 보간법(Interpolation)에 의해 산출된다. 이때, 보간법은 바람직하게는 쌍입방 보간법(Bicubic Interpolation)을 사용하여 초점열화 영상을 개선할 수 있다.

초점열화가 있는 영상과 고해상도 영상 간의 관계는 하기의 수학식 6과 같이 나타낼 수 있다.

여기서,

는 생성된 고해상도 영상이고,

은 저해상도 영상으로 입력된 초점열화이며,

는 저해상도 영상에서 업-스케일 계수에 따라 보간법을 적용한 초해상도 영상이다.

영상생성수단(74)은 초점열화가 있는 대상영상에서 상기 수학식 6에 따라 초점이 맞는 고해상도 영상을 생성할 수 있으며, 상기 생성의 구체적인 내용은 통상의 기술자에게 자명한 사항이므로 생략하기로 한다.

영상복원수단(76)은 개선된 초점열화방법으로 디테링(detailing) 방법을 사용하는 경우 이용된다.

영상복원수단(76)은 초점열화가 있는 영상에서 초점이 맞는 고해상도 영상을 수신받아 선명도를 향상시키기 위하여 디테링 방법을 이용한다.

대상영상을 수신한 영상생성수단(74)이 고해상도 영상을 생성하면, 영상복원수단(76)은 생성된 고해상도 영상을 이용하여 대상영상으로부터 초점열화의 일부를 제거할 수 있다.

이러한 초점열화의 제거는 복수로 이루어질 수 있다. 즉, 영상추정수단(72)이 추정한 초해상도 영상을 이용하여 영상생성수단(74)이 고해상도 영상을 산출하고, 이를 영상복원수단(76)이 디테링 방법으로 선명도를 향상시키는 데 사용한다.

상기 영상복원수단(76)이 초점열화의 일부 제거한 영상은 다시 영상추정수단(72)에 입력되어 다시 초해상도 영상이 추정되고, 이를 이용하여 영상생성수단(74)에서 고해상도 영상이 다시 산출되며, 영상복원수단(76)은 이를 초점열화 제거에 사용한다. 이렇게 반복되는 과정은 설정된 파라미터 값에 따라 반복될 수 있다.

또한, 영상복원수단(76)에서 사용될 수 있는 디테링 방법의 일례로 방향 적응적 가이디드 필터(Guided Filtering)를 사용할 수 있다. 가이디드 필터는 지역 선형 필터로서 Bilateral Filter처럼 에지 성분을 보존하면서 스무딩(smoothing)하는 속성을 갖고 있다. 이러한 특징은 영상의 에지가 뭉개지는 현상을 방지하며, 기저 레이어(base layer)를 유지하게 된다.

영상생성수단(74)에 의하면 화질은 개선되지만 지역적인 스무딩 현상과 에지 영역, 즉 피사체 주변이나 특징 정보들에 대한 아티팩트(artifacts) 결함이 존재할 수 있다. 이를 더 개선시키고 정밀한 결과를 얻기 위하여 방향 적응적 가이디드 필터를 이용하여 선명한 양질의 영상을 얻을 수 있다.

본 발명에 적용될 수 있는 디테링 방법으로서 가이디드 필터는 하기의 수학식 7와 같은 동작을 수행한다.

상기 수학식 7에서

,

는 픽셀위치를 나타내고,

는 필터 커널을 나타내며,

는 입력영상을 나타내고,

는 선형변환(guidance) 영상을 나타낸다.

상기 수학식 7의 필터 커널은 하기의 수학식 8과 같이 나타낼 수 있다.

상기 수학식 8에서

는 선형변환 영상이고,

는 필터 커널을 나타내며,

는 분산이고,

은 정규화된 파라미터이고,

는

의

변환영상에서의 평균이며,

는

의 커널 중심의 픽셀 위치이다.

< LPR 시스템의 동작 방법>

이하에서는, 도면을 참조하여 본 발명에 따른 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 방법에 대하여 구체적으로 살펴본다.

도 7은 본 발명의 일례와 관련된 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 방법의 순서도이다.

먼저, CCD 센서가 장착된 촬영모듈(10)이 상기 CCD 센서를 이용하여 차량의 번호판이 포함된 원영상을 촬영하며, 촬영모듈(10)에서 촬영된 원영상이 번호 인식 모듈(20)에 입력된다(S10). 원영상에는 차량의 촬영되어 있으며, 그 특성상 원 영상의 하부에 차량의 번호판이 위치하는 것이 일반적이다.

이어서, 판별부(30)는 원영상에 빛의 강도의 변화가 있는지 여부를 판단한다(S20). 상기 S20 단계에서는 원영상을 그레이 스케일(gray scale) 영상으로 변환한 후, 원영상의 전체 중 일부인 관심영역(ROI)에 대해서 특징변화를 관찰한다.

이어서, 판별부(30)는 원영상의 빛의 강도가 저조도 성분인지 여부를 판단한다(S30). 본 발명은 상기 S30 단계의 판단에 따라 크게 두 가지 왜곡정보를 보정할 수 있다. 첫 번째는 저조도 및 고조도 영역에 대한 다이나믹 레인지(Dynamic Range)의 확장으로 영상개선 방법을 제안하고, 두 번째 방법은 고조도 영역에 대한 빛의 전하량으로 인한 스미어 현상을 검지 및 복원 방법을 제안한다.

이어서, 영상 처리부(40)가 원영상을 이용하여 보정영상을 생성한다. 구체적으로, 원영상이 저조도 영상으로 분류된 경우에는 저조도 영상 처리부(50)가 개선된 절단 히스토그램 평활화(Advanced Clipped Histogram Equalization) 방식을 이용하여 보정영상을 생성하며(S40), 원영상이 고조도 영상으로 분류된 경우에는 고조도 영상 처리부(60)가 원영상에 발생된 스미어를 제거하여 보정영상을 생성한다(S42).

상기 S40 단계에서는 원영상의 화질 개선 기술방법으로 히스토그램 평활화 방법 중의 하나인 개선된 절단 히스토그램 평활화 방식을 이용한다.

일반적으로 히스토그램 평활화(Histogram equalization)는 명암 값의 분포가 한쪽으로 치우치거나 균일하지 못한 영상을 처리하여 명암 값의 분포를 균일화함으로써 영상을 향상시킨다. 히스토그램 평활화의 궁극적인 목적은 일정한 분포를 가진 히스토그램을 생성하는 것이며, 처리하는 동안 히스토그램의 분포를 균일하게 한다. 이때 입력 영상에 따라 밝기값을 현저히 변화시키고, 원하지 않는 잡음을 증폭시킬 수 있기 때문에 평균 밝기값을 유지하면서 컨트래스트를 높일 수 있는 방법이다.

이처럼 히스토그램 처리방법은 화질의 저하된 부분을 해결할 수 있는 간단한 방법이므로 다양한 방법들이 있다. 대표적으로 Bi Histogram Equalization, Recursive Mean-Separate Histogram Equalization, Clipped Histogram Equalization 등이 있다.

그 중에서 Clipped Histogram Equalization(CHE) 방법이 가장 효과적이면서 영상내의 정보량을 그대로 유지하여 영상의 왜곡이 없다. 이 방법은 임의의 최대값을 설정하여 최대값을 넘는 히스토그램의 상단부분을 잘라 임계치의 전체 영역에 대해 재설정함으로써, 히스토그램의 최대값을 제어한다. 이는 히스토그램 변환 후 최소 범위를 가지도록 설정해야하며, 영상에 따라 초기 설정에 대해 임계치를 할당함으로써 영상 특징변화에 따른 동적 임계값을 설정할 수 있다. 이런 경우 히스토그램의 상단부분을 전체 영역에 대해 재할당하기 때문에 잡음에 강하지만, 일반 영상에서는 컨트래스트(Contrast) 개선이 다른 방법들에 비해 비효율적으로 결과를 초래한다.

따라서, 본 발명은 히스토그램 상단부분을 전체 영역에 재설정하지 않고, 히스토그램 구간을 여러 구간으로 나누어 편중된 분포에 대해서는 히스토그램 구간의 주변 구간에 거리 비율로 균등하게 분배하여 잡음에 강한 점은 그대로 유지하면서, 영상의 컨트래스트를 개선시킬 수 있는 방법으로 CHE의 개선된 A_CHE 방법을 제안하였다.

이로써 저조도 영역에 대해서는 다이나믹 레인지로부터 개선을 하게 되고, 또한 잡음에도 강인한 형태의 개선영상으로 처리가 가능하며, 고조도 영역은 더 이상의 확장된 영역분포보다는 억제된 개선영상으로 처리가 된다.

한편, 상기 S42 단계에서는 영상처리를 이용하여 원영상에서 스미어를 검출하고 제거하고자 한다.

촬영모듈(10)로부터 원영상을 입력받은 후, 입력된 원영상을 통계적으로 분석한다. 도 5에 도시된 것과 같이, 검출부(62)의 추출부는 입력된 원영상을 열(column) 단위 신호에 대한 신호분포로 곡선화할 수 있다. 상기 신호분포 곡선은 원영상을 구성하는 각각의 열을 이루는 복수의 픽셀의 그레이 값의 합을 나타낸다.

또한 도 6에 도시된 것과 같이, 검출부(62)의 변환부는 입력된 원영상에 관한 신호분포 곡선을 정규분포 곡선으로 변환할 수 있다. 즉, 스미어가 일반적으로 차량에 의한 태양광 또는 수동적인 빛의 근원으로부터 특정한 장소에서 생성된다 하는 경우, 정규분포로서 표현이 가능해 지는 것이다.

원영상을 정규분포로 표현한 후, 스미어의 존재여부를 판단하게 된다. 스미어의 특성상 영상 내에 열(column)로 발생되며, 특히 흰색과 밝은 형태를 갖는 바, 흰색과 밝은 형태를 갖는 열의 구간들에 대해 스미어가 발생된다고 판단할 수 있다.

이에 따라, 신호분포 곡선에서 스미어 및 다른 구간에서 발생되는 분포의 방향을 따라 그레이 값들의 합과 열(column) 분포 곡선(distribution curve), 즉 번짐의 합에 대한 최대 추정치의 값을 찾고, 신호분포 곡선에서, 정규분포 내의 다른 부분에 비해 특정적이고 현저하게 높은 빈도를 갖는 부분이 존재시, 원영상 내에 스미어가 발생된 구간으로 판단할 수 있다.

원영상 내 스미어의 존재가 있다 판단된 후, 상기 스미어의 위치를 판단하게 된다. 원영상의 신호분포 곡선에서 다른 부분에 비해 특정적이고 현저하게 높은 빈도를 갖는 부분을 스미어가 발생된 구간으로 판단하여 스미어의 발생 위치를 판단할 수 있다.

스미어 영역이 존재한다고 판단하고, 위치를 판단한 후, 스미어를 제거하고 복원을 위한 이진패턴 맵(Binary pattern map 또는 Alpha map)을 생성하게 된다.

스미어 강도와 정확한 순수 배경강도를 추정하여 스미어를 제거하는 방식을 취한다. 원영상의 각 열(column)에 신호 강도에 대해서 평균필터를 적용하는 방법을 통해 이진패턴 맵을 생성한다.

이때 이진패턴 맵은 기 설정된 임계치보다, 정규 분포상의 신호강도가 큰 경우, 해당 열(column)은 1의 값을 갖고, 작은 경우 해당 열(column)은 0의 값을 갖게 된다.

이진패턴 맵이 생성된 후, 이진패턴 맵을 이용하여, 스미어 위치를 재배치하게 된다. 각각의 픽셀 역을 분석할 때 차량, 잡음, 배경 그리고 스미어 신호로 구성된다. 적용된 필터를 이용하여 열에서 픽셀의 그레이 값들을 정렬하기 위해 스미어 영역 검색 크기를 재구성하는 방법을 통해 스미어 신호의 강도를 추정하고 정확한 위치를 판단하여 재배치하는 작업이 진행된다.

스미어 위치를 재배치 한 후, 스미어를 제거하게 된다. 판단된 스미어의 영역 및 강도를 이용하여, 전체 이미지에서 스미어를 제거할 수 있다.

스미어를 제거 후에는 원영상을 복원하게 된다. 원영상을 복원하는 방법은 다양하게 존재하지만, 본 발명의 경우 인페인팅(inpainting)을 적용한다. 특히 보간법을 이용하여 원영상을 복원할 수 있지만, 영역에 대해서는 적합하지 못하므로, 주변에 일정 크기를 갖는 패치(patch)방법을 사용하여 원영상을 복원할 수 있다.

이어서, 영상 복원부는 대상영상에 고해상도 영상생성방법과 디테링 방법이 결합된 초점열화방법을 적용하여 복원영상을 생성한다(S50).

구체적으로, 상기 S50 단계에서는 초점열화가 있는 대상영상에서 업-스케일(up-scale) 계수에 따라 업-스케일링(up-scaling)하여 초해상도 영상(Super-resolution)을 생성하고, 대상영상과 상기 생성된 초해상도 영상에 쌍입방 보간법(Bicubic interpolation)을 적용하여 고해상도 영상을 산출한다. 상기 과정은 기 설정된 계수들의 값에 따라 반복될 수 있으며, 바람직하게는 초점열화가 더 이상 개선되지 않을 때까지 반복될 수 있다

상기 과정을 반복적으로 수행한 후에는 초점열화 일부가 제거된 고해상도 영상을 얻을 수 있으며, 이렇게 생성된 고해상도 영상을 시각적으로 좋은 품질을 갖는 선명한 영상으로 복원하기 위해 방향 적응적 가이디드 필터를 이용한 디테링 방법을 사용한다.

단, 상기 S50 단계는 필수적인 단계는 아니며, S50 단계가 생략된 채로 S60 단계로 진행되는 것도 가능하다.

이어서, 번호 인식 모듈(20)이 대상영상을 이용하여 차량의 번호판의 문자를 인식한다(S60).

문자 인식을 위하여 우선 차량 번호판 위치의 3가지 검출방법 중 하나가 실행될 수 있다. 첫째는 촬영된 영상으로부터 수직 및 수평 가장자리 정보를 이용하여 번호판의 특징영역을 검출하는 것이다. 두 번째는 스캔 데이터 분석에 의해 차량 번호판의 위치를 검출하는 것이다. 세 번째는 숫자와 문자를 직접 검색하여 정확한 차량 번호판을 검출하는 것이다.

차량 번호판의 위치가 검출되면, 템플렛 정합에 의한 문자 인식(한글자음 + 번호), 구조적 특징에 의한 문자 인식(한글모음)을 하고, 오인식을 줄이기 위하여 내부의 인식 알고리즘은 숫자, 문자(자음, 모음) 등 특징을 상세하게 분류하여 인식된 문자를 재확인처리를 함으로써 문자 해독 시 오류를 최소화할 수 있다.

이하에서는, 고조도 영상 처리부(60)의 스미어 처리 과정을 보다 상세하게 살펴본다.

스미어는 그 특성상 CCD 카메라에 존재하게 되고 카메라와 피사체(차량)의 위치에 따라 빛(광원)으로부터 동일한 위치 혹은 반사체로 인한 강한 빛(광원)으로부터 획득되므로 결과적으로 왜곡된 영상이 생성된다.

제안된 방법에서는 스미어(Smear)을 제거하기 위해 전체영상(Still image)에서 스미어가 발생된 열(column)을 찾게 되며, 계산량의 감소를 위해 관심영역(ROI)의 가장 아래 영역에 대해서만 고조도 성분을 분석하고, 해당 성분분포가 일정한 이상의 값을 갖게 될 때, 스미어가 존재한다고 판단한다.

그러나 사실상은 정확한 위치를 찾기가 어렵다. 이는 태양광으로부터 피사체까지 도달되는 광자들의 분포들이 객체, 배경, 잡음 그리고 스미어 영역들에서 불규칙적으로 일어나고, 하나 그 이상으로 존재 및 발생되기 때문이다.

따라서 스미어의 특징을 분석하기 위해 과포화 객체에 전달되는 흰색과 밝은 형태를 갖는 열의 구간들에 대해 스미어 영역이 존재한다고 판단하여 그레이 특성을 분석하여 검지한다. 또한 스미어뿐만 아니라 다른 구간에서 발생되는 분포의 방향을 따라 그레이 값들의 합과 열 분포 곡선(distribution curve), 즉 번짐의 합에 대한 최대 추정치(Peak value)의 값들을 찾는다. 해당 곡선에서 다른 영역들은 배경, 차량성분들로 비교적 유사한 성분 혹은 고른 분포(smoothing)을 보이게 된다.

먼저 스미어 밝기강도(intensity) 추정 곡선모델은 아래의 식 9와 같이 표현될 수 있다.

여기서

는 원 영상의 크기이고,

과

는 각각 행과 열을 나타낸다.

는

열에서 그레이 값이고,

는

내에서 픽셀에 대한 그레이 값을 나타낸다.

한편, 스미어 영역을 위해 설정된 임계치는

는 아래의 수학식 10에 나타낸 바와 같다.

여기서

는 전체 영상에서 통계적 분석에 따른 평균(mean)이고,

는 표준편차이며,

는 가중치를 의미한다.

수학식 9 및 수학식 10의 상관관계에 관하여, 위에서 살펴본 바와 같이, 그레이 합의 곡선 중 최고 추정치에서 스미어 현상이 발생됨을 알 수 있으므로, 스미어 영역 벡터

는, 아래의 수학식 11과 같이 나타낼 수 있다.

즉 임계치보다 스미어 밝기 강도가 센 경우를 스미어 영역으로 판단하는 것이다.

스미어 위치 좌표를 찾은 후에 변수

과 관련된, 시작 좌표

과 끝 좌표

을 얻을 수 있다.

다만 이렇게 얻어진 시작 좌표 및 끝 좌표보다 넓은 영역으로 스미어 발생 영역을 잡을 수 있다. 예를 들면, 아래의 수학식 12와 같이, 시작좌표보다 2픽셀 전, 끝좌표보다 2픽셀 후까지를 스미어 발생영역으로 판단할 수 있다.

여기서,

과

는 스미어 영역에 대한 결과를 의미한다.

또한, 스미어가 발생된 이미지에서의 스미어의 강도 및 스미어를 제거한 상태의 배경 강도를 추정하여 스미어를 검출하고 제거할 수 있다.

각 열에 신호강도에 대하여 평균필터를 적용하고, 적용된 필터를 이용하여 열(column)에서 픽셀의 그레이 값들을 정렬하기 위해 스미어 영역 검색크기를 재 구성하는 방법을 이용한다.

상기 수학식 13은 각 열의 신호강도에 대해 적용한 평균 필터에 관한 식이다.

여기서,

는 검색 크기에서 좌표에 대응하는 영상 데이터 중간위치이고,

는 선택된 위치 영역의 반경(radius),

는 선택된 검색크기에서 정렬된 벡터이다.

위의 수학식 13의 경우, 각각의 픽셀 열을 분석할 때, 차량, 잡음, 배경 및 스미어 신호를 포함하여 픽셀의 그레이 값들을 정렬하게 된다.

상기의 방법에 따라,

스미어와

배경성분의 강도를 정확하게 얻을 수 있다.

스미어 강도를 추정하고, 순수한 배경강도와의 차이를 판단 할 수 있으며, 스미어의 위치 및 영역을 판단할 수 있게 된다.

스미어의 강도 및 영역을 판단 한 후, 전체 이미지에서 스미어를 제거하게 된다.

여기서,

은 스미어가 제거된

번째 영상을 의미한다. 즉, 전체 이미지에서 스미어인

를 제거하는 것이다.

상기와 같은 방법을 통해, 스미어가 포함된 이미지에서 스미어를 검출하고, 스미어의 위치를 파악하며, 이미지에서 스미어를 제거할 수 있다.

제거된 스미어 결과와 영역(위치)이 검출되어 생성된 이진패턴 맵(Binary pattern map 혹은 alpha map)으로부터 왜곡되지 않는 영상을 복원한다. 이를 처리하기 위해서는 다양한 복원방법들 중에서 영상의 소실된 부분을 다시 복원하는 기법으로 인페인팅(Inpainting)을 적용한다.

일반적으로 가장 간단한 방법으로 주변의 값들을 이용하는 보간법(interpolation)이 있다. 이는 소실된 영역이 크지 않다면 간단하게 적용가능 하지만 에러가 전파(propagation)되는 특성이 있기 때문에 영역에 대한 보간법은 적합하지 못하다. 따라서 각 계층상의 가려짐 영역이 모두 보간될 때까지 수행한다. 또한 보간할 영역의 경계상의 픽셀에 대해서는 보간의 우선순위를 계산하고, 우선순위로부터 올바른 텍스처(Texture)와 구조(Structure) 보간으로 진행된다. 그리고 경계상의 픽셀을 중심으로 하는 패치의 중심점이 갖는 신뢰도(confidence)와 패치 내의 구조(structure)와 관련된 값의 곱으로 결정된다.

상기 수학식 15에서,

는 보간 하고자 하는 픽셀

의 우선순위를 의미하고,

는 패치내의 픽셀에서의 신뢰도 값,

는 보간 해야할 영역을 나타낸다.

는 패치를 의미하고,

는 패치의 크기,

는 영상 내 구조체의 방향 단위 벡터,

는 픽셀

에서의 경계(contour)에 대한 법선 단위 벡터를 나타낸다.

는 정규화 상수(normalization constant)이고, 픽셀의 신뢰도는 소스영역(S)에 포함되는 픽셀에 대해서는 1, 그 외에는 0으로 정하였다.

값의 의미를 간단히 정리하면, 영상 내 구조체의 방향과 일치하는 방향의 픽셀에게 더 높은 우선순위를 부여함으로써 구조체를 더 올바르게 복원할 수 있도록 하는 값이며, 주변에 신뢰도가 높은 픽셀이 많이 분포하는 위치부터 보간 하게끔 함으로써 보다 정확한 보간이 가능하도록 하는 우선순위 값이다.

최우선순위가 결정되면 그 픽셀에 대해 템플릿 정합(template matching)을 통해 일정 범위 내의 패치와의 그레이 강도(gray intensity) 비교를 통해 유사도가 최대가 되는 영역을 차용하여 목표 픽셀상의 패치영역과 혼합(blending)하게 된다.

본 발명에서는 템플릿 정합의 방법으로 그레이 스케일(gray-scale)공간에서의 SAD(sum of absolute difference)를 사용하였다. 마지막으로 과정 C에서는 경계 상의 화소중의 최우선순위를 재계산하며 목표 픽셀을 모두 보간 할 때까지 A에서 C의 과정을 반복한다.

이하에서는, 본 발명을 실제 적용한 결과를 도면을 참조하여 살펴본다. 도 8a 내지 도 8c와 도 9a 내지 도 9c는 본 발명에 따라 저조도 영상을 처리한 결과를 나타내는 일례이고, 도 10a 내지 도 10c와 도 11a 내지 도 11c는 본 발명에 따라 고조도 영상에 발생되 스미어를 복원 처리한 결과를 나타내는 일례이다.

여기서는 LPR 시스템에서 1.3M 카메라(PointGray)로부터 입력된 차량영상을 이용하였으며 그레이 스케일로 변환하여 처리하였다. 실험환경은 윈도우 7, CPU 2.8GHz, 4G 메모리에서 Visual Studio 2010 컴파일러을 이용하여 실시간 처리가 가능하도록 구현하였다.

도 8a 내지 도 8c와 도 9a 내지 도 9c는 기존의 HE 방법과 제안된 A_CHE 방법간의 비교분석을 위한 실험결과이다. 도 8a는 실제 입력영상이고, 도 8b는 기존의 HE 방법에 의한 결과영상이며, 도 8c는 제안된 A_CHE 방법에 의한 결과영상이다. 도 9a는 실제 입력영상이고, 도 9b는 기존의 HE 방법에 의한 결과영상이며, 도 9c는 제안된 A_CHE 방법에 의한 결과영상이다.

도 8a 내지 도 8c와 도 9a 내지 도 9c를 참조하면, 실제 입력된 영상에 대해서 HE 결과영상 모두가 개선된 결과를 얻기 하였으나, 컨트래스트 및 저조도 영역에 대한 처리가 여전히 왜곡된 상태로 존재한다. 이는 전체 영상(still image)내에서 균등한 영역들로 분포를 재구성할 때 저조도 및 고조도 영역까지 모두 처리하기 때문이며, 특히 저조도 영역과 고조도 영역에서 증폭 및 확장된 값들이 발생하기 때문이다. 하지만 기존의 HE방법보다 개선된 A_CHE 방법에서는 저조도 및 고조도 영역에서 다아나믹 레인즈의 안정화된 상태로 재구성되었고, 전체 영상(still image)에서도 왜곡정보가 현저히 줄어든 결과를 보인다. 객관적인 성분이 필요하지만 본 발명의 목적은 LPR 시스템에서 차량번호인식을 중요시하는 부분이므로 육안으로 볼 때 입력된 영상에서 차량번호판의 번호가 보이지 않을 정도로 저조도 환경이지만 제안된 A_CHE 처리결과에서는 육안으로도 명확히 구분될 정도로 번호가 뚜렷 및 선명한 결과를 얻을 수 있었다.

도 10a 내지 도 10c와 도 11a 내지 도 11c는 스미어 처리를 분석하기 위한 실험결과이다. 도 10a는 실제 입력영상이고, 도 10b는 스미어 검지결과이며, 도 10c는 스미어 복원결과이다. 도 11a는 실제 입력영상이고, 도 11b는 스미어 검지결과이며, 도 11c는 스미어 복원결과이다.

도 10a 내지 도 10c와 도 11a 내지 도 11c는 차량 또는 차량의 반사체로부터 광원의 빛이 강한 영역에 대해 스미어가 발생함으로 강한 영역의 분포를 계산 후 스미어 영역 검지하였다. 검지된 영역은 스미어 분포보다 좀 더 넓게 검지할 수 있도록 설정하였고, 해당 영역에 대해서 인페인팅 기법을 활용하여 스미어 영역에 대해 복원처리 하였다. 그 결과 스미어 영역에서도 강한 영역 즉 넓게 분포된 영역에 대해 일부 남아있지만 현저히 스미어가 줄어든 것을 확인할 수 있었다.

상술한 본 발명에서는 LPR 시스템에서 기존의 문제점중의 하나였던 저조도 분포영상, 색상왜곡, 영상 흔들림, 잡음, 스미어 등의 정보들은 카메라의 셔터 혹은 조리개 값을 조정하거나 최적화된 값을 찾아서 사전에 설정 및 운영하였다. 이로 인해 LPR 설치 장소 또는 주변 환경까지 고려하지 않으면 시스템의 성능에도 문제가 될 만큼의 주요한 사항이었으나, 본 발명에서 제안한 저조도 영상개선 및 스미어 복원처리 기술을 활용함으로써 보다 시스템의 안정성과 번호인식 성능향상에도 크게 기여할 것으로 판단된다.

한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시례들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

10: 촬영모듈
20: 번호 인식 모듈
30: 판별부
40: 영상 처리부
50: 저조도 영상 처리부
60: 고조도 영상 처리부
70: 영상 복원부
100: 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치

Claims (17)

1. CCD 센서가 장착되고, 상기 CCD 센서를 이용하여 차량의 번호판이 포함된 원영상을 촬영하는 촬영모듈; 및
   상기 차량의 번호판의 문자를 인식하기 위하여 상기 촬영모듈에서 촬영된 상기 원영상을 입력받는 번호 인식 모듈;을 포함하되,
   상기 번호 인식 모듈은,
   상기 원영상과 관련된 판별인자에 기초하여 상기 원영상을 저조도 영상, 고조도 영상 및 미처리 영상 중 하나로 분류하는 판별부; 및
   상기 원영상을 이용하여 보정영상을 생성하는 영상 처리부;를 더 포함하고,
   상기 영상 처리부는,
   상기 판별부에 의하여 상기 원영상이 상기 저조도 영상으로 분류된 경우, 개선된 절단 히스토그램 평활화(Advanced Clipped Histogram Equalization) 방식을 이용하여 상기 원영상으로부터 상기 보정영상을 생성하는 저조도 영상 처리부; 및
   상기 판별부에 의하여 상기 원영상이 상기 고조도 영상으로 분류된 경우, 상기 원영상에 발생된 스미어를 제거하여 상기 보정영상을 생성하는 고조도 영상 처리부;를 더 포함하며,
   상기 번호 인식 모듈은 대상영상을 상기 차량의 번호판의 문자 인식에 이용하고,
   상기 판별부에 의하여 상기 원영상이 상기 저조도 영상 또는 상기 고조도 영상으로 분류된 경우, 상기 대상영상은 상기 보정영상이고,
   상기 판별부에 의하여 상기 원영상이 상기 미처리 영상으로 분류된 경우, 상기 대상영상은 상기 원영상이며,
   상기 개선된 절단 히스토그램 평활화 방식은, 상기 원영상에 대한 적응적 절단비율을 결정하고, 상기 결정된 적응적 절단비율에 따라 상기 원영상의 히스토그램의 상단영역이 제거된 절단 히스토그램을 생성하며, 상기 상단영역 중 적어도 일부를 절단하여 상기 절단 히스토그램에 재할당함으로써 상기 보정영상을 생성하고,
   상기 적응적 절단비율은 하기의 수학식에 의하여 결정되는 것을 특징으로 하는, LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치.
   수학식
   

   

   
   상기 수학식에서,

   

   는 상기 적응적 절단비율이고,

   

   는 상기 원영상의 그레이 값이며,

   

   이다.
2. 제 1항에 있어서,
   상기 판별인자는 그레이 스케일(Gray Scale)로 변환된 상기 원영상의 빛의 강도(Intensity)이고,
   상기 원영상의 빛의 강도가 소정의 임계치보다 높은 경우, 상기 판별부는 상기 원영상을 상기 미처리 영상으로 분류하는 것을 특징으로 하는, LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치.
3. 제 2항에 있어서,
   상기 원영상의 빛의 강도가 상기 임계치보다 낮은 경우,
   상기 판별부는, 상기 원영상의 빛의 강도에 따라 상기 원영상을 상기 저조도 영상 및 상기 고조도 영상 중 하나로 분류하는 것을 특징으로 하는, LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치.
4. 삭제
5. 삭제
6. 삭제
7. CCD 센서가 장착되고, 상기 CCD 센서를 이용하여 차량의 번호판이 포함된 원영상을 촬영하는 촬영모듈; 및
   상기 차량의 번호판의 문자를 인식하기 위하여 상기 촬영모듈에서 촬영된 상기 원영상을 입력받는 번호 인식 모듈;을 포함하되,
   상기 번호 인식 모듈은,
   상기 원영상과 관련된 판별인자에 기초하여 상기 원영상을 저조도 영상, 고조도 영상 및 미처리 영상 중 하나로 분류하는 판별부; 및
   상기 원영상을 이용하여 보정영상을 생성하는 영상 처리부;를 더 포함하고,
   상기 영상 처리부는,
   상기 판별부에 의하여 상기 원영상이 상기 저조도 영상으로 분류된 경우, 개선된 절단 히스토그램 평활화(Advanced Clipped Histogram Equalization) 방식을 이용하여 상기 원영상으로부터 상기 보정영상을 생성하는 저조도 영상 처리부; 및
   상기 판별부에 의하여 상기 원영상이 상기 고조도 영상으로 분류된 경우, 상기 원영상에 발생된 스미어를 제거하여 상기 보정영상을 생성하는 고조도 영상 처리부;를 더 포함하며,
   상기 번호 인식 모듈은 대상영상을 상기 차량의 번호판의 문자 인식에 이용하고,
   상기 판별부에 의하여 상기 원영상이 상기 저조도 영상 또는 상기 고조도 영상으로 분류된 경우, 상기 대상영상은 상기 보정영상이고,
   상기 판별부에 의하여 상기 원영상이 상기 미처리 영상으로 분류된 경우, 상기 대상영상은 상기 원영상이며,
   상기 개선된 절단 히스토그램 평활화 방식은, 상기 원영상에 대한 적응적 절단비율을 결정하고, 상기 결정된 적응적 절단비율에 따라 상기 원영상의 히스토그램의 상단영역이 제거된 절단 히스토그램을 생성하며, 상기 상단영역 중 적어도 일부를 절단하여 상기 절단 히스토그램에 재할당함으로써 상기 보정영상을 생성하고,
   상기 상단영역의 절단되는 부분은, 저조도 분포 영역에 대한 잘림범위 및 고조도 분포 영역에 대한 잘림범위를 포함하며,
   상기 저조도 분포 영역은 하기의 수학식 1에 따라 결정되고,
   상기 고조도 분포 영역은 하기의 수학식 2에 따라 결정되는 것을 특징으로 하는, LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치.
   수학식 1
   

   

   
   수학식 2
   

   

   
   상기 수학식 1 및 상기 수학식 2에서,

   

   은 상기 상단영역에서 상기 저조도 분포 영역이고,

   

   는 상기 상단영역에서 상기 고조도 분포 영역이며,

   

   는 저조도와 고조도를 구분하기 위하여 임의로 설정된 값이고,

   

   은 상기 원영상의 global level 이다.
8. 제 7항에 있어서,
   상기 저조도 분포 영역에 대한 잘림범위는 하기의 수학식 3에 따라 결정되고,
   상기 고조도 분포 영역에 대한 잘림범위는 하기의 수학식 4에 따라 결정되는 것을 특징으로 하는, LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치.
   수학식 3
   

   

   
   수학식 4
   

   

   
   상기 수학식 3 및 상기 수학식 4에서,

   

   은 상기 저조도 분포 영역에 대한 잘림범위이고,

   

   는 상기 고조도 분포 영역에 대한 잘림범위이며,

   

   는 상기 절단 히스토그램이고,

   

   는 그레이 스케일에서 상기 저조도 분포 영역이며,

   

   는 그레이 스케일에서 상기 고조도 분포 영역이고,

   

   는 그레이 스케일의 합의 수이다.
9. CCD 센서가 장착되고, 상기 CCD 센서를 이용하여 차량의 번호판이 포함된 원영상을 촬영하는 촬영모듈; 및
   상기 차량의 번호판의 문자를 인식하기 위하여 상기 촬영모듈에서 촬영된 상기 원영상을 입력받는 번호 인식 모듈;을 포함하되,
   상기 번호 인식 모듈은,
   상기 원영상과 관련된 판별인자에 기초하여 상기 원영상을 저조도 영상, 고조도 영상 및 미처리 영상 중 하나로 분류하는 판별부; 및
   상기 원영상을 이용하여 보정영상을 생성하는 영상 처리부;를 더 포함하고,
   상기 영상 처리부는,
   상기 판별부에 의하여 상기 원영상이 상기 저조도 영상으로 분류된 경우, 개선된 절단 히스토그램 평활화(Advanced Clipped Histogram Equalization) 방식을 이용하여 상기 원영상으로부터 상기 보정영상을 생성하는 저조도 영상 처리부; 및
   상기 판별부에 의하여 상기 원영상이 상기 고조도 영상으로 분류된 경우, 상기 원영상에 발생된 스미어를 제거하여 상기 보정영상을 생성하는 고조도 영상 처리부;를 더 포함하며,
   상기 번호 인식 모듈은 대상영상을 상기 차량의 번호판의 문자 인식에 이용하고,
   상기 판별부에 의하여 상기 원영상이 상기 저조도 영상 또는 상기 고조도 영상으로 분류된 경우, 상기 대상영상은 상기 보정영상이고,
   상기 판별부에 의하여 상기 원영상이 상기 미처리 영상으로 분류된 경우, 상기 대상영상은 상기 원영상이며,
   상기 고조도 영상 처리부는,
   상기 원영상을 구성하는 열(column) 중 상기 스미어가 발생된 제 1 열의 위치를 검출하는 검출부; 및
   상기 검출된 제 1 열의 위치 정보에 기반하여 상기 원영상으로부터 상기 스미어를 제거하는 제거부;를 더 포함하는 것을 특징으로 하는, LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치.
10. 제 9항에 있어서,
    상기 검출부는,
    상기 번호 인식 모듈에 입력된 상기 원영상을 이용하여 상기 원영상을 구성하는 각각의 열에 대한 신호분포 곡선을 추출하는 추출부; 및
    상기 신호분포 곡선을 정규분포 곡선으로 변환하는 변환부;를 더 포함하되,
    상기 신호분포 곡선은 상기 원영상을 구성하는 각각의 열을 이루는 복수의 픽셀의 그레이 값의 합을 나타내는 것을 특징으로 하는, LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치.
11. 삭제
12. 삭제
13. 제 9항에 있어서,
    소정의 보간법을 이용하여 상기 스미어가 제거된 상기 제 1 열에 대한 원영상을 복원하는 복원부;를 더 포함하는 것을 특징으로 하는, LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치.
14. 제 13항에 있어서,
    상기 복원부의 보간법은,
    패치 내의 복수의 픽셀 각각에 대하여 우선순위를 계산하고, 상기 계산된 우선순위 중 가장 높은 우선순위를 갖는 최우선순위의 픽셀을 결정하며, 상기 최우선순위의 픽셀과 상기 패치 내의 복수의 픽셀 중 상기 제 1 열을 구성하지 않는 픽셀의 유사도 비교를 통하여 복원을 수행하고,
    상기 패치는 상기 제 1 열을 구성하는 픽셀의 적어도 일부를 포함하는 것을 특징으로 하는, LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치.
15. CCD 센서가 장착되고, 상기 CCD 센서를 이용하여 차량의 번호판이 포함된 원영상을 촬영하는 촬영모듈; 및
    상기 차량의 번호판의 문자를 인식하기 위하여 상기 촬영모듈에서 촬영된 상기 원영상을 입력받는 번호 인식 모듈;을 포함하되,
    상기 번호 인식 모듈은,
    상기 원영상과 관련된 판별인자에 기초하여 상기 원영상을 저조도 영상, 고조도 영상 및 미처리 영상 중 하나로 분류하는 판별부; 및
    상기 원영상을 이용하여 보정영상을 생성하는 영상 처리부;를 더 포함하고,
    상기 영상 처리부는,
    상기 판별부에 의하여 상기 원영상이 상기 저조도 영상으로 분류된 경우, 개선된 절단 히스토그램 평활화(Advanced Clipped Histogram Equalization) 방식을 이용하여 상기 원영상으로부터 상기 보정영상을 생성하는 저조도 영상 처리부; 및
    상기 판별부에 의하여 상기 원영상이 상기 고조도 영상으로 분류된 경우, 상기 원영상에 발생된 스미어를 제거하여 상기 보정영상을 생성하는 고조도 영상 처리부;를 더 포함하며,
    상기 번호 인식 모듈은 대상영상을 상기 차량의 번호판의 문자 인식에 이용하고,
    상기 판별부에 의하여 상기 원영상이 상기 저조도 영상 또는 상기 고조도 영상으로 분류된 경우, 상기 대상영상은 상기 보정영상이고,
    상기 판별부에 의하여 상기 원영상이 상기 미처리 영상으로 분류된 경우, 상기 대상영상은 상기 원영상이며,
    상기 번호 인식 모듈은,
    상기 대상영상에 초점열화방법(Focus Degradation Method)을 적용하여 복원영상을 생성하는 영상 복원부;를 더 포함하되,
    상기 복원영상은 상기 번호 인식 모듈의 상기 차량의 번호판의 문자 인식에 이용되고,
    상기 초점열화방법은 고해상도 영상생성방법과 디테링(Detailing) 방법을 결합한 것이며,
    상기 고해상도 영상생성방법을 수행하기 위해 상기 영상 복원부는,
    초점열화가 있는 대상영상을 기 설정된 업-스케일(up-scale) 계수에 따라 업-스케일링(up-scaling)하는 영상추정수단; 및
    상기 대상영상과 상기 업-스케일링된 영상에 쌍입방 보간법(Bicubic Interpolation)을 적용하여 상기 초점열화의 적어도 일부가 제거된 고해상도 영상을 생성하는 영상생성수단;을 더 포함하는 것을 특징으로 하는, LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치.
16. 제 15항에 있어서,
    상기 디테링 방법을 수행하기 위해 상기 영상 복원부는,
    방향 적응적 가이디드 필터(Guided Filtering)를 이용하여 상기 생성된 고해상도 영상으로부터 상기 초점열화의 적어도 일부를 제거하는 영상복원수단;을 더 포함하는 것을 특징으로 하는, LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치.
17. CCD 센서가 장착된 촬영모듈이 상기 CCD 센서를 이용하여 차량의 번호판이 포함된 원영상을 촬영하는 촬영단계;
    상기 차량의 번호판의 문자를 인식하기 위하여 상기 촬영모듈에서 촬영된 상기 원영상이 번호 인식 모듈에 입력되는 입력단계;
    상기 번호 인식 모듈의 판별부가 상기 원영상과 관련된 판별인자에 기초하여 상기 원영상을 저조도 영상, 고조도 영상 및 미처리 영상 중 하나로 분류하는 판별단계;
    상기 번호 인식 모듈의 영상 처리부가 상기 원영상을 이용하여 보정영상을 생성하는 영상 처리단계; 및
    상기 번호 인식 모듈이 대상영상을 이용하여 상기 차량의 번호판의 문자를 인식하는 인식단계;를 포함하되,
    상기 영상 처리부는,
    상기 판별부에 의하여 상기 원영상이 상기 저조도 영상으로 분류된 경우, 개선된 절단 히스토그램 평활화(Advanced Clipped Histogram Equalization) 방식을 이용하여 상기 원영상으로부터 상기 보정영상을 생성하는 저조도 영상 처리부 및 상기 판별부에 의하여 상기 원영상이 상기 고조도 영상으로 분류된 경우, 상기 원영상에 발생된 스미어를 제거하여 상기 보정영상을 생성하는 고조도 영상 처리부를 더 포함하며,
    상기 판별부에 의하여 상기 원영상이 상기 저조도 영상 또는 상기 고조도 영상으로 분류된 경우, 상기 대상영상은 상기 보정영상이고,
    상기 판별부에 의하여 상기 원영상이 상기 미처리 영상으로 분류된 경우, 상기 대상영상은 상기 원영상이며,
    상기 개선된 절단 히스토그램 평활화 방식은, 상기 원영상에 대한 적응적 절단비율을 결정하고, 상기 결정된 적응적 절단비율에 따라 상기 원영상의 히스토그램의 상단영역이 제거된 절단 히스토그램을 생성하며, 상기 상단영역 중 적어도 일부를 절단하여 상기 절단 히스토그램에 재할당함으로써 상기 보정영상을 생성하고,
    상기 적응적 절단비율은 하기의 수학식에 의하여 결정되는 것을 특징으로 하는, LPR 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 방법.
    수학식
    

    

    
    상기 수학식에서,

    

    는 상기 적응적 절단비율이고,

    

    는 상기 원영상의 그레이 값이며,

    

    이다.

Images