KR101625158B1 - 차량용 블랙 박스 영상의 처리 장치 및 방법 - Google Patents

Abstract

본 발명은 저장하기 전에 번호판 영역의 영상 신호를 따로 분리하여 다양한 특수효과를 적용해 문자열을 추출하고, 가장 높은 확률로 인식된 문자들을 조합해 최종적인 문자열을 완성하여 별도로 저장하는 차량용 블랙 박스 영상 처리 장치 및 방법에 관한 것으로, 촬영 영상을 저장하기 이전에 미리 카메라부를 통해 입력되는 영상 신호에서 차량 번호판 영역을 인식하는 차량 번호판 인식부;상기 차량 번호판 인식부를 통하여 인식된 차량 번호판 영역을 별도의 영상 신호로 분리하는 화면 분할 처리부;상기 화면 분할 처리부에서 분리된 번호판 영상신호에서 문자열 인식률을 높이기 위한 특수효과를 적용하는 특수 효과 처리부;특수 효과 처리부에서 순차적으로 준비된 특수효과 적용이 모두 끝나면 문자열들의 문자를 각각 따로 분리시켜 각 위치별로 비교 매칭하고, 가장 높은 인식률을 보인 문자열을 별도로 조합하여 완성된 문자열을 출력하는 문자인식 처리부;를 포함하는 것이다.

Description

차량용 블랙 박스 영상의 처리 장치 및 방법{Apparatus and Method for Processing photographed image of Blackbox in vehicle}

본 발명은 차량용 블랙 박스 영상의 처리에 관한 것으로, 구체적으로 저장하기 전에 번호판 영역의 영상 신호를 따로 분리하여 다양한 특수효과를 적용해 문자열을 추출하고, 가장 높은 확률로 인식된 문자들을 조합해 최종적인 문자열을 완성하여 별도로 저장하는 차량용 블랙 박스 영상의 처리 장치 및 방법에 관한 것이다.

디지털 영상처리 기술은 영상 개선, 영상 복원, 영상 변환, 영상 분석, 영상 인식, 영상 압축으로 분류된다.

그리고 구현 알고리즘은 화소 점 처리, 영역 처리, 기하학적 처리, 프레임 처리로 분류할 수 있다.

디지털 영상을 처리하여 응용하려는 목적에 맞게 고치는 작업을 디지털 영상의 개선(Digital Image Enhancement)이라고 한다. 예를 들어, 생성한 디지털 영상의 밝기가 너무 어둡거나 밝을 때 밝기를 조정하는 작업이 여기에 해당된다.

디지털 영상에서 가장 어두운 값과 가장 밝은 값의 차이를 명암이라고 하는데, 이 명암에 따라 디지털 영상의 특징이 결정된다.

명암 값이 크면 디지털 영상이 좀더 선명하게 보이고, 명암 값이 작으면 디지털 영상의 선명도가 줄어든다. 이렇게 명암을 조정하는 것도 디지털 영상 개선의 한 예라고 할 수 있다.

이 밖에 디지털 영상을 개선하는 기술에는 평활화(Equalization), 첨예화(Sharpening), 잡음제거 등 여러 가지가 있다.

그리고 디지털 영상의 데이터 정보를 다른 형태로 표현하면 더 효율적으로 영상을 처리할 수 있다. 예를 들어, 밝기와 색의 크기 정보를 밝기와 색이 변화하는 정도로 표현하여 더 효율적으로 영상을 처리한다. 이처럼 디지털 영상의 데이터를 다른 형태의 데이터로 변환하는 작업을 디지털 영상 변환(Digital Image Transformation)이라고 한다.

그리고 디지털 영상처리 알고리즘은 디지털 영상처리 기술을 구현하는 구체적인 방법으로, 화소점 처리, 영역 처리, 기하학적 처리, 프레임 처리로 분류한다.

디지털 영상을 구성하는 기본 단위인 화소는 아주 작은 점으로 보여서 화소 점이라고도 한다. 이 화소 점의 원래 값이나 위치를 기준으로 화소 값을 변경하는 알고리즘을 화소 점 처리(Point Processing) 알고리즘이라고 한다.

그리고 화소 점 처리에서는 화소 값이나 위치를 이용해 화소 값 하나를 변경한다. 반면, 영역 처리(Area Processing)에서는 화소의 원래 값과 이웃하는 화소 값을 기준으로 값을 변경한다.

즉, 화소 여러 개가 서로 관계하여 새로운 화소 값 하나를 생성하는 것이다.

디지털 영상의 세세한 부분까지 제거하여 디지털 영상을 흐리게 만드는 블러링(Blurring)과 디지털 영상에서 세세한 부분을 더욱 강조하여 대비 효과를 내는 샤프닝(Sharpening)은 대표적인 영역 처리 방법이다.

이 밖에 디지털 영상 내의 객체 테두리를 검출하는 윤곽선 검출(Edge Detection)과 주변에 있는 화소의 중간값을 찾아서 새로운 화소 값을 만드는 미디언 필터링(Median Filtering)도 있다.

그리고 기하학적 처리(Geometric Processing)는 디지털 영상 화소의 위치나 화소의 모임인 배열을 변화시키는 방법이다.

그리고 프레임 처리(Frame Processing)는 두 개 이상의 서로 다른 디지털 영상으로 각종 연산 등을 조합하여 새로운 화소 값을 생성하는 것을 말한다.

이와 같은 디지털 영상 처리 및 영상 처리 알고리즘을 이용하여 디지털 영상의 합성 기술, 모핑(Morphing), 워핑(Warping) 기술을 적용하여 디지털 영상을 다양하게 활용할 수 있다.

그리고 차량용 블랙 박스 시스템은 기본적으로 카메라 모듈을 구비하고, 차량 또는 설치물의 내외부에 설치되어 전방을 포함한 주변을 촬영한다.

차량용 블랙 박스 시스템은 통신 기술과 결합하여, 오프라인에서 촬영된 주변의 영상 데이터들을 서버로 업로드할 수 있다. 서버는 여러 지역에서 촬영된 영상 데이터들을 수집하고, 수집된 영상 데이터들 중에서 관리자가 필요로 하는 영상 데이터를 관리자에게 제공한다.

차량용 블랙 박스는 차량 충돌 사고의 전후 상황을 기록하여 신속한 사고 후처리 및 과학적인 사고 해석을 위한 것으로서, 최근에 차량 사고의 급격한 증가와 함께 그 중요성이 강력하게 인식되고 있다.

특히, 차량 사고를 효과적으로 방지하기 위해서는, 운전자, 차량 운행 정보, 주위 환경 등의 제반 정보를 종합적으로 분석하여 차량 사고의 발생 상황을 정확하게 파악하는 것이 매우 중요하다.

또한, 차량용 블랙 박스에 기록된 각종 데이터는 사고 원인 분석을 위한 자료로 사용될 뿐 아니라, 각종 민형사상의 분쟁을 해결하는 입증 자료로 활용된다.

차량용 블랙 박스에 구비되는 영상 처리부는 차량 주위의 영상을 촬영하여 영상 데이터를 생성하는데, 차량용 블랙 박스의 영상 처리부로 사용되는 카메라는 광각 렌즈를 사용하기 때문에, 종래의 차량용 블랙 박스는 촬영된 영상 데이터의 일부 영역, 특히, 가까운 거리에 위치하는 물체의 화질이 선명하지 않다는 문제점을 갖고 있다.

예를 들어, 차량용 블랙 박스에서 생성된 영상 데이터 내에서 바로 앞 차량의 번호판이 선명하지 않아 잘 인식할 수 없었다.

종래 기술에서는 촬영된 영상 데이터의 선명도(Sharpness)를 증가시키기 위해 다양한 방법을 이용하여 영상 데이터를 처리하고 있는데, 그 중 영상 데이터 내 물체의 윤곽선(Edge)을 추출하는 방법을 주로 사용하고 있다.

물체의 윤곽선(Edge)이란 영상 처리 분야에서 '영상을 특징짓는 선 요소'를 말하는 것으로서 영상 내 물체와 물체, 또는 물체와 배경의 경계를 의미하며, 이러한 윤곽은 영상의 농담과 색이 급격하게 변화하는 부분이기 때문에 함수의 변화분을 취하는 미분 연산이 윤곽 추출에 이용될 수 있다.

이러한 윤곽 추출에 사용되는 미분 연산에는 1차 미분(Gradient)과 2차 미분(Laplacian)이 있는데, 일반적으로 영상 내 물체의 윤곽을 추출하기 위해 2차 미분인 라플라시안(laplacian) 연산을 주로 사용하고 있다.

그러나, 이러한 라플라시안(laplacian) 연산의 경우 잡음에 민감하여 실제로 적용하는 데에는 문제점이 있다.

특히, 종래 기술의 차량용 블랙 박스 시스템은 촬영 후 저장된 영상을 별도의 장치에서 별도의 소프트웨어로 번호판을 인식하는 것이다.

현재 '번호판 인식 블랙박스'라고 나와있는 제품들은 번호판 인식을 위한 PC용 소프트웨어를 함께 제공하는 것을 의미한다.

이와 같은 종래 기술의 차량용 블랙 박스 자체의 성능을 고려하면 디지탈 영상 처리 기술을 적용한다 하여도 차량용 블랙 박스 자체에서의 정확한 번호판 인식이 어렵다.

즉, 종래 기술의 차량용 블랙박스 촬영 방식은 보통 전원이 켜짐과 동시에 녹화 기능을 수행하는데, 보통 번호판을 판독하는 것은 많은 연산처리가 필요하기에 녹화 기능이 이미 수행되고 있는 차량용 블랙박스에서는 수행하기 어렵다.

대한민국 공개특허 제10-2013-0049400호

본 발명은 이와 같은 종래 기술의 블랙박스 영상 처리의 문제를 해결하기 위한 것으로, 차량용 블랙박스 장치의 카메라에 비춰진 차량들의 번호판을 실시간으로 인식할 수 있도록 한 차량용 블랙 박스 영상의 처리 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 차량용 블랙 박스 영상을 저장하기 전에 번호판 영역의 영상 신호를 따로 분리하여 다양한 특수효과를 적용해 문자열을 추출하고, 가장 높은 확률로 인식된 문자들을 조합해 최종적인 문자열을 완성하여 별도로 저장하는 차량용 블랙 박스 영상의 처리 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 완성된 문자열과 가장 비슷한 문자열을 검출한 영상신호를 함께 저장하고, 블랙박스 기기 자체에서 즉시 확인할 수 있도록 하여 편리성을 높일 수 있도록 한 차량용 블랙 박스 영상의 처리 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 블랙박스 기기의 하드웨어 사양을 높이지 않고 정확한 차량 번호 인식을 가능하도록 하여 기존 기기에 대한 적용성을 높일 수 있도록 한 차량용 블랙 박스 영상의 처리 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

이와 같은 목적을 달성하기 위한 본 발명에 따른 차량용 블랙 박스 영상의 처리 장치는 촬영 영상을 저장하기 이전에 미리 카메라부를 통해 입력되는 영상 신호에서 차량 번호판 영역을 인식하는 차량 번호판 인식부;상기 차량 번호판 인식부를 통하여 인식된 차량 번호판 영역을 별도의 영상 신호로 분리하는 화면 분할 처리부;상기 화면 분할 처리부에서 분리된 번호판 영상신호에서 문자열 인식률을 높이기 위한 특수효과를 적용하는 특수 효과 처리부;특수 효과 처리부에서 순차적으로 준비된 특수효과 적용이 모두 끝나면 문자열들의 문자를 각각 따로 분리시켜 각 위치별로 비교 매칭하고, 가장 높은 인식률을 보인 문자열을 별도로 조합하여 완성된 문자열을 출력하는 문자인식 처리부;를 포함하는 것을 특징으로 한다.

여기서, 상기 문자인식 처리부에서 완성된 문자열이 출력되면, 완성된 문자열과 유사도가 가장 큰 문자열을 검출한 영상신호와 완성된 문자열이 함께 저장부에 저장되는 것을 특징으로 한다.

그리고 상기 특수 효과 처리부에서 적용되는 특수 효과는, 선명도(sharpeness)와, 명도(brightness),대비(contrast)의 빛을 조절(adjustment) 효과와, 흑백(gray) 효과, 이진화(binarization) 및 레이블링(labeling)과 같이 인식률을 높이기 위한 효과, 그리고 이미지 화질을 높이기 위한 리샘플링(lanczos resampling)을 포함하는 것을 특징으로 한다.

그리고 상기 문자인식 처리부는 특수효과가 적용된 영상 신호를 템플릿 매칭이나 OCR과 같은 문자 인식 기술을 사용하여 번호판을 문자열(Text)로 변환하는 것을 특징으로 한다.

다른 목적을 달성하기 위한 본 발명에 따른 차량용 블랙 박스 영상의 처리 방법은 차량용 블랙 박스에서 촬영된 영상을 저장하기 이전에, 미리 카메라부를 통해 입력되는 영상 신호에서 차량 번호판 영역을 인식하는 단계;인식된 차량 번호판 영역을 별도의 영상 신호로 분리하는 단계;분리된 번호판 영상신호에서 문자열 인식률을 높이기 위한 특수효과를 적용하는 단계;순차적으로 준비된 특수효과 적용이 모두 끝나면 문자열들의 문자를 각각 따로 분리시켜 각 위치별로 비교 매칭하고, 가장 높은 인식률을 보인 문자열을 별도로 조합하여 완성된 문자열을 출력하는 단계;를 포함하는 것을 특징으로 한다.

여기서, 완성된 문자열이 출력되면, 완성된 문자열과 유사도가 가장 큰 문자열을 검출한 영상신호와 완성된 문자열이 함께 저장부에 저장되는 것을 특징으로 한다.

그리고 특수효과를 적용하는 단계에서 적용되는 특수 효과는, 선명도(sharpeness)와, 명도(brightness),대비(contrast)의 빛을 조절(adjustment) 효과와, 흑백(gray) 효과, 이진화(binarization) 및 레이블링(labeling)과 같이 인식률을 높이기 위한 효과, 그리고 이미지 화질을 높이기 위한 리샘플링(lanczos resampling)을 포함하는 것을 특징으로 한다.

그리고 가장 높은 인식률을 보인 문자열을 별도로 조합하여 완성된 문자열을 출력하는 단계에서, 순차적으로 준비된 특수효과 적용이 모두 끝나면 특수효과가 적용된 영상 신호를 템플릿 매칭이나 OCR과 같은 문자 인식 기술을 사용하여 번호판을 문자열(Text)로 변환하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 차량용 블랙 박스 영상의 처리 장치 및 방법은 다음과 같은 효과를 갖는다.

첫째, 차량용 블랙박스 장치의 카메라에 비춰진 차량들의 번호판을 실시간으로 인식할 수 있다.

둘째, 차량용 블랙 박스 영상을 저장하기 전에 번호판 영역의 영상 신호를 따로 분리하여 다양한 특수효과를 적용해 문자열을 추출하고, 가장 높은 확률로 인식된 문자들을 조합해 최종적인 문자열을 완성하여 번호 인식의 정확도를 높일 수 있다.

셋째, 완성된 문자열과 가장 비슷한 문자열을 검출한 영상신호를 함께 저장하고, 블랙박스 기기 자체에서 즉시 확인할 수 있도록 하여 편리성을 높인다.

넷째, 블랙박스 기기의 하드웨어 사양을 높이지 않고 정확한 차량 번호 인식을 가능하도록 하여 기존 기기에 대한 적용성을 높일 수 있다.

도 1은 본 발명에 따른 블랙박스 영상의 처리 장치의 구성 블록도
도 2는 본 발명에 따른 블랙박스 영상의 처리 방법을 나타낸 플로우 차트
도 3은 본 발명에 따른 가장 높은 인식률을 보인 문자열을 별도로 조합하여 완성된 문자열을 출력하는 과정을 나타낸 구성도

이하, 본 발명에 따른 차량용 블랙 박스 영상의 처리 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 차량용 블랙 박스 영상의 처리 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.

도 1은 본 발명에 따른 블랙박스 영상의 처리 장치의 구성 블록도이고, 도 2는 본 발명에 따른 블랙박스 영상의 처리 방법을 나타낸 플로우 차트이다.

본 발명은 차량용 블랙 박스의 촬영 영상을 저장하기 전에 번호판 영역의 영상 신호를 따로 분리하여 다양한 특수효과를 적용해 문자열을 추출하고, 가장 높은 확률로 인식된 문자들을 조합해 최종적인 문자열을 완성하여 별도로 저장할 수 있도록 한 것이다.

이와 같은 본 발명에 따른 블랙박스 영상의 처리 장치는 도 1에서와 같이, 카메라부(10), 블랙박스 영상 처리모듈(20), 저장부(30)를 포함한다.

블랙박스 영상 처리모듈(20)은 차량용 블랙 박스의 촬영 영상을 저장하기 전에 번호판 영역의 영상 신호를 따로 분리하여 차량 번호를 인식하기 위하여, 제어부(21),차량 번호판 인식부(22), 화면 분할 처리부(23) 및 특수효과 처리부(24), 문자 인식 처리부(25)를 포함한다.

구체적으로, 촬영 영상을 저장하기 이전에 미리 카메라부(10)를 통해 입력되는 영상 신호에서 차량 번호판 영역을 별도의 영상 신호로 분리하기 위하여 차량 번호판을 인식하는 차량 번호판 인식부(22)와, 차량 번호판 인식부(22)를 통하여 인식된 차량 번호판 영역을 별도의 영상 신호로 분리하는 화면 분할 처리부(23)와, 화면 분할 처리부(23)에서 분리된 번호판 영상신호에서 문자열 인식률을 높이기 위한 특수효과를 적용하는 특수 효과 처리부(24)와, 특수 효과 처리부(24)에서 순차적으로 준비된 특수효과 적용이 모두 끝나면 문자열들의 문자를 각각 따로 분리시켜 각 위치별로 비교 매칭하고, 가장 높은 인식률을 보인 문자열을 별도로 조합하여 완성된 문자열을 출력하는 문자인식 처리부(24)를 포함한다.

저장부(30)에는 문자인식 처리부(24)에서 완성된 문자열과 유사도가 가장 큰 문자열을 검출한 영상신호가 함께 저장된다.

그리고 특수 효과 처리부(24)에서 적용되는 특수 효과로는 선명도(sharpeness)외 명도(brightness), 대비(contrast) 등 빛을 조절(adjustment) 효과와 흑백(gray) 효과, 이진화(binarization) 및 레이블링(labeling)과 같이 인식률을 높이기 위한 효과, 그리고 이미지 화질을 높이기 위한 리샘플링(lanczos resampling)등의 특수효과와 같이 빛과 선명함, 화질 보정 등의 효과를 포함한다.

그리고 문자인식 처리부(24)는 특수효과가 적용된 영상 신호를 템플릿 매칭이나 OCR과 같은 문자 인식 기술을 사용하여 번호판을 문자열(Text)로 변환한다.

그리고 카메라부(10)는 피사체를 촬영하기 위한 것으로, 렌즈 등을 포함하여 구성될 수 있다. 차량용 블랙박스의 필수 장비이므로 상세한 설명은 생략한다.

카메라부(10)에 의해 촬영된 영상은 블랙박스 영상 처리모듈(20)에 의해 저장하기 전에 번호판 영역의 영상 신호를 따로 분리하여 차량 번호를 인식하기 위한 특수 효과 적용 및 템플릿 매칭이나 OCR과 같은 문자 인식 기술을 사용하여 번호판을 문자열(Text)로 변환을 거쳐 인코딩되어 저장부(30)에 저장된다.

일반적으로 차량용 블랙박스는 촬영된 영상을 저장하는 기능을 제공하고, 통상 촬영된 영상은 JPG, MP4 등의 포맷을 갖는 영상 파일로 저장된다.

이와 같이 본 발명의 실시 예에 따른 블랙박스 영상의 처리 장치는 촬영 후 저장된 영상을 별도의 장치에서 별도의 소프트웨어로 번호판을 인식하는 것이 아니라, 저장 이전에 미리 카메라부(10)를 통해 입력되는 영상 신호에서 차량 번호판 영역을 별도의 영상 신호로 분리하여 번호판 인식률을 높일 수 있는 각종 특수효과를 적용한다.

이때 특수효과를 적용할 때마다 널리 사용되는 기술인 OCR 을 이용해 문자열을 검출하고, 준비된 특수효과 적용이 모두 끝나면 문자열 들의 문자를 각각 따로 분리시켜 각 위치별로 비교 매칭하고, 가장 높은 인식률을 보인 문자열을 별로도 조합한다.

또한, 이렇게 완성된 문자열과 가장 비슷한 문자열을 검출한 영상신호를 함께 저장한다.

즉, 저장된 영상으로 번호판을 인식하여 문자열을 추출하는 것이 아니라 저장하기 전에 번호판 영역의 영상 신호를 따로 분리하여 문자열 인식을 높일 수 있는 다양한 특수효과를 적용해 문자열을 추출하고, 가장 높은 확률로 인식된 문자들을 조합해 최종적인 문자열을 완성하여 별도로 저장하는 것이다.

이와 같이 저장된 문자열과 번호판 영상 신호는 블랙박스 기기 자체에서 즉시 확인해 볼 수도 있다.

이와 같은 본 발명의 실시 예에 따른 차량용 블랙박스 장치는 저장하기 전에 번호판을 문자열로 인식하는 동작을 수행하도록 한 것으로, 구체적인 처리 과정은 다음과 같다.

도 2에서와 같이, 카메라(10)를 통해 들어오는 영상 신호(S201)를 템플릿 매칭으로 비교하여 차량이 카메라에 비춰지고 있는지 판단한다.(S202)

차량을 비추는 영상 신호가 아니라면 미리 지정된 시간만큼 대기했다가 다시 차량인식을 시도하도록 한다.(S203)

차량을 비추는 영상 신호라고 판단되면, 번호판 영역을 알아내어 별도의 영상신호로 분리한다.

번호판은 이미 가로와 세로의 비율이 정해져있는 직사각형 모양의 단순한 형태이며 7자리의 문자가 들어있다. 이러한 방식으로 번호판 영역을 인식하는 것은 통상적으로 사용되는 번호판 인식 기술 중 번호판 위치를 찾아내는 기술을 사용한다.(S204)

그리고 분리된 번호판 영상신호에 문자열을 인식율을 높이기 위한 특수효과를 적용한다.(S205)

이때 적용할 특수 효과로는 선명도(sharpeness)외 명도(brightness), 대비(contrast) 등 빛을 조절(adjustment) 효과와 흑백(gray) 효과, 이진화(binarization) 및 레이블링(labeling)과 같이 인식률을 높이기 위한 효과, 그리고 이미지 화질을 높이기 위한 리샘플링(lanczos resampling)등의 특수효과와 같이 빛과 선명함, 화질 보정 등의 효과를 말한다.

이와 같은 특수 효과의 적용은 상기의 예로 제한되지 않고 다른 기술들이 적용될 수 있음은 당연하다.

이어, 특수효과가 적용된 영상 신호를 템플릿 매칭이나 OCR과 같이 종래의 문자 인식 기술을 사용하여 번호판을 문자열(Text)로 변환한다.(S206)

그리고 문자열 검출에 사용된 영상 신호와 검출된 문자열을 저장한다.(S207)

차량용 블랙박스의 특성상 다양한 시간대, 다양한 지역, 다양한 날씨 환경으로 촬영될 것을 감안, 1번의 인식 시도만으로 끝내지 않고 지정된 횟수만큼(S208) 또 다른 특수효과를 적용하여(S209) 다시 문자열을 추출하고(S206), 영상신호와 함께 저장한다(S207).

이렇게 저장된 문자열들에서 각각의 문자를 분리시키고 각 위치에 해당하는 문자들끼리 서로 비교한다.

가장 빈도수가 높은 문자들 묶어 따로 완성된 문자열을 만든다.(S210)

이미 저장된 영상신호 중 완성된 문자열과 가장 비슷한 문자열을 추출했던 영상을 함께 별도의 위치에 저장한다.(S211)

이와 같은 본 발명에 따른 차량용 블랙 박스 영상의 처리 장치 및 방법은 퍼포먼스가 PC에 비해 턱없이 낮은 차량용 블랙박스에서 카메라에 차량이 비춰질 때만 번호판을 인식하기 위해 인식률을 높일 수 있는 특수효과를 적용하는 것에 의해 촬영 중에도 번호판을 인식 가능하도록 한 것이다.

본 발명에 따른 차량용 블랙 박스 영상의 처리 장치 및 방법은 차량용 블랙박스 혹은 스마트폰APP으로서 실시간으로 블랙박스 기능과 번호판 인식 기능이 동작할 수 있도록 연산을 최소화한 것이다.

이를 위하여, 카메라에 차량이 비춰질 때만 번호판을 인식을 시작하고, 특수효과 적용이나 번호판 문자 인식은 영상 사이즈가 작을수록 처리가 빠르므로 번호판 영역을 별도의 영상 신호로 분리한다.

그리고 다양한 주행 여건에서도 인식률을 높이기 위하여 특수효과를 순차적으로 다양하게 적용하고, 적용된 영상 신호에서 번호판을 템플릿 매칭이나 OCR과 같이 기술을 이용해 문자열로 추출한다.

그리고 추출된 문자열들의 각 문자를 위치별로 서로 비교한다.

즉, 번호판이 12가 3456이라면 이미 추출된 문자열들의 1 위치에 나오는 문자들끼리 비교하여 가장 빈도가 높은 문자를 정하여 추출한다.

이 방식으로 7자리 문자가 모두 정해지면 하나의 완성된 문자열로 간주하고 그 문자열과 가장 비슷한 문자열을 추출한 번호판 영상신호를 함께 별도의 위치에 저장한다.

이와 같은 문자열 추출에 관하여 더 구체적으로 설명하면 다음과 같다.

도 3은 본 발명에 따른 가장 높은 인식률을 보인 문자열을 별도로 조합하여 완성된 문자열을 출력하는 과정을 나타낸 구성도이다.

예를 들어, 량은 주행 중에 움직임이 많고 흐리거나 비가 오는 날씨, 야간 주행 시 떨어지는 가시성, 주간 주행 중 터널 진입 등 번호판을 한 번에 인식하기 힘든 변수가 많다.

따라서, 카메라에 비춰지는 차량에 변동이 없다면 일정한 간격을 두고 도 3의 (A)항과 같이 번호판 부분만 영상을 추출한다.

이어, 추출된 영상에서 문자열을 검출하기 위해 템플릿 매칭이나 OCR과 같은 기술을 사용하여 문자로 변환한다.

도 3의 오른쪽 7자리 숫자들이 왼쪽의 영상에서 추출된 문자열이다.

이와 같이 추출된 영상에서 문자를 각 자리별로 비교하여 가장 높은 빈도로 나온 문자를 선별하고 각 위치에 맞게 배치하여 최종적으로 인식이 완료된 문자열을 완성한다.

도 3의 (B)가 완성되어 최종적으로 검출된 차량 번호판 문자열이다.

이와 같은 본 발명에 따른 차량용 블랙 박스 영상의 처리 장치 및 방법은 차량용 블랙 박스의 촬영 영상을 저장하기 전에 번호판 영역의 영상 신호를 따로 분리하여 다양한 특수효과를 적용해 문자열을 추출하고, 가장 높은 확률로 인식된 문자들을 조합해 최종적인 문자열을 완성하여 별도로 저장할 수 있도록 하고, 차량용 블랙박스 장치의 카메라에 비춰진 차량들의 번호판을 실시간으로 인식할 수 있도록 한 것이다.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10. 카메라부 20. 블랙박스 영상 처리 모듈
30. 저장부

Claims (8)

1. 촬영 영상을 저장하기 이전에 미리 카메라부를 통해 입력되는 영상 신호에서 차량 번호판 영역을 인식하는 차량 번호판 인식부;
   상기 차량 번호판 인식부를 통하여 인식된 차량 번호판 영역을 별도의 영상 신호로 분리하는 화면 분할 처리부;
   상기 화면 분할 처리부에서 분리된 번호판 영상신호에서 문자열 인식률을 높이기 위하여, 번호판 영상신호에 대하여 복수의 특수효과를 각각 적용하여 각각의 특수효과가 적용된 복수의 번호판 영상을 생성하는 특수 효과 처리부;
   특수 효과 처리부에서 순차적으로 준비된 특수효과 적용을 하여 생성된 복수의 번호판 영상에서 각각의 문자열을 검출하고, 검출된 문자열들의 문자를 각각 따로 분리시켜 각 위치별로 비교 매칭하여 각 위치에서 가장 빈도수가 높은 문자들을 조합하여 완성된 문자열을 출력하는 문자인식 처리부;를 포함하고,
   상기 문자인식 처리부에서 완성된 문자열이 출력되면 완성된 문자열과 유사도가 가장 큰 문자열이 검출된 영상신호를 완성된 문자열과 함께 저장부에 저장하는 것을 특징으로 하는 차량용 블랙 박스 영상의 처리 장치.
2. 삭제
3. 제 1 항에 있어서, 상기 특수 효과 처리부에서 적용되는 특수 효과는,
   선명도(sharpeness)와, 명도(brightness),대비(contrast)의 빛을 조절(adjustment) 효과와, 흑백(gray) 효과, 이진화(binarization) 및 레이블링(labeling)과 같이 인식률을 높이기 위한 효과, 그리고 이미지 화질을 높이기 위한 리샘플링(lanczos resampling)을 포함하는 것을 특징으로 하는 차량용 블랙 박스 영상의 처리 장치.
4. 제 1 항에 있어서, 상기 문자인식 처리부는 특수효과가 적용된 영상 신호를 템플릿 매칭이나 OCR과 같은 문자 인식 기술을 사용하여 번호판을 문자열(Text)로 변환하는 것을 특징으로 하는 차량용 블랙 박스 영상의 처리 장치.
5. 차량용 블랙 박스에서 촬영된 영상을 저장하기 이전에,
   미리 카메라부를 통해 입력되는 영상 신호에서 차량 번호판 영역을 인식하는 단계;
   인식된 차량 번호판 영역을 별도의 영상 신호로 분리하는 단계;
   분리된 번호판 영상신호에서 문자열 인식률을 높이기 위하여, 번호판 영상신호에 대하여 복수의 특수효과를 각각 적용하여 각각의 특수효과가 적용된 복수의 번호판 영상을 생성하는 단계;
   순차적으로 준비된 특수효과 적용을 하여 생성된 복수의 번호판 영상에서 각각의 문자열을 검출하고, 검출된 문자열들의 문자를 각각 따로 분리시켜 각 위치별로 비교 매칭하여 각 위치에서 가장 빈도수가 높은 문자들을 조합하여 완성된 문자열을 출력하는 단계;를 포함하고,
   완성된 문자열이 출력되면 완성된 문자열과 유사도가 가장 큰 문자열이 검출된 영상신호를 완성된 문자열과 함께 저장하는 것을 특징으로 하는 차량용 블랙 박스 영상의 처리 방법.
6. 삭제
7. 제 5 항에 있어서, 특수효과를 적용하는 단계에서 적용되는 특수 효과는,
   선명도(sharpeness)와, 명도(brightness),대비(contrast)의 빛을 조절(adjustment) 효과와, 흑백(gray) 효과, 이진화(binarization) 및 레이블링(labeling)과 같이 인식률을 높이기 위한 효과, 그리고 이미지 화질을 높이기 위한 리샘플링(lanczos resampling)을 포함하는 것을 특징으로 하는 차량용 블랙 박스 영상의 처리 방법.
8. 제 5 항에 있어서, 가장 높은 인식률을 보인 문자열을 별도로 조합하여 완성된 문자열을 출력하는 단계에서,
   순차적으로 준비된 특수효과 적용이 모두 끝나면 특수효과가 적용된 영상 신호를 템플릿 매칭이나 OCR과 같은 문자 인식 기술을 사용하여 번호판을 문자열(Text)로 변환하는 것을 특징으로 하는 차량용 블랙 박스 영상의 처리 방법.
   

Images