KR20080049472A - 차량 탑재형 촬영장치 및 인공신경회로망을 이용한정보검출시스템 - Google Patents

Abstract

본 발명은 종래기술의 방범용 검색장치에서 고정카메라에 의한 영상촬영으로 검출영역이 제한되고, 환경적 요인에 제약을 받아 인식률이 좋지 않고, 정확하고 효율적인 정보를 검출할 수 없는 문제점을 해결하기 위한 것으로, 차량에 탑재되는 촬영장치; 상기 촬영장치에 연결된 컴퓨터; 및 상기 컴퓨터에 내장되는 영상정보처리모듈을 포함하고, 상기 영상정보처리모듈은 인식대상의 중심위치를 검출하는 위치검출부; 검출된 영상의 문자의 추출 및 인식하는 문자인식부; 및 인식 문자열의 행위치 왜곡을 보정하는 문자추출 보정처리부를 포함하는 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 정보검출시스템에 관한 것이다.

따라서, 본 발명에 의하면, 차량의 정차 및 주행중의 동영상에서 영상의 흔들림으로 인한 오인식 또는 미인식을 방지하여 인식률을 월등히 향상시키고, 인공신경회로망을 이용하여 문자를 인식처리하고, 보정함으로써 인식률과 정확성을 월등히 향상시키고, 영상정보만으로 대상의 판별이 가능하여 시스템 구축에 소요되는 장비 및 시공비용이 절감되는 차량 탑재형 촬영장치를 이용한 차량 자동 검색장치를 제공하는 효과를 갖는다.

정보검출시스템, 인공신경회로망

Description

차량 탑재형 촬영장치 및 인공신경회로망을 이용한 정보검출시스템{Information detecting system using photographing apparatus load in vehicle and artificial neural network}

도1은 본 발명에 따른 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템의 기술구현 개략적으로 나타낸 사용상태도.

도2은 본 발명에 따른 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템의 영상정보처리모듈을 개략적으로 나타낸 구성도.

도3는 본 발명에 따른 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템의 영상정보처리과정을 개략적으로 나타낸 순서도.

도4는 본 발명에 따른 인공신경회로망을 개략적으로 나타낸 구성도.

* 도면의 주요부분에 대한 설명

100 : 검출용 차량 110 : 촬영장치

120 : 컴퓨터 200 : 검출대상 차량

1000: 원화장층 2000 : 중간층

3000: 투영영상층

본 발명은 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템에 관한 것이다. 보다 구체적으로 본 발명은 차량의 정차 및 주행중의 차량을 차량에 탑재된 고정 카메라로 촬영하고, 촬영한 영상을 인공신경회로망을 이용하여 인식함에 따라, 인식률을 월등히 향상시킬 수 있는 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템에 관한 것이다.

일반적으로 차량 번호판의 고유정보를 이용한 정보검출은 교통감시, 차량 검출, 주차장의 입출차 등에 여러가지 방법이 제안되고 있다. 그러나 상기의 방법들은 대부분은 검출대상물이 정지하고 있을 경우, 촬영하여 차량의 정보를 검출하는 방식으로 구현되고 있다. 또한 이를 구현하기 위해 정보검출센서를 이용하여 기본영상의 검출을 통한 정보검출이 이루어지고 있다. 그리고, 영상검출용 카메라는 고정된 위치에 설치되고, 일정구간 또는 지정된 지점을 통과하는 대상에 한하여 정보검출이 가능하다.

한편, 검출대상이 도난차량, 체납 차량 등의 불법행위차량인 경우, 보다 정확한 번호판의 정보검출이 요구되나, 대상차량이 주행중인 경우, 차체색의 환경변화 또는 카메라의 영상 흔들림으로 인해 영상검출 및 차량 번호판문자의 추출 및 인식률이 안정되지 못하고 있다.

이러한 문제점을 해결하기 위해 번호판의 형상이나 숫자 위치정보를 이용한 방법들이 연구되고 있으나, 차량의 번호판 인식시스템에서 인식률을 결정하는 가장 중요한 요소 중 하나는 인식하기 좋은 양질의 영상을 획득하는 것이며 이러한 영상을 얻기 위해서 종래에는 고성능의 카메라를 사용하거나 역광이나 불빛에 의한 반사광을 피하기 위해 카메라 촬영 각도를 조절하는 방법 등을 사용하였으나 주행 중인 입력 영상은 촬영 위치 및 조도 등의 다양한 제약사항이 있어 번호판 영상을 정확히 추출하기 어려운 문제점이 있다.

결국, 종래기술에 따른 검색장치는 차량 번호판을 이용한 차량의 고유정보를 통해 교통감시, 차량검출, 주차장 입출등을 검출하고 있으나, 이와 같이 구현될 경우, 고정카메라에 의한 영상촬영으로 검출영역이 제한되고, 환경적 요인에 제약을 받아 인식률이 좋지 않고, 정확하고 효율적인 정보를 검출할 수 없는 문제점을 지니고 있다.

따라서 본 발명은 상기의 제반 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 이동물체를 차량에 탑재된 촬영장치로 촬영하고, 촬영한 영상을 인공신경회로망을 이용하여 인식함에 따라, 인식률을 월등히 향상시킬 수 있는 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템를 제공하기 위한 것이다.

본 발명의 다른 목적은 카메라 이외의 감지센서가 필요없이, 영상정보만으로 대상의 유무를 판별하여 시스템 구축에 소요되는 장비 및 공사비용을 대폭 절감할 수 있는 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템를 제공하기 위한 것이다.

본 발명의 또 다른 목적은 정차 또는 주행 중의 차량에 대하여 차량에 탑재된 카메라로 촬영하고, 촬영된 영상에서 번호판을 인공 신경회로망을 이용하여 인식하고, 번호판의 전체 프레임에서 추출된 문자열과 현재의 프레임의 문자열을 DP 매칭에 의해 대응점을 산출하고, 추출 위치의 어긋남을 보정하여 시계열 데이터 행 위치에 출현빈도가 높은 문자를 최종 인식하여 문자열 인식 정확성, 인식률이 향상된 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템를 제공하기 위한 것이다.

상기와 같은 목적을 달성하기 위하여, 본 발명은 카메라를 통해 실시간 검출대상의 문자열을 인식하고, 인식대상의 중심위치를 검출하는 위치검출부, 검출된 영상의 문자의 추출 및 인식하는 문자인식부, 인식 문자열의 행위치 왜곡을 보정 하는 문자추출 보정처리부를 포함하는 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템를 제공한다.

또한, 본 발명은 번호판의 전체 프레임에서 추출된 문자열과 현재의 프레임의 문자열을 DP 매칭에 의해 대응점을 구하고 추출 위치의 어긋남을 보정하고 시계열 데이터 행 위치에 출현빈도가 높은 문자를 최종 인식 결과로 하는 것으로 문자 열 인식 정확성, 인식률 향상을 향상시킨 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템를 제공한다.

그리고, 본 발명은 차량 수요가 증가함에 따라 차량을 이용한 범죄가 증가되고, 도로를 주행하는 불특정 다수의 차량의 번호판을 자동인식 또는 정보검출을 통한 도난차량, 수배차량, 체납차량 등의 불법행위 관련 차량을 색출하기 위한 촬영 환경에 많은 영향을 받지 않는 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템를 제공한다.

이하, 본 발명에 따른 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템의 바람직한 구체예에 대한 구성, 기능 및 효과에 대하여 상세하게 설명한다.

도1은 본 발명에 따른 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템의 기술구현 개략적으로 나타낸 사용상태도이다. 도면에 나타낸 바와 같이, 정보를 검출하기 위한 감시 또는 정보검출차량(100)에는 촬영장치(110)와 컴퓨터(120)가 장착되고, 대상차량(200)을 촬영한다. 상기 촬영장치(110)는 동작범위가 넓고 휘도변화에 대한 대응성이 좋은 CCD카메라가 이용되는 것이 바람직하다. 그리고, 상기 촬영장치(110)를 통해 입력된 영상은 상기 컴퓨터(120)를 통해 실시간 분석 및 문자열 인식처리된다.

도2은 본 발명에 따른 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검출시스템의 영상정보처리모듈을 개략적으로 나타낸 구성도이고, 도3는 본 발명에 따른 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 방법용 정보검 출시스템의 영상정보처리과정을 개략적으로 나타낸 순서도이다.

본 발명의 일실시예로서, 차량의 번호판의 영상정보처리모듈은 도면에 나타낸 바와 같이, 영상입력부, 위치검출부, 문자인식부, 보정처리부와 정보저장 및 출력부를 포함한다. 상기 영상입력부는 촬영장치(110) 등을 통해 입력되는 영상자료를 입력하는 것이고, 상기 위치검출부는 인공 신경회로망을 이용하여 검출대상인 차량의 번호판에 대한 중심위치를 검출한다. 그리고 문자인식부는 위치검출된 영상에서 한글과 문자를 추출하여 인식하고, 보정처리부는 문자추출에 따라 인식된 문자열의 행 위치 왜곡 및 불명료사항을 보정한다.

이와 같이 이루어지고, 상기 영상정보처리모듈을 통한 차량 번호판 문자인식 및 검출에 대하여 자세히 기술한다. 상기 위치검출부의 차량번호판 위치검출은 도4에 나타낸 인공신경회로망을 이용한다. 상기 인공신경회로망은 3층형으로서, 원화상층(1000), 중간층(2000) 및 투영영상층(3000)으로 형성된다. 그리고 상기 원화상층(1000)과 중간층(2000) 사이에 입력층(1500)이 형성되고, 상기 중간층(2000)과 투영영상층(3000) 사이에 출력층(2500)이 형성된다.

보다 구체적으로, 상기 원화상층(1000)은 전처리로서 에지추출을 한 영상에서 192×96 픽셀의 검색창으로 부분영상을 추출한다. 다음으로, 신경회로망의 입력을 위해 상기 부분영상을 32×16픽셀로 압축된 입력층(1500)을 형성한다. 그리고, 중간층(2000)을 통해 신경회로망에서 번호판의 중심좌표를 인식하고, 16×18픽셀의 출력층(2500)을 형성한다. 또한 출력층에서 번호판 형상과 유사한 장치 등에는 반응하지 않도록 제어한다. 다음으로 위치검출 인공 신경회로망에 의해 얻어진 중심 을 원영상 크기로 투영 가산하여 부분 영상 추출 위치를 결정한다. 투영층(3000)에 투영시에 가우스 필터를 사용하여 근사적이고 연속적인 분포를 만들어 위치검출의 정확도를 높인다. 또한 전 프레임에서 문자열이 검출되고 있는 경우는 그 위치정보를 기초로 다음 프레임의 탐색 범위를 한정하여 추적을 하는 것으로 인식속도를 향상시킨다. 이와 같은 방법으로 위치검출부를 통해 번호판의 중심위치를 검출한다.

그리고, 문자인식부는 인공신경회로망을 이용하여 추출된 부분영상에서 한글, 숫자 등의 문자를 인식한다. 한편, 탑재된 카메라에서 촬영한 번호판 크기는 시간경과에 따른 차간거리에 의해 변화하고, 차체에 번호판 장치대를 사용하여 설치한 경우는 문자열 상하단과 장치대의 분리시 에러가 발생된다. 따라서 분리전에 문자열의 수직 폭을 미리 구하여 둔다. 수직 폭의 산출에서는 수직 방향 에지 정보를 이용한다. 그리고, 수직 에지 영상을 수평 방향으로 투영하여 히스토그램을 작성하고, 영상 중심에서 상하로 탐색을 하여 문자열의 상 하단을 결정한다. 이와같은 방법으로 문자열 상 하단에 접촉하고 있는 장치대가 있는 경우와 없는 경우를 찾아서 선택적으로 제거할 수 있고, 이에 따른 분리 에러를 방지할 수 있다.

또한, 문자와 배경을 적정하게 분리하기 위해서 판별 분석법에 의한 2치화를 한다. 그리고 상기 영상에 대하여 미리 얻은 문자열 상/하단 정보를 이용하여 노이즈 제거를 한다. 노이즈를 제거한 후, 문자의 크기를 12×24 픽셀로 정규화하고 3층형 한글, 숫자 인식 신경회로망에 입력한다. 식별하는 한글, 숫자 중에서 가장 출력치가 높은 것이 현 프레임에서의 인식결과로 나타낸다. 또한 이와 같은 방식으로 문자열이 추출되지 않는 경우, 미검출 프레임으로 결정한다.

보정처리부는 동영상에 있어서의 프레임 각각의 번호판에 대한 문자추출의 정확도가 환경의 변화나 차체색 등에 영향을 받기 때문에 안정되지 못한 점을 보완하기 위한 것이다. 또한 차량주행 중의 영상떨림에 의해 빈번한 추출에러가 발생하여 행수가 다른 경우가 빈번히 발생하고, 범퍼와 번호판 경계를 추출하여 "1"로 판정해 버리는 현상이 전형적인 예이다.

상기의 사항을 해결하기 위해 이전 프레임의 인식결과를 이용하여 현 프레임의 문자 추출 결과를 보정하는 방법을 적용한다. 보다 구체적으로, 인식대상의 문자열에 대한 행수를 모른다고 가정하고, 이전 프레임의 추출된 문자열과 현 프레임의 문자열의 대응점을 구하여 추출 위치의 차이를 흡수하는 것으로 에러를 보정한다. 그리고, 문자열의 대응점 산출에는 DP매칭을 이용한다. 이를 위해 하기의 수학식을 이용하여 이전 프레임과 현재 프레임과의 인식 문자열간의 최단 거리를 산출하고, 그 위치를 현 프레임의 보정결과로 한다. 또한 위치 보정처리 후의 문자열을 시계열 데이터로 하여 문자열 스택에 저장한다.

수학식

(i는 프레임 위치, j는 프레임 내 인식문자의 행 위치, g(i,j)는 인식 문자열의 시작에서 문자(i,j)까지의 누적거리를 나타냄)

상기 누적거리인 g(i,j)가 가장 짧게 되는 위치를 현 프레임의 보정위치로 한다.

이와 같은 방법으로 보정처리를 한 후, 정보저장 및 출력부를 통해 인식된 차량 번호판의 문자 및 숫자를 저장하고, 출력부를 통해 출력한다.

본 발명에 따른 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 정보검출시스템는 차량의 번호판 등의 식별뿐만 아니라, 이동하는 검출대상 즉, 사람, 기타 운송수단등에 다양하게 적용될 수 있다.

또한, 본 발명에 따른 차량 탑재형 촬영장치 및 인공신경회로망을 이용한 정보검출시스템는 무선통신장치를 더 구비하고, 검출자료된 자료를 지구대, 파출소 등의 관공기관으로 송출하고, 실시간 정보교환을 통해 불법행위 차량 및 불법행위자의 검거에 이용될 수 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의하여 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 있어서 명백할 것이다.

전술한 바와 같이, 본 발명에 의하면 차량의 정차 및 주행중의 동영상에서 영상의 흔들림으로 인한 오인식 또는 미인식을 방지하여 인식률을 월등히 향상시키고, 인공신경회로망을 이용하여 문자를 인식처리하고, 보정함으로써 인식률과 정확성을 월등히 향상시키고, 영상정보만으로 대상의 판별이 가능하여 시스템 구축에 소요되는 장비 및 시공비용이 절감되는 차량 탑재형 촬영장치를 이용한 차량 자동 검색장치를 제공하는 효과를 갖는다.

Claims (6)

1. 차량에 탑재되는 촬영장치;

   상기 촬영장치에 연결된 컴퓨터; 및

   상기 컴퓨터에 내장되는 영상정보처리모듈을 포함하는

   차량 탑재형 촬영장치 및 인공신경회로망을 이용한 정보검출시스템.
2. 제1항에 있어서,

   상기 영상정보처리모듈은

   인식대상의 중심위치를 검출하는 위치검출부;

   검출된 영상의 문자의 추출 및 인식하는 문자인식부; 및

   인식 문자열의 행위치 왜곡을 보정 하는 문자추출 보정처리부를 포함하는

   차량 탑재형 촬영장치 및 인공신경회로망을 이용한 정보검출시스템.
3. 제1항에 있어서,

   상기 위치검출부는

   중심위치를 결정하기 위한 인공신경회로망을 포함하는

   차량 탑재형 촬영장치 및 인공신경회로망을 이용한 정보검출시스템.
4. 제3항에 있어서,

   상기 인공신경회로망은

   전처리로서 에지추출을 한 영상에서 부분영상이 추출된 원화상층;

   신경회로망의 입력을 위해 상기 원화상층의 부분영상이 압축된 입력층과,

   상기 입력층의 중심좌표가 인식되는 중간층;

   중심을 원영상 크기로 투영가산하여 부분영상의 추출위치가 결정되는 출력층; 및

   상기 출력층의 영상이 투영되는 투영영상층을 포함하는

   차량 탑재형 촬영장치 및 인공신경회로망을 이용한 정보검출시스템.
5. 제4항에 있어서,

   상기 원화상층의 부분영상은 192×96 픽셀로 형성되고,

   상기 입력층은 32×16픽셀로 형성되고

   상기 출력층은 16×18픽셀로 형성되는

   차량 탑재형 촬영장치 및 인공신경회로망을 이용한 정보검출시스템.
6. 제1항에 있어서,

   상기 촬영장치는 CCD카메라인

   차량 탑재형 촬영장치 및 인공신경회로망을 이용한 정보검출시스템.

Images