KR101677972B1 - 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법 - Google Patents
촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법 Download PDFInfo
- Publication number
- KR101677972B1 KR101677972B1 KR1020160094554A KR20160094554A KR101677972B1 KR 101677972 B1 KR101677972 B1 KR 101677972B1 KR 1020160094554 A KR1020160094554 A KR 1020160094554A KR 20160094554 A KR20160094554 A KR 20160094554A KR 101677972 B1 KR101677972 B1 KR 101677972B1
- Authority
- KR
- South Korea
- Prior art keywords
- lane
- area
- license plate
- unit
- module
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G06K9/3258—
-
- G06K9/38—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G06K2209/15—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Abstract
본 발명에서는 종래 복수 차선 촬영장치의 경우에, 차량이 감지선을 통과하는 순간에 영상이 촬영되기 때문에, 한 대의 카메라로 동시에 여러 차선이나, 차선에 위치한 복수의 차량을 인식하는 것이 어려운 문제점과, 고해상도 카메라를 이용하여 다차선을 촬영할 수 있는 영상이 캡쳐되더라도, 차량 번호판의 해상도가 낮아져서 인식률이 현저하게 떨어지고, 다차선에 위치한 복수의 차량을 촬영해야 하므로, 시스템과부하가 걸려 오작동이 많이 발생되는 문제점을 개선하고자, 팬틸트하우징부(100), 촬영영역줌카메라모듈(200), 이미지센서모듈(300), 라이다(Lidar)센서모듈(400), 다차선 촬영영역 생성모듈(500), 스마트제어부(600)가 구성됨으로서, 하나의 촬영영역줌카메라모듈을 통해 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역존을 줌조절하면서, 줌조절된 다차선 촬영영역존에 위치한 복수개의 이동객체를 촬영시킬 수 있어, 다차선에 위치한 차량의 번호판을 동시에 촬영할 수 있고, 이로 인해, 카메라 수 대비 정보 수집률을 90% 이상 높이면서도 설치비용과 유지보수비용을 기존에 비해 70% 이하로 낮출 수 있고, 다차선 영상촬영데이터에 대하여 딥러닝 방식과 패턴정합, 영상처리기술을 결합하여 번호판을 추출하고 인식시킬 수 있어, 기존보다 번호판 영역검출과 번호판 인식성능을 80% 향상시킬 수 있으며, 하나의 카메라를 통해 구간 과속 단속기능, 교통 소통 정보 수집기능, 범죄 차량 단속기능에 맞게 호환되어 폭넓게 사용할 수 있어 침체된 국내외 촬영카메라 시장을 활성화시킬 수 있는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법을 제공하는데 그 목적이 있다.
Description
본 발명은 구간 과속 단속, 교통 소통 정보 수집, 범죄 차량 단속이 필요한 곳에 설치되어, 하나의 촬영영역줌카메라모듈을 가지고, 소형 다차선 촬영영역존, 중형 다차선 촬영영역존, 대형 다차선 촬영영역존을 통해 초점거리를 조절하여 선명한 다차선 영상촬영데이터를 획득한 후, 다차선 영상촬영데이터를 기준으로 차량번호를 추출하고 번호인식시킬 수 있는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법에 관한 것이다.
현재, 복수차선을 주행하는 차량들의 번호판을 인식하기 위해서는 각 차선마다 개별적으로 차량을 검출하고, 검출된 차량의 번호판을 인식하는 차량 번호판 인식장치가 설치된다.
종래의 복수차선의 차량을 검출하기 위한 장치로서, 복수차선촬영장치는 각 차선에 맞게 일대일로 개별적으로 설치된다.
하지만, 각 차선에 맞게 복수차선촬영장치가 설치되면, 설치비용과 유지관리 비용이 많이 소요되는 문제점이 있었다.
이러한 문제점을 해결하기 위해, 국내등록특허공보 제10-0768135호에서 복수 차선 촬영장치가 제시된 바 있으나, 이는 차량이 감지선을 통과하는 순간에 영상이 촬영되기 때문에, 한 대의 카메라로 동시에 여러 차선이나, 차선에 위치한 복수의 차량을 인식하는 것이 어려운 문제점이 있었다.
또한, 고해상도 카메라를 이용하여 다차선을 촬영할 수 있는 영상에서는 번호판의 해상도가 낮아져서 인식률이 현저하게 떨어지고, 다차선에 위치한 복수의 차량을 촬영해야 하므로, 시스템과부하가 걸려 오작동이 많이 발생되는 문제점이 있었다.
상기의 문제점을 해결하기 위해 본 발명에서는 하나의 촬영영역줌카메라모듈을 통해 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 다차선 촬영영역에 위치한 복수개의 이동객체를 촬영시킬 수 있어, 다차선에 위치한 차량의 번호판을 동시에 촬영할 수 있고, 다차선 영상촬영데이터에 대하여 딥러닝 방식과 패턴정합, 영상처리기술을 결합하여 번호판을 추출하고 인식시킬 수 있는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치는
원샷카메라모듈 하단에 위치되어, 스마트제어부의 제어신호에 따라 촬영영역줌카메라모듈, 이미지센서모듈, 라이다센서모듈, 다차선 촬영영역 생성모듈을 팬틸트구동시켜, 다차선상에 기준촬영영역을 설정시키는 팬틸트하우징부(100)와,
팬틸트하우징부의 상단쪽 전면방향을 바라보는 헤드 상에 위치되어, 다차선 촬영영역 생성모듈로부터 전달된 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 다차선 촬영영역에 위치한 복수개의 이동객체를 영상촬영시키는 촬영영역줌카메라모듈(200)과,
촬영영역줌카메라모듈에서 촬영된 빛의 정보를 전기적 신호로 변환시켜 다차선 영상촬영데이터를 생성시키는 이미지센서모듈(300)과,
촬영영역줌카메라모듈의 하부 일측에 위치되어, 특정파장의 레이저펄스를 다차선상에 출력시켜, 다차선 이동객체 탐지구간에 이동하는 이동객체를 탐지한 후, 탐지한 다차선 이동객체 탐지구간 데이터를 다차선 촬영영역 생성모듈로 전달시키는 라이다(Lidar)센서모듈(400)과,
촬영영역줌카메라모듈의 헤드부 일측에 위치되어, 다차선상에 기준촬영영역을 설정시킨 후, 라이다 센서모듈로부터 전달된 다차선 이동객체 탐지구간 데이터를 기반으로 다차선 위치한 이동객체에 매칭되는 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링 중 어느 하나를 선택하여 기준촬영영역을 변경시켜 촬영영역줌카메라모듈로 전달시키는 다차선 촬영영역 생성모듈(500)과,
촬영영역줌카메라모듈, 이미지센서모듈, 라이다센서모듈, 다차선 촬영영역 생성모듈과 연결되어, 각 기기의 전반적인 동작을 제어하면서, 이미지센서모듈로부터 전달된 다차선 영상촬영데이터를 입력받아 다차선에 위치한 복수개의 이동객체에 관한 차량번호를 동시에 검출시켜 번호인식시키도록 제어하는 스마트제어부(600)로 구성됨으로서 달성된다.
또한, 본 발명에 따른 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식방법은
스마트제어부의 제어신호에 따라 팬틸트하우징부가 구동되어, 다차선상에 기준촬영영역을 설정시키는 단계(S100)와,
라이다(Lidar)센서모듈이 구동되어, 특정파장의 레이저펄스를 다차선상에 출력시켜, 다차선 이동객체 탐지구간에 이동하는 이동객체를 탐지한 후, 탐지한 다차선 이동객체 탐지구간 데이터를 다차선 촬영영역 생성모듈로 전달시키는 단계(S200)와,
다차선 촬영영역 생성모듈에서 라이다 센서모듈로부터 전달된 다차선 이동객체 탐지구간 데이터를 기반으로 다차선 위치한 이동객체에 매칭되는 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링 중 어느 하나를 선택하여 기준촬영영역을 변경시켜 촬영영역줌카메라모듈로 전달시키는 단계(S300)와,
촬영영역줌카메라모듈을 통해 다차선 촬영영역 생성모듈로부터 전달된 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시키는 단계(S400)와,
이미지센서모듈에서 촬영영역줌카메라모듈을 통해 촬영된 빛의 정보를 전기적 신호로 변환시켜 다차선 영상촬영데이터를 생성시키는 단계(S500)와,
스마트제어부에서 이미지센서모듈로부터 전달된 다차선 영상촬영데이터를 입력받아 다차선에 위치한 복수개의 이동객체에 관한 차량번호를 동시에 검출시켜 번호인식시키도록 제어시키는 단계(S600)로 이루어짐으로서 달성된다.
이상에서 설명한 바와 같이, 본 발명에서는
첫째, 하나의 촬영영역줌카메라모듈을 통해 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 다차선 촬영영역에 위치한 복수개의 이동객체를 촬영시킬 수 있어, 다차선에 위치한 차량의 번호판을 동시에 촬영할 수 있고, 이로 인해, 카메라 수 대비 정보 수집률을 90% 이상 높이면서도 설치비용과 유지보수비용을 기존에 비해 70% 이하로 낮출 수 있다.
둘째, 다차선 영상촬영데이터에 대하여 딥러닝 방식과 패턴정합, 영상처리기술을 결합하여 번호판을 추출하고 인식시킬 수 있어, 저속 주행이나 고속 주행 환경에 상관없이 사용할 수 있고, 기존보다 번호판 영역검출과 번호판 인식성능을 80% 향상시킬 수 있다.
셋째, 하나의 카메라를 통해 구간 과속 단속기능, 교통 소통 정보 수집기능, 범죄 차량 단속기능에 맞게 호환되어 폭넓게 사용할 수 있어 침체된 국내외 촬영카메라 시장을 활성화시킬 수 있다.
도 1은 본 발명에 따른 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치(1)의 구성요소를 도시한 구성도,
도 2는 본 발명에 따른 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치(1)의 구성요소를 도시한 사시도,
도 3은 본 발명에 따른 팬구동부(110), 틸트구동부(120)로 이루어진 팬틸트구동을 통해 촬영거리가 50m일 때를 소형 다차선 촬영영역존(1a)으로 설정하고, 촬영거리가 150m일 때를 중형 다차선 촬영영역존(1b)으로 설정하며, 촬영거리가 300m일 때를 대형 다차선 촬영영역존(1c)으로 설정한 것을 도시한 일실시예도,
도 4는 본 발명에 따른 촬영영역줌카메라모듈의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 촬영영역줌카메라모듈의 내부 구성요소를 도시한 내부단면도,
도 6은 본 발명에 따른 제1 렌즈군(220), 제2 렌즈군(230), 제3 렌즈군(240), 줌렌즈부(250), 제4 렌즈군(260), 제5 렌즈군(270), 촬상면(280)으로 이루어진 촬영영역줌카메라모듈의 구성요소를 도시한 분해사시도,
도 7은 본 발명에 따른 줌렌즈부의 구성요소를 도시한 구성도,
도 8은 본 발명에 따른 제3 렌즈군과 제4 렌즈군 사이의 1/3 지점에 제1 줌위치로 줌렌즈부가 설정되어 소형 다차선 촬영영역존을 형성시키는 것을 도시한 일실시예도,
도 9는 본 발명에 따른 제3 렌즈군과 제4 렌즈군 사이의 2/3 지점에 제2 줌위치로 줌렌즈부가 설정되어 중형 다차선 촬영영역존을 형성시키는 것을 도시한 일실시예도,
도 10은 본 발명에 따른 제3 렌즈군과 제4 렌즈군 사이의 3/3 지점에 줌렌즈부가 제3 줌위치로 설정되어 대형 다차선 촬영영역존을 형성시키는 것을 도시한 일실시예도,
도 11은 본 발명에 따른 이미지센서모듈의 구성요소를 도시한 블럭도,
도 12는 본 발명에 따른 라이다(Lidar)센서모듈의 구성요소를 도시한 블럭도,
도 13은 본 발명에 따른 라이다센서모듈의 레이저발신부가 구동되어 전단방향을 바라보면서 다차선상의 이동객체쪽으로 고출력의 펄스레이저를 출력시켜 다차선상에 위치한 이동객체를 탐지시키는 것을 도시한 일실시예도,
도 14는 본 발명에 따른 다차선 촬영영역 생성모듈의 구성요소를 도시한 블럭도,
도 15는 본 발명에 따른 스마트제어부의 구성요소를 도시한 블럭도,
도 16은 본 발명에 따른 다차선 차량번호판추출제어부의 구성요소를 도시한 블럭도,
도 17은 본 발명에 따른 차량영역검출부를 통해 도로 영상에서 추출된 차량 영역을 도시한 일실시예도,
도 18은 본 발명에 따른 번호판 영역검출부의 구성요소를 도시한 블럭도,
도 19는 본 발명에 따른 DoG필터형 번호판추출부를 흰색 번호판에 적용하여 이진화한 일실시예도,
도 20은 본 발명에 따른 DoG필터형 번호판추출부를 통해 객체단위 연결구조에 맞게 사각형을 그렸을 때, 조건을 만족하는 영역을 숫자 영역 후보군으로 남기고, 나머지 영역은 제거시키는 것을 도시한 일실시예도,
도 21은 본 발명에 따른 DoG필터형 번호판추출부를 통해 흰색 번호판 영상에 대하여 연속 번호를 추출하고 번호판을 검출한 결과를 보여준 일실시예도,
도 22는 본 발명에 따른 DoG필터형 번호판추출부를 통해 녹색 번호판 영상에 대하여 연속 번호를 추출하고 번호판을 검출한 결과를 보여준 일실시예도,
도 23은 본 발명에 따른 딥러닝 네트워크를 도시한 일실시예도,
도 24는 본 발명에 따른 딥러닝형 번호판추출부를 통해 딥러닝 네트워크를 학습시켜 번호판 영역을 분리시키는 것을 도시한 일실시예도,
도 25는 본 발명에 따른 번호판 정면검출부를 통해 정면변환된 번호판 영상의 실시예도,
도 26은 본 발명에 따른 번호판 인식을 위한 알고리즘의 처리과정을 도시한 일실시예도,
도 27은 본 발명에 따른 다층 신경망형 숫자문자인식제어부를 통해 숫자를 신경망으로 학습하는 세부 과정을 도시한 일실시예도,
도 28은 본 발명에 따른 촬영영역줌카메라모듈을 통해 다차선 촬영영역 생성모듈로부터 전달된 소형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 소형 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시키는 일실시예도,
도 29는 본 발명에 따른 촬영영역줌카메라모듈을 통해 다차선 촬영영역 생성모듈로부터 전달된 중형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 중형 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시키는 일실시예도,
도 30은 본 발명에 따른 촬영영역줌카메라모듈을 통해 다차선 촬영영역 생성모듈로부터 전달된 대형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 대형 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시키는 일실시예도,
도 31은 본 발명에 따른 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 방법을 도시한 순서도,
도 32는 본 발명에 따른 마트제어부에서 이미지센서모듈로부터 전달된 다차선 영상촬영데이터를 입력받아 다차선에 위치한 복수개의 이동객체에 관한 차량번호를 동시에 검출시켜 번호인식시키도록 제어하는 단계를 구체화시킨 것을 도시한 순서도,
도 33은 본 발명에 따른 차량영역검출부를 통해 다차선 영상촬영데이터에 배경차분기술 또는 움직임 검출기술을 이용하여 차량영역만을 검출시키는 단계를 구체화시킨 것을 도시한 순서도,
도 34는 본 발명에 따른 번호판 영역검출부를 통해 차량영역검출부를 통해 검출된 차량영역에 번호판 영역만을 검출시키는 단계를 구체화시킨 것을 도시한 순서도,
도 35는 본 발명에 따른 DoG필터형 번호판추출단계를 구체화시킨 것을 도시한 순서도,
도 36은 본 발명에 따른 딥러닝형 번호판추출단계를 구체화시킨 것을 도시한 순서도,
도 37은 본 발명에 따른 다층 신경망형 숫자문자인식제어부를 통해 번호판 정면검출부로부터 정면시점으로 변환된 번호판 영상에다가 번호판의 형태를 설정한 후, 형태에 맞는 크기조절 및 이진화를 통해 차량번호를 추정하는 단계를 구체화시킨 것을 도시한 순서도.
도 2는 본 발명에 따른 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치(1)의 구성요소를 도시한 사시도,
도 3은 본 발명에 따른 팬구동부(110), 틸트구동부(120)로 이루어진 팬틸트구동을 통해 촬영거리가 50m일 때를 소형 다차선 촬영영역존(1a)으로 설정하고, 촬영거리가 150m일 때를 중형 다차선 촬영영역존(1b)으로 설정하며, 촬영거리가 300m일 때를 대형 다차선 촬영영역존(1c)으로 설정한 것을 도시한 일실시예도,
도 4는 본 발명에 따른 촬영영역줌카메라모듈의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 촬영영역줌카메라모듈의 내부 구성요소를 도시한 내부단면도,
도 6은 본 발명에 따른 제1 렌즈군(220), 제2 렌즈군(230), 제3 렌즈군(240), 줌렌즈부(250), 제4 렌즈군(260), 제5 렌즈군(270), 촬상면(280)으로 이루어진 촬영영역줌카메라모듈의 구성요소를 도시한 분해사시도,
도 7은 본 발명에 따른 줌렌즈부의 구성요소를 도시한 구성도,
도 8은 본 발명에 따른 제3 렌즈군과 제4 렌즈군 사이의 1/3 지점에 제1 줌위치로 줌렌즈부가 설정되어 소형 다차선 촬영영역존을 형성시키는 것을 도시한 일실시예도,
도 9는 본 발명에 따른 제3 렌즈군과 제4 렌즈군 사이의 2/3 지점에 제2 줌위치로 줌렌즈부가 설정되어 중형 다차선 촬영영역존을 형성시키는 것을 도시한 일실시예도,
도 10은 본 발명에 따른 제3 렌즈군과 제4 렌즈군 사이의 3/3 지점에 줌렌즈부가 제3 줌위치로 설정되어 대형 다차선 촬영영역존을 형성시키는 것을 도시한 일실시예도,
도 11은 본 발명에 따른 이미지센서모듈의 구성요소를 도시한 블럭도,
도 12는 본 발명에 따른 라이다(Lidar)센서모듈의 구성요소를 도시한 블럭도,
도 13은 본 발명에 따른 라이다센서모듈의 레이저발신부가 구동되어 전단방향을 바라보면서 다차선상의 이동객체쪽으로 고출력의 펄스레이저를 출력시켜 다차선상에 위치한 이동객체를 탐지시키는 것을 도시한 일실시예도,
도 14는 본 발명에 따른 다차선 촬영영역 생성모듈의 구성요소를 도시한 블럭도,
도 15는 본 발명에 따른 스마트제어부의 구성요소를 도시한 블럭도,
도 16은 본 발명에 따른 다차선 차량번호판추출제어부의 구성요소를 도시한 블럭도,
도 17은 본 발명에 따른 차량영역검출부를 통해 도로 영상에서 추출된 차량 영역을 도시한 일실시예도,
도 18은 본 발명에 따른 번호판 영역검출부의 구성요소를 도시한 블럭도,
도 19는 본 발명에 따른 DoG필터형 번호판추출부를 흰색 번호판에 적용하여 이진화한 일실시예도,
도 20은 본 발명에 따른 DoG필터형 번호판추출부를 통해 객체단위 연결구조에 맞게 사각형을 그렸을 때, 조건을 만족하는 영역을 숫자 영역 후보군으로 남기고, 나머지 영역은 제거시키는 것을 도시한 일실시예도,
도 21은 본 발명에 따른 DoG필터형 번호판추출부를 통해 흰색 번호판 영상에 대하여 연속 번호를 추출하고 번호판을 검출한 결과를 보여준 일실시예도,
도 22는 본 발명에 따른 DoG필터형 번호판추출부를 통해 녹색 번호판 영상에 대하여 연속 번호를 추출하고 번호판을 검출한 결과를 보여준 일실시예도,
도 23은 본 발명에 따른 딥러닝 네트워크를 도시한 일실시예도,
도 24는 본 발명에 따른 딥러닝형 번호판추출부를 통해 딥러닝 네트워크를 학습시켜 번호판 영역을 분리시키는 것을 도시한 일실시예도,
도 25는 본 발명에 따른 번호판 정면검출부를 통해 정면변환된 번호판 영상의 실시예도,
도 26은 본 발명에 따른 번호판 인식을 위한 알고리즘의 처리과정을 도시한 일실시예도,
도 27은 본 발명에 따른 다층 신경망형 숫자문자인식제어부를 통해 숫자를 신경망으로 학습하는 세부 과정을 도시한 일실시예도,
도 28은 본 발명에 따른 촬영영역줌카메라모듈을 통해 다차선 촬영영역 생성모듈로부터 전달된 소형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 소형 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시키는 일실시예도,
도 29는 본 발명에 따른 촬영영역줌카메라모듈을 통해 다차선 촬영영역 생성모듈로부터 전달된 중형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 중형 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시키는 일실시예도,
도 30은 본 발명에 따른 촬영영역줌카메라모듈을 통해 다차선 촬영영역 생성모듈로부터 전달된 대형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 대형 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시키는 일실시예도,
도 31은 본 발명에 따른 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 방법을 도시한 순서도,
도 32는 본 발명에 따른 마트제어부에서 이미지센서모듈로부터 전달된 다차선 영상촬영데이터를 입력받아 다차선에 위치한 복수개의 이동객체에 관한 차량번호를 동시에 검출시켜 번호인식시키도록 제어하는 단계를 구체화시킨 것을 도시한 순서도,
도 33은 본 발명에 따른 차량영역검출부를 통해 다차선 영상촬영데이터에 배경차분기술 또는 움직임 검출기술을 이용하여 차량영역만을 검출시키는 단계를 구체화시킨 것을 도시한 순서도,
도 34는 본 발명에 따른 번호판 영역검출부를 통해 차량영역검출부를 통해 검출된 차량영역에 번호판 영역만을 검출시키는 단계를 구체화시킨 것을 도시한 순서도,
도 35는 본 발명에 따른 DoG필터형 번호판추출단계를 구체화시킨 것을 도시한 순서도,
도 36은 본 발명에 따른 딥러닝형 번호판추출단계를 구체화시킨 것을 도시한 순서도,
도 37은 본 발명에 따른 다층 신경망형 숫자문자인식제어부를 통해 번호판 정면검출부로부터 정면시점으로 변환된 번호판 영상에다가 번호판의 형태를 설정한 후, 형태에 맞는 크기조절 및 이진화를 통해 차량번호를 추정하는 단계를 구체화시킨 것을 도시한 순서도.
먼저, 본 발명에서 설명되는 다차선은 고속도로상에 형성된 차선 모두를 말하는 것으로서, 본 발명에서는 4차선으로 이루어진 것을 중심으로 설명한다.
또한, 본 발명에서 설명되는 대형 다차선 촬영영역존, 중형 다차선 촬영영역존, 소형 다차선 촬영영역존은 가로*세로의 2D형 사각형구조로 형성된다.
그리고, 본 발명에서 설명되는 소형 다차선 촬영영역존은 1차선 촬영영역존 단독, 또는 1,2차선이 합쳐진 1,2차선 촬영영역존으로 형성된 것을 말한다.
또한, 중형 다차선 촬영영역존은 1,2,3차선이 합쳐진 1,2,3차선 촬영영역존, 또는 2,3,4차선이 합쳐진 2,3,4 촬영영역존으로 형성된 것을 말한다.
그리고, 대형 다차선 촬영영역존은 1,2,3,4차선이 합쳐진 1,2,3,4 촬영영역존으로 형성된 것을 말한다.
본 발명에 따른 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치는 다차선에 위치한 이동객체에 따라 소형 다차선 촬영영역존, 중형 다차선 촬영영역존, 대형 다차선 촬영영역존 중 어느 하나를 선택하고, 선택한 소형 다차선 촬영영역존, 중형 다차선 촬영영역존, 대형 다차선 촬영영역존에 맞게 촬영영역줌카메라모듈을 구동시켜 초점거리를 조절하여 선명한 다차선 영상촬영데이터를 획득한 후, 선명한 다차선 영상촬영데이터를 기준으로 차량번호를 검출시켜 번호인식시켜주는 것을 주요 특징으로 한다.
즉, 소형 다차선 촬영영역존, 중형 다차선 촬영영역존, 대형 다차선 촬영영역존 보다 앞선 거리에서 라이다센서모듈을 통해 미리 다차선 이동객체 탐지구간에 이동하는 이동객체를 탐지하고, 탐지한 다차선에 위치한 이동객체에 따라 소형 다차선 촬영영역존, 중형 다차선 촬영영역존, 대형 다차선 촬영영역존이 선택되기 때문에 촬영영역줌카메라모듈을 영상촬영시, 선명한 다차선 영상촬영데이터를 획득할 수가 있다.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치(1)의 구성요소를 도시한 구성도에 관한 것이고, 도 2는 본 발명에 따른 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치(1)의 구성요소를 도시한 사시도에 관한 것으로, 이는 팬틸트하우징부(100), 촬영영역줌카메라모듈(200), 이미지센서모듈(300), 라이다(Lidar)센서모듈(400), 다차선 촬영영역 생성모듈(500), 스마트제어부(600)로 구성된다.
먼저, 본 발명에 따른 팬틸트하우징부(100)에 관해 설명한다.
상기 팬틸트하우징부(100)는 원샷카메라모듈 하단에 위치되어, 스마트제어부의 제어신호에 따라 촬영영역줌카메라모듈, 이미지센서모듈, 라이다센서모듈, 다차선 촬영영역 생성모듈을 팬틸트구동시켜, 다차선상에 기준촬영영역을 설정시키는 역할을 한다.
이는 도 2에 도시한 바와 같이, 팬구동부(110), 틸트구동부(120)로 구성된다.
상기 팬구동부(110)는 촬영영역줌카메라모듈, 이미지센서모듈, 다차선 촬영영역 생성모듈을 좌우로 1°~360°회전구동시키는 역할을 한다.
이는 팬구동모터가 구성된다.
여기서, 팬구동모터는 스텝(Step) 모터, AC모터, BLDC 모터 중 어느 하나가 선택되어 구성된다.
상기 팬구동부는 전단 하부면 일측에 라이다센서모듈이 형성된다.
상기 팬구동부는 지지부재에 지지되어 고정된 채, 팬구동모터부위만 좌우로 1°~360°회전구동되어 촬영영역줌카메라모듈, 이미지센서모듈, 다차선 촬영영역 생성모듈을 회전시키기 때문에, 전단 하부면 일측에 설치된 라이다센서모듈에는 회전에 따른 별다른 영향을 미치지 않는다.
상기 틸트구동부(120)는 촬영영역줌카메라모듈, 이미지센서모듈, 다차선 촬영영역 생성모듈을 상하로 10°~80°각도로 기울어서 구동시키는 역할을 한다.
이는 틸트구동모터가 구성된다.
여기서, 틸트구동모터는 스텝(Step) 모터, AC모터, BLDC 모터 중 어느 하나가 선택되어 구성된다.
이처럼, 팬구동부(110), 틸트구동부(120)로 이루어진 팬틸트하우징부가 구성됨으로서 다차선상에 위치한 이동객체 영상촬영시, 촬영거리를 50m~300m로 조절할 수가 있어, 다차선 상에 소형 다차선 촬영영역존, 중형 다차선 촬영영역존, 대형 다차선 촬영영역존 중 어느 하나를 선택하여 구성할 수가 있다.
일예로, 도 3에 도시한 바와 같이, 팬구동부(110), 틸트구동부(120)로 이루어진 팬틸트구동을 통해 촬영거리가 50m일 때를 소형 다차선 촬영영역존(1a)으로 설정하고, 팬구동부(110), 틸트구동부(120)로 이루어진 팬틸트구동을 통해 촬영거리가 150m일 때를 중형 다차선 촬영영역존(1b)으로 설정하며, 팬구동부(110), 틸트구동부(120)로 이루어진 팬틸트구동을 통해 촬영거리가 300m일 때를 대형 다차선 촬영영역존(1c)으로 설정한다.
다음으로, 본 발명에 따른 촬영영역줌카메라모듈(200)에 관해 설명한다.
상기 촬영영역줌카메라모듈(200)은 팬틸트하우징부의 상단쪽 전면방향을 바라보는 헤드 상에 위치되어, 다차선 촬영영역 생성모듈로부터 전달된 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역존을 줌조절하면서, 줌조절된 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시키는 역할을 한다.
이는 해상도는 가로 3200픽셀이상이고, 초점거리는 40mm이상이며, 화각은 40도~50도이고, 촬영간격은 매 50m이내인 특성을 가진다.
그리고, 도 4에 도시한 바와 같이, 카메라모듈본체(210), 제1 렌즈군(220), 제2 렌즈군(230), 제3 렌즈군(240), 줌렌즈부(250), 제4 렌즈군(260), 제5 렌즈군(270), 촬상면(280)로 구성된다.
첫째, 본 발명에 따른 카메라모듈본체(210)에 관해 설명한다.
상기 카메라모듈본체(210)는 각 기기를 외압으로부터 보호하고 지지하는 역할을 한다.
이는 도 5에 도시한 바와 같이, 제1 렌즈군(220), 제2 렌즈군(230), 제3 렌즈군(240), 줌렌즈부(250), 제4 렌즈군(260), 제5 렌즈군(270), 촬상면(280) 순으로 가로방향으로 순차적으로 형성되고, 줌렌즈부 일측에 액츄에이터부, 리듀서부가 형성된다.
상기 카메라모듈본체는 제1 렌즈군의 외부방향 테두리 둘레를 따라 IR LED 조명이 형성되어, 야간에 IR 불빛을 통해 카메라모듈본체 주위를 밝히도록 구성된다.
여기서, IR LED 조명은 방사거리가 30m이상이고, IR LED 파장의 거리는 850nm이상이며, IR LED 조명의 광각은 약 30도인 특성을 가지고, IR LED 조명개수는 36개이상으로 구성된다.
둘째, 본 발명에 따른 제1 렌즈군(220)에 관해 설명한다.
상기 제1 렌즈군(220)는 카메라모듈본체의 선단부에 위치되어, 촬영하고자 하는 객체에서부터 양의 굴절력을 가진다.
이는 도 6에 도시한 바와 같이, 구면(Sphere)형상으로 형성되고, 게르마늄(Germanium) 재질 또는 셀렌화아연(Zinc Selenide) 재질로 이루어진다.
상기 제1 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.
셋째, 본 발명에 따른 제2 렌즈군(230)에 관해 설명한다.
상기 제2 렌즈군(230)은 제1 렌즈군 후단에 위치되어, 음의 굴절력을 가진다.
이는 비구면(Asphere)형상으로 형성되고, 게르마늄(Germanium) 재질 또는 셀렌화아연(Zinc Selenide) 재질로 이루어진다.
상기 제2 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.
넷째, 본 발명에 따른 제3 렌즈군(240)에 관해 설명한다.
상기 제3 렌즈군(240)은 제2 렌즈군 후단에 위치되어, 양의 굴절력을 가진다.
이는 구면(Sphere)형상으로 형성되고, 게르마늄(Germanium) 재질 또는 셀렌화아연(Zinc Selenide) 재질로 이루어진다.
상기 제3 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.
다섯째, 본 발명에 따른 줌렌즈부(250)에 관해 설명한다.
상기 줌렌즈부(250)는 제3 렌즈군과 제4 렌즈군 사이에 위치되어, 전진운동 또는 후진운동하면서 초점을 조절시키는 역할을 한다.
이는 도 7에 도시한 바와 같이, 전류센서부(251), 액츄에이터부(252), 리듀서부(253), 줌렌즈(254)로 구성된다.
상기 전류센서부(251)는 다차선 촬영영역 생성모듈로부터 전달된 소형 다차선 촬영영역모델링의 전류신호, 중형 다차선 촬영영역모델링의 전류신호, 대형 다차선 촬영영역모델링의 전류신호 중 어느 하나를 선택하여 센싱시킨 후, 액츄에이터쪽으로 센싱한 전류센싱신호를 액츄에이터부쪽으로 전달시키는 역할을 한다.
상기 액츄에이터부(252)는 전류센서부로부터 전달된 전류센싱신호에 따라 리듀서쪽으로 전진운동의 힘, 또는 후진운동의 힘을 전달시키는 역할을 한다.
상기 리듀서부(253)는 액츄에이터로부터 전진운동의 힘을 전달받아 줌렌즈를 전진시켜 초점거리를 줄이고, 액츄에이터로부터 후진운동의 힘을 전달받아 줌렌즈를 후진시켜 초점거리를 늘리는 역할을 수행시키는 역할을 한다.
상기 줌렌즈(254)는 리듀서부 전단에 위치되고, 리듀서부의 제어하에 제3 렌즈군과 제4 렌즈군 사이의 1/3 지점에 제1 줌위치로 설정되어 소형 다차선 촬영영역존을 형성시키고, 리듀서부의 제어하에 제3 렌즈군과 제4 렌즈군 사이의 2/3 지점에 제2 줌위치로 설정되어 중형 다차선 촬영영역존을 형성시키며, 리듀서부의 제어하에 제3 렌즈군과 제4 렌즈군 사이의 3/3 지점에 제3 줌위치로 설정되어 대형 다차선 촬영영역존을 형성시키는 역할을 한다.
이는 유효초점거리가 10mm에서 100mm까지 변화되도록 구성된다.
상기 제3 렌즈군과 제4 렌즈군 사이의 1/3 지점에 위치한 제1 줌위치는 일예로, 초점거리 10mm로 설정되고, 상기 제3 렌즈군과 제4 렌즈군 사이의 2/3 지점에 위치한 제2 줌위치는 일예로, 초점거리 50mm로 설정되며, 상기 제3 렌즈군과 제4 렌즈군 사이의 3/3 지점에 위치한 제3 줌위치는 일예로, 초점거리 100mm로 설정된다.
이처럼, 전류센서부(251), 액츄에이터부(252), 리듀서부(253), 줌렌즈(254)로 이루어진 줌렌즈부(250)가 구성됨으로서, 도 8에 도시한 바와 같이, 제3 렌즈군과 제4 렌즈군 사이의 1/3 지점에 제1 줌위치로 설정되어 소형 다차선 촬영영역존을 형성시키고, 도 9에 도시한 바와 같이, 제3 렌즈군과 제4 렌즈군 사이의 2/3 지점에 제2 줌위치로 설정되어 중형 다차선 촬영영역존을 형성시키며, 도 10에 도시한 바와 같이, 제3 렌즈군과 제4 렌즈군 사이의 3/3 지점에 제3 줌위치로 설정되어 대형 다차선 촬영영역존을 형성시킬 수가 있다.
여섯째, 본 발명에 따른 제4 렌즈군(260)에 관해 설명한다.
상기 제4 렌즈군(260)은 줌렌즈부 후단에 위치되어, 음의 굴절력을 가진다.
이는 비구면(Asphere)형상으로 형성되고, 게르마늄(Germanium) 재질 또는 셀렌화아연(Zinc Selenide) 재질로 이루어진다.
상기 제2 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.
일곱째, 본 발명에 따른 제5 렌즈군(270)에 관해 설명한다.
상기 제5 렌즈군(270)은 제4 렌즈군 후단에 위치되어, 양의 굴절력을 가진다.
이는 구면(Sphere)형상으로 형성되고, 게르마늄(Germanium) 재질 또는 셀렌화아연(Zinc Selenide) 재질로 이루어진다.
상기 제3 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.
여덟째, 본 발명에 따른 촬상면(280)에 관해 설명한다.
상기 촬상면(280)은 제5 렌즈군 후단에 위치되어, 제5렌즈군으로부터 전달받은 음의 굴절력으로 광학상(光學像)으로 결상시키는 역할을 한다.
다음으로, 본 발명에 따른 이미지센서모듈(300)에 관해 설명한다.
상기 이미지센서모듈(300)은 촬영영역줌카메라모듈에서 촬영된 빛의 정보를 전기적 신호로 변환시켜 다차선 영상촬영데이터를 생성시키는 역할을 한다.
이는 도 11에 도시한 바와 같이, 이미지센서부(310), AFE(Analog Front End)부(320), 카메라 ISP부(330), 영상데이터전송부(340)로 구성된다.
첫째, 본 발명에 따른 이미지센서부(310)에 관해 설명한다.
상기 이미지센서부(310)는 촬영영역줌카메라모듈(200)에서 들어온 빛의 정보를 아날로그 신호로 변환시킨 후, AFE(Analog Front End)부로 전달시키는 역할을 한다.
이는 화상적인 장치를 말하는 반도체로서 외부에서 영상신호를 화상다이오드를 통해 받아들인 후 아날로그 신호를 디지털 컨버트를 이용해 전기적인 디지털 영상신호로 변환시키는 장치를 말한다.
상기 이미지 센서부는 빛이 이미지로 맺혀지는 동시에 전기적 신호로 변환되도록 구성된다.
즉, 이미지 센서에 도달한 빛이 수많은 화소(Pixel)에 담겨져서 디지털 신호로 변환된다.
상기 이미지센서부는 CCD(고체 활상 소자)센서와 CMOS(상보성 금속 산화막 반도체)센서 중 어느 하나가 선택되어 구성된다.
상기 CCD센서는 Charge Coupled Device의 약자로 빛을 전하로 변환시켜 화상을 얻어내는 센서로서, 빛이 CCD에 비춰지면 그 빛을 전기적인 신호로 변환시켜주는 역할을 한다.
이는 빛에 의해 발생된 전자를 그대로 출력시키는 특성을 가진다.
상기 CMOS(Complementary metal oxide semiconductor)는 빛에 의해 발생된 전자를 전압으로 바꾸어 출력시키는 센서로서, 전하를 전기신호로 바꾸는 변조기가 모든 화소에 각각 들어있어 신호를 읽어내는 속도가 빠르며, 시스템을 작게 만들 수 있다.
둘째, 본 발명에 따른 AFE(Analog Front End)부(320)에 관해 설명한다.
상기 AFE(Analog Front End)부(320)는 이미지센서부로부터 전달된 아날로그 신호에서 노이즈를 제거한 순신호만을 추출하여 디지털 신호로 변환시키는 역할을 한다.
셋째, 본 발명에 따른 카메라 ISP부(330)에 관해 설명한다.
상기 카메라 ISP부(330)는 AFE(Analog Front End)부를 통하여 디지털 신호로 입력된 영상신호에서 색상/휘도 등의 이미지 정보를 검출하고 증폭 및 분리하여 자연 상태의 다차선 영상촬영데이터를 생성시키는 역할을 한다.
넷째, 본 발명에 따른 영상데이터전송부(340)에 관해 설명한다.
상기 영상데이터전송부(340)는 카메라 ISP부에서 생성된 다차선 영상촬영데이터를 스마트제어부로 전송시키는 역할을 한다.
상기 이미지센서부(310), AFE(Analog Front End)부(320), 카메라 ISP부(330), 영상데이터전송부(340)로 이루어진 이미지센서모듈은 8bit의 데이터, pix_clk, line_valid, frame_valid, 그리고 SCLK,SDA 포트가 존재한다.
8bit의 데이터는 픽셀값을 전송하기 위한 버스이다.
그리고, 다차선 영상촬영데이터를 pix_clk, line_valid, 그리고 frame_valid에 맞추어 레지스터에 저장하도록 구성된다.
pix_clk는 픽셀 데이터가 센서부터 출력되는 타이밍에 맞추어 상승한다.
line_valid는 전체 이미지에서 수평방향으로의 픽셀이 유효하다는 것을 나타낸다.
frame_valid는 현재 출력되는 픽셀이 전체 이미지에서 유효하다는 것을 나타낸다.
그리고, 다차선 영상촬영데이터는 pixclk의 상승 엣지와 동기화 되어 출력된다.
상기 이미지센서모듈은 다차선 영상촬영데이터가 출력될 때, 카메라컨트롤러로부터 전송된 frame_valid와 line_valid 시그널을 보고 전달되는 다차선 영상촬영데이터를 저장할 것인지 안할 것인지 결정한다.
다음으로, 본 발명에 따른 라이다(Lidar)센서모듈(400)에 관해 설명한다.
상기 라이다(Lidar)센서모듈(400)은 팬틸트하우징부의 하단 일측에 위치되어, 특정파장의 레이저펄스를 다차선상에 출력시켜, 다차선 이동객체 탐지구간에 이동하는 이동객체를 탐지한 후, 탐지한 다차선 이동객체 탐지구간 데이터를 다차선 촬영영역 생성모듈로 전달시키는 역할을 한다.
이는 도 12에 도시한 바와 같이, 구몸체(410), 회전모터부(420), 레이저발신부(430), 레이저수신부(440)로 구성된다.
상기 구몸체(410)는 구형상으로 이루어져 각 기기를 외압으로부터 보호하고 지지하는 역할을 한다.
이는 내부공간 일측에 레이저발신부(430), 레이저수신부(440)가 형성되어 구성된다.
상기 회전모터부(420)는 구몸체를 1°~360°로 회전시키도록 회전력을 생성시키는 역할을 한다.
이는 스텝(Step) 모터, AC모터, BLDC 모터 중 어느 하나가 선택되어 구성된다.
여기서, 회전모터부는 구몸체만을 1°~360°로 회전시킨다.
상기 레이저발신부(430)는 도 13에 도시한 바와 같이, 구몸체의 투명관 속에 위치되어 수직의 직립구조로 형성되어 전단방향을 바라보면서 다차선상의 이동객체쪽으로 고출력의 펄스레이저를 출력시키는 역할을 한다.
상기 레이저수신부(440)는 구몸체의 투명관 속에 위치되고, 레이저발신부 하단에 경사진 구조로 형성되어 다차선상의 이동객체에 반사되어 되돌아오는 펄스레이저를 수신한 후, 수신한 펄스레이저를 다차선 이동객체 탐지구간 데이터로 변환시켜 다차선 촬영영역 생성모듈로 전달시키는 역할을 한다.
다음으로, 본 발명에 따른 다차선 촬영영역 생성모듈(500)에 관해 설명한다.
상기 다차선 촬영영역 생성모듈(500)은 촬영영역줌카메라모듈의 헤드부 일측에 위치되어, 다차선상에 기준촬영영역을 설정시킨 후, 라이다 센서모듈로부터 전달된 다차선 이동객체 탐지구간 데이터를 기반으로 다차선 위치한 이동객체에 매칭되는 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링 중 어느 하나를 선택하여 기준촬영영역을 변경시켜 촬영영역줌카메라모듈로 전달시키는 역할을 한다.
이는 도 14에 도시한 바와 같이, 소형 다차선 촬영영역생성부(510), 중형 다차선 촬영영역생성부(520), 대형 다차선 촬영영역생성부(530)로 구성된다.
상기 소형 다차선 촬영영역생성부(510)는 라이다 센서모듈로부터 전달된 다차선 이동객체 탐지구간 데이터를 기반으로 다차선 위치한 이동객체에 매칭되는 소형 다차선 촬영영역모델링을 생성시키는 역할을 한다.
여기서, 소형 다차선 촬영영역모델링은 소형 다차선 촬영영역존으로서, 가로*세로의 시야각이 중형 다차선 촬영영역존, 대형 다차선 촬영영역존에 비해 크나, 다차선 촬영영역존 중 1차선 촬영영역존 단독, 또는 1,2차선이 합쳐진 1,2차선 촬영영역존으로 형성된 것을 말한다.
상기 중형 다차선 촬영영역생성부(520)는 라이다 센서모듈로부터 전달된 다차선 이동객체 탐지구간 데이터를 기반으로 다차선 위치한 이동객체에 매칭되는 중형 다차선 촬영영역모델링을 생성시키는 역할을 한다.
여기서, 중형 다차선 촬영영역모델링은 중형 다차선 촬영영역존으로서, 가로*세로의 시야각이 소형 다차선 촬영영역존보다 작고, 대형 다차선 촬영영역존에 비해 크나, 1,2,3차선이 합쳐진 1,2,3차선 촬영영역존, 또는 2,3,4차선이 합쳐진 2,3,4 촬영영역존으로 형성된 것을 말한다.
상기 대형 다차선 촬영영역생성부(530)는 라이다 센서모듈로부터 전달된 다차선 이동객체 탐지구간 데이터를 기반으로 다차선 위치한 이동객체에 매칭되는 대형 다차선 촬영영역모델링을 생성시키는 역할을 한다.
여기서, 대형 다차선 촬영영역모델링은 대형 다차선 촬영영역존으로서, 가로*세로의 시야각이 소형 다차선 촬영영역존, 중형 다차선 촬영영역존에 비해 작으나, 1,2,3,4차선이 합쳐진 1,2,3,4 촬영영역존으로 형성된 것을 말한다.
다음으로, 본 발명에 따른 스마트제어부(600)에 관해 설명한다.
상기 스마트제어부(600)은 촬영영역줌카메라모듈, 이미지센서모듈, 라이다센서모듈, 다차선 촬영영역 생성모듈과 연결되어, 각 기기의 전반적인 동작을 제어하면서, 이미지센서모듈로부터 전달된 다차선 영상촬영데이터를 입력받아 다차선에 위치한 복수개의 이동객체에 관한 차량번호를 동시에 검출시켜 번호인식시키도록 제어하는 역할을 한다.
이는 도 15에 도시한 바와 같이, 팬틸트 컨트롤러(610), 카메라컨트롤러(620), 라이다센서컨트롤러(630), 메모리 컨트롤러(640), 다차선 차량번호판추출제어부(650)로 구성된다.
첫째, 본 발명에 따른 팬틸트 컨트롤러(610)에 관해 설명한다.
상기 팬틸트 컨트롤러(610)는 촬영영역줌카메라모듈이 촬영해야할 영역을 가리키도록 팬틸트를 제어하는 역할을 한다.
이는 내부에는 롬테이블로 해당 영역에 대한 정보를 가지고 있어, 메인 컨트롤러의 요청에 따라 촬영영역을 형성시킨다.
상기 팬틸트 컨트롤러는 여러 개의 다이나믹셀을 제어한다. 이를 통해 상하좌우 300도의 움직임이 가능하도록 구성된다.
즉, 다이나믹셀은 UART인터페이스를 사용하며, 멀티드롭(multi drop)을 지원한다. 하나의 선으로 여러개의 다이나믹셀이 연결되어 있어도, multi drop의 지원을 통해 동시에 제어가 가능하다.
두 개의 다이나믹셀은 하나의 팬틸트를 구성한다.
팬틸트 컨트롤러가 촬영영역을 가리키도록 하면 팬틸트에 부착된 촬영영역줌카메라모듈은 해당 영역의 영상정보를 얻을 수 있다.
상기 팬틸트 컨트롤러는 크게 UART 전송기, 카운터, 그리고 인스트럭션에 대한 롬테이블로 구성된다.
상기 롬테이블은 촬영영역에 따라 인스트럭션(Instruction)이 다르게 구성된다.
팬틸트를 제어하기 위한 하나의 인스트럭션(Instruction)은 총 8bit x 8 ~ 8bit x 10 까지 유동적으로 구성될 수 있다.
인스트럭션(Instruction)은 팬틸트의 이동속도와 이동위치에 따라 여러 개의 byte를 사용하여야 할 경우가 발생하므로, 그 크기는 유동적이다.
둘째, 본 발명에 따른 카메라컨트롤러(620)에 관해 설명한다.
상기 카메라컨트롤러(620)는 이미지센서모듈과 연결되어, 이미지센서모듈로부터 다차선 영상촬영데이터를 입력받아 메모리컨트롤러부로 전달시키는 역할을 한다.
상기 이미지센서모듈은 픽셀 값을 pixclk와 동기화하여 출력하므로, pix_clk에 상승 엣지에서 데이터의 값을 레지스터에 저장한다.
이때, 카메라컨트롤러는 저장하고자 하는 이미지의 해상도에 따라서 line_valid 시그널과 frame_valid 시그널을 카운팅하도록 구성된다.
여기서, line_valid 시그널은 전체 프레임의 수평방향에서 하나의 행에 대해 유효한 픽셀이 전송될 때 출력된다.
line_valid가 1인 동안 픽셀값은 하나의 열에 대해 유효한 픽셀값을 가지므로, line_valid시그널을 enable로 사용하며, 픽셀값과 동기되어 상승하는 pixclk를 이용하여 카운터를 설계한다. frame_valid 시그널은 하나의 프레임에 대해 유효한 픽셀값이 전송될 때 출력된다.
frame_valid가 1인 동안 하나의 프레임의 전체 픽셀에 대한 값은 유효하다. 이를통해 센서에 설정된 크기의 이미지를 메모리로 전달할 수 있다.
상기 카메라 컨트롤러는 이미지센서모듈로부터 다차선 영상촬영데이터의 구성요소인 pix_clk, frame_valid, line_valid, camera_en, 그리고 pixdata를 입력으로 받는다.
frame_valid 카운터는 pixclk에 동기되어 동작하며, frame_valid 시그널을 enable로 사용한다.
frame_valid 카운터는 설정된 센서의 해상도에 따라서 0으로 초기화되는 임계값이 바뀌게 된다.
카운터의 출력이 임계값이 되었을 경우 frame_end 시그널을 출력한다.
line_valid 카운터는 pix_clk의 상승 엣지에 동작하며, line_valid가 1인 동안에 카운터동작을 수행하게 된다.
셋째, 본 발명에 따른 라이다센서컨트롤러(630)에 관해 설명한다.
상기 라이다센서컨트롤러(630)는 라이다(Lidar)센서모듈과 연결되어, 라이다(Lidar)센서모듈의 구동을 제어하면서, 탐지된 다차선 이동객체 탐지구간 데이터를 메모리컨트롤러부로 전달시키는 역할을 한다.
넷째, 본 발명에 따른 메모리 컨트롤러(640)에 관해 설명한다.
상기 메모리 컨트롤러(640)는 카메라 컨트롤러의 다차선 영상촬영데이터와, 라이다센서컨트롤러의 다차선 이동객체 탐지구간 데이터들을 정해진 주소에 맞추어 저장하는 역할을 한다.
이는 내부에 여러 개의 카운터가 존재하여 픽셀들이 유효한 시점에 메모리 주소를 증가시키면서 저장하는 역할을 수행한다.
상기 메모리 컨트롤러는 카메라 컨트롤러에서 전송되는 픽셀데이터를 정해진 주소에 맞추어 프레임 메모리에 저장하는 역할을 수행한다.
다섯째, 본 발명에 따른 다차선 차량번호판추출제어부(650)에 관해 설명한다.
상기 다차선 차량번호판추출제어부(650)는 이미지센서모듈의 다차선 영상촬영데이터로부터 번호판영역을 설정하여, 다차선에 위치한 복수개의 이동객체에 관한 차량번호를 동시에 검출시키는 역할을 한다.
이는 도 16에 도시한 바와 같이, 차량영역검출부(651), 번호판 영역검출부(652), 번호판 정면검출부(653), 다층 신경망형 숫자문자인식제어부(654)로 구성된다.
[차량영역검출부(651)]
상기 차량영역검출부(651)는 다차선 영상촬영데이터에 배경차분기술 또는 움직임 검출기술을 이용하여 차량영역만을 검출시키는 역할을 한다.
본 발명에서는 다차선 영상촬영데이터를 취득하며, 입력된 다차선 영상촬영데이터를 분석하여 차량을 검출한다.
번호판 영역을 고속으로 정밀하게 추출하기 위하여 차량 영역을 설정하는 것이 중요하다.
상기 차량영역검출부는 배경차분 기술 또는 움직임 검출 기술을 사용한다.
상기 배경차분 기술은 배경인 도로의 영상정보를 사전에 저장하고, 다차선 영상촬영데이터에서 배경 정보와 밝기와 색상이 크게 다른 픽셀들을 묶어서 차량 영역을 실시간으로 검출한다.
이때, 차량 이외의 물체를 오인식하는 것을 방지하기 위하여 차량의 정면부 영상 특성에 대한 신경망 또는 딥러닝, 특징기반 학습 정보를 이용할 수 있다.
차량의 정면부의 주요 특징으로는 그릴이나 해드램프의 구조에 대한 특징, 가로/세로 에지 분포와 기울기 분포특성을 이용한다.
그리고, 도로와 같은 배경 영역은 일정한 시간 간격 및 상황에 따라 갱신해 주어야 한다.
본 발명에서는 일정한 시간 간격 (예: 5분, 1시간)을 설정하여 기존의 배경 영상을 현재 시점의 배경 영상으로 갱신한다.
이때, 두 배경 정보를 각 픽셀마다 적당하게 가중치 평균하여 갱신할 수도 있고, 기존의 배경에서 크게 바뀐 픽셀 부분만을 선별하여 해당 부분만 새롭게 갱신하는 방법을 사용하도록 구성된다.
또한 배경과 다르게 객체 영역으로 추출되었더라도 움직임 검출 과정과 차량 여부 인식 기술을 차량의 특성이 매우 적은 경우에는 새로운 배경정보로 갱신되도록 구성된다.
차량으로 검출된 픽셀들을 하나의 물체 단위로 묶어주고, 불필요한 경계선 부분을 부드럽게 조정하기 위하여 통상적인 모폴로지 필터를 이용하여 차량 영역을 표현할 수 있다.
도 17은 본 발명에 따른 차량영역검출부를 통해 도로 영상에서 추출된 차량 영역을 도시한 일실시예도에 관한 것이다.
즉, 차량 영역 검출 실시 예.좌측 상단은 배경차분에 의한 객체 픽셀을 표시한 것이고, 우측 상단은 모폴로지 필터를 이용하여 객체 영역을 부드럽게 묶어 준 결과이다. 좌측 하단은 배경 영상 정보, 우측 하단은 차량 영역을 사각형으로 표시한 결과이다.
[번호판 영역검출부(652)]
상기 번호판 영역검출부(652)는 차량영역검출부를 통해 검출된 차량영역에 번호판 영역만을 검출시키는 역할을 한다.
본 발명에서 번호판을 검출하고 그 영역을 정확하게 분리하는 것은 번호인식 과정에서 가장 중요한 요소이다.
번호판에서 숫자 및 문자의 배열은 규칙적이고 폰트와 크기도 동일하기 때문에, 번호판을 정확하게 분리하면 문자 인식 알고리즘도 훨씬 간단하고 그 성능도 더욱 정확해진다.
상기 번호판 영역검출부는 도 18에 도시한 바와 같이, DoG필터형 번호판추출부(652a), 딥러닝형 번호판추출부(652b) 중 어느 하나가 선택되어 구성된다.
상기 DoG필터형 번호판추출부(652a)는 DoG 필터를 이용하여 영상을 이진화하면서 문자나 숫자의 후보 지역을 우선 추출시키는 역할을 한다.
먼저, 번호판 영역을 검출하기 전에 영상의 낮은 해상도와 블러링으로 인하여 숫자가 명확하게 분리되어 있지 않은 경우를 대비하여 그레이 성분에 대한 모폴로지 필터를 적용한다.
보통 모폴로지 필터는 이진 영상에 대하여 적용하지만,본 발명에서는 그레이 영상에 대하여 모폴로지를 적용하여 번호 영역을 좀 더 명확하게 분리될 수 있도록 전처리를 수행한다.
그레이 성분의 모폴로지에서는 마스크 윈도우 안에 있는 픽셀들 중에서 가장 어둡거나 가장 밝은 밝기값으로 마스크 영역의 중심 픽셀값을 대체하도록 구성된다.
흰색이나 노란색 번호판의 경우에는 숫자나 글자의 획이 서로 붙어 있는 경우를 제거하고자 마스크의 중심 픽셀값을 마스크 내의 가장 밝은 밝기값으로 대체하고,초록색 번호판의 경우에는 흰가장 어두운 밝기값으로 마스크의 중심 픽셀값을 대체한다.
이를 통하여 글자나 숫자의 획이 서로 겹치는 상황을 제거할 수 있다.
일예로, 흰색 번호판의 경우 글자와 숫자 부분이 배경에 비해 어둡기 때문에 수학식 1과 같이, 가우시안 블러링한 영상(G*I)과 원영상의 밝기값이 기준값보다 작으면 이진화 영상 (IB)에서 1로 표시되도록 구성된다.
즉, 영상의 밝기값이 변화가 발생하는 픽셀을 1로 표시한 것이다.
일예로, 녹색 번호판의 경우 글자와 숫자 부분이 배경보다 밝기 때문에, 본 발명에서는 영상의 컬러 값을 반전시켜서 동일한 기준값으로 판단할 수 있다.
도 19는 본 발명에 따른 DoG필터형 번호판추출부를 흰색 번호판에 적용하여 이진화한 일실시예도에 관한 것이다.
상기 DoG필터형 번호판추출부는 픽셀 영역 크기를 변화시키면서 수행하여 여러 해상도에서 번호판 영역을 검출할 수 있다.
이는 이진화 영상에서 번호판 숫자 후보군에 해당하는 부분만을 남기기 위해 연결요소(Connected Component) 분석을 수행한다.
번호판 숫자에 해당하는 영역의 가로와 세로의 길이 비율은 규격에 따라서 그 범위를 정할 수 있다.
도 20에 도시한 바와 같이, 각각의 객체단위 연결구조에 맞게 사각형을 그렸을 때, 수학식 2와 같은 조건을 만족하는 영역을 숫자 영역 후보군으로 남기고, 나머지 영역은 제거한다.
수학식 2에서 w는 객체 영역의 가로 길이, h는 세로 길이를 나타내며, j는 객체를 각각 구분하기 위한 기호를 나타낸다.
또한 번호판 숫자에 해당하는 하나의 객체 영역은 사각형 넓이에 비해 연결요소 픽셀의 밀도가 높다.
이 밀도가 객체 영역의 총 픽셀수에 비하여 0.5이상인 영역만을 숫자나 문자 영역으로 정한다.
마지막으로 픽셀의 밀도가 너무 많은 경우에도 번호판 숫자라고 보기 어려우므로 0.8 이상의 밀도를 갖는 영역은 숫자 영역에서 제거한다.
자동차 번호판의 경우 비슷한 크기의 숫자들이 연속되기 때문에 연결요소 분석 과정을 통해 남겨진 번호판 숫자 후보군들의 위치관계를 고려하여 최종적으로 번호판 위치와 숫자 영역을 검출할 수 있다.
도 20에 도시한 바와 같이, 임의의 2개의 객체 영역을 선택했을 때, 번호판 숫자의 경우 각각의 사각형의 크기가 유사하고, 두 객체 사이의 거리는 가깝게 위치한다.
또한, 번호판 자체가 심하게 회전된 경우가 아니라면 세로방향으로 겹치는 범위로 예측할 수 있다.
다음의 수학식 3, 수학식 4, 수학식 3는 위의 조건들을 식으로 표현한 것이다.
여기서, 본 발명에서는 일실시예로, a=1.2, b=3으로 설정하고, c의 경우 흰색 번호판은 3, 녹색번호판은 1로 설정한다.
위의 수학식 3,4,5를 통해 모든 연결요소 쌍에 대해서 연속된 숫자인지를 판단하고, 연속된 모든 연결요소를 각각의 그룹으로 묶는다.
각각의 그룹에서 2~4개의 숫자가 연속되면 녹색번호판으로 판단한다.
흰색 번호판의 경우 숫자 사이에 있는 글자의 크기가 숫자들과 유사한 경우가 있어서 선택될 가능성이 있으므로, 3개에서 최대 6개까지 연속된 연결요소를 흰색 번호판 영역으로 선택한다.
도 21은 본 발명에 따른 DoG필터형 번호판추출부를 통해 흰색 번호판 영상에 대하여 연속 번호를 추출하고 번호판을 검출한 결과를 보여준 일실시예도에 관한 것이다.
가로로 긴 흰색이나 노란색 번호판의 경우 숫자와 글자들이 하나의 선상에 배치되어 있기 때문에 검출된 번호판 숫자 영역을 포함하는 사각형이 그 자체로 번호판 영역이 된다.
하지만 녹색 번호판이나 버스 등의 노란색 번호판인 경우 큰 숫자 영역 윗부분에 다른 번호판 정보가 존재하고, 번호판의 종류에 따라 왼쪽 부분에 한글 글자가 존재할 수 있기 때문에 검출된 번호판 숫자 영역으로부터 최종적으로 번호판 전체 영역을 검출할 필요가 있다.
숫자영역의 높이와 번호판 자체의 높이는 같은 비율을 갖기 때문에, 검출된 숫자 영역 높이의 0.5까지 위로 확장시킴으로써 숫자 영역 윗부분에 존재하는 번호판 영역을 찾을 수 있다.
두 줄 구조의 녹색 번호판 가운데 왼쪽에 글자가 있는 번호판도 존재하는데, 녹색 번호판 자체의 규격은 동일하기 때문에 숫자 영역 윗부분까지 확장한 사각형의 가로 세로 비율이 일반적인 녹색 번호판 비율과 다를 경우 왼쪽에 글씨가 있는 번호판으로 판단할 수 있다.
따라서 이러한 종류의 녹색 번호판은 확장된 사각형의 너비가 높이의 2배 보다 작을 경우 왼쪽 방향으로 숫자 영역 높이의 1.2배만큼 확장시킴으로써 검출할 수 있다.
도 22는 본 발명에 따른 DoG필터형 번호판추출부를 통해 녹색 번호판 영상에 대하여 연속 번호를 추출하고 번호판을 검출한 결과를 보여준 일실시예도에 관한 것이다.
상기 딥러닝형 번호판추출부(652b)는 딥러닝 기법을 이용하여 번호판 영역을 학습하여 추출시키는 역할을 한다.
본 발명에서는 번호판 영역을 정밀하게 추출하기 위해 딥러닝형 번호판추출부가 선택되어 구성된다.
다수의 번호판 영상으로부터 번호판을 학습하여 문자/숫자 규격에 의한 추출 기법에서의 부족한 점을 보완한다.
여기서는 번호판의 꼭지점을 추출하기 위해서 다수의 차량 영상과 그 영상의 번호판의 특징점의 좌표들로부터 딥러닝 네트워크(652b-1)를 학습시킨다.
이때 특징점으로는 구하고자 하는 네 꼭지점 외에 번호판의 중심 좌표도 사용하여 보다 안정적인 결과를 얻을수 있도록 한다.
학습된 딥러닝 네트워크는 입력으로 차량 영상을 받아 5개의 특징점 좌표를 10차원 벡터의 형태로 출력한다.
또한 추출한 꼭지점 좌표로부터 번호판 영역을 추출하여 분리한다.
도 23은 본 발명에 따른 딥러닝 네트워크의 일실시예도에 관한 것이고, 도 24는 본 발명에 따른 딥러닝형 번호판추출부를 통해 딥러닝 네트워크를 학습시켜 번호판 영역을 분리시키는 것을 도시한 일실시예도에 관한 것이다.
[번호판 정면검출부(653)]
상기 번호판 정면검출부(653)는 번호판 영역검출부를 통해 검출된 번호판 영상을 정면시점으로 변환시키는 역할을 한다.
본 발명에서는 번호인식 알고리즘은 번호나 문자의 기본 형태를 정합하는 것을 기본으로 하는데, 이때 번호나 숫자의 크기, 회전 정도가 동일하여야 인식률이 높다.
그런데 번호판 영상은 보통 약간 회전되어 있거나 비정면시점으로 인하여 원근감에 의한 왜곡이 발생하므로, 번호의 형태도 조금 변형된다.
정확한 인식을 위해서는 이러한 시점 왜곡을 보정할 필요가 있는데, 특히 정면시점으로 변환하여야 기본 폰트와 동일하게 문자 영상을 생성할 수 있다.
정면변환은 추출된 번호판 영상에서 번호판의 네 꼭지점을 이용하여 변환한다.
즉, 네 꼭지점을 분석하여 번호판 형태를 결정하고, 그 형태에 맞게 정면시점으로 투영변환한다.
정면변환은 호모그래피를 통하여 이루어지며, 호모그래피는 대응되는 4 점의 좌표를 알면 정확하게 구할 수 있다. 수학식 6은 3x3 행렬인 호모그래피와 그에 의한 변환식을 보여준다.
이때, 동일좌표계(homogeneous coordinate)에서 연산을 수행하므로 실제 계산되는 정면변환 좌표는 수학식 7과 같다.
도 25는 본 발명에 따른 번호판 정면검출부를 통해 정면변환된 번호판 영상의 실시예도에 관한 것으로, 이와 같이 번호판 영상을 정면으로 변환하면, 동일한 하나의 폰트로 숫자 인식이 가능하므로, 새로운 번호판이나 폰트가 추가되는 경우에도 쉽게 확장이 가능하다
[다층 신경망형 숫자문자인식제어부(654)]
상기 다층 신경망형 숫자문자인식제어부(654)는 번호판 정면검출부로부터 정면시점으로 변환된 번호판 영상에다가 번호판의 형태를 설정한 후, 형태에 맞는 크기조절 및 이진화를 통해 차량번호를 추정시키는 역할을 한다.
이는 번호판 정면검출부로부터 정면시점이 변환된 번호판 영상을 획득하게 된다.
번호판 인식을 위한 알고리즘의 처리과정은 도 26에 도시한 바와 같다.
즉, 번호판 영상으로부터 번호판의 형태를 결정한 후, 형태에 맞는 크기 조절 및 이진화를 통해 영상을 정규화한다.이진화를 거친 영상에서 각 글자에 해당하는 부분을 영역화 한 후에, 각 글자에 해당하는 부분을 문자 인식 알고리즘으로 판별함으로써 최종 인식 결과를 얻게 된다.
상기 다층 신경망형 숫자문자인식제어부(654)는 각 번호판 형태별 문자,숫자에 따라 신경망을 구성하여 학습시킨다.
이에 따라 흰색 번호판 문자,흰색 번호판 숫자,녹색 번호판 문자,녹색 번호판 숫자,그리고 녹색 번호판 지역단어 등의 인식을 위해 여러가지 다른 신경망이 구성된다.
먼저,앞 단계에서 획득한 개별 문자, 숫자,혹은 지역단어 영상들을 다음과 같이 일정한 크기로 정규화한다.
12*18 (문자 및 숫자)
24*18 (지역단어)
이와 같이 일정한 크기의 이진 영상으로부터 ANN의 입력으로 들어갈 벡터를 다음의 수학식 8과 같이 생성한다.
여기서, v는 벡터화 된 입력을 나타내고, B(xi)는 이진 영상이 i번째 픽셀에서 갖는 픽셀값(0 혹은 1)을 의미한다.
여기에서는 입력 종류에 따라 총 L개의 픽셀이 존재한다고 가정한다.
인식을 위해 사용된 신경망은 일반적인 3-계층이며, 활성함수로는 sigmoid함수가 사용되었다. 도 27은 본 발명에 따른 다층 신경망형 숫자문자인식제어부를 통해 숫자를 신경망으로 학습하는 세부 과정을 도시한 일실시예도에 관한 것이다.
이하, 본 발명에 따른 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 방법에 관해 구체적으로 설명한다.
먼저, 도 31에 도시한 바와 같이, 스마트제어부의 제어신호에 따라 팬틸트하우징부가 구동되어, 다차선상에 기준촬영영역을 설정시킨다(S100).
이는 도 3에 도시한 바와 같이, 팬틸트구동을 통해 촬영거리가 50m일 때를 소형 다차선 촬영영역존으로 설정하고, 팬틸트구동을 통해 촬영거리가 150m일 때를 중형 다차선 촬영영역존으로 설정하며, 팬틸트구동을 통해 촬영거리가 300m일 때를 대형 다차선 촬영영역존으로 설정한다.
다음으로, 라이다(Lidar)센서모듈이 구동되어, 도 13에 도시한 바와 같이, 특정파장의 레이저펄스를 다차선상에 출력시켜, 다차선 이동객체 탐지구간에 이동하는 이동객체를 탐지한 후, 탐지한 다차선 이동객체 탐지구간 데이터를 다차선 촬영영역 생성모듈로 전달시킨다(S200).
다음으로, 다차선 촬영영역 생성모듈에서 라이다 센서모듈로부터 전달된 다차선 이동객체 탐지구간 데이터를 기반으로 다차선 위치한 이동객체에 매칭되는 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링 중 어느 하나를 선택하여 기준촬영영역을 변경시켜 촬영영역줌카메라모듈로 전달시킨다(S300).
다음으로, 촬영영역줌카메라모듈을 통해 다차선 촬영영역 생성모듈로부터 전달된 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시킨다(S400).
즉, 도 28은 본 발명에 따른 촬영영역줌카메라모듈을 통해 다차선 촬영영역 생성모듈로부터 전달된 소형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 소형 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시키는 일실시예도에 관한 것이다.
도 29는 본 발명에 따른 촬영영역줌카메라모듈을 통해 다차선 촬영영역 생성모듈로부터 전달된 중형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 중형 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시키는 일실시예도에 관한 것이다.
도 30은 본 발명에 따른 촬영영역줌카메라모듈을 통해 다차선 촬영영역 생성모듈로부터 전달된 대형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 대형 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시키는 일실시예도에 관한 것이다.
다음으로서, 이미지센서모듈에서 촬영영역줌카메라모듈을 통해 촬영된 빛의 정보를 전기적 신호로 변환시켜 다차선 영상촬영데이터를 생성시킨다(S500).
끝으로, 스마트제어부에서 이미지센서모듈로부터 전달된 다차선 영상촬영데이터를 입력받아 다차선에 위치한 복수개의 이동객체에 관한 차량번호를 동시에 검출시켜 번호인식시키도록 제어한다(S600).
이는 도 32에 도시한 바와 같이, 차량영역검출부를 통해 다차선 영상촬영데이터에 배경차분기술 또는 움직임 검출기술을 이용하여 차량영역만을 검출시키는 단계(S610), 번호판 영역검출부를 통해 차량영역검출부를 통해 검출된 차량영역에 번호판 영역만을 검출시키는 단계(S620), 번호판 정면검출부에서 번호판 영역검출부를 통해 검출된 번호판 영상을 정면시점으로 변환시키는 단계(S630), 다층 신경망형 숫자문자인식제어부를 통해 번호판 정면검출부로부터 정면시점으로 변환된 번호판 영상에다가 번호판의 형태를 설정한 후, 형태에 맞는 크기조절 및 이진화를 통해 차량번호를 추정하는 단계(S640)로 이루어져 구성된다.
[
차량영역검출부를
통해 다차선 영상촬영데이터에
배경차분기술
또는 움직임 검출기술을 이용하여 차량영역만을 검출시키는 단계(
S610
)]
먼저, 도 33에 도시한 바와 같이, 배경차분법을 이용하여 다차선에 존재하는 복수의 차량 영역을 추출한다(S611).
이어서, 움직임 검출을 수행하여 움직임이 있는 복수의 영역을 차량으로 검출한다(S612).
이어서, 검출된 차량영역에 대하여 차량의 전면부 특징을 이용하여 검증한다(S613).
끝으로, 배경차분법을 이용하여 다수의 차량을 추출하는 방법에 있어서 일정한 시간마다 배경 영역을 갱신한다(S614).
[번호판
영역검출부를
통해
차량영역검출부를
통해 검출된 차량영역에 번호판 영역만을 검출시키는 단계(
S620
)]
이는 도 34에 도시한 바와 같이, DoG 필터를 이용하여 영상을 이진화하면서 문자나 숫자의 후보 지역을 우선 추출시키는 DoG필터형 번호판추출단계(S621)와, 딥러닝 기법을 이용하여 번호판 영역을 학습하여 추출시키는 딥러닝형 번호판추출단계(S622) 중 어느 하나가 선택되어 번호판 영역만을 검출시킨다.
[
DoG
필터형 번호판추출단계(
S621
)]
먼저, 도 35에 도시한 바와 같이, 번호판 영역을 검출하기 전에 영상의 낮은 해상도와 블러링으로 인하여 숫자가 명확하게 분리되어 있지 않은 경우를 대비하여 그레이 성분에 대한 모폴로지 필터를 적용시킨다(S621a).
끝으로, DoG필터형 번호판추출부를 번호판에 적용하여 이진화시켜 번호판 영역을 추출시킨다(S621b).
여기서, DoG필터형 번호판추출부는 픽셀 영역 크기를 변화시키면서 수행하여 여러 해상도에서 번호판 영역을 추출시킨다.
[
딥러닝형
번호판추출단계(
S622
)]
먼저, 도 36에 도시한 바와 같이, 이진화된 객체 영역의 가로대 세로 비율에 따라 문자와 숫자를 판별한다(S622a).
이어서, 문자와 숫자가 연속으로 나열된 상태를 측정하여 번호판을 인식하고 추출한다(S622b).
이어서, 번호판 추출에 딥러닝 네트워크를 사용한다(S622c).
끝으로, 번호판의 네 꼭지점과 가운데 좌표를 이용하여 번호판 영역을 딥러닝으로 학습하고 인식시킨다(S622d).
[다층 신경망형 숫자문자인식제어부를 통해 번호판
정면검출부로부터
정면시점으로 변환된 번호판 영상에다가 번호판의 형태를 설정한 후, 형태에 맞는
크기조
절 및 이진화를 통해 차량번호를 추정하는 단계(
S640
)]
먼저, 도 37에 도시한 바와 같이, 다층 신경망형 숫자문자인식제어부를 통해 문자를 인식한다(S641).
다음으로, 딥러닝 네트워크를 학습하여 인식한다(S642).
끝으로, 다층 신경망형 숫자문자인식제어부와, 딥러닝 네트워크를 이용하여 인식한 결과를 통합하여 차량번호를 추정한다(S643).
1 : 스마트 다차선 차량 번호인식 장치
100 : 팬틸트하우징부 200 : 촬영영역줌카메라모듈
300 : 이미지센서모듈 400 : 라이다(Lidar)센서모듈
500 : 다차선 촬영영역 생성모듈 600 : 스마트제어부
100 : 팬틸트하우징부 200 : 촬영영역줌카메라모듈
300 : 이미지센서모듈 400 : 라이다(Lidar)센서모듈
500 : 다차선 촬영영역 생성모듈 600 : 스마트제어부
Claims (16)
- 원샷카메라모듈 하단에 위치되어, 스마트제어부의 제어신호에 따라 촬영영역줌카메라모듈, 이미지센서모듈, 라이다센서모듈, 다차선 촬영영역 생성모듈을 팬틸트구동시켜, 다차선상에 기준촬영영역을 설정시키는 팬틸트하우징부(100)와,
팬틸트하우징부의 상단쪽 전면방향을 바라보는 헤드 상에 위치되어, 다차선 촬영영역 생성모듈로부터 전달된 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시키는 촬영영역줌카메라모듈(200)과,
촬영영역줌카메라모듈에서 촬영된 빛의 정보를 전기적 신호로 변환시켜 다차선 영상촬영데이터를 생성시키는 이미지센서모듈(300)과,
촬영영역줌카메라모듈의 하부 일측에 위치되어, 특정파장의 레이저펄스를 다차선상에 출력시켜, 다차선 이동객체 탐지구간에 이동하는 이동객체를 탐지한 후, 탐지한 다차선 이동객체 탐지구간 데이터를 다차선 촬영영역 생성모듈로 전달시키는 라이다(Lidar)센서모듈(400)과,
촬영영역줌카메라모듈의 헤드부 일측에 위치되어, 라이다 센서모듈로부터 전달된 다차선 이동객체 탐지구간 데이터를 기반으로 다차선 위치한 이동객체에 매칭되는 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링 중 어느 하나를 선택하여 기준촬영영역을 변경시켜 촬영영역줌카메라모듈로 전달시키는 다차선 촬영영역 생성모듈(500)과,
촬영영역줌카메라모듈, 이미지센서모듈, 라이다센서모듈, 다차선 촬영영역 생성모듈과 연결되어, 각 기기의 전반적인 동작을 제어하면서, 이미지센서모듈로부터 전달된 다차선 영상촬영데이터를 입력받아 다차선에 위치한 복수개의 이동객체에 관한 차량번호를 동시에 검출시켜 번호인식시키도록 제어하는 스마트제어부(600)로 구성되는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치.
- 제1항에 있어서, 상기 촬영영역줌카메라모듈(200)은
각 기기를 외압으로부터 보호하고 지지하는 카메라모듈본체(210)와,
카메라모듈본체의 선단부에 위치되어, 촬영하고자 하는 객체에서부터 양의 굴절력을 가지는 제1 렌즈군(220)과,
제1 렌즈군 후단에 위치되어, 음의 굴절력을 가지는 제2 렌즈군(230)과,
제2 렌즈군 후단에 위치되어, 양의 굴절력을 가지는 제3 렌즈군(240)과,
제3 렌즈군과 제4 렌즈군 사이에 위치되어, 전진운동 또는 후진운동하면서 초점을 조절시키는 줌렌즈부(250)와,
줌렌즈부 후단에 위치되어, 음의 굴절력을 가지는 제4 렌즈군(260)과,
제4 렌즈군 후단에 위치되어, 양의 굴절력을 가지는 제5 렌즈군(270)과,
제5 렌즈군 후단에 위치되어, 제5렌즈군으로부터 전달받은 음의 굴절력으로 광학상(光學像)으로 결상시키는 촬상면(280)으로 구성되는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치.
- 제2항에 있어서, 상기 줌렌즈부(250)는
다차선 촬영영역 생성모듈로부터 전달된 소형 다차선 촬영영역모델링의 전류신호, 중형 다차선 촬영영역모델링의 전류신호, 대형 다차선 촬영영역모델링의 전류신호 중 어느 하나를 선택하여 센싱시킨 후, 액츄에이터쪽으로 센싱한 전류센싱신호를 액츄에이터부쪽으로 전달시키는 전류센서부(251)와,
전류센서부로부터 전달된 전류센싱신호에 따라 리듀서쪽으로 전진운동의 힘, 또는 후진운동의 힘을 전달시키는 액츄에이터부(252)와,
액츄에이터로부터 전진운동의 힘을 전달받아 줌렌즈를 전진시켜 초점거리를 줄이고, 액츄에이터로부터 후진운동의 힘을 전달받아 줌렌즈를 후진시켜 초점거리를 늘리는 역할을 수행시키는 리듀서부(253)와,
리듀서부 전단에 위치되고, 리듀서부의 제어하에 제3 렌즈군과 제4 렌즈군 사이의 1/3 지점에 제1 줌위치로 설정되어 소형 다차선 촬영영역존을 형성시키고, 리듀서부의 제어하에 제3 렌즈군과 제4 렌즈군 사이의 2/3 지점에 제2 줌위치로 설정되어 중형 다차선 촬영영역존을 형성시키며, 리듀서부의 제어하에 제3 렌즈군과 제4 렌즈군 사이의 3/3 지점에 제3 줌위치로 설정되어 대형 다차선 촬영영역존을 형성시키는 줌렌즈(254)로 구성되는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치.
- 제1항에 있어서, 상기 이미지센서모듈(300)은
촬영영역줌카메라모듈(200)에서 들어온 빛의 정보를 아날로그 신호로 변환시킨 후, AFE(Analog Front End)부로 전달시키는 이미지센서부(310)와,
이미지센서부로부터 전달된 아날로그 신호에서 노이즈를 제거한 순신호만을 추출하여 디지털 신호로 변환시키는 AFE(Analog Front End)부(320)와,
AFE(Analog Front End)부를 통하여 디지털 신호로 입력된 영상신호에서 색상/휘도를 포함하는 이미지 정보를 검출하고 증폭 및 분리하여 자연 상태의 다차선 영상촬영데이터를 생성시키는 카메라 ISP부(330)와,
카메라 ISP부에서 생성된 다차선 영상촬영데이터를 스마트제어부로 전송시키는 영상데이터전송부(340)로 구성되는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치.
- 제1항에 있어서, 상기 라이다(Lidar)센서모듈(400)은
구형상으로 이루어져 각 기기를 외압으로부터 보호하고 지지하는 구몸체(410)와,
구몸체를 1°~360°로 회전시키도록 회전력을 생성시키는 회전모터부(420)와,
구몸체의 투명관 속에 위치되어 수직의 직립구조로 형성되어 전단방향을 바라보면서 다차선상의 이동객체쪽으로 펄스레이저를 출력시키는 레이저발신부(430)와,
구몸체의 투명관 속에 위치되고, 레이저발신부 하단에 경사진 구조로 형성되어 다차선상의 이동객체에 반사되어 되돌아오는 펄스레이저를 수신한 후, 수신한 펄스레이저를 다차선 이동객체 탐지구간 데이터로 변환시켜 다차선 촬영영역 생성모듈로 전달시키는 레이저수신부(440)로 구성되는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치.
- 제1항에 있어서, 상기 스마트제어부(600)는
촬영영역줌카메라모듈이 촬영해야할 영역을 가리키도록 팬틸트를 제어하는 팬틸트 컨트롤러(610)와,
촬영영역줌카메라모듈과 연결되어, 촬영영역줌카메라모듈의 구동을 제어하면서, 촬영된 다차선 영상촬영데이터를 메모리컨트롤러부로 전달시키는 카메라컨트롤러(620)와,
라이다(Lidar)센서모듈과 연결되어, 라이다(Lidar)센서모듈의 구동을 제어하면서, 탐지된 다차선 이동객체 탐지구간 데이터를 메모리컨트롤러부로 전달시키는 라이다센서컨트롤러(630)와,
카메라 컨트롤러의 다차선 영상촬영데이터와, 라이다센서컨트롤러의 다차선 이동객체 탐지구간 데이터들을 정해진 주소에 맞추어 저장하는 메모리 컨트롤러(640)와,
이미지센서모듈의 다차선 영상촬영데이터로부터 번호판영역을 설정하여, 다차선에 위치한 복수개의 이동객체에 관한 차량번호를 동시에 검출시키는 다차선 차량번호판추출제어부(650)로 구성되는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치.
- 제6항에 있어서, 상기 다차선 차량번호판추출제어부(650)는
다차선 영상촬영데이터에 배경차분기술 또는 움직임 검출기술을 이용하여 차량영역만을 검출시키는 차량영역검출부(651)와,
차량영역검출부를 통해 검출된 차량영역에 번호판 영역만을 검출시키는 번호판 영역검출부(652)와,
번호판 영역검출부를 통해 검출된 번호판 영상을 정면시점으로 변환시키는 번호판 정면검출부(653)와,
번호판 정면검출부로부터 정면시점으로 변환된 번호판 영상에다가 번호판의 형태를 설정한 후, 형태에 맞는 크기조절 및 이진화를 통해 영상을 정규화시키는 다층 신경망형 숫자문자인식제어부(654)로 구성되는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치.
- 제7항에 있어서, 상기 번호판 영역검출부(652)는
DoG 필터를 이용하여 영상을 이진화하면서 문자나 숫자의 후보 지역을 우선 추출시키는 DoG필터형 번호판추출부(652a)와,
딥러닝 기법을 이용하여 번호판 영역을 학습하여 추출시키는 딥러닝형 번호판추출부(652b)로 구성되는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치.
- 스마트제어부의 제어신호에 따라 팬틸트하우징부가 구동되어, 다차선상에 기준촬영영역을 설정시키는 단계(S100)와,
라이다(Lidar)센서모듈이 구동되어, 특정파장의 레이저펄스를 다차선상에 출력시켜, 다차선 이동객체 탐지구간에 이동하는 이동객체를 탐지한 후, 탐지한 다차선 이동객체 탐지구간 데이터를 다차선 촬영영역 생성모듈로 전달시키는 단계(S200)와,
다차선 촬영영역 생성모듈에서 라이다 센서모듈로부터 전달된 다차선 이동객체 탐지구간 데이터를 기반으로 다차선 위치한 이동객체에 매칭되는 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링 중 어느 하나를 선택하여 기준촬영영역을 변경시켜 촬영영역줌카메라모듈로 전달시키는 단계(S300)와,
촬영영역줌카메라모듈을 통해 다차선 촬영영역 생성모듈로부터 전달된 소형 다차선 촬영영역모델링, 중형 다차선 촬영영역모델링, 대형 다차선 촬영영역모델링에 따라 다차선 상에 설정된 다차선 촬영영역을 줌조절하면서, 줌조절된 다차선 촬영영역존에 위치한 복수개의 이동객체를 영상촬영시키는 단계(S400)와,
이미지센서모듈에서 촬영영역줌카메라모듈을 통해 촬영된 빛의 정보를 전기적 신호로 변환시켜 다차선 영상촬영데이터를 생성시키는 단계(S500)와,
스마트제어부에서 이미지센서모듈로부터 전달된 다차선 영상촬영데이터를 입력받아 다차선에 위치한 복수개의 이동객체에 관한 차량번호를 동시에 검출시켜 번호인식시키도록 제어시키는 단계(S600)로 이루어지는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식방법.
- 제9항에 있어서, 상기 스마트제어부에서 이미지센서모듈로부터 전달된 다차선 영상촬영데이터를 입력받아 다차선에 위치한 복수개의 이동객체에 관한 차량번호를 동시에 검출시켜 번호인식시키도록 제어시키는 단계(S600)는
차량영역검출부를 통해 다차선 영상촬영데이터에 배경차분기술 또는 움직임 검출기술을 이용하여 차량영역만을 검출시키는 단계(S610)와,
번호판 영역검출부를 통해 차량영역검출부를 통해 검출된 차량영역에 번호판 영역만을 검출시키는 단계(S620)와,
번호판 정면검출부에서 번호판 영역검출부를 통해 검출된 번호판 영상을 정면시점으로 변환시키는 단계(S630)와,
다층 신경망형 숫자문자인식제어부를 통해 번호판 정면검출부로부터 정면시점으로 변환된 번호판 영상에다가 번호판의 형태를 설정한 후, 형태에 맞는 크기조절 및 이진화를 통해 차량번호를 추정하는 단계(S640)가 포함되어 이루어지는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식방법.
- 제10항에 있어서, 상기 차량영역검출부를 통해 다차선 영상촬영데이터에 배경차분기술 또는 움직임 검출기술을 이용하여 차량영역만을 검출시키는 단계(S610)는
배경차분법을 이용하여 다차선에 존재하는 복수의 차량 영역을 추출하는 단계(S611)와,
움직임 검출을 수행하여 움직임이 있는 복수의 영역을 차량으로 검출하는 단계(S612)와,
검출된 차량영역에 대하여 차량의 전면부 특징을 이용하여 검증하는 단계(S613)와,
배경차분법을 이용하여 다수의 차량을 추출하는 방법에 있어서 일정한 시간마다 배경 영역을 갱신시키는 단계(S614)가 포함되어 이루어지는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식방법.
- 제10항에 있어서, 상기 번호판 영역검출부를 통해 차량영역검출부를 통해 검출된 차량영역에 번호판 영역만을 검출시키는 단계(S620)는
DoG 필터를 이용하여 영상을 이진화하면서 문자나 숫자의 후보 지역을 우선 추출시키는 DoG필터형 번호판추출단계(S621)가 포함되어 이루어지는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식방법.
- 제12항에 있어서, 상기 DoG필터형 번호판추출단계(S621)는
번호판 영역을 검출하기 전에 영상의 낮은 해상도와 블러링으로 인하여 숫자가 명확하게 분리되어 있지 않은 경우를 대비하여 그레이 성분에 대한 모폴로지 필터를 적용시키는 단계(S621a)와,
DoG필터형 번호판추출부를 번호판에 적용하여 이진화시켜 번호판 영역을 추출시키는 단계(S621b)가 더 포함되어 이루어지는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식방법.
- 제10항에 있어서, 상기 번호판 영역검출부를 통해 차량영역검출부를 통해 검출된 차량영역에 번호판 영역만을 검출시키는 단계(S620)는
딥러닝 기법을 이용하여 번호판 영역을 학습하여 추출시키는 딥러닝형 번호판추출단계(S622)가 포함되어 이루어지는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식방법.
- 제14항에 있어서, 상기 딥러닝형 번호판추출단계(S622)는
이진화된 객체 영역의 가로대 세로 비율에 따라 문자와 숫자를 판별시키는 단계(S622a)와,
문자와 숫자가 연속으로 나열된 상태를 측정하여 번호판을 인식하고 추출시키는 단계(S622b)와,
번호판 추출에 딥러닝 네트워크를 사용하는 단계(S622c)와,
번호판의 네 꼭지점과 가운데 좌표를 이용하여 번호판 영역을 딥러닝으로 학습하고 인식시키는 단계(S622d)로 이루어지는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식방법.
- 제10항에 있어서, 상기 다층 신경망형 숫자문자인식제어부를 통해 번호판 정면검출부로부터 정면시점으로 변환된 번호판 영상에다가 번호판의 형태를 설정한 후, 형태에 맞는 크기조절 및 이진화를 통해 차량번호를 추정하는 단계(S640)는
다층 신경망형 숫자문자인식제어부를 통해 문자를 인식시키는 단계(S641)와,
딥러닝 네트워크를 학습하여 인식시키는 단계(S642)와,
다층 신경망형 숫자문자인식제어부와, 딥러닝 네트워크를 이용하여 인식한 결과를 통합하여 차량번호를 추정시키는 단계(S643)로 이루어지는 것을 특징으로 하는 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160094554A KR101677972B1 (ko) | 2016-07-26 | 2016-07-26 | 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160094554A KR101677972B1 (ko) | 2016-07-26 | 2016-07-26 | 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101677972B1 true KR101677972B1 (ko) | 2016-11-21 |
Family
ID=57537772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160094554A KR101677972B1 (ko) | 2016-07-26 | 2016-07-26 | 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101677972B1 (ko) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101717613B1 (ko) * | 2016-12-27 | 2017-03-17 | 주식회사한맥아이피에스 | 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법 |
| KR101824446B1 (ko) * | 2017-07-24 | 2018-02-01 | 한국기술교육대학교 산학협력단 | 강화 학습 기반 cctv용 차량 번호 인식 방법 |
| KR101851492B1 (ko) * | 2017-01-23 | 2018-04-23 | 건국대학교 산학협력단 | 번호판 인식 방법 및 번호판 인식 장치 |
| KR101862079B1 (ko) * | 2016-12-13 | 2018-05-29 | 한국건설기술연구원 | 인공지능 기반 도로교통 상황을 인지하기 위한 장치 및 그 방법 |
| WO2018101746A3 (ko) * | 2016-11-30 | 2018-08-16 | 현대엠엔소프트 주식회사 | 도로면 폐색 영역 복원 장치 및 방법 |
| KR20180092455A (ko) * | 2017-02-09 | 2018-08-20 | 한국기술교육대학교 산학협력단 | 딥 러닝을 이용한 카드번호 인식방법 |
| KR20180135155A (ko) * | 2017-06-09 | 2018-12-20 | 주식회사 엘리소프트 | 광학 위상배열 빔을 이용한 불법 주정차 단속시스템 및 그 방법 |
| KR101932631B1 (ko) * | 2017-08-25 | 2018-12-27 | 서울과학기술대학교 산학협력단 | 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 cctv 내에서의 지능형 차량번호인식장치 및 방법 |
| KR101971878B1 (ko) * | 2018-11-28 | 2019-04-26 | 극동대학교 산학협력단 | 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법 |
| KR101987618B1 (ko) * | 2019-02-26 | 2019-06-10 | 윤재민 | 딥러닝 기반의 차량번호판 이미지 매칭 기법을 적용한 차량 번호판 특정 시스템 |
| KR102008263B1 (ko) * | 2018-06-25 | 2019-08-07 | 주식회사 유니시큐 | 융복합형 검지기 및 이를 이용한 교통 단속시스템 |
| KR20190095571A (ko) * | 2018-01-19 | 2019-08-16 | 한국기술교육대학교 산학협력단 | 차량번호판 자동인식 방법 |
| US10650529B2 (en) | 2017-08-09 | 2020-05-12 | Samsung Electronics Co., Ltd. | Lane detection method and apparatus |
| KR102131716B1 (ko) * | 2020-03-27 | 2020-07-08 | 정병석 | 차량번호인식 기술을 활용한 영상감시 방법 |
| KR102197449B1 (ko) * | 2020-08-28 | 2021-01-11 | 주식회사 서경산업 | 구간단속지점 내에서 연계적 일정구간별 단속을 수행하는 단속시스템 |
| KR20220091995A (ko) | 2020-12-24 | 2022-07-01 | 인천대학교 산학협력단 | 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법 |
| CN116289706A (zh) * | 2023-02-24 | 2023-06-23 | 乌海市广纳煤焦化有限公司 | 车行通道闸系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002230679A (ja) * | 2001-01-30 | 2002-08-16 | Natl Inst For Land & Infrastructure Management Mlit | 道路監視システム及び道路監視方法 |
| KR100768135B1 (ko) | 2007-02-03 | 2007-10-17 | (주) 인펙 | 복수차선 감시장치 |
| KR100852683B1 (ko) * | 2007-08-13 | 2008-08-18 | (주)한국알파시스템 | 차량번호 인식 시스템 및 차량번호 인식방법 |
| KR101632168B1 (ko) * | 2016-02-03 | 2016-06-22 | 주식회사 싸인텔레콤 | 원샷 전방위탐지와 카메라영상으로 이루어진 하이브리드 분석형 스마트 감시카메라장치 |
| KR101634283B1 (ko) * | 2015-12-18 | 2016-06-30 | 주식회사 싸인텔레콤 | 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법 |
-
2016
- 2016-07-26 KR KR1020160094554A patent/KR101677972B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002230679A (ja) * | 2001-01-30 | 2002-08-16 | Natl Inst For Land & Infrastructure Management Mlit | 道路監視システム及び道路監視方法 |
| KR100768135B1 (ko) | 2007-02-03 | 2007-10-17 | (주) 인펙 | 복수차선 감시장치 |
| KR100852683B1 (ko) * | 2007-08-13 | 2008-08-18 | (주)한국알파시스템 | 차량번호 인식 시스템 및 차량번호 인식방법 |
| KR101634283B1 (ko) * | 2015-12-18 | 2016-06-30 | 주식회사 싸인텔레콤 | 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법 |
| KR101632168B1 (ko) * | 2016-02-03 | 2016-06-22 | 주식회사 싸인텔레콤 | 원샷 전방위탐지와 카메라영상으로 이루어진 하이브리드 분석형 스마트 감시카메라장치 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018101746A3 (ko) * | 2016-11-30 | 2018-08-16 | 현대엠엔소프트 주식회사 | 도로면 폐색 영역 복원 장치 및 방법 |
| KR101862079B1 (ko) * | 2016-12-13 | 2018-05-29 | 한국건설기술연구원 | 인공지능 기반 도로교통 상황을 인지하기 위한 장치 및 그 방법 |
| KR101717613B1 (ko) * | 2016-12-27 | 2017-03-17 | 주식회사한맥아이피에스 | 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법 |
| KR101851492B1 (ko) * | 2017-01-23 | 2018-04-23 | 건국대학교 산학협력단 | 번호판 인식 방법 및 번호판 인식 장치 |
| KR20180092455A (ko) * | 2017-02-09 | 2018-08-20 | 한국기술교육대학교 산학협력단 | 딥 러닝을 이용한 카드번호 인식방법 |
| KR101893679B1 (ko) * | 2017-02-09 | 2018-08-30 | 한국기술교육대학교 산학협력단 | 딥 러닝을 이용한 카드번호 인식방법 |
| KR101961454B1 (ko) | 2017-06-09 | 2019-03-22 | 주식회사 엘리소프트 | 광학 위상배열 빔을 이용한 불법 주정차 단속시스템 및 그 방법 |
| KR20180135155A (ko) * | 2017-06-09 | 2018-12-20 | 주식회사 엘리소프트 | 광학 위상배열 빔을 이용한 불법 주정차 단속시스템 및 그 방법 |
| KR101824446B1 (ko) * | 2017-07-24 | 2018-02-01 | 한국기술교육대학교 산학협력단 | 강화 학습 기반 cctv용 차량 번호 인식 방법 |
| US10650529B2 (en) | 2017-08-09 | 2020-05-12 | Samsung Electronics Co., Ltd. | Lane detection method and apparatus |
| KR101932631B1 (ko) * | 2017-08-25 | 2018-12-27 | 서울과학기술대학교 산학협력단 | 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 cctv 내에서의 지능형 차량번호인식장치 및 방법 |
| KR20190095571A (ko) * | 2018-01-19 | 2019-08-16 | 한국기술교육대학교 산학협력단 | 차량번호판 자동인식 방법 |
| KR102054061B1 (ko) * | 2018-01-19 | 2019-12-09 | 한국기술교육대학교 산학협력단 | 차량번호판 자동인식 방법 |
| KR102008263B1 (ko) * | 2018-06-25 | 2019-08-07 | 주식회사 유니시큐 | 융복합형 검지기 및 이를 이용한 교통 단속시스템 |
| KR101971878B1 (ko) * | 2018-11-28 | 2019-04-26 | 극동대학교 산학협력단 | 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법 |
| KR101987618B1 (ko) * | 2019-02-26 | 2019-06-10 | 윤재민 | 딥러닝 기반의 차량번호판 이미지 매칭 기법을 적용한 차량 번호판 특정 시스템 |
| KR102131716B1 (ko) * | 2020-03-27 | 2020-07-08 | 정병석 | 차량번호인식 기술을 활용한 영상감시 방법 |
| KR102197449B1 (ko) * | 2020-08-28 | 2021-01-11 | 주식회사 서경산업 | 구간단속지점 내에서 연계적 일정구간별 단속을 수행하는 단속시스템 |
| KR20220091995A (ko) | 2020-12-24 | 2022-07-01 | 인천대학교 산학협력단 | 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법 |
| KR102557697B1 (ko) * | 2020-12-24 | 2023-07-19 | 인천대학교 산학협력단 | 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법 |
| CN116289706A (zh) * | 2023-02-24 | 2023-06-23 | 乌海市广纳煤焦化有限公司 | 车行通道闸系统 |
| CN116289706B (zh) * | 2023-02-24 | 2024-02-20 | 乌海市广纳煤焦化有限公司 | 车行通道闸系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101677972B1 (ko) | 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법 | |
| KR101873202B1 (ko) | Ai칩이 형성된 현장용 인공지능형 ai칩구동용 다채널 원샷카메라모듈 | |
| CN111965636A (zh) | 一种基于毫米波雷达和视觉融合的夜间目标检测方法 | |
| US20090232358A1 (en) | Method and apparatus for processing an image | |
| WO2013055069A1 (ko) | 큐알코드 자동 인식 장치 및 방법 | |
| CN104143098B (zh) | 基于远红外线摄像头的夜间行人识别方法 | |
| CN111967498A (zh) | 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法 | |
| US7796841B2 (en) | Monolithic image perception device and method | |
| CN106686280A (zh) | 影像修补系统及其方法 | |
| JP2014023159A (ja) | 撮影装置、その撮影制御方法及び眼球認識装置 | |
| CN108197523A (zh) | 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统 | |
| KR101845943B1 (ko) | 단일카메라를 이용한 다차로상의 차량번호인식 시스템 및 방법 | |
| KR102617223B1 (ko) | 객체에 대한 객체 분류를 출력하는 방법 및 장치 | |
| CN109146859A (zh) | 一种基于机器视觉的路面裂缝检测系统 | |
| CN108021926A (zh) | 一种基于全景环视系统的车辆刮痕检测方法及系统 | |
| KR101905538B1 (ko) | 다중 카메라를 이용한 속도 계도 시스템 | |
| CN108268839A (zh) | 一种活体验证方法及其系统 | |
| KR102338912B1 (ko) | 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법 | |
| US11455710B2 (en) | Device and method of object detection | |
| CN110536814B (zh) | 摄像机装置及与周围环境相适应地检测车辆周围环境区域的方法 | |
| CN111881924B (zh) | 结合光照不变性与短曝光光照增强的暗光车照识别方法 | |
| CN112613568B (zh) | 基于可见光及红外多光谱图像序列的目标识别方法和装置 | |
| JP4706693B2 (ja) | 車色判定装置、車色判定システム及び車色判定方法 | |
| CN114945955A (zh) | 用于扩大虹膜识别范围的虹膜图像获取系统 | |
| JP3917252B2 (ja) | 車両のナンバプレート認識装置および車両のナンバプレート認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191104 Year of fee payment: 4 |