KR102593483B1 - 교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법 - Google Patents

교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법 Download PDF

Info

Publication number
KR102593483B1
KR102593483B1 KR1020210060804A KR20210060804A KR102593483B1 KR 102593483 B1 KR102593483 B1 KR 102593483B1 KR 1020210060804 A KR1020210060804 A KR 1020210060804A KR 20210060804 A KR20210060804 A KR 20210060804A KR 102593483 B1 KR102593483 B1 KR 102593483B1
Authority
KR
South Korea
Prior art keywords
vehicle
license plate
image information
information
lane
Prior art date
Application number
KR1020210060804A
Other languages
English (en)
Other versions
KR20220153721A (ko
Inventor
김태훈
김태구
Original Assignee
주식회사 딥비전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥비전 filed Critical 주식회사 딥비전
Priority to KR1020210060804A priority Critical patent/KR102593483B1/ko
Publication of KR20220153721A publication Critical patent/KR20220153721A/ko
Application granted granted Critical
Publication of KR102593483B1 publication Critical patent/KR102593483B1/ko

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은, 교행다차로에 대향되어 설치되어 교행다차로를 교행하여 주행하는 하나 이상의 차량을 촬상하는 카메라부; 상기 카메라부를 통해 촬상된 영상정보를 제공받아 신호등의 표지신호 및 교행다차로를 교행하여 주행하는 하나 이상의 차량 각각의 차량번호판을 인식하고, 상기 차량번호판의 움직임에 대응되는 차량의 움직임을 추적하는 영상신호 처리부; 상기 신호등의 표시신호와 상기 하나 이상의 차량의 움직임을 토대로 법규위반을 판별하는 법규위반 판별부; 및 상기 법규위반으로 판별된 차량에 대한 법규위반정보를 생성하여 외부로 전송하는 송수신부;를 포함하는 교행다차로에서의 법규위반 단속 시스템 및 방법을 제공한다.

Description

교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법{system and method of clamping down on vehicles that violate traffic laws}
본 발명은 차량번호 인식기술에 관한 것으로, 더욱 상세하게는 하나의 광각 카메라로 교행다차로를 촬상한 영상정보로부터 상기 교행다차로를 운행하는 다수의 차량에 대한 차량번호를 인식하고, 차량번호 인식영역에 대한 움직임을 추적하여 교행다차로를 운행하는 다수의 차량의 비정상적인 운행상태를 검지 및 단속하는 교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법에 관한 것이다.
사회 구조가 복잡해지고 다양해짐에 따라 개인의 활동 영역도 점차적으로 넓어지는 한편 신속한 이동에 대한 요구에 부응하여 자동차의 이용이 증가하게 되었다. 또한 물류의 발달로 인하여 배송 등을 위한 차량대수가 급격히 증가하게 되었다. 이와 같이 사회 및 경제 규모가 확대 및 고도화됨에 따라 차량 및 교통수요가 폭발적으로 증가하고 있다.
이러한 차량대수의 급격한 증가와 차량의 이용이 일반화됨에 따라 차량을 이용한 범죄행위도 증가하고 있으며, 과속 차량과 뺑소니 차량 등과 같이 단속 대상이 되는 차량 대수도 늘어나고 있다.
이러한 문제를 해결하고자 종래에는 도로를 주행하는 차량을 촬영하여, 그 차량번호판의 차량번호를 인식할 수 있도록 하는 차량번호 인식 기술이 개발되어 상용화되어 있다.
상기 차량번호 인식은 무인 주차 관리, 그리고 불법 주차 차량 적발, 고속도로에서의 속도 위반 자동 과태료 부과, 도난 차량의 불법 번호판 적발, 과적 차량 적발 등의 목적으로 널리 사용되고 있다.
상기 차량번호 인식을 이행하는 상용 시스템은 루프 센서 방식의 단일 차로 자동차 번호판 인식 방법을 채용한다. 이는 도로상의 특정 차선의 특정 구간에 루프식 감지센서를 마련하고, 그 루프식 감지센서에서 감지된 신호에 따라 작동되는 카메라를 설치한 구성을 갖는다.
이러한 차량번호 인식 시스템은 루프식 감지센서를 도로에 설치해야 하므로, 그 설치비용이 많이 들고, 오랜 기간 사용시 파손될 가능성이 높아지므로 유지 관리가 쉽지 않은 단점이 있었다. 또한 루프식 감지센서는 특정 도로구간 및 차선에만 설치할 수 있으므로, 매우 한정적으로 차량을 단속할 수밖에 없는 한계가 있었다.
또한 상기 루프식 감지센서에 연동하여 동작하는 카메라의 경우에는 차량번호를 인식할 수 있도록 고화소수를 가지는 CCD 카메라를 사용하는 것이 일반적이며, 도 1의 (a)는 종래의 차량번호판 인식 시스템을 예시한 것이다. 상기한 종래의 차량번호판 인식 시스템은 설치비용이 많이 드는 단점이 있으며, 또한 루프식 감지센서가 설치되지 않은 차선을 지나는 차량에 대해서는 촬영하지 못하는 문제점이 있다.
더욱이 특정 도로구간이나 차선에 대해서만 단속하는 경우에는 차량의 비정상적인 운행상태를 명확하게 검지해내기가 어려운 문제가 있었다. 즉 불법 유턴이나 차선 위반, 주정차 등을 검지할 수 없는 문제가 있었다.
더욱이 근래에 사용되기 시작한 신규 차량번호판인 명암비가 낮은 파란색 전기 및 수소차 번호 등에 대해서는 번호판 인식이 어려운 문제도 있었다. 도 1의 (b)는 전기자동차에 부여되는 번호판을 예시한 것이다. 상기 전기자동차에 부여되는 번호판은 반사번호판을 채용하므로 도 1의 (c)에 도시한 바와 같이 광을 반사하여 인식이 어려운 문제가 있었다.
이에 종래에는 교행다차로를 운행하는 다수의 차량의 비정상적인 운행상태를 검지함과 아울러 다수의 차량에 대한 차량번호를 인식해낼 수 있는 기술의 개발이 절실하게 요망되었다.
대한민국 특허등록 제10-0852683호 대한민국 특허공개 제10-2016-0040036호 대한민국 특허등록 제10-0703956호
본 발명은 하나의 광각 카메라로 교행다차로를 촬상한 영상정보로부터 상기 교행다차로를 운행하는 다수의 차량에 대한 차량번호를 인식하고, 차량번호 인식영역에 대한 움직임을 추적하여 교행다차로를 운행하는 다수의 차량의 비정상적인 운행상태를 검지 및 단속하는 교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명에 따르는 교행다차로에서의 법규위반 단속 시스템은, 교행다차로에 대향되어 설치되어 교행다차로를 교행하여 주행하는 하나 이상의 차량을 촬상하는 카메라부; 상기 카메라부를 통해 촬상된 영상정보를 제공받아 신호등의 표지신호 및 교행다차로를 교행하여 주행하는 하나 이상의 차량 각각의 차량번호판을 인식하고, 상기 차량번호판의 움직임에 대응되는 차량의 움직임을 추적하는 영상신호 처리부; 상기 신호등의 표시신호와 상기 하나 이상의 차량의 움직임을 토대로 법규위반을 판별하는 법규위반 판별부; 및 상기 법규위반으로 판별된 차량에 대한 법규위반정보를 생성하여 외부로 전송하는 송수신부;를 포함한는 것을 특징으로 한다.
본 발명은 하나의 광각 카메라로 교행다차로를 촬상한 영상정보로부터 상기 교행다차로를 운행하는 다수의 차량에 대한 차량번호를 인식하고, 차량번호 인식영역에 대한 움직임을 추적하여 교행다차로를 운행하는 다수의 차량의 비정상적인 운행상태를 검지 및 단속할 수 있게 하는 효과를 제공한다.
도 1은 종래의 차량번호 인식과정을 예시한 도면,
도 2는 본 발명의 바람직한 실시예에 따르는 교행다차로에서의 법규위반 단속 시스템의 구성도,
도 3은 도 2의 영상신호 처리부의 구성도,
도 4는 도 2의 영상 및 차량정보 저장부의 구성도,
도 5 내지 도 7은 본 발명의 바람직한 실시예에 따르는 교행다차로에서의 법규위반 단속방법의 절차도,
도 8은 본 발명의 바람직한 실시예에 따르는 교행다차로를 촬상한 영상정보의 ROI를 예시한 도면,
도 9 및 도 10은 본 발명의 바람직한 실시예에 따르는 차량번호 인식과정을 예시한 도면이다.
본 발명은 하나의 광각 카메라로 교행다차로를 촬상한 영상정보로부터 상기 교행다차로를 운행하는 다수의 차량에 대한 차량번호를 인식하고, 차량번호 인식영역에 대한 움직임을 추적하여 교행다차로를 운행하는 다수의 차량의 비정상적인 운행상태를 검지 및 단속할 수 있다.
또한, 본 발명은 딥러닝을 사용하여 차량번호 인식성능을 개선하여, 교행다차로를 운행하는 다수의 차량에 대한 차량번호는 물론이고, 전기차나 수소차에 대한 차량번호를 인식가능하게 하여 차량번호 인식율을 높일 수 있다.
상기한 본 발명의 바람직한 실시예에 따르는 교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법을 도면을 참조하여 상세히 설명한다.
<교행다차로에서의 법규위반 단속 시스템의 구성>
도 2는 본 발명의 바람직한 실시예에 따르는 교행다차로에서의 법규위반 단속 시스템의 구성을 도시한 것이다.
상기 교행다차로에서의 법규위반 단속 시스템(100)은 카메라부(102)와 영상신호 처리부(104)와 법규위반 판단부(106)와 영상 및 차량정보 저장부(108)와 송수신부(110)로 구성된다.
상기 카메라부(102)는 고화질의 광각 카메라로서, 교행다차로에 대해 대향되어 설치되어 상기 교행다차로의 일부 영역을 촬상하고, 그에 따른 영상정보를 상기 영상신호 처리부(104)에 제공한다.
상기 영상신호 처리부(104)는 상기 영상신호를 제공받아 신호등이 출력하는 신호등 정보와 교행다차로에 위치하는 다수의 차량들에 대한 움직임을 추적한 차량추적정보를 생성하여 법규위반 판단부(106)로 제공한다.
상기 법규위반 판단부(106)는 상기 신호등 정보와 차량 추적정보를 토대로 교통법규를 위반한 차량이 있는지를 검출함과 아울러, 교통법규 위반차량에 대한 영상정보 및 차량정보로 구성되는 법규위반 정보를 생성하여 영상 및 차량정보 저장부(108) 및 송수신부(110)로 제공한다.
상기 영상 및 차량정보 저장부(108)는 상기 영상신호 처리부(104)로부터의 영상정보, 신호등 정보와 차량추적정보, 상기 법규위반 판단부(106)가 제공하는 단속정보를 제공받아 저장한다.
상기 송수신부(110)는 상기 법규위반 판단부(106)로부터의 상기 법규위반 정보와 해당 법규위반 정보에 대응되게 저장된 영상정보, 신호등 정보와 차량추적정보를 영상 및 차량정보 저장부(108)로부터 독출하여 네트워크를 통해 경찰청 서버 또는 경찰센터 서버로 전송한다.
<영상신호 처리부(104)의 상세 구성>
도 3은 상기 영상신호 처리부(104)의 상세 구성도이다. 상기 도 3을 참조하면, 상기 영상신호 처리부(104)는 영상분배 처리부(200)와 신호등 인식부(202)와 번호판 인식부(204)와 차량 추적부(206)와 영상 결합부(208)와 데이터저장소(210)로 구성된다.
상기 영상분배 처리부(200)는 상기 카메라부(102)로부터 제공되는 영상정보를 신호등 인식부(202)와 차량번호판 인식부(204)와 차량 추적부(206)와 영상결합부(208)로 제공한다.
상기 신호등 인식부(202)는 상기 영상정보에서 신호등 및 표지신호를 인식하고 그에 따른 결과인 표지신호정보 를 상기 영상결합부(208)로 제공한다.
상기 차량번호판 인식부(204)는 상기 영상정보에서 교행하는 다수의 차량 각각에 대해 차량번호판 영역을 검출함과 아울러, 해당 차량번호판 영역에 표기된 차량번호를 인식하고, 그에 따른 번호판 인식정보를 상기 영상결합부(208)로 제공한다. 특히 상기 번호판 인식부(204)는 딥러닝을 사용하여 차량번호 인식성능을 개선하여, 교행다차로를 운행하는 다수의 차량에 대한 차량번호는 물론이고, 전기차나 수소차에 대한 차량번호를 인식가능하게 하여 차량번호 인식율을 높인다.
상기 데이터저장소(210)는 상기 번호판 인식을 위한 학습데이터를 저장한다.
상기 차량 추적부(206)는 상기 차량번호판 인식부(204)에 의해 검출된 차량번호판 영역의 위치를 추정하거나 움직임을 추적하고, 그에 따른 위치 추정정보 또는 움직임 추적정보를 상기 영상결합부(208)로 제공한다.
상기 영상결합부(208)는 상기 표지신호정보, 번호판 인식정보, 위치 추정정보 또는 움직임 추적정보를 영상정보에 결합하여 법규위반 판단부(106)에 제공한다.
<영상 및 차량정보 저장부(208)의 상세 구성>
도 4는 상기 영상 및 차량정보 저장부(208)에 저장되는 데이터들을 예시한 것이다. 상기 도 4를 참조하면, 상기 영상 및 차량정보 저장부(208)에는 위치정보, 차량번호판 인식정보, 차량번호판 인식이 된 차량의 위치 추정정보 또는 움직임 추적정보, 녹화영상정보가 저장된다. 상기 위치정보는 상기 교행다차로에서의 법규위반 단속 시스템(100)이 설치된 위치정보로서, 교행다차로에서의 법규위반 단속 시스템(100)의 식별정보로 사용될 수 있다. 상기 차량번호판 인식정보는 영상정보로부터 차량번호판 영역 및 차량번호를 인식해낸 결과정보이다. 상기 위치 추정정보 또는 움직임 추적정보는 상기 차량번호판 영역이 인식된 차량의 위치를 추정한 정보이거나 움직임을 추적한 정보이다. 상기 녹화영상정보는 상기 카메라부(102)로부터의 영상정보를 저장한 정보이다.
이제 상기한 교행다차로에서의 법규위반 단속 시스템에 적용가능한 교행다차로에서의 법규위반 단속방법의 절차를 도면을 참조하여 상세히 설명한다.
<교행다차로에서의 법규위반 단속 방법의 절차-전체흐름>
도 5는 본 발명의 바람직한 실시예에 따르는 법규위반 단속방법의 전체적인 절차를 도시한 도면이다.
상기 도 5를 참조하면, 상기 교행다차로에서의 법규위반 단속 시스템(100)은 카메라부(102)를 통해 교행다차로를 촬상하고 그에 따른 영상정보를 획득한다(300단계). 이후 상기 법규위반 단속 시스템(100)은 상기 교행다차로의 영상정보로부터 차로정보를 검출한다(302단계). 그리고 상기 법규위반 단속 시스템(100)은 상기 교행다차로의 영상정보로부터 신호등의 표지신호정보를 검출한다(304단계). 그리고 상기 법규위반 단속 시스템(100)은 상기 교행다차로 영상정보로부터 차량번호판 및 차량번호를 인식한다(306단계).
이후 상기 법규위반 단속 시스템(100)은 인식된 차량번호판들의 위치변화를 토대로 각각의 차량에 대해 움직임을 추적하고, 그에 따른 움직임 추적정보들과 표지신호정보를 매칭하여 법규위반 여부를 판별한다(308,310단계).
상기 법규위반 단속 시스템(100)은 상기 차량번호판들 각각에 대한 움직임 추적정보와 신호등 정보를 토대로 판별된 법규위반 차량이 있는지를 체크하고(312단계), 법규위반 차량이 있으면 법규위반 정보를 생성하여 영상 및 차량정보 저장부(108)에 저장한 후에 경찰청서버 또는 경찰센서 서버로 전송한다(314단계). 상기 법규위반정보는 차량번호판으로부터 인식해낸 차량번호 및 신호등 표지신호정보, 위치정보, 시각정보, 움직임 추적기간동안의 영상정보 등으로 구성될 수 있다.
<교행다차로에서의 법규위반 단속 방법의 절차-횡단보도 침입 또는 정지선 위반 단속>
도 6은 본 발명의 바람직한 실시예에 따르는 법규위반 단속 중 횡단보도 침입 또는 정지선 위반 단속을 위한 절차를 도시한 도면이다.
상기 도 6을 참조하면, 상기 교행다차로에서의 법규위반 단속 시스템(100)은 카메라부(102)를 통해 교행다차로를 촬상하고 그에 따른 영상정보를 획득한다(400단계). 이후 상기 법규위반 단속 시스템(100)은 상기 교행다차로의 영상정보로부터 제1ROI(region of interest) 영역, 즉 횡단보도 영역을 검출한다(402단계). 상기 제1ROI 영역은 횡단보도 영역으로 설정될 수 있으며, 이를 예시한 것이 도 8의 (a)이다.
그리고 상기 법규위반 단속 시스템(100)은 상기 교행다차로의 영상정보로부터 신호등의 표지신호정보를 검출한다(404단계). 그리고 상기 법규위반 단속 시스템(100)은 상기 교행다차로 영상정보로부터 차량번호판 및 차량번호를 인식한다(406단계).
이후 상기 법규위반 단속 시스템(100)은 인식된 차량번호판들 각각이 교행다차로 상에 위치하는 위치를 추정한다(408단계).
상기 법규위반 단속 시스템(100)은 상기 인식된 차량번호판들 각각에 대한 위치정보와 신호등 표지신호정보를 매칭하여 법규위반여부, 즉 적색신호시에 횡단보도 영역에 침입하였는지 여부를 판별한다(410단계).
상기 법규위반 단속 시스템(100)은 상기 인식된 차량번호판들 각각에 대한 위치정보와 신호등 표지신호정보를 매칭하여 법규위반여부를 판별한 결과, 법규위반 차량이 있는지를 체크하고(412단계), 법규위반 차량이 있으면 법규위반 정보를 생성하여 영상 및 차량정보 저장부(108)에 저장한 후에 경찰청서버 또는 경찰센서 서버로 전송한다(414단계). 상기 법규위반정보는 차량번호판으로부터 인식해낸 차량번호 및 신호등 표지신호정보, 위치정보, 시각정보, 영상정보 등으로 구성될 수 있다.
<교행다차로에서의 법규위반 단속 방법의 절차-불법 유턴 또는 불법 주정차 단속>
도 7은 본 발명의 바람직한 실시예에 따르는 법규위반 단속 중 불법 유턴 또는 불법 주정차 단속을 위한 절차를 도시한 도면이다.
상기 도 7을 참조하면, 상기 교행다차로에서의 법규위반 단속 시스템(100)은 카메라부(102)를 통해 교행다차로를 촬상하고 그에 따른 영상정보를 획득한다(500단계). 이후 상기 법규위반 단속 시스템(100)은 상기 교행다차로의 영상정보로부터 제2 및 제3ROI 영역, 즉 좌측도로 영역 및 우측도로 영역을 검출한다(502단계). 상기 제2ROI 영역은 좌측도로 영역으로 설정될 수 있으며, 제3ROI 영역은 우측도로 영역으로 설정될 수 있으며, 이를 예시한 것이 도 8의 (b)이다.
그리고 상기 법규위반 단속 시스템(100)은 상기 교행다차로의 영상정보로부터 신호등의 표지신호정보를 검출한다(504단계). 그리고 상기 법규위반 단속 시스템(100)은 상기 교행다차로 영상정보로부터 차량번호판 및 차량번호를 인식한다(506단계).
이후 상기 법규위반 단속 시스템(100)은 인식된 차량번호판들 각각의 위치변화를 추적한다(510단계).
상기 법규위반 단속 시스템(100)은 상기 인식된 차량번호판들 각각에 대한 위치 추적정보와 신호등 표지신호정보를 매칭하여 법규위반여부, 즉 불법유턴, 불법 좌회전, 불법 차선변경, 불법 주정차 등을 판별한다(510단계).
상기 법규위반 단속 시스템(100)은 상기 인식된 차량번호판들 각각에 대한 위치 추적정보와 신호등 표지신호정보를 매칭하여 법규위반여부를 판별한 결과, 법규위반 차량이 있는지를 체크하고(512단계), 법규위반 차량이 있으면 법규위반 정보를 생성하여 영상 및 차량정보 저장부(108)에 저장한 후에 경찰청서버 또는 경찰센서 서버로 전송한다(514단계). 상기 법규위반정보는 차량번호판으로부터 인식해낸 차량번호 및 신호등 표지신호정보, 위치정보, 시각정보, 움직임 추적기간 동안의 영상정보 등으로 구성될 수 있다.
<차량번호 인식과정>
상기한 바와 같이 본 발명은 차량번호판을 검출하고, 그 차량번호판의 차량번호를 인식하여 차량식별정보를 생성함과 아울러, 차량의 위치를 추정함과 아울러 차량의 움직임을 추적하는 데에 사용된다.
이에 본 발명은 딥러닝을 사용하여 차량번호 인식성능을 개선하여, 교행다차로를 운행하는 다수의 차량에 대한 차량번호는 물론이고, 전기차나 수소차에 대한 차량번호를 인식가능하게 하여 차량번호 인식율을 높인다.
상기의 차량 및 차량번호의 인식과정에 대해 좀더 설명한다. 상기 차량 및 량번호의 인식시에는 객체 검출 및 인식을 이행한다.
상기한 객체 검출과 인식을 위해서 본 발명은 객체의 위치와 크기를 포함하는 경계를 예측하는 방식을 사용할 수 있다.
그리고 슬라이딩 윈도우 방식에 따라, 슬라이딩 ROI 이미지가 객체 클래스 예측 함수에 전달하고 다양한 크기의 객체를 피라미드로 생성하여 검출할 수도 있다.
그리고 HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식에 따라, 피라미드 슬라이딩 윈도우를 실행하여 각 윈도우에서 객체 분류를 위해 HOG FEATURE를 계산한 후에 SVM을 이용하여 객체를 인식할 수도 있다.
그리고 딥러닝 기법을 적용할 수 있으며, CNN(convolutional neural network)은 정확도 높은 객체 추출이 가능하며 R-CNN(REGIONS WITH CNN)은 객체 분류에 필요한 ROI 수를 줄일 수 있고, 선택적 검색을 위해 질감, 강도, 컬러 등의 로컬 정보를 사용한다. FAST RCNN은 SPP-NET(spatial pyramid pooling) 기반으로 계산되며 전체 이미지에 대해 한번 CNN을 계산한다.
그리고 YOLO(YOU ONLY LOOK ONCE)를 적용할 수 있으며, 상기 YOLO는 각 이미지를 S*S 그리드의 정확성을 반영, 리드에 N 개체가 예측되며 대부분은 낮은 신뢰도를 가진다. 신뢰도를 높이기 위해 주변의 그리드를 합칠 수 있고, 임계값을 설정해 불필요한 부분은 제거할 수 있다.
상기 YOLO는 여타의 실시간 비전 기술과 비교할 때에 속도가 빠르며 이미지 전체를 한번에 바라보는 방식으로 클래스를 분별할 수 있게 한다.
상기한 본 발명의 바람직한 실시예에 따른 차량번호 인식방법에 따른 절차를 도면을 참조하여 상세히 설명한다.
도 9는 본 발명의 바람직한 실시예에 따르는 차량번호 인식방법의 절차를 도시한 것이다.
상기 교행다차로에서의 법규위반 단속 시스템(100)은 학습 또는 차량번호 인식 중 어느 하나의 동작모드로 설정되었는지를 체크한다. 상기 학습 또는 차량번호 인식 중 어느 하나의 동작모드로 설정되어 있으면, 상기 교행다차로에서의 법규위반 단속 시스템(100)은 상기 동작모드가 학습모드인지를 체크한다(600단계).
상기 동작모드가 학습모드이면, 상기 교행다차로에서의 법규위반 단속 시스템(100)은 객체 검출 및 인식율을 위한 딥러닝을 이행한다(602단계). 상기한 딥러닝은 차량 검지 및 차량번호 인식방식에 대한 것으로, CNN(convolutional neural network), R-CNN(REGIONS WITH CNN), FAST RCNN 중 어느 하나 또는 그 이상이 선택될 수 있다. 상기한 차량 검지 및 차량번호 인식은 슬라이딩 윈도우 방식 또는 HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식이 채용될 수 있다. 또한 상기한 딥러닝은 차량의 검지와 차량번호판의 차량번호 인식을 위해 생성된 학습 및 테스트용 메타 데이터인 딥 러닝 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하여 수행된다.
상기 동작모드가 차량번호 인식모드이면, 상기 교행다차로에서의 법규위반 단속 시스템(100)은 딥 러닝된 차량검지 및 차량번호 인식방식에 따라 다차로를 주행하는 차량들에 대한 전후방 차량번호판을 인식한다(604단계).
<차량번호 인식단계의 상세절차>
상기한 본 발명의 바람직한 실시예에 따르는 차량번호 인식단계를 도 10을 참조하여 좀더 상세하게 설명한다.
상기 교행다차로에서의 법규위반 단속 시스템(100)은 차량번호 인식으로의 동작모드가 설정되었으면, 광각의 카메라부(102)를 구동하여 교행다차로를 주행하는 차량들을 촬상한다(700단계). 상기 교행다차로에서의 법규위반 단속 시스템(100)은 상기 촬상에 의해 획득되는 영상정보를 개선한다(702단계). 상기 영상정보 개선방법은 SSR(single scale retinex), MSR(multi scale retinex), 이방성 필터링(BILATERAL FILTER) 등이 채용된다. 이러한 영상정보 개선을 통해 저품위의 영상정보로부터도 차량번호판의 인식을 가능하게 하고, 반사판에 형성된 전기 자동차의 차량번호판에 대한 인식도 가능하게 한다.
상기한 영상정보의 개선후에, 상기 교행다차로에서의 법규위반 단속 시스템(100)은 상기 영상정보로부터 차량을 검지한다(704단계). 상기한 영상정보로부터 차량이 검지되면, 상기 교행다차로에서의 법규위반 단속 시스템(100)은 차량검지영역에 대해 차량번호판의 차량번호를 인식한다(708단계).
상기한 영상정보로부터 차량번호판의 차량번호가 인식되면, 상기 교행다차로에서의 법규위반 단속 시스템(100)은 상기 차량이 검지되었고 차량번호가 인식되었으면, 영상정보와 차량번호 인식정보를 저장한다(712단계).
이와 달리 차량이 검지되었으나 차량번호가 인식되지 않았다면, 상기 영상처리장치(100)는 상기 영상정보와 차량번호 재인식을 위해 상기 700단계로 복귀한다(714단계).
이상의 설명에서 본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능 하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
100 : 교행다차로에서의 법규위반 단속 시스템
102 : 카메라부
104 : 영상신호 처리부
106 : 법규위반 판단부
108 : 영상 및 차량정보 저장부
110 : 송수신부

Claims (8)

  1. 교행다차로에서의 법규위반 단속 시스템에 있어서,
    교행다차로에 대향되어 설치되어 교행다차로를 교행하여 주행하는 하나 이상의 차량을 촬상하는 카메라부;
    상기 카메라부를 통해 촬상된 영상정보를 제공받아 신호등의 표지신호 및 교행다차로를 교행하여 주행하는 하나 이상의 차량 각각의 차량번호판을 인식하고, 상기 차량번호판의 움직임에 대응되는 차량의 움직임을 추적하는 영상신호 처리부;
    상기 신호등의 표지신호와 상기 하나 이상의 차량의 움직임을 토대로 법규위반을 판별하는 법규위반 판별부;
    상기 법규위반으로 판별된 차량에 대한 법규위반정보를 생성하여 외부로 전송하는 송수신부; 및
    상기 영상정보 및 차량번호 및 표지신호의 인식결과, 차량의 움직임 추적정보를 저장하는 영상 및 차량정보 저장부;를 포함하고,
    상기 영상신호 처리부는, 차량검지 및 차량번호 인식의 딥 러닝을 위한 딥 러닝 데이터를 저장하는 딥러닝 데이터 저장소;를 더 포함하며,
    상기 영상신호 처리부는,
    상기 카메라부가 촬상하여 획득한 영상정보에 대해 SSR(single scale retinex), MSR(multi scale retinex) 중 하나 이상을 이행한 후 이방성 필터링(BILATERAL)을 이행하여 상기 영상정보를 개선하고,
    개선된 영상정보에 대해서 HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식을 적용하고,
    상기 딥 러닝은 차량의 검지와 차량번호판의 차량번호 인식을 위해 생성된 학습 및 테스트용 메타 데이터인 딥 러닝 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하고,
    상기 영상정보에서 차량번호를 인식하여 하여 통신모듈을 통해 외부로 전송하고,
    상기 딥 러닝 데이터를 토대로 YOLO를 추가적으로 적용하여 상기 영상정보에서 차량의 검지 및 차량번호를 인식하고, 상기 차량번호판의 위치를 추적하며,
    상기 영상신호 처리부가 상기 교행다차로의 영상정보로부터 횡단보도 영역을 검출하면,
    상기 법규위반 판별부는, 상기 인식된 차량번호판들 각각에 대한 위치추적정보와 신호등의 표지신호를 매칭하여 적색신호시에 횡단보도 영역에 침입하였는지 여부를 판별하며,
    상기 영상신호 처리부가 상기 교행다차로의 영상정보로부터 좌측도로 영역 및 우측도로 영역을 검출하면,
    상기 법규위반 판별부는, 상기 인식된 차량번호판들 각각에 대한 위치 추적정보와 신호등의 표지신호를 매칭하여 불법유턴, 불법 좌회전, 불법 차선변경 및 불법 주정차 여부 중의 어느 하나를 판별함을 특징으로 하는 교행다차로에서의 법규위반 단속 시스템.
  2. 삭제
  3. 교행다차로에서의 법규위반 단속 방법에 있어서,
    (a) 교행다차로에 대향되어 설치된 카메라부가 상기 교행다차로를 교행하여 주행하는 하나 이상의 차량을 촬상하여 획득한 영상정보를 제공받아 신호등의 표지신호 및 교행다차로를 교행하여 주행하는 하나 이상의 차량 각각의 차량번호판을 인식하고, 상기 차량번호판의 움직임에 대응되는 차량의 움직임을 추적하는 단계;
    (b) 상기 신호등의 표지신호와 상기 하나 이상의 차량의 움직임을 토대로 법규위반을 판별하는 단계;
    (c) 상기 법규위반으로 판별된 차량에 대한 법규위반정보를 생성하여 외부로 전송하는 단계; 및
    (d) 상기 영상정보 및 차량번호 및 표지신호의 인식결과, 차량의 움직임 추적정보를 저장하는 단계;를 포함하고,
    상기 (a) 단계에서,
    (a-1) 차량검지 및 차량번호 인식의 딥 러닝을 위한 딥 러닝 데이터를 저장하는 단계와,
    (a-2) 상기 카메라부가 촬상하여 획득한 영상정보에 대해 SSR(single scale retinex), MSR(multi scale retinex) 중 하나 이상을 이행한 후 이방성 필터링(BILATERAL)을 이행하여 상기 영상정보를 개선하고,
    개선된 영상정보에 대해서 HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식을 적용하고,
    상기 딥 러닝은 차량의 검지와 차량번호판의 차량번호 인식을 위해 생성된 학습 및 테스트용 메타 데이터인 딥 러닝 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하고, 상기 영상정보에서 차량번호를 인식하여 하여 통신모듈을 통해 외부로 전송하고,
    상기 딥 러닝 데이터를 토대로 YOLO를 추가적으로 적용하여 상기 영상정보에서 차량의 검지 및 차량번호를 인식하고, 상기 차량번호판의 위치를 추적하는 단계를 더 포함하고,
    (e) 상기 (a) 단계에서의 상기 교행다차로의 영상정보로부터 횡단보도 영역을 검출하는 단계; 및
    (f) 상기 (e) 단계에서 검출된 횡도보도 영역을 토대로, 상기 인식된 차량번호판들 각각에 대한 위치추적정보와 신호등의 표지신호를 매칭하여 적색신호시에 횡단보도 영역에 침입하였는지 여부를 판별하는 단계를 더 포함하며,
    상기 (e)단계에서, 상기 교행다차로의 영상정보로부터 좌측도로 영역 및 우측도로 영역을 검출하고,
    상기 (f)단계에서, 검출된 좌측도로 영역 및 우측도로 영역을 토대로, 상기 인식된 차량번호판들 각각에 대한 위치 추적정보와 신호등의 표지신호를 매칭하여 불법유턴, 불법 좌회전, 불법 차선변경 및 불법 주정차 여부 중의 어느 하나를 판별하는 단계를 더 포함하는 것을 특징으로 하는 교행다차로에서의 법규위반 단속 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
KR1020210060804A 2021-05-11 2021-05-11 교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법 KR102593483B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210060804A KR102593483B1 (ko) 2021-05-11 2021-05-11 교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210060804A KR102593483B1 (ko) 2021-05-11 2021-05-11 교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법

Publications (2)

Publication Number Publication Date
KR20220153721A KR20220153721A (ko) 2022-11-21
KR102593483B1 true KR102593483B1 (ko) 2023-10-25

Family

ID=84233890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210060804A KR102593483B1 (ko) 2021-05-11 2021-05-11 교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법

Country Status (1)

Country Link
KR (1) KR102593483B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100867334B1 (ko) 2008-02-13 2008-11-10 (주) 서돌 전자통신 정지선 위반차량 단속 시스템 및 그 제어방법
KR101034486B1 (ko) * 2010-10-25 2011-05-23 주식회사 디아이랩 교차로 교통법규 위반 단속 시스템 및 방법
KR101327905B1 (ko) 2013-08-09 2013-11-13 주식회사 넥스파시스템 꼬리물기, 정지선 위반 및 불법유턴 단속 시스템 및 그 제어방법
KR101780320B1 (ko) 2017-03-17 2017-10-10 세종신호(주) 지능형 다기능 영상 감시 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703956B1 (ko) 2005-10-12 2007-04-04 정보안주식회사 차량의 번호판 인식 시스템 및 이를 처리하는 방법
KR100852683B1 (ko) 2007-08-13 2008-08-18 (주)한국알파시스템 차량번호 인식 시스템 및 차량번호 인식방법
KR20160040036A (ko) 2014-10-02 2016-04-12 (주) 키움소프트 다수의 ip카메라를 이용한 차량번호판 인식장치 및 인식방법
KR102369824B1 (ko) * 2019-09-23 2022-03-07 주식회사 딥비전 교행 다차로를 위한 차량번호 인식방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100867334B1 (ko) 2008-02-13 2008-11-10 (주) 서돌 전자통신 정지선 위반차량 단속 시스템 및 그 제어방법
KR101034486B1 (ko) * 2010-10-25 2011-05-23 주식회사 디아이랩 교차로 교통법규 위반 단속 시스템 및 방법
KR101327905B1 (ko) 2013-08-09 2013-11-13 주식회사 넥스파시스템 꼬리물기, 정지선 위반 및 불법유턴 단속 시스템 및 그 제어방법
KR101780320B1 (ko) 2017-03-17 2017-10-10 세종신호(주) 지능형 다기능 영상 감시 시스템

Also Published As

Publication number Publication date
KR20220153721A (ko) 2022-11-21

Similar Documents

Publication Publication Date Title
US11080995B2 (en) Roadway sensing systems
CN106652468B (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
US6411328B1 (en) Method and apparatus for traffic incident detection
US9679203B2 (en) Traffic violation detection
US8284996B2 (en) Multiple object speed tracking system
US20140314275A1 (en) Pedestrian Right of Way Monitoring and Reporting System and Method
KR101742490B1 (ko) 끼어들기 위반차량 단속 시스템 및 그 방법
EP1930863A2 (en) Detecting and recognizing traffic signs
WO2015089867A1 (zh) 一种交通违章检测方法
CN104616502A (zh) 基于组合式车路视频网络的车牌识别与定位系统
CN108932849B (zh) 一种记录多台机动车低速行驶违法行为的方法及装置
KR102306789B1 (ko) 교행 다차로에서의 이상차량 인식방법 및 장치
Wu et al. A Real‐Time Embedded Blind Spot Safety Assistance System
KR101756848B1 (ko) 불법 주정차 관리 시스템
CN114781479A (zh) 交通事件检测方法及装置
KR101355201B1 (ko) 시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법
CN105574502A (zh) 一种自助发卡机违章行为自动检测方法
Nagaraj et al. Traffic jam detection using image processing
CN113033275A (zh) 基于深度学习的车辆变道不打转向灯分析系统
Marikhu et al. Police Eyes: Real world automated detection of traffic violations
CN111899521A (zh) 一种高速公路的车辆违规行为检测方法
Choi et al. Cut-in vehicle warning system exploiting multiple rotational images of SVM cameras
KR102593483B1 (ko) 교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법
KR102369824B1 (ko) 교행 다차로를 위한 차량번호 인식방법 및 장치
Kanhere Vision-based detection, tracking and classification of vehicles using stable features with automatic camera calibration

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
GRNT Written decision to grant
X701 Decision to grant (after re-examination)