KR102533582B1 - 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법 - Google Patents
인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법 Download PDFInfo
- Publication number
- KR102533582B1 KR102533582B1 KR1020220149259A KR20220149259A KR102533582B1 KR 102533582 B1 KR102533582 B1 KR 102533582B1 KR 1020220149259 A KR1020220149259 A KR 1020220149259A KR 20220149259 A KR20220149259 A KR 20220149259A KR 102533582 B1 KR102533582 B1 KR 102533582B1
- Authority
- KR
- South Korea
- Prior art keywords
- wheeled vehicle
- center line
- vehicle
- violation
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 31
- 238000005516 engineering process Methods 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 51
- 238000013528 artificial neural network Methods 0.000 claims description 41
- 238000004891 communication Methods 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000000306 recurrent effect Effects 0.000 claims description 8
- 230000009545 invasion Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 239000007787 solid Substances 0.000 claims description 3
- OWZREIFADZCYQD-NSHGMRRFSA-N deltamethrin Chemical compound CC1(C)[C@@H](C=C(Br)Br)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 OWZREIFADZCYQD-NSHGMRRFSA-N 0.000 claims 1
- 238000003384 imaging method Methods 0.000 claims 1
- 238000007726 management method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013526 transfer learning Methods 0.000 description 4
- 238000005336 cracking Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 이륜자동차의 운행위반 단속에 관한 것으로, 더욱 상세하게는 딥러닝기반 컴퓨터비전 기술을 활용하여 도로에 설치된 카메라로부터 영상신호를 수신하여 이륜자동차와 도로의 중앙선을 추출하고, 추출된 이륜자동차의 중앙선침범이나 불법유턴 시 이륜자동차의 번호판을 감지하고 판독하여 이를 단속관련 기관으로 전송하는 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법에 관한 것이다. 이러한 본 발명은 각각 도로의 중앙선을 기준으로 서로 반대방향을 촬영하도록 된 카메라가 구성되고, 딥러닝기반 컴퓨터비전 기술을 활용하여 서로 반대방향을 촬영하도록 된 카메라로부터 영상신호를 수신하며, 이륜자동차와 도로의 중앙선을 추출하되, 도로의 중앙선을 기준으로 양방향에 설치된 카메라간 연동을 통하여 이륜자동차가 중앙선침범이나 불법유턴을 포함하는 운행위반을 하는 경우 해당 이륜자동차의 번호판을 감지하고, 판독하여 차량번호를 추출하고 이를 단속관련 기관의 서버인 운행위반 단속서버(200)로 전송하는 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103); 복수의 상기 제1 내지 제N 운행위반 단속장치(101, 102, 103)로부터 전송된 운행위반 단속차량에 대한 단속정보를 통지하는 운행위반 단속서버(200); 및 상기 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103)와 운행위반 단속서버(200)간 통신을 수행하는 통신망(300);을 포함하여 구성됨을 특징으로 하는 인공지능기반 운행위반 이륜자동차 단속 시스템을 제공한다.
Description
본 발명은 이륜자동차의 운행위반 단속에 관한 것으로, 더욱 상세하게는 딥러닝기반 컴퓨터비전 기술을 활용하여 도로에 설치된 카메라로부터 영상신호를 수신하여 이륜자동차와 도로의 중앙선을 추출하고, 추출된 이륜자동차의 중앙선침범이나 불법유턴 시 이륜자동차의 번호판을 감지하고 판독하여 이를 단속관련 기관으로 전송하는 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법에 관한 것이다.
이륜차는, 자동차의 보급이 활성화되기 이전부터 많은 국민들에게 사용되어왔다. 아울러 현대 시대에는 자동차의 보급이 활발해졌지만, 여전히 이륜차 특유의 매력을 따라, 여가생활 혹은 이동수단으로서 이륜차를 사용하고 있다.
특히, 코로나로 인해 배달문화가 활성화된 현재, 이륜차의 도로 주행량은 증가하고 있다.
그러나 이륜차는 일반 자동차와 다르게 도로 상에서 주행범위가 다소 자유롭다. 이는 법적으로 자유로운 것은 아니고, 크기가 자동차에 비해 작고, 2개의 휠로 구동되어지다 보니, 자전거와 마찬가지로 자유로운 이동이 가능하다는 것이다.
때문에, 도로 상에서 도로법규를 지키지 않고 무분별한 주행을 하는 운전자가 늘고 있다. 이러한 이륜차로 인해 도로 상에서 안전하게 주행하는 일반 자동차나, 안전하게 보행 중인 보행자가 피해를 보는 경우도 발생되고 있다.
차량에 대한 단속기술은 다양하게 개발되어져 있다.
예컨대, 등록특허공보 제10-1942491호에는 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템이 기재되어 있다.
상기 기술은, 기존의 CCTV카메라에서 촬영된 현장용 CCTC영상이 DSP처리 및 통합관제용 인터페이스처리없이, 바로 통합관제센터시스템으로 전달되기 때문에, 현장용 CCTV영상의 화질이 흔들리거나 휘미해져서, 특정개체를 육안으로 파악하기가 힘든 문제점과, 종래의 통합관제센터시스템에서는 관제자인 사람이 24시간 모니터를 보며 감시하는 체제이므로 즉각적인 반응이 어렵고, 실제 위험요소를 객체인식으로 판별하여 추적하기는 어려운 문제점과, 다양한 이상 상황 발생 시 위험 요소의 실시간 객체검출 및 추적이 불가능한 문제점, 그리고, 통합관제센터 시스템에 도로교통 상황 모니터링 관제시스템 따로, 교통정보 분석시스템 따로, 교통신호등 제어시스템 따로, 구축이 되기 때문에, 시스템구축비용이 비싸지고, 시스템과부하에 따른 처리속도가 늦어지고, 잦은 고장이 발생되는 문제점을 개선하고자, 현장용 CCTV 모듈(100), CCTV 통합관제관리서버(200), 인공지능형 CCTV통합관제중개 제어모듈(300)로 구성됨으로서, 복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이에 형성된 인공지능형 CCTV통합관제중개제어모듈을 통해, DSP처리와 관제인터페이스 처리를 통해, 기존에 비해 80% 향상된 양질의 현장용 CCTV영상데이터를 통합관제센터의 모니터링화면에 표출시킬 수 있으며, CCTV 통합관제관리서버가 해야할 도로교통 상황 모니터링 관제기능과, 특정이동차량검출기능, 특정이동차량추적기능, 교통정보분석기능, 교통신호제어기능을 인공지능형 CCTV통합관제중개제어모듈을 수행시킬 수 있어, CCTV 통합관제관리서버의 업데이트되는 시스템구축비용을 기존에 비해 70% 저렴하게 할 수 있고, CCTV 통합관제관리서버의 모니터링화면 표출속도 및 분석처리속도를 기존에 비해 2배~4배 향상시킬 수 있으며, CCTV 통합관제관리서버의 고장발생율을 60%이하로 낮출 수 있고, 그리드 셀 기반형 합성곱 신경망구조와 RNN (Recurrent Neural Network) 신경망 구조를 통해 자가학습하면서, 학습한 자가학습데이터를 기반으로, 프레임별 현장용 CCTV영상데이터 속에 있는 이동차량과 비교하여, 특정이동차량만을 검출시킬 수 있어, 특정이동차량의 검출속도를 기존에 비해 80% 향상시킬 수 있고, 장애 시간이나 횟수를 줄임으로 인한 공백시간을 기존에 비해, 80% 줄일 수가 있으며, 이동차량 검출시, 정지된 환경에서 구현되는 기존의 차량검출과는 다르게 이동차량마다 ID를 부여하여 현재 프레임화면에서 알아볼 수 없다 하더라도, 또 다른 이웃하는 현장용 CCTV모듈에서 촬영된 다음 프레임화면의 이동차량의 특징 패턴과 벡터, 색정보를 비교하여 동일 이동차량임을 설정할 수 있어, 기존에 비해 특정이동차량검출율을 80% 향상시킬 수 있는 도로교통 상황 모니터링 관제/실시간 교통정보 분석/교통신호제어로 이루어진 인공지능형 CCTV통합관제중개 제어모듈을 갖는 CCTV통합관제센터시스템를 제공하는데 그 목적이 있다.
물론, 종래 도로상황과 더불어 자동차를 감시하는 기술이 이륜차 역시 감시하도록 되어 있지만, 이러한 종래의 자동차 감시 기술을 적용하기에 이륜차의 경우 헛점이 존재한다.
예를 들어, 이륜차가 횡단보도를 통해 차도로 진입하면서 교통법규를 위반하는 경우, 차량 번호판을 촬영하도록 구성된 종래 기술은, 방향을 틀어짐에 따른 이륜차의 번호판을 놓치는 경우가 발생될 수 있다.
이륜차의 단속을 위한 기술로서, 공개특허공보 특2003-0061124호에는 이륜 자동차의 단속 및 관리를 위한 데이터 송, 수신시스템 및 그 방법이 기재되어 있다.
상기 기술은, 이륜 자동차에 장착된 고유 식별부호(ID)가 내장된 송, 수신장치에서 송출하는 신호를 일정 범위안에 있는 교통 공무원이 휴대한 송, 수신장치가 수신, 확인할 수 있도록 하고, 교통법규 위반 시 교통행정 관리 시스템과 접속하여 차적 및 개개인의 보험 및 사고 이력 등을 조회할 수 있도록 함으로써, 신속하고 용이하게 교통법규 위반을 단속 지도함과 동시에 범칙금을 부과할 수 있도록 하는 이륜 자동차의 단속 및 관리를 위한 데이터 송, 수신 시스템 및 그 방법에 관한 것이다.
이를 위해 이륜 자동차의 번호판 봉인 볼트에 의해 고정되는 송, 수신 장치1과 교통 공무원이 휴대하는 송, 수신 장치2가 상호 신호를 송, 수신 할 수 있도록 하고, 교통 공무원이 휴대하는 송, 수신 장치2와 건교부의 이륜자동차 통합전산 행정 관리 서버, 손해보험사의 서버, 경찰청의 서버 및 각 단체의 행정 정보 데이터 베이스로 이루어진 교통 행정 관리 시스템이 데이터를 송, 수신 할 수 있도록 구성함을 특징으로 한다.
또한, 등록특허공보 제10-2166784호에는 자전거 전용차로 ＣＣＴＶ 단속관리 시스템이 기재되어 있다.
상기 기술은, 자전거 전용차로 CCTV 단속관리 시스템에 관한 것으로, 자전거 전용차로 상에 고정된 지지대의 상부에 설치되고, 카메라를 이용하여 자전거 전용차로 상에 기 지정된 특정 영역의 영상을 획득하며, 기 설정된 상기 지지대의 위도 및 경도와 함께 획득된 특정 영역의 영상을 전송하는 영상획득장치와, 영상획득장치와 통신망을 통해 연결되며, 통신망을 통해 영상획득장치로부터 기 설정된 지지대의 위도 및 경도와 함께 획득된 특정영역의 영상을 제공받아 이를 기반으로 기 설정된 영상인식 기술을 이용한 영상처리 및 분석을 통해 자전거 전용차로 상의 불법차량을 인식함과 아울러 해당 불법차량 번호판을 검출하고, 기 설정된 지지대의 위도와 경도를이용하여 해당 불법차량 번호판에 대한 현재 위치의 위도와 경도를 산출하여 해당 불법차량의 현재 위치정보를검출하며, 관리자가 해당 불법차량에 대한 번호판 이미지를 비롯하여 해당 불법차량의 차량번호, 위도와 경도를 갖는 현재 위치 및 시간을 시각적 또는 청각적으로 실시간 모니터링(Monitoring)할 수 있도록 서비스를 제공하는 도로 관리서버를 포함함으로써, 자전거 운전자에게 사전에 충분한 주의를 줄 수 있을 뿐만 아니라 추돌사고발생을 효과적으로 줄일 수 있다.
또한, 등록특허공보 제10-0464619호에는 이륜 자동차의 단속 및 관리를 위한 데이터 송, 수신 장치가 기재되어 있다.
그러나 상술된 기술들은, 이륜차에 특화되어 번호판 감지를 도모하기 위한 기술을 적용하지 않고 있다는 문제가 있었다.
따라서, 본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 딥러닝기반 컴퓨터비전 기술을 활용하여 도로에 설치된 카메라로부터 영상신호를 수신하여 이륜자동차와 도로의 중앙선을 추출하되, 도로의 중앙선을 기준으로 양방향에 설치된 카메라간 연동을 통하여 이륜자동차의 중앙선침범이나 불법유턴 시 이륜자동차의 번호판을 감지하고 판독하여 이를 단속관련 기관으로 전송하는 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명은 각각 도로의 중앙선을 기준으로 서로 반대방향을 촬영하도록 된 카메라가 구성되고, 딥러닝기반 컴퓨터비전 기술을 활용하여 서로 반대방향을 촬영하도록 된 카메라로부터 영상신호를 수신하며, 이륜자동차와 도로의 중앙선을 추출하되, 도로의 중앙선을 기준으로 양방향에 설치된 카메라간 연동을 통하여 이륜자동차가 중앙선침범이나 불법유턴을 포함하는 운행위반을 하는 경우 해당 이륜자동차의 번호판을 감지하고, 판독하여 차량번호를 추출하고 이를 단속관련 기관의 서버인 운행위반 단속서버(200)로 전송하는 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103); 복수의 상기 제1 내지 제N 운행위반 단속장치(101, 102, 103)로부터 전송된 운행위반 단속차량에 대한 단속정보를 통지하는 운행위반 단속서버(200); 및 상기 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103)와 운행위반 단속서버(200)간 통신을 수행하는 통신망(300);을 포함하여 구성됨을 특징으로 하는 인공지능기반 운행위반 이륜자동차 단속 시스템을 제공한다.
여기서, 복수의 상기 제1 내지 제N 운행위반 단속장치(101, 102, 103)는,
중앙선을 기준으로 양쪽의 마주보는 방향의 차량을 촬영하는 제1방향 카메라(120)와, 제2방향 카메라(130)를 포함하여 구성됨을 특징으로 한다.
그리고 복수의 상기 제1 내지 제N 운행위반 단속장치(101, 102, 103)는, 영상촬영장치(카메라)를 통해 일반자동차와 이륜자동차 차량에 대한 인식신경망 학습을 수행하고, 인식된 차량에 대한 바운딩 박스(Bounding Box) 생성을 통해 고유 ID를 부여하고, 고유 ID가 부여된 차량에 대한 벡터 값 추적(+ 또는 -), 학습 데이터를 통한 불법 유턴 추론 신경망 학습과, 중앙선 영역을 검출하고, 검출된 중앙선 영역에 대하여 고유 ID가 부여된 차량이 중앙선 이탈 여부를 추적하는 학습 데이터를 통해 중앙선 침범 추론 신경망 학습을 통해. 불법유턴과 중앙선 침범을 포함하는 운행위반을 추론하는 것을 특징으로 한다.
그리고 상기한 목적을 달성하기 위하여 본 발명은 일반자동차와 이륜자동차 인식신경망 학습 및 이륜자동차 중앙선 침범, 유턴 인식 신경망 학습을 하는 단계(S100); 도로의 중앙선을 기준으로 마주보는 방향을 촬영하는 두대의 카메라를 포함하는 운행위반 단속장치를 도로에 설치하는 단계(S110); 상기 운행위반 단속장치의 제1, 제2방향 카메라(120)(130)를 통해 도로의 차량을 촬영하면서 이륜차(이륜자동차)를 검출하고, 검출된 이륜차(이륜자동차)에 대하여 객체 ID를 부여하는 단계(S120); 상기 객체 ID가 부여된 이륜차(이륜자동차)에 대하여 상기 제1, 제2방향 카메라(120)(130)를 통해 계속해서 촬영이 진행되면서 유턴/중앙선침범 검출부(180)가 이륜자동차의 불법유턴이나 중앙선 침범을 포함하는 운행위반을 검출하는 단계(S130); 상기 운행위반이 검출되면 상기 운행위반 단속장치의 차량번호 추출부(160)에서는 운행위반 이륜차(이륜자동차) 번호판에서 차량번호를 추출하는 단계(S140); 및 추출된 차량번호는 상기 제1방향 카메라(120)와 제2방향 카메라(130)의 촬영영상과 함께 상기 운행위반 단속장치의 메모리부(190)에 저장되고, 통신망(300)을 통해 운행위반 단속서버(200)로 해당 운행위반 단속 데이터가 전송되는 단계(S150);를 포함하여 이루어지는 것을 특징으로 하는 인공지능기반 운행위반 이륜자동차 단속 방법을 제공한다.
이와 같이 이루어지는 본 발명은 다음과 같은 효과가 있다.
첫째, 딥러닝기반 컴퓨터비전 기술을 활용하여 도로에 설치된 카메라로부터 영상신호를 수신하여 이륜자동차와 도로의 중앙선을 추출하고, 추출된 이륜자동차의 중앙선침범이나 불법유턴 시 이륜자동차의 번호판을 감지하고 판독하여 이를 단속관련 기관으로 전송할 수 있다.
둘째, 도로에 설치된 카메라를 통해 이륜자동차의 번호판을 추출하고, 추출된 번호판에 대하여 딥러닝 기반의 객체 인식 작업을 통해 일반 자동차와 이륜자동차를 분류 및 검출 한 후 검출된 객체의 번호판에 대한 이미지 확대 및 번호판 이미지 확대에 따른 영상 노이즈 및 딥러닝 기반의 후방 촬영 영상 보정 알고리즘을 통해서 차량방범과, 생활방범을 포함하는 지능형 방범이 가능한 이륜자동차 번호판을 인식할 수 있는 효과가 있다.
셋째, 도로의 중앙선을 기준으로 두대의 카메라와 연동하여 양쪽에서 이륜자동차의 중앙선 침범이나 불법유턴을 검출하므로 번호판이 뒤에만 있는 이륜자동차(이륜차)의 후방을 촬영함으로써 특히 이륜자동차 단속에 효율적으로 활용할 수 있다.
도 1은 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이용되는 이륜자동차 불법 유턴 추론 신경망의 실시예를 설명하기 위한 도면,
도 2는 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이용되는 이륜자동차 중앙선침범 추론 신경망의 실시예를 설명하기 위한 도면,
도 3은 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 전이학습을 설명하기 위한 도면,
도 4는 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이륜자동차 불법유턴 및 중앙선 침범 검출 알고리즘을 설명하기 위한 도면,
도 5 및 도 6은 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이륜자동차 검출에 이용되는 IOU를 설명하기 위한 도면,
도 7은 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템의 실시예를 설명하기 위한 블록 구성도,
도 8은 도 7에 나타낸 이륜자동차 단속 감시장치의 실시예를 설명하기 위한 블록 구성도,
도 9는 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 방법의 실시예를 설명하기 위한 흐름도이다.
도 2는 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이용되는 이륜자동차 중앙선침범 추론 신경망의 실시예를 설명하기 위한 도면,
도 3은 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 전이학습을 설명하기 위한 도면,
도 4는 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이륜자동차 불법유턴 및 중앙선 침범 검출 알고리즘을 설명하기 위한 도면,
도 5 및 도 6은 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이륜자동차 검출에 이용되는 IOU를 설명하기 위한 도면,
도 7은 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템의 실시예를 설명하기 위한 블록 구성도,
도 8은 도 7에 나타낸 이륜자동차 단속 감시장치의 실시예를 설명하기 위한 블록 구성도,
도 9는 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 방법의 실시예를 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 바람직한 실시 예를 설명하기로 한다.
본 발명의 실시 예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시 예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.
도 1은 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이용되는 이륜자동차 불법 유턴 추론 신경망의 실시예를 설명하기 위한 도면이고, 도 2는 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이용되는 이륜자동차 중앙선침범 추론 신경망의 실시예를 설명하기 위한 도면이며, 도 3은 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 전이학습을 설명하기 위한 도면이고, 도 4는 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이륜자동차 불법유턴 및 중앙선 침범 검출 알고리즘을 설명하기 위한 도면이다.
본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이용되는 이륜자동차 불법 유턴 추론 신경망의 실시예는 도 1에 나타낸 바와 같은데, 영상촬영장치(카메라)를 통해 일반자동차와 이륜자동차(오토바이)의 차량에 대한 인식신경망 학습을 수행한다. 이를 위하여 우선 차량인식 후, 인식된 차량에 대한 바운딩 박스(Bounding Box) 생성을 통해 고유 ID를 부여하고, 고유 ID가 부여된 차량에 대한 벡터 값 추적(+ 또는 -), 학습 데이터 완성 및 불법 유턴 단속 신경망 학습을 수행한다.
그리고 불법유턴 추론 신경망에서는 영상촬영장치(CCTV 카메라)를 통해 실시간 이미지에서 이륜차량영역을 검출하고, 차량번호판 영역을 인식한다. 그리고 불법유턴 단순 신경망 학습과정에서 학습된 학습 데이터에 따라 이륜차량 불법 유턴 시 차량번호를 검출한다.
이때, CCTV 카메라로부터 수신된 영상데이터에서 실시간으로 이미지 프레임 데이터를 추출하고, 이미지 데이터는 이륜자동차 객체 감지(Object detection)를 위한 CNN(Convolutional Neural Network)의 입력으로 사용된다. 이륜자동차 객체감지의 결과로 얻어진 Bounding box에 고유 ID를 부여하고 현재 프레임과 이전 프레임을 비교하여 객체 추적을 진행한다(Deep SORT; Simple Online and Realtime Tracking 알고리즘 등의 사용).
그리고 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이용되는 이륜자동차 중앙선침범 추론 신경망의 실시예는 도 2에 나타낸 바와 같은데, 영상촬영장치(카메라)를 통해 이륜자동차(오토바이)가 인식되면 해당 이륜차량에 바운딩 박스(Bounding Box) 생성을 통해 고유 ID를 부여하고, 중앙선 영역을 검출하며, 검출된 중앙선 영역에 대하여 고유 ID가 부여된 차량이 중앙선 이탈 여부를 추적하여 학습 데이터를 완성하고, 중앙선 침범 단속 신경망을 학습한다. 이때, 일반적으로 도로의 중앙선은 노란색이므로 점선이 아닌 노란색 실선구간에 대하여 중앙선으로 학습할 수도 있다.
그리고 중앙선 침범 추론 신경망에서는 영상촬영장치(CCTV 카메라)를 통해 실시간 이미지에서 이륜차량영역을 검출하고, 차량번호판 영역을 인식한다. 그리고 이륜차량의 중앙선 침범 인식 인공 신경망을 통해 중앙선 침범 여부를 판단하여 법 유턴 시 차량번호를 검출한다.
이때, CCTV 카메라로부터 수신된 영상데이터에서 실시간으로 이미지 프레임 데이터를 추출하고, 이미지 데이터는 이륜자동차 객체 감지(Object detection)를 위한 CNN(Convolutional Neural Network)의 입력으로 사용된다. 이륜자동차 객체감지의 결과로 얻어진 Bounding box에 고유 ID를 부여하고 현재 프레임과 이전 프레임을 비교하여 객체 추적을 진행한다(Deep SORT; Simple Online and Realtime Tracking 알고리즘 등의 사용).
도 3은 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 전이학습을 설명하기 위한 도면이고, 도 4는 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이륜자동차 불법유턴 및 중앙선 침범 검출 알고리즘을 설명하기 위한 도면이다.
전이학습에서는 이륜차 데이터를 획득하고, 이를 pre-trained CNN 학습과 MS COCO Dataset 등을 통해 새로운 영상에서 추론결과를 확인한다. pre-trained CNN의 경우 학습을 별도로 시킬 필요는 없고, pre-trained 모델을 찾아서 바로 inference 진행할 수 있다는 장점이 있다.
한편 이륜자동차 불법유턴 및 중앙선 침범 검출 알고리즘은 CCTV를 통해 이륜자동차 객체가 감지된 후 진행방향에 대한 벡터 값 추적(+ 또는 -)으로 정상주행과 유턴 후 주행을 검출하게 된다.
그리고 번호판 검출 및 인식 과정은 CNN과 RNN(Recurrent Neural Network)이 결합된 복합구조 모델인 CRNN(Convolution Recurrent Neural Network)등을 통해서 번호판 검출과 인식이 진행된다. CRNN은 CNN을 통해 입력이미지로부터 Feature sequence를 추출하고, 이들은 RNN의 입력으로 이미지의 텍스트 시퀀스를 예측한다. 예측된 텍스트 시퀀스는 텍스트로 변환된다.
한편 본 발명에서는 2개의 탑뷰 영상카메라가 통해 도 3에서의 중앙선 기준 양쪽(오른쪽 및 왼쪽)에 설치되며, 각각의 카메라는 차량 뒤를 촬영한다. 첫번째 탑뷰 카메라는 중앙선 오른쪽을 감시할 수 있도록, 그리고 두번째 ?E뷰 카메라는 중앙선 왼쪽을 감시할 수 있도록 설치된다.
딥러닝 네트워크는 이륜차 객체의 감치 및 추적을 수행한다. 이륜차가 위쪽 방향으로 진행하면, 가상선 벡터 
와 Cross product 수행 결과가 항상 양의 값을 얻는다. 반대로 이륜차가 아래로 진행하게 되면 
와 Cross product 수행 결과가 항상 음의 값을 얻는다.
이륜자동차를 추적하고 있으며, 벡터 
와 벡터 
의 Cross product를 통해 불법 유턴 유무를 체크한다. 불법 유턴이 진행되면 번호판은 검출하고 인식하는 OCR 알고리즘이 작동되어 번호판 문자를 기록한다.
중앙선 침범의 경우, 추척되고 있는 이륜자동차의 x좌표 위치정보와 가상선의 x 좌표와의 상관관계를 비교하여 중앙선 침범의 유무를 판단한다. 이때, 중앙선 침범은 미리 설정된 시간(예를 들어 3초 이상) 이륜자동차의 x좌표가 가상선의 x좌표보다 작을 경우(가상선 왼쪽 영역) 또는 x좌표가 가상선의 x좌표보다 큰 경우(가상선 오른쪽 영역)로 한정할 수 있다.
도 5 및 도 6은 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이륜자동차 검출에 이용되는 IOU를 설명하기 위한 도면이다.
본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이륜자동차 검출에 이용되는 IOU(Area of Overlap / Area of Union)는 학습 시 각 클래스 별 신뢰도는 개별 신뢰도 예측과 조건부 클래스 확률을 곱하여 얻게 되며 기존 확률과 예측 된 개체 간의 적합성이 모두 고려된다.
각 셀은 바운딩 박스와 분류한 클래스의 확률을 예측한다.
바운딩박스는 X,Y 좌표, 가로, 세로 크기 정보와 Confidence Score(Score) 수치를 가지고 있다. Score는 B(Bonnding Box)가 물체를 영역으로 잡고 있는지와 클래스를 잘 예측하였는지를 나타낸다. Score는 일반적으로 Pr(Object) * IOU로 정의하고 있으며, Pr(Object)는 바운딩 박스 안에 물체가 존재할 확률이다. 만약 바운딩 박스가 배경만을 영역으로 잡고 있다면 Pr(Object)의 값이 0이므로 Score는 0이 된다. IOU는 Intersection over time의 약자로 학습 데이터의 바운딩 박스와 예측한 바운딩 박스가 일치하는 정도를 나타낸다.
0 ≤ IOU ≤ 1
이때, IOU < 0.7 = Poor, 0.7 < IOU < 0.89 = Good, IOU > 0.9 = Excellent로 나타낼 수 있다.
여기서, 클래스 확률이란 그리드 셀 안에 있는 그림의 분류 확률을 나타낸다. 기호로는 Pr(Class_i | Object)로 표현하며 B가 배경이 아닌 객체를 포함하는 경우의 각 클래스의 조건부 확률로 B가 배경을 예측했다면 확률은 0이 된다. 최종적으로 클래스 조건부 확률 C와 각 바운딩 박스의 Confidence 예측값을 곱하면 각 박스의 클래스별 Confidence Score 수치를 구할 수 있다.
도 6에서, 
는 딥러닝 네트워크를 통해 감지된 영역의 중심좌표와 너비 및 높이를 뜻하고 
는 그리드의 왼쪽 상단 좌표를 
는 그리드의 치수를 나타낸다.
도 7은 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템의 실시예를 설명하기 위한 블록 구성도이고, 도 8은 도 7에 나타낸 운행위반 단속장치의 실시예를 설명하기 위한 블록 구성도이다.
본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템의 실시예는 도 7에 나타낸 바와 같이, 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103)와 운행위반 단속서버(200) 및 통신망(300)을 포함하여 구성된다.
여기서 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103)는 각각 도로의 중앙선을 기준으로 서로 반대방향을 촬영하도록 된 카메라가 구성되고, 딥러닝기반 컴퓨터비전 기술을 활용하여 서로 반대방향을 촬영하도록 된 카메라로부터 영상신호를 수신하며, 이륜자동차와 도로의 중앙선을 추출하되, 도로의 중앙선을 기준으로 양방향에 설치된 카메라간 연동을 통하여 이륜자동차가 중앙선침범이나 불법유턴을 하는 경우 해당 이륜자동차의 번호판을 감지하고, 판독하여 차량번호를 추출하고 이를 단속관련 기관의 서버인 운행위반 단속서버(200)로 전송한다.
운행위반 단속서버(200)는 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103)로부터 전송된 운행위반 단속차량에 대한 단속정보(범칙금, 벌점 등)를 통지하는 서버로 예로써 경찰청 서버일 수 있다.
통신망(300)은 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103)와 운행위반 단속서버(200)간 통신을 수행하는 유무선 통신망으로 구성된다.
이러한 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103) 각각은 도 8에 나타낸 바와 같이, 통신부(110), 제1방향 카메라(120), 제2방향 카메라(130), 이륜차 검출부(140), 객체 ID 부여부(150), 차량번호 추출부(160), 중앙선 검출부(170), 유턴/중앙선침범 검출부(180), 메모리부(190) 및 제어부(195)를 포함하여 구성된다.
통신부(110)는 통신망(300)을 통해 운행위반 단속서버(200)와 통신한다.
제1방향 카메라(120)와 제2방향 카메라(130)는 각각 탑뷰 영상카메라로 도 3에서와 같은 중앙선 기준 양쪽의 마주보는 방향을 촬영하도록 설치되며, 각각의 카메라는 이륜차량의 뒤를 촬영하도록 하였다. 이는 이륜차의 경우 번호판이 이륜차 뒤에만 달려 있기 때문이다.
이륜차 검출부(140)는 제1방향 카메라(120)와 제2방향 카메라(130)에서 촬영된 영상에서 도 1에서와 같은 신경망 학습 데이터에 따라 일반자동차와 이륜자동차(오토바이)의 차량에 대한 인식신경망 학습 데이터를 통해 이륜차를 검출한다.
객체 ID 부여부(150)는 이륜차 검출부(140)에서 검출한 차량에 대한 바운딩 박스(Bounding Box) 생성을 통해 고유 ID를 부여한다.
차량번호 추출부(160)는 객체 ID 부여부(150)에서 고유 ID 가 부여된 차량 객체의 차량번호를 추출한다. 이때, 앞에서 설명한 바와 같이 번호판 검출 및 인식 과정은 CNN과 RNN(Recurrent Neural Network)이 결합된 복합구조 모델인 CRNN(Convolution Recurrent Neural Network)등을 통해서 번호판 검출과 인식이 진행된다. CRNN은 CNN을 통해 입력이미지로부터 Feature sequence를 추출하고, 이들은 RNN의 입력으로 이미지의 텍스트 시퀀스를 예측한다. 예측된 텍스트 시퀀스는 텍스트로 변환된다.
중앙선 검출부(170)는 도 2에서와 같은 중앙선침범 추론 신경망에 따라 중앙선을 검출한다. 이때, 일반적으로 도로의 중앙선은 노란색이므로 점선이 아닌 노란색 실선구간에 대하여 중앙선으로 검출할 수 있다.
유턴/중앙선침범 검출부(180)는 이륜자동차 객체가 감지된 후 진행방향에 대한 벡터 값 추적(+ 또는 -)으로 정상주행과 유턴 후 주행을 검출할 수 있는데, 본 발명에서는 2개의 탑뷰 영상카메라인 제1방향 카메라(120)와 제2방향 카메라(130)를 통해 도 3에서의 가상선 벡터 
와 Cross product 수행 결과가 항상 양의 값을 얻는데, 이륜차가 반대로 진행하게 되면 
와 Cross product 수행 결과가 항상 음의 값을 얻는다.
이륜자동차를 추적하고 있으며, 벡터 
와 벡터 
의 Cross product를 통해 불법 유턴 유무를 체크한다. 이때, 번호판은 불법 유턴이 진행되면 검출할 수 있다. 그리고 OCR 알고리즘이 작동되어 번호판 문자를 기록한다.
중앙선 침범의 경우, 추척되고 있는 이륜자동차의 x좌표 위치정보와 가상선의 x 좌표와의 상관관계를 비교하여 중앙선 침범의 유무를 판단한다. 이때, 중앙선 침범은 미리 설정된 시간(예를 들어 3초 이상) 이륜자동차의 x좌표가 가상선의 x좌표보다 작을 경우(가상선 왼쪽 영역) 또는 x좌표가 가상선의 x좌표보다 큰 경우(가상선 오른쪽 영역)로 한정할 수 있다.
메모리부(190)는 유턴/중앙선침범 검출부(180)에서 검출된 불법 유턴이나 중앙선 침범에 대하여 차량번호 추출부(160)에서 추출한 차량번호가 추출되면 제1방향 카메라(120)와 제2방향 카메라(130)의 촬영영상과 함께 저장된다.
제어부(195)는 통신부(110), 제1방향 카메라(120), 제2방향 카메라(130), 이륜차 검출부(140), 객체 ID 부여부(150), 차량번호 추출부(160), 중앙선 검출부(170), 유턴/중앙선침범 검출부(180), 메모리부(190)를 제어하고, 메모리부(190)에 저장된 불법 유턴이나 중앙선 침범에 대하여촬영영상 및 추출된 차량번호 정보를 통신부(110)를 통해 운행위반 단속서버(200)로 전송되도록 제어한다.
도 9는 본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 방법의 실시예를 설명하기 위한 흐름도이다.
본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 방법은 도 9에 나타낸 바와 같이, 일반자동차와 이륜자동차 인식신경망 학습 및 이륜자동차 중앙선 침범, 유턴 인식 신경망 학습을 한다(S100).
한편 도로의 중앙선을 기준으로 마주보는 방향을 촬영하는 두대의 카메라를 포함하는 운행위반 단속장치를 도로에 설치한다(S110).
운행위반 단속장치의 제1, 제2방향 카메라를 통해 도로의 차량을 촬영하면서 이륜차를 검출하고, 검출된 이륜차에 대하여 객체 ID를 부여한다(S120). 이때, 중앙선 검출부(170)를 통해서는 중앙선을 검출할 수 있다.
그리고 객체 ID가 부여된 이륜차에 대하여 제1, 제2방향 카메라를 통해 계속해서 촬영이 진행되면서 유턴/중앙선침범 검출부(180)가 이륜자동차 객체가 감지된 후 진행방향에 대한 벡터 값 추적(+ 또는 -)으로 정상주행과 유턴 후 주행을 검출하여 벡터 
와 벡터 
의 Cross product를 통해 불법 유턴 유무를 체크하고, 중앙선 침범의 경우, 추척되고 있는 이륜자동차의 x좌표 위치정보와 가상선의 x 좌표와의 상관관계를 비교하여 중앙선 침범의 유무를 판단한다. 이때, 중앙선 침범은 미리 설정된 시간(예를 들어 3초 이상) 이륜자동차의 x좌표가 가상선의 x좌표보다 작을 경우(가상선 왼쪽 영역) 또는 x좌표가 가상선의 x좌표보다 큰 경우(가상선 오른쪽 영역)로 한정할 수 있다(S130).
이러한 운행위반이 검출되면 차량번호 추출부(160)에서는 운행위반 검출차량 번호판에서 차량번호를 추출한다(S140).
그리고 추출된 차량번호는 제1방향 카메라(120)와 제2방향 카메라(130)의 촬영영상과 함께 저장되고, 운행위반 단속서버로 해당 데이터가 전송된다(S150).
이상에서 설명된 본 발명의 일 실시 예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.
101, 102, 103 : 제1 내지 제N 운행위반 단속장치
110 : 통신부 120 : 제1방향 카메라
130 : 제2방향 카메라 140 : 이륜차 검출부
150 : 객체 ID 부여부 160 : 차량번호 추출부
170 : 중앙선 검출부 180 : 유턴/중앙선침범 검출부
190 : 메모리부 195 : 제어부
200 : 운행위반 단속서버 300 : 통신망
110 : 통신부 120 : 제1방향 카메라
130 : 제2방향 카메라 140 : 이륜차 검출부
150 : 객체 ID 부여부 160 : 차량번호 추출부
170 : 중앙선 검출부 180 : 유턴/중앙선침범 검출부
190 : 메모리부 195 : 제어부
200 : 운행위반 단속서버 300 : 통신망
Claims (4)
- 각각 도로의 중앙선을 기준으로 서로 반대방향을 촬영하도록 된 카메라가 구성되고, 딥러닝기반 컴퓨터비전 기술을 활용하여 서로 반대방향을 촬영하도록 된 카메라로부터 영상신호를 수신하며, 이륜자동차와 도로의 중앙선을 추출하되, 도로의 중앙선을 기준으로 양방향에 설치된 카메라간 연동을 통하여 이륜자동차가 중앙선침범이나 불법유턴을 포함하는 운행위반을 하는 경우 해당 이륜자동차의 번호판을 감지하고, 판독하여 차량번호를 추출하고 이를 단속관련 기관의 서버인 운행위반 단속서버(200)로 전송하는 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103);
복수의 상기 제1 내지 제N 운행위반 단속장치(101, 102, 103)로부터 전송된 운행위반 단속차량에 대한 단속정보를 통지하는 운행위반 단속서버(200); 및
상기 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103)와 운행위반 단속서버(200)간 통신을 수행하는 통신망(300);을 포함하여 구성되되,
상기 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103)는,
영상촬영장치(카메라)를 통해 일반자동차와 이륜자동차 차량에 대한 인식신경망 학습을 수행하고, 인식된 차량에 대한 바운딩 박스(Bounding Box) 생성을 통해 고유 ID를 부여하고, 고유 ID가 부여된 차량에 대한 벡터 값 추적(+ 또는 -), 학습 데이터를 통한 불법 유턴 추론 신경망 학습과, 중앙선 영역을 검출하고, 검출된 중앙선 영역에 대하여 고유 ID가 부여된 차량이 중앙선 이탈 여부를 추적하는 학습 데이터를 통해 중앙선 침범 추론 신경망 학습을 통해 불법유턴과 중앙선 침범을 포함하는 운행위반을 추론하며,
상기 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103) 각각은,
상기 통신망(300)을 통해 상기 운행위반 단속서버(200)와 통신하는 통신부(110)와, 중앙선을 기준으로 양쪽의 마주보는 방향의 차량을 촬영하는 제1방향 카메라(120)와, 제2방향 카메라(130)와, 상기 제1방향 카메라(120)와 제2방향 카메라(130)에서 촬영된 영상에서 신경망 학습 데이터에 따라 일반자동차와 이륜자동차에 대한 인식신경망 학습 데이터를 통해 이륜자동차(이륜차)를 검출하는 이륜차 검출부(140)와, 상기 이륜차 검출부(140)에서 검출한 차량에 대한 바운딩 박스(Bounding Box) 생성을 통해 고유 ID를 부여하는 객체 ID 부여부(150)와, 상기 객체 ID 부여부(150)에서 고유 ID 가 부여된 차량 객체의 차량번호를 추출하기 위하여 번호판 검출 및 인식 과정은 CNN과 RNN(Recurrent Neural Network)이 결합된 복합구조 모델인 CRNN(Convolution Recurrent Neural Network)을 통해서 CNN을 통해 입력이미지로부터 Feature sequence를 추출하고, RNN의 입력으로 이미지의 텍스트 시퀀스를 예측하며, 예측된 텍스트 시퀀스를 텍스트로 변환하여 번호판 검출과 인식이 진행되는 차량번호 추출부(160)와, 점선이 아닌 노란색 실선구간에 대하여 중앙선으로 검출하도록 하는 추론 신경망에 따라 중앙선을 검출하는 중앙선 검출부(170)와, 이륜자동차 객체가 감지된 후 진행방향에 대한 벡터 값 추적과, 추적되고 있는 이륜자동차의 위치정보의 상관관계를 비교하여 중앙선 침범의 유무를 판단하는 유턴/중앙선침범 검출부(180)와, 상기 유턴/중앙선침범 검출부(180)에서 검출된 불법 유턴이나 중앙선 침범에 대하여 상기 차량번호 추출부(160)에서 추출한 차량번호가 추출되면 제1방향 카메라(120)와 제2방향 카메라(130)의 촬영영상과 함께 저장되는 메모리부(190) 및 상기 통신부(110), 제1방향 카메라(120), 제2방향 카메라(130), 이륜차 검출부(140), 객체 ID 부여부(150), 차량번호 추출부(160), 중앙선 검출부(170), 유턴/중앙선침범 검출부(180), 메모리부(190)를 제어하고, 상기 메모리부(190)에 저장된 불법 유턴이나 중앙선 침범에 대하여촬영영상 및 추출된 차량번호 정보를 통신부(110)를 통해 운행위반 단속서버(200)로 전송되도록 제어하는 제어부(195)를 포함하여 구성되고,
상기 제1방향 카메라(120)와 제2방향 카메라(130)는,
중앙선을 기준으로 양쪽의 마주보는 방향의 차량을 촬영하되, 번호판이 뒤에만 달려있는 이륜자동차를 촬영할 수 있도록 각각의 카메라는 이륜자동차의 뒤를 촬영하도록 하는 것을 특징으로 하는 인공지능기반 운행위반 이륜자동차 단속 시스템. - 삭제
- 삭제
- 일반자동차와 이륜자동차 인식신경망 학습 및 이륜자동차 중앙선 침범, 유턴 인식 신경망 학습을 하는 단계(S100);
도로의 중앙선을 기준으로 마주보는 방향을 촬영하는 두대의 카메라를 포함하되, 통신망(300)을 통해 운행위반 단속서버(200)와 통신하는 통신부(110)와, 중앙선을 기준으로 양쪽의 마주보는 방향의 차량을 촬영하는 제1방향 카메라(120)와, 제2방향 카메라(130)와, 상기 제1방향 카메라(120)와 제2방향 카메라(130)에서 촬영된 영상에서 신경망 학습 데이터에 따라 일반자동차와 이륜자동차에 대한 인식신경망 학습 데이터를 통해 이륜자동차(이륜차)를 검출하는 이륜차 검출부(140)와, 상기 이륜차 검출부(140)에서 검출한 차량에 대한 바운딩 박스(Bounding Box) 생성을 통해 고유 ID를 부여하는 객체 ID 부여부(150)와, 상기 객체 ID 부여부(150)에서 고유 ID 가 부여된 차량 객체의 차량번호를 추출하기 위하여 번호판 검출 및 인식 과정은 CNN과 RNN(Recurrent Neural Network)이 결합된 복합구조 모델인 CRNN(Convolution Recurrent Neural Network)을 통해서 CNN을 통해 입력이미지로부터 Feature sequence를 추출하고, RNN의 입력으로 이미지의 텍스트 시퀀스를 예측하며, 예측된 텍스트 시퀀스를 텍스트로 변환하여 번호판 검출과 인식이 진행되는 차량번호 추출부(160)와, 점선이 아닌 노란색 실선구간에 대하여 중앙선으로 검출하도록 하는 추론 신경망에 따라 중앙선을 검출하는 중앙선 검출부(170)와, 이륜자동차 객체가 감지된 후 진행방향에 대한 벡터 값 추적과, 추적되고 있는 이륜자동차의 위치정보의 상관관계를 비교하여 중앙선 침범의 유무를 판단하는 유턴/중앙선침범 검출부(180)와, 상기 유턴/중앙선침범 검출부(180)에서 검출된 불법 유턴이나 중앙선 침범에 대하여 상기 차량번호 추출부(160)에서 추출한 차량번호가 추출되면 제1방향 카메라(120)와 제2방향 카메라(130)의 촬영영상과 함께 저장되는 메모리부(190) 및 상기 통신부(110), 제1방향 카메라(120), 제2방향 카메라(130), 이륜차 검출부(140), 객체 ID 부여부(150), 차량번호 추출부(160), 중앙선 검출부(170), 유턴/중앙선침범 검출부(180), 메모리부(190)를 제어하고, 상기 메모리부(190)에 저장된 불법 유턴이나 중앙선 침범에 대하여촬영영상 및 추출된 차량번호 정보를 통신부(110)를 통해 운행위반 단속서버(200)로 전송되도록 제어하는 제어부(195)를 포함하여 구성되며, 상기 제1방향 카메라(120)와 제2방향 카메라(130)는 중앙선을 기준으로 양쪽의 마주보는 방향의 차량을 촬영하되, 번호판이 뒤에만 달려있는 이륜자동차를 촬영할 수 있도록 각각의 카메라는 이륜자동차의 뒤를 촬영하도록 각각 구성되는 운행위반 단속장치(101, 102, 103)를 도로에 설치하는 단계(S110);
상기 운행위반 단속장치(101, 102, 103)의 제1, 제2방향 카메라(120)(130)를 통해 도로의 차량을 촬영하면서 이륜차(이륜자동차)를 검출하고, 검출된 이륜차(이륜자동차)에 대하여 객체 ID를 부여하는 단계(S120);
상기 객체 ID가 부여된 이륜차(이륜자동차)에 대하여 상기 제1, 제2방향 카메라(120)(130)를 통해 계속해서 촬영이 진행되면서 상기 유턴/중앙선침범 검출부(180)가 이륜자동차의 불법유턴이나 중앙선 침범을 포함하는 운행위반을 검출하는 단계(S130);
상기 운행위반이 검출되면 상기 운행위반 단속장치(101, 102, 103)의 상기 차량번호 추출부(160)에서는 운행위반 이륜차(이륜자동차) 번호판에서 차량번호를 추출하는 단계(S140); 및
추출된 차량번호는 상기 제1방향 카메라(120)와 제2방향 카메라(130)의 촬영영상과 함께 상기 운행위반 단속장치의 메모리부(190)에 저장되고, 통신망(300)을 통해 운행위반 단속서버(200)로 해당 운행위반 단속 데이터가 전송되는 단계(S150);를 포함하여 이루어지는 것을 특징으로 하는 인공지능기반 운행위반 이륜자동차 단속 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220149259A KR102533582B1 (ko) | 2022-11-10 | 2022-11-10 | 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220149259A KR102533582B1 (ko) | 2022-11-10 | 2022-11-10 | 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102533582B1 true KR102533582B1 (ko) | 2023-05-17 |
Family
ID=86547063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220149259A KR102533582B1 (ko) | 2022-11-10 | 2022-11-10 | 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102533582B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102637924B1 (ko) * | 2023-08-24 | 2024-02-20 | (주)소프트윙스 | 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030061124A (ko) | 2002-01-10 | 2003-07-18 | 최광석 | 이륜 자동차의 단속 및 관리를 위한 데이터 송, 수신시스템 및 그 방법 |
| KR100464619B1 (ko) | 2002-07-15 | 2005-01-06 | 박제일 | 이륜 자동차의 단속 및 관리를 위한 데이터 송, 수신 장치 |
| KR100779039B1 (ko) * | 2007-01-31 | 2007-11-26 | 주식회사 비츠로시스 | 불법유턴 차량의 감시, 추적 시스템 및 그 방법 |
| KR101942491B1 (ko) | 2018-11-08 | 2019-04-11 | 주식회사 싸인텔레콤 | 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템 |
| KR102166784B1 (ko) | 2020-05-22 | 2020-10-16 | 주식회사 서경산업 | 자전거 전용차로 ｃｃｔｖ 단속관리 시스템 |
| KR20210125371A (ko) * | 2020-04-08 | 2021-10-18 | 한국전자통신연구원 | 교통 상황 분석 방법 및 장치 |
| KR102316700B1 (ko) * | 2021-05-31 | 2021-10-25 | 주식회사 서경산업 | 이륜차 전용 무인단속시스템 |
| KR102453627B1 (ko) * | 2019-10-31 | 2022-10-12 | 한국전자기술연구원 | 딥러닝 기반 교통 흐름 분석 방법 및 시스템 |
-
2022
- 2022-11-10 KR KR1020220149259A patent/KR102533582B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030061124A (ko) | 2002-01-10 | 2003-07-18 | 최광석 | 이륜 자동차의 단속 및 관리를 위한 데이터 송, 수신시스템 및 그 방법 |
| KR100464619B1 (ko) | 2002-07-15 | 2005-01-06 | 박제일 | 이륜 자동차의 단속 및 관리를 위한 데이터 송, 수신 장치 |
| KR100779039B1 (ko) * | 2007-01-31 | 2007-11-26 | 주식회사 비츠로시스 | 불법유턴 차량의 감시, 추적 시스템 및 그 방법 |
| KR101942491B1 (ko) | 2018-11-08 | 2019-04-11 | 주식회사 싸인텔레콤 | 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템 |
| KR102453627B1 (ko) * | 2019-10-31 | 2022-10-12 | 한국전자기술연구원 | 딥러닝 기반 교통 흐름 분석 방법 및 시스템 |
| KR20210125371A (ko) * | 2020-04-08 | 2021-10-18 | 한국전자통신연구원 | 교통 상황 분석 방법 및 장치 |
| KR102166784B1 (ko) | 2020-05-22 | 2020-10-16 | 주식회사 서경산업 | 자전거 전용차로 ｃｃｔｖ 단속관리 시스템 |
| KR102316700B1 (ko) * | 2021-05-31 | 2021-10-25 | 주식회사 서경산업 | 이륜차 전용 무인단속시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102637924B1 (ko) * | 2023-08-24 | 2024-02-20 | (주)소프트윙스 | 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180218582A1 (en) | Monitoring an Area using Multiple Networked Video Cameras | |
| WO2020087743A1 (zh) | 非机动车交通违法监管方法、装置及电子设备 | |
| KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| CN101313345B (zh) | 检测道路交通违章的系统和方法 | |
| EP1030188B1 (en) | Situation awareness system | |
| KR101859402B1 (ko) | 터널 내 카메라 간 물체 연계 추적 및 차선 변경 차량 탐지 방법 | |
| KR101742490B1 (ko) | 끼어들기 위반차량 단속 시스템 및 그 방법 | |
| KR102122850B1 (ko) | 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션 | |
| CN110580808B (zh) | 一种信息处理方法、装置、电子设备及智能交通系统 | |
| KR102533582B1 (ko) | 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법 | |
| KR101049758B1 (ko) | 어린이보호구역 통합 감시 방법 및 그 시스템 | |
| KR100948382B1 (ko) | 방범 서비스 방법 및 시스템 | |
| CN112257683A (zh) | 一种面向车辆运行轨迹监测的跨镜追踪方法 | |
| KR20200026492A (ko) | IoT기반의 카메라 그룹핑을 이용한 터널 내 유고 감시 시스템 | |
| KR102526194B1 (ko) | 이동차량 추적에 의한 불법 끼어들기 차량 감지시스템 | |
| KR102499340B1 (ko) | 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 방법 | |
| KR100785759B1 (ko) | 차량 탑재형 카메라를 이용한 자동 불법 주정차 단속시스템 및 방법 | |
| KR200409647Y1 (ko) | 도로차량 감시시스템 | |
| KR102316700B1 (ko) | 이륜차 전용 무인단속시스템 | |
| KR101395095B1 (ko) | 차량 번호 자동 판독 시스템 | |
| WO2022267266A1 (zh) | 一种基于视觉识别的列车控制方法及设备 | |
| KR102637924B1 (ko) | 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법 | |
| Cypto et al. | Automatic detection system of speed violations in a traffic based on deep learning technique | |
| KR102153609B1 (ko) | Cctv 카메라를 이용한 사고 안내 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |