KR102491091B1 - 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템 - Google Patents
채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템 Download PDFInfo
- Publication number
- KR102491091B1 KR102491091B1 KR1020220099039A KR20220099039A KR102491091B1 KR 102491091 B1 KR102491091 B1 KR 102491091B1 KR 1020220099039 A KR1020220099039 A KR 1020220099039A KR 20220099039 A KR20220099039 A KR 20220099039A KR 102491091 B1 KR102491091 B1 KR 102491091B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- enforcement
- violating
- section
- image
- Prior art date
Links
- 238000004519 manufacturing process Methods 0.000 title abstract description 4
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000010191 image analysis Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 24
- 230000003190 augmentative effect Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005336 cracking Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 2
- 238000013500 data storage Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- OWZREIFADZCYQD-NSHGMRRFSA-N deltamethrin Chemical compound CC1(C)[C@@H](C=C(Br)Br)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 OWZREIFADZCYQD-NSHGMRRFSA-N 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000013480 data collection Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 차량 감지 시, 감지된 차량의 종류(이륜차 또는 사륜차)를 판단한 후, 검출된 차량 종류에 따라 감지된 차량의 전방 또는 후방을 선택적으로 촬영함과 동시에 보조카메라의 촬영에 의해 획득된 동영상 스트림으로부터, 각 감지차량 마다, 진입시점부터 진출시점까지의 동영상 클립을 차량ID별로 생성하여 저장하되, 단속구간의 중심부와 근접한 위치의 영상을 채증스틸영상으로 결정함으로써 사륜차뿐만 아니라 전방-번호판이 훼손되거나 후방-번호판을 부착한 이륜차량에 대해서도 번호인식이 가능하여 단속차량 검지율, 단속 정확성 및 신뢰도를 현저히 높일 수 있으며, 불필요한 데이터 저장 및 부하가 증가하는 문제점을 획기적으로 해결할 수 있는 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템에 관한 것이다.
Description
본 발명은 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템에 관한 것으로서, 상세하게는 차량 감지 시, 감지된 차량의 종류(이륜차 또는 사륜차)를 판단한 후, 검출된 차량 종류에 따라 감지된 차량의 전방 또는 후방을 선택적으로 촬영함과 동시에 서브-카메라의 촬영에 의해 획득된 동영상 스트림으로부터, 각 감지차량 마다, 진입시점부터 진출시점까지의 동영상 클립을 차량ID별로 생성하여 저장하되, 단속구간의 중심부와 근접한 위치의 영상을 채증스틸영상으로 결정함으로써 사륜차뿐만 아니라 전방-번호판이 훼손되거나 후방-번호판을 부착한 이륜차량에 대해서도 번호인식이 가능하여 단속차량 검지율, 단속 정확성 및 신뢰도를 현저히 높일 수 있으며, 불필요한 데이터 저장 및 부하가 증가하는 문제점을 획기적으로 해결할 수 있는 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템에 관한 것이다.
최근 들어, 차량이 증가하고 도로가 확장됨에 따라 과속 및 신호위반 등과 같이 교통법규를 위반하는 차량 또한 증가하였고, 이에 따라 교통법규 위반차량을 단속하기 위한 다양한 시도가 이루어지고 있고, 특히, 도로 내 차량 통행은 장소 및 시간과 상관없이 지속적으로 이루어지며, 오히려 차량 통행량이 적은 시간대에 과속 등의 위반차량이 증가하는 특성을 갖기 때문에, 24시간 동안 위반차량을 단속할 수 있는 무인교통단속시스템이 현장에 널리 활용되고 있다.
통상적으로, 무인교통단속시스템은 차량을 감지하기 위한 차량감지수단과, 차량감지수단에서 검출된 감지신호를 분석하여 위반차량을 판별하는 제어기와, 제어기에 의해 결정된 위반 차량의 차량번호판을 촬영하여 차량번호를 인식하기 위한 카메라로 이루어진다.
이때 차량번호는 위반차량을 식별할 수 있는 정보로 활용되기 때문에 무인교통단속시스템은 인식된 차량번호를 토대로, 위반차량의 차주에게 과태료를 부과할 수 있게 된다.
이러한 과태료는, 차주에게 경제적 불이익을 가하기 때문에 차량번호를 오인식하는 경우, 현장 민원과 직결하게 되고, 차량번호 오인식률의 증가는, 차량 운전자에게 단속에 대한 경각심을 낮추게 하여, 위반을 부추기는 역기능을 제공하게 된다.
즉 무인교통단속시스템에 있어서, 차량번호를 얼마나 정확하게 인식하는지는, 해당 시스템의 성능, 현장 민원 및 위반율과 직결되기 때문에 차량번호 인식률을 높이기 위한 다양한 연구가 진행되고 있다.
그러나 종래에는 주로 차량의 전방을 촬영하여 전방 번호판 영상을 획득한 후, 전방 번호판을 분석하여 차량번호를 인식하는 체계로 이루어져 왔으나, 이러한 종래의 방식은, 오토바이 등과 같이 차량의 후방에 번호판이 부착되는 이륜차에 한해서는 차량번호를 인식할 수 없는 구조적 한계를 갖는다.
특히 최근 들어, 이륜차를 이용한 배송, 택배 및 배달서비스가 증가함에 따라 도로 곳곳에는 오토바이 수량이 급증하였으나, 오토바이 운전자들은 종래의 무인교통단속시스템이 차체의 전방을 촬영하여 차량번호를 인식한다는 구조를 미리 인지하여, 교통법규를 수시로 위반하는 사례가 증가하고 있고, 이러한 교통법규를 위반한 이륜차량으로 인한 후속 사고가 비일비재하게 발생하고 있다.
이에 따라 사륜차뿐만 아니라 이륜차를 단속하여 단속률을 높이기 위하여, 차량의 전방 번호판에 대한 영상과 함께 후방 번호판에 대한 영상을 보온적으로 사용하도록 하는 무인교통단속시스템에 대한 연구가 시급한 실정이다.
도 1은 국내등록특허 제10-1584105호(발명의 명칭 : 다차로 기반의 차량 촬영장치 및 그 제어방법)에 개시된 다차로 기반의 차량 촬영장치를 나타내는 블록도이다.
도 1의 다차로 기반의 차량 촬영장치(이하 종래기술이라고 함)(100)는 제1갠트리(G1)의 진입측에 차로와 차선별로 설치된 다수개의 레이저센서로 진입하는 차량의 진입상태와 위치를 감지하여 차량이 차로 중앙으로 진입하는지 차선을 따라 진입하는지 판단하는 제1차량감지부(110)와, 제1갠트리(G1)의 진출측에 차로별로 설치된 다수개의 레이저센서로 통과하는 차량의 통과상태와 위치를 감지하고 전방 촬영신호를 출력하는 제2차량감지부(120)와, 차량의 진행방향으로 제1갠트리(G1)의 후방에 위치하는 제2갠트리(G2)에 차로별로 설치된 다수개의 레이저센서로 통과하는 차량의 통과상태와 위치를 감지하고 후방 촬영신호를 출력하는 제3차량감지부(130)와, 제2차량감지부(120)에서 출력된 전방 촬영신호와 제3차량감지부(130)에서 출력된 후방 촬영신호에 따라 전방 카메라(152)와 후방 카메라(154)를 작동시켜 촬영된 전방 촬영영상(152)과 후방 촬영영상(154)을 매칭시키기 위한 매칭데이터를 후술되는 차로 제어부(140)에 요청하고 제공되는 매칭데이터에 따라 전방 촬영영상과 후방 촬영영상을 영상서버(160)에 전송하는 촬영부(150)와, 제1 내지 제3차량감지부로부터 입력된 차량의 진입상태, 통과상태 및 위치를 기반으로 전방 촬영신호와 후방 촬영신호를 출력하고 차량의 차로 변경여부와 차량의 주행속도를 예측하고 제2차량감지부(120)의 통과상태에 따라 전방 촬영신호를 출력하고 제3차량감지부(130)의 통과상태에 따라 후방 촬영신호를 출력하며 차량이 차선을 밟고 주행할 경우에는 인접한 차로에 설치된 모든 카메라가 작동될 수 있도록 촬영신호를 동시에 출력하고 전방 촬영영상과 후방 촬영영상을 매칭시키기 위한 매칭데이터를 생성하여 촬영부(150)로 제공하는 차로 제어부(140)로 이루어진다.
이와 같이 구성되는 종래기술(100)은 전방 카메라(152) 및 후방 카메라(154)를 통해 차량을 촬영할 때 전방 촬영영상과 후방 촬영영상을 정확하게 매칭시킴으로써 차량번호의 인식 시 조명상태나 주변환경의 영향을 최소화하여 인식률을 높일 수 있을 뿐만 아니라 심사자료의 신뢰성을 높일 수 있는 장점을 갖는다.
그러나 종래기술(100)은 시스템을 구현하기 위해서는, 차량 주행 방향으로 이격되는 갠트리들 각각에 전방 카메라 및 후방 카메라를 설치해야 하므로, 시스템 구축 및 운영이 복잡한 단점을 갖는다.
또한 종래기술(100)은 단속결과에 대한 민원에 대응하기 위한 목적으로, 실시간 스트림 영상을 별도의 NVR(Network Video Recorder)에 저장하며, 민원 발생 시, 위반 장소 및 시간을 키워드로 하여 NVR에 저장된 동영상을 검색하는 포렌식 작업을 수행해야 하므로, 채증 영상을 추출하기 위한 연산처리가 복잡할 뿐만 아니라 연산처리시간이 지체되며, 데이터 저장 및 전송으로 인한 불필요한 데이터 소모량이 증가하는 단점을 갖는다.
본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 감지차량의 후방번호판을 촬영하여 차량번호를 인식하도록 구성됨으로써 전방번호판이 훼손되거나 또는 후방번호판만이 부착된 이륜차 등에 대해서도 차량번호를 정확하게 인식하여, 단속 정확성 및 신뢰도를 현저히 높일 수 있는 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템을 제공하기 위한 것이다.
또한 본 발명의 다른 해결과제는 위반차량 단속 시, 종래에서와 같이 실시간 영상을 그대로 채증 용도로 활용하는 것이 아니라, 위반차량이 기 설정된 진입구간을 통과하는 개시지점(T1)부터 진출구간을 통과하는 종료시점(T2)까지의 채증영상클립을 제작함으로써 채증영상클립을 통해 채증에 유효한 영상만을 제공할 수 있을 뿐만 아니라 데이터 전송 및 저장으로 인한 불필요한 데이터 소모를 획기적으로 절감할 수 있고, 이에 따라 연산처리시간을 단축시킬 수 있는 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 채증영상클립이 생성되면, 생성된 채증영상클립의 프레임들 중, 위반차량이 기 설정된 최적구간에 가장 인접하면서, 차량번호판 이미지의 선명도가 임계치 이상인 프레임을 채증스틸영상으로 결정함으로써 과태료 부과에 필요한 작업처리시간과 현장 민원을 획기적으로 절감시킬 수 있는 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템을 제공하기 위한 것이다.
상기 과제를 해결하기 위한 본 발명의 해결수단은 단속구간(S’)을 포함하는 감지구간(S)의 교통법규 위반차량을 단속하기 위한 이륜차 및 사륜차 일체형 무인교통단속 시스템에 있어서: 상기 이륜차 및 사륜차 일체형 무인교통단속 시스템은 상기 감지구간(S)의 차량을 감지하는 감지수단; 상기 감지구간(S)에 포함되는 상기 단속구간(S’)의 후방에 설치되어, 상기 단속구간(S')을 통과하는 주행차량의 후방을 촬영하여 고해상도 영상을 획득하는 메인-카메라; 상기 단속구간(S')의 후방에 설치되며, 상기 단속구간(S')에 대응하는 교통신호 신호등이 영상 내 포함되도록, 상기 단속구간(S')을 촬영하여 채증 영상을 획득하는 서브-카메라; 상기 단속구간(S')의 전방에 형성되는 구간인 촬영하여, 해당 구간을 통과하는 차량의 후방에 대한 영상인 보조 영상을 획득하는 보조-카메라; 기 학습된 AI 알고리즘을 이용하여, 상기 메인-카메라의 촬영에 의해 획득된 고해상도 영상을 분석하여, 차량번호를 인식하며, 상기 감지수단에 의한 감지신호를 분석하여 차량객체를 감지 및 추적하여 차량정보를 생성한 후, 생성된 차량정보를 기 설정된 위반조건과 비교하여, 교통법규 위반차량을 검출하며, 위반차량 검출 시, 인식된 차량번호, 위반내용을 포함하는 단속정보를 생성한 후, 외부 통합관제센터 서버로 전송하는 컨트롤러를 포함하고, 상기 AI 알고리즘을 이용하여, 상기 메인-카메라의 촬영에 의해 획득된 고해상도 영상을 분석하여, 차량번호를 인식함과 동시에 차량종류가 이륜차인지 또는 사륜차인지 여부를 검출하며, 차종이 이륜차일 때, 운전자가 헬멧을 착용하였는지 여부를 결정하는 영상분석 및 인식부; 위반차량이 검출되거나 또는 상기 영상분석 및 인식부에서 헬멧착용위반 이륜차가 검출될 때 실행되며, 상기 서브-카메라의 촬영에 의해 획득된 채증 영상을 입력받으면, 입력된 채증 영상을 분석하여, 위반객체(위반차량 또는 헬멧착용위반 이륜차)가 상기 단속구간(S’)상의 기 설정된 진입구간을 통과하는 시점을 채증영상클립의 개시시점(T1)으로 결정하되, 위반객체가 상기 단속구간(S’)상의 기 설정된 진출구간을 통과하는 시점을 채증영상클립의 종료시점(T2)으로 결정하여, 채증영상클립을 제작하는 채증영상클립 생성부; 미인식번호 인식부를 포함하고, 상기 미인식번호 인식부는 상기 영상분석 및 인식부에 의해 차량번호와, 객체 궤적정보를 참조하여, 감지된 차량들 중 차량번호가 인식되지 않은 미인식차량이 존재하는지 여부를 판단하는 미인식 여부 판단모듈; 상기 미인식 여부 판단모듈에서 미인식차량이 존재한다고 판단될 때 실행되며, 해당 미인식차량의 시간 및 궤적정보를 활용하여, 미인식차량에 대응하는 보조 영상을 추출하는 보조 영상 추출모듈; 상기 보조 영상 추출모듈에 의해 추출된 보조 영상을 타임라인에 따라 재생하는 보조 영상 재생모듈; 상기 보조 영상 재생모듈에 의해 재생되는 보조 영상을 분석하여 차량객체를 검출한 후, 시간 및 궤적정보를 활용하여, 보조 영상 내 미인식차량 객체를 매칭시키는 미인식차량 매칭모듈; 상기 미인식차량 매칭모듈에 의해 매칭된 미인식차량 객체의 차량번호를 인식하는 번호인식모듈을 포함하는 것이다.
또한 본 발명에서 상기 컨트롤러는 상기 감지수단에 의한 감지신호를 분석하여, 객체를 감지한 후, 감지된 객체를 추적하는 객체감지 및 추적부; 상기 객체감지 및 추적부에 의해 감지된 궤적정보를 활용하여, 차량객체별로 위치, 속도 및 궤적을 포함하는 차량정보를 생성하는 차량정보 생성부; 상기 차량정보 생성부에 의해 생성된 차량정보를 기 설정된 위반조건과 비교하여, 감지차량이 위반차량인지 여부를 판단하는 위반차량 판별부; 상기 위반차량 판별부에서 위반차량이 검출될 때 실행되며, 위반차량의 차량번호 및 위반내용을 포함하는 단속정보를 생성하는 단속정보 생성부를 포함하는 것이 바람직하다.
또한 본 발명에서 상기 단속정보 생성부는 상기 영상분석 및 인식부에서 헬멧착용위반 이륜차가 검출될 때 실행되어, 헬멧착용위반 이륜위반차량의 차량번호 및 위반내용을 포함하는 단속정보를 생성하는 단속정보 생성부를 포함하는 것이 바람직하다.
삭제
또한 본 발명에서 상기 컨트롤러는 상기 위반차량 판별부에서 위반차량이 검출되거나 또는 상기 영상분석 및 인식부에서 헬멧착용위반 이륜차가 검출될 때 실행되며, 상기 채증영상클립 생성부에서 생성된 채증영상클립을 분석하여, 위반객체가 상기 단속구간(S’)상의 기 설정된 최적구간을 통과할 때의 프레임을 채증스틸영상으로 결정하는 채증스틸영상 생성부를 더 포함하는 것이 바람직하다.
또한 본 발명에서 상기 채증스틸영상 생성부는 상기 채증영상클립 생성부에서 생성된 채증영상클립을 분석하여, 위반객체가, 기 설정된 최적구간을 통과할 때의 프레임을 추출한 후, 추출된 프레임에 포함된 차량번호판 이미지의 선명도를 측정하며, 1)측정된 선명도가 임계치 이상이면, 추출된 프레임을 채증스틸영상으로 결정하되, 2)측정된 선명도가 임계치 미만이면, 최적구간과 가장 인접한 프레임을 다시 추출한 후, 재추출된 프레임에 포함된 차량번호판 이미지의 선명도를 측정하는 방식을 반복하는 것이 바람직하다.
또한 본 발명에서 상기 단속구간(S’)은 도로뿐만 아니라 인도까지 확장되게 형성되는 것이 바람직하다.
또한 본 발명에서 상기 메인-카메라 및 상기 서브-카메라는 단일 카메라로 구성되는 것이 바람직하다.
상기 과제와 해결수단을 갖는 본 발명에 따르면 감지차량의 후방번호판을 촬영하여 차량번호를 인식하도록 구성됨으로써 전방번호판이 훼손되거나 또는 후방번호판만이 부착된 이륜차 등에 대해서도 차량번호를 정확하게 인식하여, 단속 정확성 및 신뢰도를 현저히 높일 수 있게 된다.
또한 본 발명에 의하면 위반차량 단속 시, 종래에서와 같이 실시간 영상을 그대로 채증 용도로 활용하는 것이 아니라, 위반차량이 기 설정된 진입구간을 통과하는 개시지점(T1)부터 진출구간을 통과하는 종료시점(T2)까지의 채증영상클립을 제작함으로써 채증영상클립을 통해 채증에 유효한 영상만을 제공할 수 있을 뿐만 아니라 데이터 전송 및 저장으로 인한 불필요한 데이터 소모를 획기적으로 절감할 수 있고, 이에 따라 연산처리시간을 단축시킬 수 있다.
또한 본 발명에 의하면 채증영상클립이 생성되면, 생성된 채증영상클립의 프레임들 중, 위반차량이 기 설정된 최적구간에 가장 인접하면서, 차량번호판 이미지의 선명도가 임계치 이상인 프레임을 채증스틸영상으로 결정함으로써 과태료 부과에 필요한 작업처리시간과 현장 민원을 획기적으로 절감시킬 수 있게 된다.
도 1은 국내등록특허 제10-1584105호(발명의 명칭 : 다차로 기반의 차량 촬영장치 및 그 제어방법)에 개시된 다차로 기반의 차량 촬영장치를 나타내는 블록도이다.
도 2는 본 발명의 일실시예인 이륜차 및 사륜차 일체형 무인교통단속 시스템을 나타내는 구성도이다.
도 3은 도 2를 설명하기 위한 예시도이다.
도 4는 도 2의 다른 예시도이다.
도 5는 도 2의 컨트롤러를 나타내는 블록도이다.
도 6은 도 5의 영상분석 및 인식부를 나타내는 블록도이다.
도 7은 도 5의 위반차량 판별부를 나타내는 블록도이다.
도 8은 도 5의 채증영상클립 생성부의 동작과정을 설명하기 위한 플로차트이다.
도 9는 도 8의 개념도이다.
도 10은 도 8을 설명하기 위한 예시도이다.
도 11은 본 발명의 제2 실시예를 나타내는 제2 이륜차 및 사륜차 일체형 무인교통단속 시스템을 나타내는 구성도이다.
도 12는 도 11의 예시도이다.
도 13은 도 11의 제2 컨트롤러를 나타내는 블록도이다.
도 14는 도 13의 미인식번호 인식부를 나타내는 블록도이다.
도 2는 본 발명의 일실시예인 이륜차 및 사륜차 일체형 무인교통단속 시스템을 나타내는 구성도이다.
도 3은 도 2를 설명하기 위한 예시도이다.
도 4는 도 2의 다른 예시도이다.
도 5는 도 2의 컨트롤러를 나타내는 블록도이다.
도 6은 도 5의 영상분석 및 인식부를 나타내는 블록도이다.
도 7은 도 5의 위반차량 판별부를 나타내는 블록도이다.
도 8은 도 5의 채증영상클립 생성부의 동작과정을 설명하기 위한 플로차트이다.
도 9는 도 8의 개념도이다.
도 10은 도 8을 설명하기 위한 예시도이다.
도 11은 본 발명의 제2 실시예를 나타내는 제2 이륜차 및 사륜차 일체형 무인교통단속 시스템을 나타내는 구성도이다.
도 12는 도 11의 예시도이다.
도 13은 도 11의 제2 컨트롤러를 나타내는 블록도이다.
도 14는 도 13의 미인식번호 인식부를 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.
도 2는 본 발명의 일실시예인 이륜차 및 사륜차 일체형 무인교통단속 시스템을 나타내는 구성도이고, 도 3은 도 2를 설명하기 위한 예시도이고, 도 4는 도 2의 다른 예시도이다.
본 발명의 일실시예인 이륜차 및 사륜차 일체형 무인교통단속 시스템(1)은 차량 감지 시, 감지된 차량의 종류(이륜차 또는 사륜차)를 판단한 후, 검출된 차량 종류에 따라 감지된 차량의 전방 또는 후방을 선택적으로 촬영함과 동시에 서브-카메라의 촬영에 의해 획득된 동영상 스트림으로부터, 각 감지차량 마다, 진입시점부터 진출시점까지의 동영상 클립을 차량ID별로 생성하여 저장하되, 단속구간의 중심부와 근접한 위치의 영상을 채증 스틸 영상으로 결정함으로써 사륜차뿐만 아니라 전방-번호판이 훼손되거나 후방-번호판을 부착한 이륜차량에 대해서도 번호인식이 가능하여 단속차량 검지율, 단속 정확성 및 신뢰도를 현저히 높일 수 있으며, 불필요한 데이터 저장 및 부하가 증가하는 문제점을 획기적으로 해결하기 위한 것이다.
또한 본 발명의 이륜차 및 사륜차 일체형 무인교통단속 시스템(1)은 도 2와 3에 도시된 바와 같이, 각 감지구간(S)에 설치되는 컨트롤러(3), 메인-카메라(5), 서브-카메라(6) 및 레이더센서(7)와, 각 감지구간(S)의 컨트롤러(3-1), ..., (3-N)들로부터 전송받은 차량정보, 단속정보 및 영상을 저장 및 모니터링 하는 통합관제센터 서버(9)와, 통합관제센터 서버(9) 및 컨트롤러(3-1), ..., (3-N)들 사이의 데이터 이동경로를 제공하는 통신망(10)으로 이루어진다.
이때 본 발명에서는 설명의 편의를 위해, 메인-카메라(5) 및 서브-카메라(6)가 독립적으로 설치되는 것으로 예를 들어 설명하였으나, 메인-카메라(5) 및 서브-카메라(6)는 고해상도 카메라로 단일 구성될 수 있음은 당연하다.
통신망(10)은 통합관제센터 서버(9) 및 컨트롤러(3-1), ..., (3-N)들 사이의 데이터 통신을 지원하며, 상세하게는 광역통신망(WAN), LAN(local area network)망, VAN(Value Added Network)망, 유선통신망 등으로 구현될 수 있다.
통합관제센터 서버(9)는 각 감지구간(S)의 컨트롤러(3-1), ..., (3-N)들로부터 차량정보, 단속정보 및 채증 스틸 영상을 전송받으면, 전송받은 차량정보, 단속정보 및 채증 스틸 영상을 저장한다.
또한 통합관제센터 서버(9)는 컨트롤러(3-1), ..., (3-N)들로부터 전송받은 차량정보를 가공 및 분석하여, 각 도로구간의 차량 통행량, 평균속도, 정체율 등을 포함하는 교통정보를 생성한다.
또한 통합관제센터 서버(9)는 컨트롤러(3-1), ..., (3-N)들로부터 단속정보 및 채증스틸영상을 전송받으면, 전송받은 단속정보 및 채증스틸영상을 기반으로, 위반차량의 차주에게 과태료를 부과한다.
본 발명의 각 감지구간(S)에는 컨트롤러(3)와, 메인-카메라(5), 서브-카메라(6), 레이더센서(7)가 설치된다.
이때 감지구간(S)이라고 함은, 차량이 통행하는 도로 중, 단속이 이루어지는 구간을 의미하고, 감지구간(S)은 메인-카메라(5)에 의해 촬영이 이루어지는 구간인 단속구간(S’)을 포함한다.
메인-카메라(5)는 기 할당된 감지구간(S)의 지주의 암에 설치되며, 기 설정된 단속구간(S’)을 촬영하여 영상(이하 고해상도 영상이라고 함)을 획득하며, 획득된 고해상도 영상을 컨트롤러(3)로 전송한다.
이때 메인-카메라(5)는 단속구간(S’) 보다 후방에 배치되어, 단속구간(S’)을 주행하는 차량의 후방을 촬영함으로써 고해상도 영상에는 차량의 후방번호판이 포함되게 되고, 컨트롤러(3)는 메인-카메라(5)로부터 수신받은 고해상도 영상을 분석하여 단속구간(S’)을 통과하는 주행차량의 차량번호를 인식함과 동시에 오토바이 검출 시, 헬멧 착용 여부를 판별하게 된다.
즉 메인-카메라(5)는 차량의 후방번호판을 토대로, 차량번호 인식 및 헬멧착용 인식이 가능한 고해상도의 LPR(Licence Plate Recognition) 카메라인 것이 바람직하다.
서브-카메라(6)는 기 할당된 감지구간(S)의 지주의 암에 설치되며, 해당 도로의 교통신호등(11)을 포함하도록 단속구간(S’)을 촬영하여 채증영상을 획득하며, 획득된 채증영상을 컨트롤러(3)로 전송한다.
이때 서브-카메라(6)는 단속구간(S’) 보다 후방에 배치되어, 단속구간(S’)을 주행하는 차량과 교통신호등(11)이 포함되도록 촬영을 수행함으로써 채증영상에는 위반차량과 교통신호등(11)이 촬영되고, 컨트롤러(3)는 서브-카메라(6)로부터 수신받은 채증영상을 분석하여, 채증영상클립 및 채증스틸영상을 생성하게 된다.
또한 단속구간(S’)은 도로뿐만 아니라 인도까지 확장되게 형성됨으로써 본 발명은 도로뿐만 아니라 인도를 주행하는 이륜차도 단속 가능하도록 구축된다.
레이더센서(7)는 기 설정된 감지구간(S)으로 레이더신호를 송출한 후, 반사되는 신호를 수집한다.
또한 레이더센서(7)는 송수신된 레이더신호 정보를 컨트롤러(3)로 전송한다.
도 5는 도 2의 컨트롤러를 나타내는 블록도이다.
컨트롤러(3)는 도 5에 도시된 바와 같이, 제어부(30)와, 메모리(31), 통신 인터페이스부(32), 카메라 제어부(33), 영상분석 및 인식부(34), 레이더신호 분석부(35), 객체감지 및 추적부(36), 차량정보 생성부(37), 위반차량 판별부(38), 채증영상클립 생성부(39), 채증스틸영상 생성부(40), 단속정보 생성부(41)로 이루어진다.
제어부(30)는 컨트롤러(3)의 O.S(Operating System)이며, 제어대상(31), (32), (33), (34), (35), (36), (37), (38), (39), (40), (41)들의 동작을 관리 및 제어한다.
또한 제어부(30)는 영상분석 및 인식부(34)에서 헬멧착용 위반 이륜차가 검출되면, 채증영상클립 생성부(39), 채증스틸영상 생성부(40) 및 단속정보 생성부(41)를 실행시킨다.
또한 제어부(30)는 위반차량 판별부(38)에서 위반차량이 검출되면, 채증영상클립 생성부(39), 채증스틸영상 생성부(40) 및 단속정보 생성부(41)를 실행시킨다.
또한 제어부(30)는 차량정보 생성부(37), 채증영상클립 생성부(39), 채증스틸영상 생성부(40) 및 단속정보 생성부(41)에서 차량정보, 채증영상클립, 채증스틸영상 및 단속정보가 생성되면, 생성된 채증영상클립, 채증스틸영상, 단속정보 및 차량정보가 통합관제센터 서버(9)로 전송되도록 통신 인터페이스부(32)를 제어한다.
메모리(31)에는 컨트롤러(3), 메인-카메라(5), 서브-카메라(6) 및 레이더센서(7)의 식별정보와, 기 설정된 감지구간(S) 및 단속구간(S’)의 위치정보가 기 설정되어 저장된다.
또한 메모리(31)에는 차량정보 생성부(37), 채증영상클립 생성부(39), 채증스틸영상 생성부(40) 및 단속정보 생성부(41)에서 생성된 차량정보, 채증영상클립, 채증스틸영상 및 단속정보가 임시 저장된다.
통신 인터페이스부(32)는 교통관제센터 서버(9)를 포함하는 외부 노드와 데이터를 송수신한다.
카메라 제어부(33)는 현재 날씨, 시간대, 조도 등의 환경인자에 대응하여, 메인-카메라(5)가 최적의 조건에서 촬영하도록 메인-카메라(5)의 셋팅을 최적화한다.
이때 메인-카메라(5)는 조명부(51)를 포함하고, 일례로, 카메라 제어부(33)는 현재 조도가 임계치 미만이면, 조명부(51)가 동작하도록 메인-카메라(5)를 제어할 수 있고, 현재 조도에 따라 메인-카메라(5)의 셔터값을 최적값으로 설정할 수 있다.
도 6은 도 5의 영상분석 및 인식부를 나타내는 블록도이다.
영상분석 및 인식부(34)는 도 6에 도시된 바와 같이, 고해상도 영상 입력모듈(341)과, 딥러닝 기반 영상분석모듈(342), 헬멧착용여부 판별모듈(343), 헬멧착용위반 이륜차 결정모듈(344), 차량번호 인식모듈(345)로 이루어진다.
이때 영상분석 및 인식부(34)는 딥러닝 알고리즘을 이용하여 단속구간(S’)을 주행하는 차량들 각각에 대한 실시간 연산처리가 가능하기 때문에 2대 이상의 이륜차가 감지되더라도, 각 이륜차의 차량번호 인식과 헬멧착용여부 인식이 이루어질 수 있게 된다.
고해상도 영상 입력모듈(341)은 메인-카메라(5)의 촬영에 의해 획득된 고해상도 영상을 입력받는다.
딥러닝 기반 영상분석모듈(342)은 기 학습된 딥러닝 알고리즘을 이용하여, 고해상도 영상 입력모듈(341)을 통해 입력된 고해상도 영상을 분석하여, 감지된 차량객체별로 위치, 차종(이륜차 또는 사륜차), 차량번호, 이륜차 운전자의 헬멧착용여부 정보 등을 포함하는 결과데이터를 출력한다.
이때 딥러닝 알고리즘은, 고해상도 영상을 입력데이터로 하여, 결과데이터를 출력하기 위한 AI 알고리즘이다.
헬멧착용여부 판별모듈(343)은 딥러닝 기반 영상분석모듈(342)을 통해 출력된 차량객체별 결과데이터들을 참조하여, 감지된 차량객체들 중, 이륜차에 해당하는 결과데이터들을 추출하며, 추출된 이륜차 결과데이터들을 참조하여 이들 중, 헬멧을 착용하지 않은 이륜차가 존재하는지를 판별한다.
이때 제어부(30)는 헬멧착용여부 판별모듈(343)에서 헬멧을 미착용한 이륜차가 존재하면, 헬멧착용위반 이륜차 결정모듈(344)을 실행시키되, 헬멧을 미착용한 이륜차가 존재하지 않으면, 헬멧착용여부 판별모듈(343)의 동작을 종료한다.
헬멧착용위반 이륜차 결정모듈(344)은 헬멧착용여부 판별모듈(343)에서, 헬멧을 미착용한 이륜차가 존재한다고 판단될 때 실행되며, 해당 이륜차를 헬멧착용위반 이륜차로 결정한다.
이때 제어부(30)는 헬멧착용위반 이륜차 결정모듈(344)에 의해 헬멧착용위반 이륜차가 결정되면, 결정된 헬멧착용위반 이륜차 정보를 채증영상클립 생성부(39), 채증스틸영상 생성부(40) 및 단속정보 생성부(41)로 입력한다.
차량번호 인식모듈(345)은 딥러닝 기반 영상분석모듈(342)에 의해 출력된 결과데이터를 참조하여, 감지된 차량객체들 각각의 차량번호를 인식한다.
레이더신호 분석부(35)는 레이더센서(7)에 의해 송수신된 레이더신호 정보를 분석한다.
객체감지 및 추적부(36)는 레이더신호 분석부(35)에서 의해 분석된 데이터를 활용하여, 감지구간(S)을 진입한 차량객체(C)를 감지하며, 차량객체(C)가 감지되면, 감지된 차량객체(C)에 식별번호를 부여한 후, 궤적을 트래킹(추적)하여, 궤적정보를 생성한다.
차량정보 생성부(37)는 영상분석 및 인식부(34)에서 출력된 각 차량객체별 차량정보와, 객체감지 및 추적부(36)에서 생성된 궤적정보를 분석 및 융합하여, 각 차량객체의 위치(차로), 차종, 속도, 궤적 등을 포함하는 차량정보를 생성한다.
이때 제어부(30)는 차량정보 생성부(37)에 의해 차량정보가 생성되면, 생성된 차량정보를 메모리(31)에 임시 저장함과 동시에 통신 인터페이스부(32)를 제어하여 통합관제센터 서버(9)로 전송하며, 위반차량 판별부(38)로 입력한다.
도 7은 도 5의 위반차량 판별부를 나타내는 블록도이다.
위반차량 판별부(38)는 도 7에 도시된 바와 같이, 차량정보 입력모듈(381)과, 신호체계 입력모듈(382), 속도 위반여부 판단모듈(383), 신호 위반여부 판단모듈(384), 위반차량 결정모듈(385)로 이루어진다.
차량정보 입력모듈(381)은 제어부(30)의 제어에 따라, 차량정보 생성부(37)에서 생성된 차량정보를 입력받는다.
신호체계 입력모듈(382)은 현재 교통신호등(11)의 신호상태를 의미하는 현시체계 정보를 입력받는다. 이때 현시체계 정보는 교통신호 제어기와 연동하여 수집하는 방식 또는 별도의 카메라로 교통신호등을 촬영하여 인식하는 방식 등과 같이 공지된 다양한 방식으로 인식될 수 있다.
속도 위반여부 판단모듈(383)은 차량정보 입력모듈(381)을 통해 입력된 차량정보에 포함된 속도정보를 기 설정된 제한속도(v’)와 비교하며, 1)차량속도(v)가 제한속도(v’) 미만이면, 해당 감지차량이 속도를 위반하지 않았다고 판단하되, 2)차량속도(v)가 제한속도(v’) 이상이면, 해당 감지차량이 속도를 위반하였다고 판단한다.
신호 위반여부 판단모듈(384)은 차량정보 입력모듈(381)을 통해 입력된 차량정보에 포함된 궤적정보와, 신호체계 입력모듈(382)을 통해 입력된 신호체계 정보를 분석 및 활용하여, 감지차량이 신호를 위반하였는지 여부를 판단한다.
위반차량 결정모듈(385)은 속도 위반여부 판단모듈(383) 또는 신호 위반여부 판단모듈(384)에서, 감지차량이 속도 또는 신호를 위반하였다고 판단될 때 실행되며, 해당 감지차량을 위반차량으로 결정한다.
이때 제어부(30)는 위반차량 결정모듈(385)에서 위반차량이 결정되면, 채증영상클립 생성부(39), 채증스틸영상 생성부(40) 및 단속정보 생성부(41)를 실행시킨다.
채증영상클립 생성부(39)는 영상분석 및 인식부(34)에서 헬멧착용위반 이륜차가 검출되거나 또는 위반차량 판별부(38)에서 위반차량이 검출될 때, 제어부(30)의 제어에 따라 실행된다.
일반적으로, 운전자는 자신이 교통법규를 위반한 것을 인지한 상태로 차량 주행을 하는 경우도 있으나, 교통법규를 위반한 것을 스스로 인지하지 못한 상태로 차량 주행을 하는 경우도 비일비재하고, 이에 따라 과태료 부과 시, 현장에서는 다수의 민원이 발생하기 때문에 과태료를 부과할 때에는, 교통법규를 위반한 상황을 정확하게 묘사할 수 있는 채증스틸영상이 필수적으로 제공되어야 한다.
따라서, 종래에는 카메라가 채증을 위한 목적으로 촬영을 수행한 후, 획득된 실시간 영상을 NVR(Network Video Recorder)에 저장한 후, 민원 발생 시, 위반 장소 및 시간을 키워드로 하여 NVR에 저장된 동영상을 검색하는 포렌식 작업을 수행하여 채증스틸영상을 제공하는 방식으로 운영되기 때문에 채증 영상을 추출하기 위한 연산처리가 복잡할 뿐만 아니라 연산처리시간이 지체되며, 데이터 저장 및 전송으로 인한 불필요한 데이터 소모량이 증가하는 단점을 갖는다.
본 발명은 이러한 문제점을 해결하기 위하여, 서브-카메라(6)에서 촬영된 실시간 영상을 모두 저장하는 것이 아니라, 채증영상클립 생성부(39)가 각 차량객체(C)별로 채증에 유효한 영상만을 편집하여 채증영상클립을 생성하도록 구성됨으로써 종래의 문제점을 획기적으로 해결하도록 하였다.
도 8은 도 5의 채증영상클립 생성부의 동작과정을 설명하기 위한 플로차트이고, 도 9는 도 8의 개념도이고, 도 10은 도 8을 설명하기 위한 예시도이다.
도 5의 채증영상클립 생성부(39)의 채증영상클립 제작방법(S1)은 도 9에 도시된 바와 같이, 채증 영상 입력단계(S10)와, 채증 영상 분석단계(S20), 클립 개시시점 결정단계(S30), 클립 종료시점 결정단계(S40), 채증영상클립 제작단계(S50)로 이루어진다.
채증 영상 입력단계(S10)는 채증영상클립 생성부(39)가 서브-카메라(6)의 촬영에 의해 획득된 채증 영상을 입력받는 단계이다.
채증 영상 분석단계(S20)는 채증영상클립 생성부(39)가 영상분석 알고리즘을 이용하여, 채증 영상 입력단계(S10)를 통해 입력된 채증 영상을 분석하는 단계이다.
이때 분석이라고 함은, 영상 내 위반객체(헬멧착용위반 이륜차 또는 위반차량)를 감지하며, 감지된 위반객체의 궤적을 추적하는 연산처리를 의미한다.
클립 개시시점 결정단계(S30)는 영상분석단계(S20)를 통해 검출된 분석데이터를 활용하여, 위반객체(C)가 단속구간(S’)상에서, 기 설정된 진입구간을 통과하는 시점을, 해당 차량객체의 채증영상클립의 개시시점(T1)으로 결정하는 단계이다.
클립 종료시점 결정단계(S40)는 영상분석단계(S20)를 통해 검출된 분석데이터를 활용하여, 위반객체(C)가 단속구간(S’)상에서, 기 설정된 진출구간을 통과하는 시점을, 해당 위반객체(C)의 채증영상클립의 종료시점(T2)으로 결정하는 단계이다.
채증영상클립 제작단계(S50)는 도 9와 10에 도시된 바와 같이, 채증 영상을 개시시점(T1)부터 종료시점(T2)까지 편집하여, 위반객체(C)의 채증영상클립을 제작하는 단계이다.
이때 채증영상클립 제작단계(S50)에 의해 제작된 채증영상클립은 제어부(30)의 제어에 따라 메모리(31)에 임시 저장됨과 동시에 통신 인터페이스부(32)를 통해 통합관제센터 서버(9)로 전송된다.
이와 같이 본 발명의 채증영상클립 생성부(39)는 위반객체(C)의 채증에 유효한 정보를 제공할 수 있는 영상만을 편집하여 채증영상클립을 제작함으로써 채증영상 자체의 데이터량을 현저히 절감시킬 뿐만 아니라 데이터 전송 및 저장으로 인한 불필요한 데이터 소모를 효과적으로 방지할 수 있게 된다.
다시 도 5로 돌아가서 채증스틸영상 생성부(40)를 살펴보면, 채증스틸영상 생성부(40)는 영상분석 및 인식부(34)에서 헬멧착용위반 이륜차가 검출되거나 또는 위반차량 판별부(38)에서 위반차량이 검출될 때, 제어부(30)의 제어에 따라 실행된다.
또한 채증스틸영상 생성부(40)는 채증영상클립 생성부(39)에서 생성된 채증영상클립을 분석하여, 위반객체(C)가, 기 설정된 최적구간을 통과할 때의 프레임을 추출한 후, 추출된 프레임에 포함된 차량번호판 이미지의 선명도를 측정한다.
또한 채증스틸영상 생성부(40)는 1)측정된 선명도가 임계치 이상이면, 추출된 프레임을 채증스틸영상으로 결정하되, 2)측정된 선명도가 임계치 미만이면, 최적구간과 가장 인접한 프레임을 다시 추출한 후, 재추출된 프레임에 포함된 차량번호판 이미지의 선명도를 측정하는 방식을 반복한다.
이때 최적구간은 교통신호등(11)이 촬영되면서 번호인식이 정확하게 이루어지는 구간을 의미하며, 다수의 시나리오를 통해 작업자에 의해 사전에 미리 세팅될 수 있다.
또한 채증스틸영상 생성부(40)에 의해 생성된 채증스틸영상은 제어부(30)의 제어에 따라 메모리(31)에 임시 저장됨과 동시에 통신 인터페이스부(32)를 통해 통합관제센터 서버(9)로 전송된다.
단속정보 생성부(41)는 영상분석 및 인식부(34)에서 헬멧착용위반 이륜차가 검출되거나 또는 위반차량 판별부(38)에서 위반차량이 검출될 때, 제어부(30)의 제어에 따라 실행된다.
또한 단속정보 생성부(41)는 위반객체의 차량번호, 위반내용, 위반시간, 해당 감지구간의 정보 등을 포함하는 단속정보를 생성한다.
이때 단속정보 생성부(41)에 의해 생성된 단속정보는 제어부(30)의 제어에 따라 메모리(31)에 임시 저장됨과 동시에 통합관제센터 서버(9)로 전송된다.
도 11은 본 발명의 제2 실시예를 나타내는 제2 이륜차 및 사륜차 일체형 무인교통단속 시스템을 나타내는 구성도이고, 도 12는 도 11의 예시도이다.
도 11과 12의 제2 이륜차 및 사륜차 일체형 무인교통단속 시스템(20)은, 전술하였던 도 2의 메인-카메라(5), 서브-카메라(6), 레이더센서(7) 및 통합관제센터 서버(9)를 포함한다.
또한 제2 이륜차 및 사륜차 일체형 무인교통단속 시스템(20)은 도 11에 도시된 바와 같이, 제2 컨트롤러(23-1), ..., (23-N)들과, 보조-카메라(29)를 더 포함한다.
보조-카메라(29)는 단속구간(S‘)이 종료되는 지점과 인접한 위치의, 지주의 암에 설치되며, 단속구간(S’)을 통과한 차량의 후방을 촬영하여, 보조 영상을 획득한다.
즉 보조-카메라(29)는 단속구간(S’)을 통과한 차량의 후방을 2차적으로 촬영하여 보조 영상을 획득하고, 보조-카메라(29)에 의해 획득된 보조 영상은 단속구간(S’)을 이탈하여, 번호인식이 이루어지지 않은 이륜차의 차량번호를 인식하기 위한 용도로 활용된다.
또한 보조-카메라(29)는 촬영에 의해 획득된 보조 영상을 제2 컨트롤러(23)로 전송한다.
이때 제2 컨트롤러(23)는 보조-카메라(29)의 촬영에 의해 획득된 보조 영상을 입력받으면, 입력된 보조 영상을 임시 저장한 후, 폐기한다.
도 13은 도 11의 제2 컨트롤러를 나타내는 블록도이다.
제2 컨트롤러(23)는 도 13에 도시된 바와 같이, 전술하였던 도 5의 제어부(30), 메모리(31), 통신 인터페이스부(32), 카메라 제어부(33), 영상분석 및 인식부(34), 레이더신호 분석부(35), 객체감지 및 추적부(36), 차량정보 생성부(37), 위반차량 판별부(38), 채증영상클립 생성부(39), 채증스틸영상 생성부(40), 단속정보 생성부(41)를 포함한다.
또한 제2 컨트롤러(23)는 미인식번호 인식부(238)를 더 포함한다.
도 14는 도 13의 미인식번호 인식부를 나타내는 블록도이다.
미인식번호 인식부(238)는 도 14에 도시된 바와 같이, 객체매칭모듈(2381)과, 미인식 여부 판단모듈(2382), 보조 영상 추출모듈(2383), 보조 영상 재생모듈(2384), 미인식차량 매칭모듈(2385), 번호인식모듈(2386)로 이루어진다.
객체매칭모듈(2381)은 영상분석 및 인식부(34)에 의해 차량번호가 인식된 차량객체 정보와, 객체감지 및 추적부(36)에서 생성된 궤적정보를 참조하여, 영상기반 차량객체 및 레이더기반 차량객체를 매칭시킨다.
미인식 여부 판단모듈(2383)은 객체매칭모듈(2381)에 의해 검출된 매칭정보를 참조하여, 차량번호가 인식되지 않은 미인식차량이 존재하는지 여부를 판단한다.
이때 제어부(30)는 미인식 여부 판단모듈(2383)에서, 1)미인식차량이 존재하지 않는다고 판단되면, 미인식번호 인식부(238)의 동작을 종료하되, 2)미인식차량이 존재한다고 판단되면, 보조 영상 추출모듈(2383)을 실행시킨다.
보조 영상 추출모듈(2383)은 미인식 여부 판단모듈(2383)에서 미인식차량이 존재한다고 판단될 때 실행되며, 해당 미인식차량의 시간 및 궤적정보를 활용하여, 미인식차량에 대응하는 보조 영상을 추출한다.
보조 영상 재생모듈(2384)은 보조 영상 추출모듈(2383)에 의해 추출된 보조 영상을 타임라인에 따라 재생한다.
미인식차량 매칭모듈(2385)은 보조 영상 재생모듈(2384)에 의해 재생되는 보조 영상을 분석하여 차량객체를 검출한 후, 시간 및 궤적정보를 활용하여, 보조 영상 내 미인식차량 객체를 매칭시킨다.
번호인식모듈(2386)은 미인식차량 매칭모듈(2385)에 의해 매칭된 미인식차량 객체의 차량번호를 인식한다.
예를 들어, 오토바이 운전자가, 해당 단속구간(S’)의 단속을 미리 인지하여, 단속구간(S’)을 이탈하여 주행한다고 가정할 때, 전술하였던 도 2의 이륜차 및 사륜차 일체형 무인교통단속 시스템(1)은 단속구간(S’)을 주행하는 차량에 한해서 번호인식이 이루어짐에 따라, 해당 오토바이를 단속하는 것이 불가능하나, 본 발명의 제2 이륜차 및 사륜차 일체형 무인교통단속 시스템(20)은 보조-카메라(29)를 추가 설치함과 동시에 제2 컨트롤러(23)가 미인식번호 인식부(238)를 추가 구성함에 따라, 단속구간(S‘)을 이탈한 오토바이에 한해서도 차량번호를 인식하여, 단속정확성 및 신뢰도를 더욱 높일 수 있게 된다.
이와 같이 본 발명의 일실시예인 이륜차 및 사륜차 일체형 무인교통단속 시스템(1)은 감지차량의 후방번호판을 촬영하여 차량번호를 인식하도록 구성됨으로써 전방번호판이 훼손되거나 또는 후방번호판만이 부착된 이륜차 등에 대해서도 차량번호를 정확하게 인식하여, 단속 정확성 및 신뢰도를 현저히 높일 수 있게 된다.
또한 본 발명의 이륜차 및 사륜차 일체형 무인교통단속 시스템(1)은 위반차량 단속 시, 종래에서와 같이 실시간 영상을 그대로 채증 용도로 활용하는 것이 아니라, 위반차량이 기 설정된 진입구간을 통과하는 개시지점(T1)부터 진출구간을 통과하는 종료시점(T2)까지의 채증영상클립을 제작함으로써 채증영상클립을 통해 채증에 유효한 영상만을 제공할 수 있을 뿐만 아니라 데이터 전송 및 저장으로 인한 불필요한 데이터 소모를 획기적으로 절감할 수 있고, 이에 따라 연산처리시간을 단축시킬 수 있다.
또한 본 발명의 이륜차 및 사륜차 일체형 무인교통단속 시스템(1)은 채증영상클립이 생성되면, 생성된 채증영상클립의 프레임들 중, 위반차량이 기 설정된 최적구간에 가장 인접하면서, 차량번호판 이미지의 선명도가 임계치 이상인 프레임을 채증스틸영상으로 결정함으로써 과태료 부과에 필요한 작업처리시간과 현장 민원을 획기적으로 절감시킬 수 있게 된다.
1:이륜차 및 사륜차 일체형 무인교통단속 시스템
3:컨트롤러 5:메인-카메라
6:서브-카메라 7:레이더센서
9:통합관제센터 서버 10:통신망
30:제어부 31:메모리
32:통신 인터페이스부 33:카메라 제어부
34:영상분석 및 인식부 35:레이더신호 분석부
36:객체감지 및 추적부 37:차량정보 생성부
38:위반차량 판별부 39:채증영상클립 생성부
40:채증스틸영상 생성부 41:단속정보 생성부
341:고해상도 영상 입력모듈 342:딥러닝 기반 영상분석모듈
343:헬멧착용여부 판별모듈 344:헬멧착용위반 이륜차 결정모듈
345:차량번호 인식모듈 381:차량정보 입력모듈
382:신호체계 입력모듈 383:속도 위반여부 판단모듈
384:신호 위반여부 판단모듈 385:위반차량 결정모듈
3:컨트롤러 5:메인-카메라
6:서브-카메라 7:레이더센서
9:통합관제센터 서버 10:통신망
30:제어부 31:메모리
32:통신 인터페이스부 33:카메라 제어부
34:영상분석 및 인식부 35:레이더신호 분석부
36:객체감지 및 추적부 37:차량정보 생성부
38:위반차량 판별부 39:채증영상클립 생성부
40:채증스틸영상 생성부 41:단속정보 생성부
341:고해상도 영상 입력모듈 342:딥러닝 기반 영상분석모듈
343:헬멧착용여부 판별모듈 344:헬멧착용위반 이륜차 결정모듈
345:차량번호 인식모듈 381:차량정보 입력모듈
382:신호체계 입력모듈 383:속도 위반여부 판단모듈
384:신호 위반여부 판단모듈 385:위반차량 결정모듈
Claims (8)
- 단속구간(S’)을 포함하는 감지구간(S)의 교통법규 위반차량을 단속하기 위한 이륜차 및 사륜차 일체형 무인교통단속 시스템에 있어서:
상기 이륜차 및 사륜차 일체형 무인교통단속 시스템은
상기 감지구간(S)의 차량을 감지하는 감지수단;
상기 감지구간(S)에 포함되는 상기 단속구간(S’)의 후방에 설치되어, 상기 단속구간(S')을 통과하는 주행차량의 후방을 촬영하여 고해상도 영상을 획득하는 메인-카메라;
상기 단속구간(S')의 후방에 설치되며, 상기 단속구간(S')에 대응하는 교통신호 신호등이 영상 내 포함되도록, 상기 단속구간(S')을 촬영하여 채증 영상을 획득하는 서브-카메라;
상기 단속구간(S')의 전방에 형성되는 구간을 촬영하여, 해당 구간을 통과하는 차량의 후방에 대한 영상인 보조 영상을 획득하는 보조-카메라;
기 학습된 AI 알고리즘을 이용하여, 상기 메인-카메라의 촬영에 의해 획득된 고해상도 영상을 분석하여, 차량번호를 인식하며, 상기 감지수단에 의한 감지신호를 분석하여 차량객체를 감지 및 추적하여 차량정보를 생성한 후, 생성된 차량정보를 기 설정된 위반조건과 비교하여, 교통법규 위반차량을 검출하며, 위반차량 검출 시, 인식된 차량번호, 위반내용을 포함하는 단속정보를 생성한 후, 외부 통합관제센터 서버로 전송하는 컨트롤러를 포함하고,
상기 AI 알고리즘을 이용하여, 상기 메인-카메라의 촬영에 의해 획득된 고해상도 영상을 분석하여, 차량번호를 인식함과 동시에 차량종류가 이륜차인지 또는 사륜차인지 여부를 검출하며, 차종이 이륜차일 때, 운전자가 헬멧을 착용하였는지 여부를 결정하는 영상분석 및 인식부;
위반차량이 검출되거나 또는 상기 영상분석 및 인식부에서 헬멧착용위반 이륜차가 검출될 때 실행되며, 상기 서브-카메라의 촬영에 의해 획득된 채증 영상을 입력받으면, 입력된 채증 영상을 분석하여, 위반객체(위반차량 또는 헬멧착용위반 이륜차)가 상기 단속구간(S’)상의 기 설정된 진입구간을 통과하는 시점을 채증영상클립의 개시시점(T1)으로 결정하되, 위반객체가 상기 단속구간(S’)상의 기 설정된 진출구간을 통과하는 시점을 채증영상클립의 종료시점(T2)으로 결정하여, 채증영상클립을 제작하는 채증영상클립 생성부;
미인식번호 인식부를 포함하고,
상기 미인식번호 인식부는
상기 영상분석 및 인식부에 의해 차량번호와, 객체 궤적정보를 참조하여, 감지된 차량들 중 차량번호가 인식되지 않은 미인식차량이 존재하는지 여부를 판단하는 미인식 여부 판단모듈;
상기 미인식 여부 판단모듈에서 미인식차량이 존재한다고 판단될 때 실행되며, 해당 미인식차량의 시간 및 궤적정보를 활용하여, 미인식차량에 대응하는 보조 영상을 추출하는 보조 영상 추출모듈;
상기 보조 영상 추출모듈에 의해 추출된 보조 영상을 타임라인에 따라 재생하는 보조 영상 재생모듈;
상기 보조 영상 재생모듈에 의해 재생되는 보조 영상을 분석하여 차량객체를 검출한 후, 시간 및 궤적정보를 활용하여, 보조 영상 내 미인식차량 객체를 매칭시키는 미인식차량 매칭모듈;
상기 미인식차량 매칭모듈에 의해 매칭된 미인식차량 객체의 차량번호를 인식하는 번호인식모듈을 포함하는 것을 특징으로 하는 이륜차 및 사륜차 일체형 무인교통단속 시스템. - 제1항에 있어서, 상기 컨트롤러는
상기 감지수단에 의한 감지신호를 분석하여, 객체를 감지한 후, 감지된 객체를 추적하는 객체감지 및 추적부;
상기 객체감지 및 추적부에 의해 감지된 궤적정보를 활용하여, 차량객체별로 위치, 속도 및 궤적을 포함하는 차량정보를 생성하는 차량정보 생성부;
상기 차량정보 생성부에 의해 생성된 차량정보를 기 설정된 위반조건과 비교하여, 감지차량이 위반차량인지 여부를 판단하는 위반차량 판별부;
상기 위반차량 판별부에서 위반차량이 검출될 때 실행되며, 위반차량의 차량번호 및 위반내용을 포함하는 단속정보를 생성하는 단속정보 생성부를 더 포함하는 것을 특징으로 하는 이륜차 및 사륜차 일체형 무인교통단속 시스템. - 제2항에 있어서, 상기 단속정보 생성부는
상기 영상분석 및 인식부에서 헬멧착용위반 이륜차가 검출될 때 실행되어, 헬멧착용위반 이륜위반차량의 차량번호 및 위반내용을 포함하는 단속정보를 생성하는 단속정보 생성부를 포함하는 것을 특징으로 하는 이륜차 및 사륜차 일체형 무인교통단속 시스템. - 삭제
- 제3항에 있어서, 상기 컨트롤러는
상기 위반차량 판별부에서 위반차량이 검출되거나 또는 상기 영상분석 및 인식부에서 헬멧착용위반 이륜차가 검출될 때 실행되며, 상기 채증영상클립 생성부에서 생성된 채증영상클립을 분석하여, 위반객체가 상기 단속구간(S’)상의 기 설정된 최적구간을 통과할 때의 프레임을 채증스틸영상으로 결정하는 채증스틸영상 생성부를 더 포함하는 것을 특징으로 하는 이륜차 및 사륜차 일체형 무인교통단속 시스템. - 제5항에 있어서, 상기 채증스틸영상 생성부는
상기 채증영상클립 생성부에서 생성된 채증영상클립을 분석하여, 위반객체가, 기 설정된 최적구간을 통과할 때의 프레임을 추출한 후, 추출된 프레임에 포함된 차량번호판 이미지의 선명도를 측정하며, 1)측정된 선명도가 임계치 이상이면, 추출된 프레임을 채증스틸영상으로 결정하되, 2)측정된 선명도가 임계치 미만이면, 최적구간과 가장 인접한 프레임을 다시 추출한 후, 재추출된 프레임에 포함된 차량번호판 이미지의 선명도를 측정하는 방식을 반복하는 것을 특징으로 하는 이륜차 및 사륜차 일체형 무인교통단속 시스템. - 제6항에 있어서, 상기 단속구간(S’)은 도로뿐만 아니라 인도까지 확장되게 형성되는 것을 특징으로 하는 무인교통단속 시스템.
- 제7항에 있어서, 상기 메인-카메라 및 상기 서브-카메라는 단일 카메라로 구성되는 것을 특징으로 하는 이륜차 및 사륜차 일체형 무인교통단속 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220099039A KR102491091B1 (ko) | 2022-08-09 | 2022-08-09 | 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220099039A KR102491091B1 (ko) | 2022-08-09 | 2022-08-09 | 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR102491091B1 true KR102491091B1 (ko) | 2023-01-20 |
| KR102491091B9 KR102491091B9 (ko) | 2023-05-11 |
Family
ID=85108444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220099039A KR102491091B1 (ko) | 2022-08-09 | 2022-08-09 | 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102491091B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102587047B1 (ko) * | 2023-05-08 | 2023-10-11 | (주)다올아이티에스 | 정면단속모드와 후면단속모드의 듀얼동작모드 및 이륜차단속기능을 지원하는 교통단속시스템 및 방법 |
| KR102600962B1 (ko) * | 2023-04-10 | 2023-11-13 | (주)토페스 | 교통 신호 위반 검출 장치 및 그 동작 방법 |
| KR102637924B1 (ko) * | 2023-08-24 | 2024-02-20 | (주)소프트윙스 | 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법 |
| KR102656252B1 (ko) * | 2023-10-04 | 2024-04-09 | (주)디라직 | 단속 정확성을 높인 무인 교통 단속시스템 |
| KR102656253B1 (ko) * | 2023-10-04 | 2024-04-11 | (주)디라직 | 번호 인식률을 극대화한 무인 교통 단속시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101999993B1 (ko) * | 2019-04-22 | 2019-07-15 | 케이에스아이 주식회사 | 레이더 및 카메라를 이용한 무인 단속시스템 |
| KR101974105B1 (ko) * | 2019-02-18 | 2019-09-02 | (주)이젠정보통신 | 차량번호 인식률을 높인 차량 촬영시스템 및 방법 |
| KR102155753B1 (ko) * | 2020-02-28 | 2020-09-14 | 트라웍스(주) | 양방향 통행정보 수집 시스템 및 그 방법 |
| KR102368127B1 (ko) * | 2021-05-13 | 2022-03-02 | 유니셈 (주) | 이륜차 무인 단속 시스템 |
| KR20220081853A (ko) * | 2020-12-09 | 2022-06-16 | 김세영 | 오토바이의 속도 측정 방법과 인도 차도 구분법 및 그것을 이용한 무인 오토바이 단속카메라. |
-
2022
- 2022-08-09 KR KR1020220099039A patent/KR102491091B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101974105B1 (ko) * | 2019-02-18 | 2019-09-02 | (주)이젠정보통신 | 차량번호 인식률을 높인 차량 촬영시스템 및 방법 |
| KR101999993B1 (ko) * | 2019-04-22 | 2019-07-15 | 케이에스아이 주식회사 | 레이더 및 카메라를 이용한 무인 단속시스템 |
| KR102155753B1 (ko) * | 2020-02-28 | 2020-09-14 | 트라웍스(주) | 양방향 통행정보 수집 시스템 및 그 방법 |
| KR20220081853A (ko) * | 2020-12-09 | 2022-06-16 | 김세영 | 오토바이의 속도 측정 방법과 인도 차도 구분법 및 그것을 이용한 무인 오토바이 단속카메라. |
| KR102368127B1 (ko) * | 2021-05-13 | 2022-03-02 | 유니셈 (주) | 이륜차 무인 단속 시스템 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102600962B1 (ko) * | 2023-04-10 | 2023-11-13 | (주)토페스 | 교통 신호 위반 검출 장치 및 그 동작 방법 |
| KR102587047B1 (ko) * | 2023-05-08 | 2023-10-11 | (주)다올아이티에스 | 정면단속모드와 후면단속모드의 듀얼동작모드 및 이륜차단속기능을 지원하는 교통단속시스템 및 방법 |
| KR102637924B1 (ko) * | 2023-08-24 | 2024-02-20 | (주)소프트윙스 | 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법 |
| KR102656252B1 (ko) * | 2023-10-04 | 2024-04-09 | (주)디라직 | 단속 정확성을 높인 무인 교통 단속시스템 |
| KR102656253B1 (ko) * | 2023-10-04 | 2024-04-11 | (주)디라직 | 번호 인식률을 극대화한 무인 교통 단속시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102491091B9 (ko) | 2023-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102491091B1 (ko) | 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템 | |
| JP7218535B2 (ja) | 交通違反車両識別システム及びサーバ | |
| CN106952477B (zh) | 基于多相机图像联合处理的路侧停车管理方法 | |
| KR101971878B1 (ko) | 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법 | |
| KR101999993B1 (ko) | 레이더 및 카메라를 이용한 무인 단속시스템 | |
| US20120148092A1 (en) | Automatic traffic violation detection system and method of the same | |
| KR101742490B1 (ko) | 끼어들기 위반차량 단속 시스템 및 그 방법 | |
| KR102067006B1 (ko) | 차량 통행정보 관리시스템 및 차량 통행정보 관리방법 | |
| JP2012517058A (ja) | 有効車線区分線を確定する方法及び装置 | |
| KR101710646B1 (ko) | 영상추적을 이용한 차량 전후 번호판 인식 시스템 | |
| CN106503622A (zh) | 一种车辆反跟踪方法及装置 | |
| KR101926562B1 (ko) | 다차로 영상분석 시스템 | |
| KR101584105B1 (ko) | 다차로 기반의 차량 촬영장치 및 그 제어방법 | |
| KR101665961B1 (ko) | 차량 영상 제공 장치 및 그 방법 | |
| KR101974105B1 (ko) | 차량번호 인식률을 높인 차량 촬영시스템 및 방법 | |
| KR20200141834A (ko) | 영상기반 교통신호제어 장치 및 방법 | |
| KR101089029B1 (ko) | 광류를 이용한 방범용 차량 감지 시스템 | |
| CN106251622B (zh) | 车辆并道监控取证方法及其系统 | |
| KR102380638B1 (ko) | 차량 통행을 모니터링하기 위한 장치, 시스템 또는 방법 | |
| WO2022197042A1 (ko) | 교차로 꼬리물기 인지 및 영상 저장 장치 | |
| WO2012081963A1 (en) | System and method for traffic violation detection | |
| CN111627224A (zh) | 车辆速度异常检测方法、装置、设备及存储介质 | |
| KR102027313B1 (ko) | 지능형 다차로 영상분석 시스템 | |
| KR102133045B1 (ko) | Cctv 영상 기반 데이터 처리 방법 및 그 시스템 | |
| KR102349938B1 (ko) | Cctv 영상 기반 데이터 처리 방법 및 그 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |