KR20240055509A - 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템 및 이를 이용하는 방법 - Google Patents

단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템 및 이를 이용하는 방법 Download PDF

Info

Publication number
KR20240055509A
KR20240055509A KR1020220135882A KR20220135882A KR20240055509A KR 20240055509 A KR20240055509 A KR 20240055509A KR 1020220135882 A KR1020220135882 A KR 1020220135882A KR 20220135882 A KR20220135882 A KR 20220135882A KR 20240055509 A KR20240055509 A KR 20240055509A
Authority
KR
South Korea
Prior art keywords
vehicle
information
artificial intelligence
license plate
enforcement
Prior art date
Application number
KR1020220135882A
Other languages
English (en)
Inventor
김현우
김창윤
Original Assignee
주식회사 사로리스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 사로리스 filed Critical 주식회사 사로리스
Priority to KR1020220135882A priority Critical patent/KR20240055509A/ko
Publication of KR20240055509A publication Critical patent/KR20240055509A/ko

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템 및 이를 이용하는 방법을 개시한다. 본 발명의 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템은, 감시 대상 공간에 설치되서 정기적 또는 비정기적으로 동영상 또는 정지영상 이미지를 촬상하는 촬상장치 및 촬상장치로부터 수신된 동영상 또는 정지영상 이미지를 분석하되, 차량 정보 분석 모델, 차량 속도 분석 모델, 차량 번호판 정보 인식 모델을 개별적으로 운용하여 차량 정보, 차량 속도 및 차량 번호판 정보를 식별하여 불법주차, 속도위반, 교통법규위반 및 어린이 보호 구역 위반에 대한 단속 임무를 처리하는 인공지능 단속 서버를 포함한다.

Description

단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템 및 이를 이용하는 방법{An artificial intelligence enforcement system that processes multiple missions using a single camera and a method of using the same}
본 발명은 인공지능 단속 시스템 및 이를 이용하는 방법에 관한 것으로서, 보다 상세하게는 단일 카메라를 이용하여 상황 정보를 수집하되 수집된 상황 정보를 다양한 종류의 AI 모델에 의해서 처리하여 복수의 단속 임무를 처리할 수 있는 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템에 관한 것이다.
이동수단과 관련된 사회적 문제(예컨대, 불법 주차 단속, 교통 법규 위반, 어린이 보호 구역 위반 문제 등)에 대해서 정보통신기술에 의한 해결 시도가 꾸준하게 증가하고 있다. 최근까지는 최신 사양의 카메라, 센서장치, 처리장치 및 통신장치 등을 이용하여 이러한 사회적 문제를 해결하기 위한 연구 개발이 이루어졌다. 문제는 이러한 최신 사양의 하드웨어 장비를 이용한 문제 해결 방식으로 인하여 설치 장소 및 시설이 포화되고 있는 실정이며, 장비간의 특징을 충분히 살려서 효과적인 단속 업무를 실행하지 못하고 있는 실정이다.
이러한 문제를 해결하기 위하여 소프트웨어적인 접근도 시도되고 있다. 예를 들어, AI 모델을 탑재한 카메라의 개발이 대표적이다. AI 모델을 탑재한 카메라의 경우에는 미리 훈련된 AI 모델을 탑재하고 이벤트 상황을 감지하여 단속을 시행하므로 기존의 카메라에 비하여 지능(Intelligence)을 탑재하게 됨으로써 단속 업무를 보다 효과적으로 시행하게 되었다.
하지만, 이러한 AI 카메라의 경우에는 기존 시스템과의 호환성 문제가 지적되고 있다. 기존의 교통 단속 시스템에는 카메라가 설치되어 있으므로, 이를 AI 카메라로 교체해야하고, AI 카메라를 운용하기 위한 관련 시스템을 구축해야 하므로, 신규 설치 비용이 대규모로 소요되고, AI 카메라를 개별적으로 관리해야 하므로 유지 보수 측면에서도 많은 비용이 예상된다.
기존의 카메라를 활용하면서도 AI 카메라의 성능을 상회할 수 있는 새로운 개념의 단속 시스템의 개발이 필요한 실정이다. 이를 위해서 기존 하드웨어 설비를 이용하되 기존 하드웨어의 단점을 소프트웨어적으로 개선시켜서 성능을 향상시킬 수 있는 새로운 개념의 인공지능 단속 시스템의 개발의 필요성이 있다.
특허문헌 1 : 한국등록특허 제10-2436142호(공고일 : 2022.08.22) 특허문헌 2 : 한국공개특허 제10-2022-0107875호(공개일 : 2022.08.02) 특허문헌 3 : 한국등록특허 제10-1753804호(공고일 : 2017.06.28) 특허문헌 4 : 한국등록특허 제10-2275628호(공고일 : 2021.07.05)
상술한 필요성에 의해서 안출된 본 발명은 기존 광학 장비를 이용하여 획득한 영상 이미지를 AI 모델을 이용하여 다용도로 분석함으로써 다양한 종류의 단속 업무를 처리할 수 있고, 단속 업무를 위한 일련의 처리를 AI 모델에 의해서 수행됨으로써 효율적이고 정확도가 높은 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템 및 이를 이용하는 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명의 일실시 예에 따른 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템은, 감시 대상 공간에 설치되서 정기적 또는 비정기적으로 동영상 또는 정지영상 이미지를 촬상하는 촬상장치; 및 상기 촬상장치로부터 수신된 동영상 또는 정지영상 이미지를 분석하되, 차량 정보 분석 모델, 차량 속도 분석 모델, 차량 번호판 정보 인식 모델을 개별적으로 운용하여 차량 정보, 차량 속도 및 차량 번호판 정보를 식별하여 불법주차, 속도위반, 교통법규위반 및 어린이 보호 구역 위반에 대한 단속 임무를 처리하는 인공지능 단속 서버;를 포함한다.
이 경우에, 상기 인공지능 단속 서버는, 상기 차량 정보 분석 모델로써, 실시간으로 객체를 추적하되, 상기 차량 정보 분석 모델은, 상기 동영상 이미지을 구성하는 복수의 프레임 중에서 이전 제1 프레임의 제1 객체를 추출하고, 다음 제2 프레임에 추출된 제1 객체의 위치 정보를 추론하고, 상기 제2 프레임의 제2 객체를 추출하고, 추론된 제1 객체의 위치 정보와 추출된 제2 객체의 위치 정보를 비교하여 해당 객체의 움직임을 추적할 수 있다.
이 경우에, 상기 차량 정보 분석 모델은, 상기 제1 프레임의 제1 객체를 추출하고, 상기 제2 프레임에 제1 객체의 위치 정보를 칼만 필터(Kalman Filter)를 이용하여 추론할 수 있다.
한편, 상기 차량 정보 분석 모델은, 상기 추론된 제1 객체의 위치 정보와 상기 추출된 제2 객체의 위치 정보를 헝가리안 알고리즘(Hungarian Algorithm)을 이용하여 객체의 움직임을 추적할 수 있다.
한편, 상기 인공지능 단속 서버는, 상기 차량 속도 분석 모델로써, 대상 객체에 대한 삼차원 버추얼 박스를 생성하고, 상기 차량 속도 분석 모델은, 생성된 삼차원 버추얼 박스의 좌표 정보에 기반하여 움직임 정보를 연산하여 대상 객체의 움직임 속도를 산출할 수 있다.
한편, 상기 인공지능 단속 서버는, 상기 차량 번호판 정보 인식 모델로써, 재처리과정을 거쳐서 차량 번호판 정보를 인식하고, 상기 차량 번호판 정보 인식 모델은, 밝기 조절, 컨트라스트 조절, 기울기 조절, 이미지 형태 변환 및 흔들림 개선의 처리를 적어도 하나 이상 처리한 재처리 과정을 거쳐서 차량 번호판 정보를 인식할 수 있다.
이 경우에, 상기 차량 번호판 정보 인식 모델은, 슈퍼리솔루션 방식을 이용하여 화질 개선을 처리하되, 차량의 번호판을 단순 확대한 뒤, 상기 슈퍼리솔루션 방식을 적용할 수 있다.
본 발명의 다른 실시 예에 따른 방법은, 동영상 또는 정지영상 이미지를 촬상하는 촬상장치; 및 상기 촬상장치로부터 수신된 동영상 또는 정지영상 이미지를 분석하되, 차량 정보 분석 모델, 차량 속도 분석 모델, 차량 번호판 정보 인식 모델을 개별적으로 운용하여 차량 정보, 차량 속도 및 차량 번호판 정보를 식별하여 불법주차, 속도위반, 교통법규위반 및 어린이 보호 구역 위반에 대한 단속 임무를 처리하는 인공지능 단속 서버;를 포함하는 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템을 이용하는 방법에 있어서, 상기 촬상장치는, 정기적 또는 비정기적으로 감시 대상 공간에 대한 동영상 이미지를 촬상하여 인공지능 단속 서버로 전송하는 단계; 상기 인공지능 단속 서버는, 상기 촬상장치로부터 수신된 동영상 이미지를 이용하여 차량 정보 분석을 처리하는 단계; 상기 인공지능 단속 서버는, 차량 정보 분석을 처리하는 단계에서 얻어진 정보에 기반하여 불법 주차, 속도 위반, 교통 법규 위반 및 어린이 보호 구역 위반에 대한 해당하는지 여부를 판정하고, 그 결과에 따라 위반 차량의 속도 및 번호판 정보를 검지하는 단계;를 포함한다.
이 경우에, 상기 차량 정보 분석을 처리하는 단계에서, 상기 인공지능 단속 서버는, 상기 동영상 이미지을 구성하는 복수의 프레임 중에서 이전 제1 프레임의 제1 객체를 추출하는 단계와, 다음 제2 프레임에 추출된 제1 객체의 위치 정보를 추론하는 단계와, 상기 제2 프레임의 제2 객체를 추출하는다는 단계와, 그리고 추론된 제1 객체의 위치 정보와 추출된 제2 객체의 위치 정보를 비교하여 해당 객체의 움직임을 추적하는 단계를 더 실행할 수 있다.
한편, 상기 위반 차량의 속도 및 번호판 정보를 검지하는 단계에서, 상기 인공지능 단속 서버는, 상기 차량 속도 분석 모델로써, 대상 객체에 대한 삼차원 버추얼 박스를 생성하는 단계와, 생성된 삼차원 버추얼 박스의 좌표 정보에 기반하여 움직임 정보를 연산하여 대상 객체의 움직임 속도를 산출하는 단계를 실행하고, 상기 차량 번호판 정보 인식 모델로써, 재처리과정을 거쳐서 차량 번호판 정보를 인식하는 단계와 밝기 조절, 컨트라스트 조절, 기울기 조절, 이미지 형태 변환 및 흔들림 개선의 처리를 적어도 하나 이상 처리하는 재처리 과정을 거쳐서 차량 번호판 정보를 인식하는 단계를 실행할 수 있다.
본 발명의 다양한 실시 예에 따르면, 기존 단속 장비를 그대로 활용하면서도 다양한 상황 정보를 감지하여 감지된 상황에 따른 단속 임무를 수행함으로써 기존 장비를 교체하지 않아도 되는 비용적인 측면에서 효과성이 있고,
기존의 단속 장비의 경우에는 임무별로 개별적인 수행이 이루어지고 있으나 각각의 임무를 통합적으로 감지하고 감지된 상황에 따른 복수의 단속을 수행할 수 있다는 점에서 효과적인 단속을 할 수 있으며,
또한, 개별 단속 장비를 통합적으로 운영하고 관리함으로써 고장 감지 및 유지 보수 측면에서 안정성이 확보되는 효과를 발휘한다.
도 1은 본 발명의 일 실시 예에 따른 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템을 개략적으로 설명하기 위한 블럭도,
도 2는 도 1에 도시된 인공지능 단속 서버의 세부 구성을 예시적으로 설명하기 위한 블럭도,
도 3은 도 2에 도시된 차량 정보 분석 모델의 일 동작을 예시적으로 설명하는 블럭도,
도 4는 도 2에 도시된 차량 속도 분석 모델의 일 동작을 예시적으로 설명하는 블럭도,
도 5는 도 2에 도시된 차량 번호판 정보 인식 모델의 일 동작을 예시적으로 설명하는 블럭도,
도 6은 도 5에서 차량 번호판 정보 인식 모델에 의한 차량 이미지를 재처리하는 과정을 예시적으로 설명하는 도면,
도 7은 도 5에서 차량 번호판 정보 인식 모델에 의한 차량 번호판의 해상도를 높여주는 처리를 수행하는 일 예를 설명하는 도면,
도 8은 본 발명의 일 실시 예에 따른 인공지능 단속 시스템을 구체적으로 설명하기 위한 블럭도,
도 9는 본 발명의 다른 실시 예에 따른 인공지능 단속 시스템을 예시적으로 설명하기 위한 블럭도,
도 10은 본 발명의 일 실시 예에 따른 인공지능 단속 서버에 의해서 객체를 감지하는 방식을 예시적으로 설명하는 도면,
도 11은 본 발명의 일 실시 예에 따른 인공지능 단속 서버에 의해서 차량 정보 수집 방식을 예시적으로 설명하는 도면, 그리고,
도 12는 본 발명의 다른 실시 예에 따른 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템을 이용하는 방법을 예시적으로 설명하는 도면.
이하에서 도면을 참고하여 본 발명의 바람직한 실시 예를 중심으로 설명한다. 이하에서 설명하는 바람직한 실시 예는 본 발명의 기술적 사상의 범위 이내에서 다양하게 설계 변경될 수 있으며, 이러한 설계 변경된 실시예에 대해서도 본 발명의 권리 범위에 속하는 것은 자명하다.
도 1은 본 발명의 일 실시 예에 따른 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템을 개략적으로 설명하기 위한 블럭도이다. 도 1을 참고하면, 인공지능 단속 시스템(10)은 촬상 장치(100) 및 AI 단속 서버(200)를 포함한다. 촬상 장치(100)는 단속 대상 지역을 광학적 방식으로 촬상할 수 있는 싱글 카메라, 카메라에 의해서 수집된 영상 이미지를 유무선 방식으로 외부로 전송하는 전송장치 및 이들의 동작을 제어하는 제어 장치를 포함한다. AI 단속 서버(200)는 카메라로부터 수신된 이미지를 분석하여 단속 대상 지역의 이벤트 발생(불법 주차, 신호 위반, 속도 위반, 어린이 보호 구역 위반 등)을 판단하고, 이벤트의 종류에 따라 적절한 대응 신호를 생성하여 엑츄에이터(미도시)로 전송할할 수 있다. 또한, AI 단속 서버(200)는 촬상장치(100)로 영상 이미지 촬상에 대한 제어 신호를 전송하여 다양한 AI 학습 이미지 데이터를 수집할 수 있다.
도 2는 도 1에 도시된 인공지능 단속 서버의 세부 구성을 예시적으로 설명하기 위한 블럭도이다. 도 2를 참고하면, 인공지능 단속 서버(200)는 차량 정보 분석 모델(210), 차량 속도 분석 모델(220) 및 차량 번호판 정보 인식 모델(230)을 포함한다.
도 3을 참고하면 차량 정보 분석 모델(210)에서 처리되는 차량 움직임 추적 과정을 확인할 수 있다. 차량 정보 분석 모델(210)은 촬상 장치(100)로부터 수신한 영상 이미지(Video_1)에 포함된 객체(OBJ)를 실시간으로 추적할 수 있다. 차량 정보 분석 모델(210)은 동영상 이미지(Video_1)을 구성하는 복수의 프레임(제1 내지 N 프레임) 중에서 이전 제1 프레임(Frame_1)의 제1 객체(OBJ_1)를 추출하여 정보([x1, y1, a1, h1, vx1, vy1, va1, vh1])를 획득한다. 차량 정보 분석 모델(210)은 칼만 필터(Kalman filter)를 이용하여 제1 프레임(Frame_1)의 다음 제2 프레임(Frame_2)에 추출된 제1 객체(OBJ_1)의 위치 정보([x'1, y'1, a'1, h'1])를 추론할 수 있다. 차량 정보 분석 모델(210)은 제2 프레임의 제2 객체(OBJ_2)를 추출하여 정보([x2, y2, a2, h2])를 획득한다. 차량 정보 분석 모듈(210)은 추론된 제1 객체의 위치 정보([x'1, y'1, a'1, h'1])와 추출된 제2 객체의 위치 정보([x2, y2, a2, h2])를 비교하여 헝가리안 알고리즘에 의해서 해당 객체(OBJ)의 움직임을 추적할 수 있다.
차량 속도 분석 모델(220)은 대상 객체에 대한 삼차원 버추얼 박스를 생성할 수 있다. 차량 속도 분석 모델(220)은 생성된 삼차원 버추얼 박스의 좌표 정보에 기반하여 움직임 정보를 연산하여 대상 객체의 움직임 속도를 산출할 수 있다.
도 4를 참고하여 살펴보면, 차량 속도 분석 모델(220)는 영상 이미지의 각 프레임에서 객체에 대한 3차원 버추얼 박스(3-DVB)를 생성할 수 있다. 도 4는 4개의 프레임을 중첩시킨 이미지이고 최신 프레임에 포함된 객체에 대해서만 3차원 버추억 박스(3-DVB)를 오버랩시켰고, 4개의 프레임에서 각각의 객체에 대한 4개의 번호판 객체(Plate_1 내지 Plate_4)를 기준으로 객체(OBJ)의 이동 동선(Path)를 가상으로 도식화할 수 있다. 차량 속도 분석 모델(220)은 4개의 프레임의 시간 정보와 4개의 플레이트의 경로 상의 이동 거리를 이용하여 해당 객체의 이동 속도를 연산할 수 있다.
차량 번호판 정보 인식 모델(230)은 객체를 포함하는 이미지에 대해서 재처리과정을 거쳐서 차량 번호판 정보를 인식할 수 있다. 차량 번호판 정보 인식 모델(230)은, 밝기 조절, 컨트라스트 조절, 기울기 조절, 이미지 형태 변환 및 흔들림 개선의 처리를 적어도 하나 이상 처리한 재처리 과정을 거쳐서 차량 번호판 정보를 인식할 수 있다.
도 5를 참고하면, 차량 번호판 정보 인식 모델(230)은 전체 크기의 객체를 포함하는 이미지에서 관심 영역(번호판)을 식별하고, 관심 영역을 크롭하는 처리를 실행한다. 차량 번호판 정보 인식 모델(230)은 관심 영역을 확대 처리하여 관심 영역에서 번호판 및 차량을 식별하는 정보(예컨대, 차량 엠블럼)를 식별하고, 식별된 번호판 또는 차량을 식별하는 정보를 작은 크기 객체로 분할하는 처리를 실행한다.
도 6을 참고하면, 차량 번호판 정보 인식 모델(230)은 분리된 작은 크기 객체에 대해서 이미지 밝기를 조절하는 처리를 실행한다(S601). 이미지 밝기 처리된 결과물에 대해서 콘트라스트를 조절하는 처리를 실행한다(S602). 밝기와 콘트라스트에 대한 보정이 된 결과물에 대해서 기울기 조절 처리를 실행한다(S603). 기울기 조절이 완료되면 번호판에 포함된 문자, 숫자, 도형 등에 대한 이미지 형태 변환 처리를 개별적으로 실행한다(S604). 그리고 최종적으로 결과물에 대해서 흔들림 개선 처리를 실행한다(S605). 이러한 재처리 과정을 통해서 작은 크기 객체에 대해서도 충분히 높은 해상도 및 선명도를 확보할 수 있게 된다. 다만, 이렇게 재처리 과정을 거친 이미지에 대해서 슈퍼 리솔루션(Super Resolution)을 수행함으로써 해상도를 보다 향상시킬 수 있다.
도 7을 참고하면, 차량 번호판 정보 인식 모델(230)은 이미지 재처리된 번호판 이미지(Img_1)를 단순히 확대시켜서 확대 이미지(Img_2)를 생성한다. 확대 이미지(Img_2)에 대해서 슈퍼 리솔루션을 적용하여 이미지의 해상도가 개선된 결과 이미지(Img_3)를 생성한다. 이러한 슈펄 리솔루션은 도 7(b)의 CNN 기반으로 하는 SRCNN 기법을 적용하거나 도 7(c)의 GAN 기반으로 하는 SRGAN을 적용하여 처리할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 인공지능 단속 시스템을 구체적으로 설명하기 위한 블럭도이다. 도 8을 참고하면, 인공지능 단속 시스템(10)은 카메라(100), AI 단속 서버(200) 및 엑츄에이터(300)를 포함한다. 카메라(100)는 감시 대상 구역에서 발생되는 환경 정보를 수집하는 센서로 기능한다. 카메라(100)는 감시 대상 구역에서 실시간 또는 일정한 시간 주기로 영상을 촬상하고, 촬상된 영상 이미지를 유무선 방식으로 AI 단속 서버(200)로 전송한다.
AI 단속 서버(200)는 수신된 객체를 포함하는 영상 이미지에서 차량 형태 분석을 실시한다. 이때 AI 단속 서버(200)는 이미지 전처리를 실행하여 이미지에 포함된 노이즈나 왜곡을 개선시키는 처리를 실행한다. AI 단속 서버(200)는 이미지 품질을 개선하기 기본적인 영상 처리(밝기 조절 처리, 콘트라스트 조절 처리)를 실행한다. AI 단속 서버(200)는 기본적인 영상 처리를 실행한 이후에 기울기 보정 처리 및 슈퍼 리솔루션을 통해서 번호판에 대한 정확한 정보 인식을 위한 전처리를 진행한다. AI 단속 서버(200)는 영상 이미지에 포함된 객체의 속도 및 위치 정보를 측정하여 불법 주차 여부, 교통 법규 위반 여부, 속도 위반 여부 등을 판정한다. AI 단속 서버(200)는 법규 위반한 것으로 판단되면 해당 차량에 대한 차량 번호판 검지 처리 및 차량 번호 인식 처리를 실행한다. AI 단속 서버(200)는 단속된 차량에 대한 정보를 엑츄에이터(300)로 전달하고, 또는 단속 결과를 원격의 관계 기관의 서버로 전달할 수 있다.
엑츄에이터(300)는 AI 단속 서버(200)로부터 교통 법규 위반, 속도 위반, 불법 주차, 어린이 보호 구역 위반 등의 정보에 기초하여 해당 정보를 대상 차량에게 고지하거나 알리는 방식으로 1차적으로 위법 행위의 중지를 유도한다. 엑츄에이터(300)는 1차적인 위법 행위 중지 유도에도 불구하고 계속적인 위법 행위가 확인되면 해당 차량에 대한 직접 단속 또는 간접 단속을 통해서 위법 행위에 대한 법적 조치를 위한 사전 단속 조치를 실행한다.
도 9는 본 발명의 다른 실시 예에 따른 인공지능 단속 시스템을 예시적으로 설명하기 위한 블럭도이다. 도 9를 참고하면, 인공지능 단속 시스템(10)은 싱글 카메라(100), AI 단속 서버(200), 엑츄에이터(300) 및 AI 학습 서버(400)를 포함한다. 인공지능 단속 시스템(10)은 싱글 카메라(100)를 통해서 감시 대상 영역에서 실시간으로 위범 행위를 감시하기 위한 영상 수집을 한다.
이렇게 수집된 영상 이미지는 AI 학습 서버(400)의 처리 모듈(410)로 전달되고, 처리 모듈(410)은 전달된 영상 이미지에 대한 이미지 처리를 통해서 학습 모듈(420)로 입력 이미지와 라벨 정보를 제공한다.
학습 모듈(420)은 기존 모델에 입력 이미지와 라벨 정보를 이용하여 새로운 학습을 수행한다. 학습 모듈(420)은 수행한 결과를 판단 모듈(430)로 전달한다. 학습 모듈(420)은 AI 단속 서버(200)로부터 실제 운용되면서 얻어지는 지식(Knowledge)를 수신하고, 수신된 지식을 반영하여 학습 모듈(420)에서 기존 학습 데이터 및 새로운 학습 데이터와 함께 학습을 실행하고, AI 모델의 새로운 학습 과정에서 발생되는 하이퍼파라미터의 변화를 AI 단속 서버(200)로 전달할 수 있다.
판단 모듈(430)은 학습 모듈(420)의 학습 결과를 분석하여 모델에 대한 목표치가 달성되었다고 판단하면 해당 AI모델을 AI 단속 서버(200)로 전달한다. 판단 모듈(430)은 학습 모듈(420)에 의해서 학습된 결과에 기초하여 기존의 AI 모델을 수정하거나 갱신할지 여부를 판단하고, 갱신하는 것으로 판단하면 갱신된 AI 모델을 AI 단속 서버(200)로 전달한다.
도 10은 본 발명의 일 실시 예에 따른 인공지능 단속 서버에 의해서 객체를 감지하는 방식을 예시적으로 설명하는 도면이다. 도 10을 참고하면, AI 단속 서버(200)는 차량 정보 분석 모델(210)을 이용하여 도로 상에 차량을 감지할 수 있다. 이렇게 감지한 차량의 위치 정보, 속도 정보 등을 고려하여 해당 차량의 위법 여부를 판단한다. 또한, 차량 정보 분석 모델(210)은 위법 상태에 있는 차량에 대한 보다 세부 정보를 확보하기 위하여 차량에 대한 3차원 버추얼 박스를 생성하고, 해당 차량에 대한 차종을 식별하는 처리를 수행한다.
도 11은 본 발명의 일 실시 예에 따른 인공지능 단속 서버에 의해서 차량 정보 수집 방식을 예시적으로 설명하는 도면이다. 도 11을 참고하면, AI 단속 서버(200)의 차량 정보 분석 모델(210)은 도로 상에 불법 주정차되어 있는 차량을 감지한다(Step 1). 차량 정보 분석 모델(210)은 차량 번호판 정보 인식 모델(230)로 감지된 차량 이미지 정보를 전달한다. 차량 번호판 정보 인식 모델(230)은 전달된 차량 이미지에서 번호판 영역을 식별한다(Step 2). 차량 번호판 정보 인식 모델(230)은 식별된 번호판에서 차량 번호를 인식하는 처리를 실행한다(Step 3). 이때 차량 번호판 정보 인식 모델(230)은 차량 번호판의 인식율을 높이기 위해서 이미지 재처리 및 슈퍼 리솔루션 처리를 통해서 해당 차량 번호판의 인식율을 높일 수 있다. 차량 정보 분석 모델(210)은 번호판 정보가 인식된 차량에 대해서 3차원 버추얼 박스를 생성하고, 해당 차량에 대한 차종을 분석하는 처리를 실행한다(Step 4). 차량 정보 분석 모델(210)은 번호판 정보가 인식되지 않은 차량에 대해서도 3차원 버추얼 박스를 생성하고, 해당 차량에 대한 차종을 추론하는 처리(이미지 기반)를 실행할 수 있다.
도 12는 본 발명의 다른 실시 예에 따른 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템을 이용하는 방법을 예시적으로 설명하는 도면이다. 도 12를 참고하면, 감시 대상 구역(ENV)의 일 개소에 설치된 단속 카메라(100)는 감시 대상 구역에서 발생되는 일련의 이벤트를 실시간으로 또는 비정기적으로 감시하기 위하여 영상 이미지를 촬상한다. 본 발명의 기술적 특징은 한대의 단속 카메라(100)에 의해서 T시간(T1~T3) 동안에 촬상된 영상 이미지에서 발생되는 일련의 이벤트를 개별적으로 인식하고 개별 이벤트에 대한 개별 조치를 취할 수 있다는 점이다.
구체적으로 살펴보면, 도 12에서는 T1 시점에 123가4567 차량이 도로 가에 불법 주정차하고 있고, T2 시점에 456나7890 차량이 횡단보도를 건너고 있는 보행자를 무시하고 무단으로 교차로 우회전을 수행하고, T3 시점에 789다1234 차량이 과속으로 교차로를 통한하는 상황을 예시적으로 도시하고 있다. 이러한 상황에서 단속 카메라(100)는 T1 시점에서 T3시점까지 촬영한 동영상 이미지를 AI 단속 서버(200)로 전송한다.
AI 단속 서버(200)는 T1 시점에 발생된 123가4567 차량의 주차 위반에 대해서 차량 종류, 차량 번호를 식별하고 엑츄에이터(300)에게 전달한다. 그리고, AI 단속 서버(200)는 T2 시점에 발생된 456나7890 차량의 우회전 방식 위반에 대해서 차량 종류, 차량 번호를 식별하고 엑츄에이터(300)에게 전달한다. 그리고, AI 단속 서버(200)는 T3 시점에 발생된 789다1234 차량의 속도 위반에 대해서 차량 종류, 차량 번호, 위반 속도를 식별하고 엑츄에이터(300)에게 전달한다. 이렇게 AI 단속 서버(200)는 하나의 영상 이미지에 포함된 다양한 이벤트를 개별적으로 식별하고 식별된 위반 사항에 맞는 정보를 영상 이미지 정보만을 이용하여 획득함으로써 매우 효율적으로 차량 단속을 할 수 있는 현저한 효과를 발휘한다.
10 : 인공지능 단속 시스템
100 : 촬상장치
110 : 카메라
120 : 통신장치
130 : 제어장치
200 : AI 단속 서버
210 : 차량 정보 분석 모델
220 : 차량 속보 분석 모델
230 : 차량 번호판 정보 인식 모델
300 : 엑츄에이터
400 : AI 학습 서버
410 : 처리 모듈
420 : 학습 모듈
430 : 판단 모듈

Claims (10)

  1. 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템에 있어서,
    감시 대상 공간에 설치되서 정기적 또는 비정기적으로 동영상 또는 정지영상 이미지를 촬상하는 촬상장치; 및
    상기 촬상장치로부터 수신된 동영상 또는 정지영상 이미지를 분석하되, 차량 정보 분석 모델, 차량 속도 분석 모델, 차량 번호판 정보 인식 모델을 개별적으로 운용하여 차량 정보, 차량 속도 및 차량 번호판 정보를 식별하여 불법주차, 속도위반, 교통법규위반 및 어린이 보호 구역 위반에 대한 단속 임무를 처리하는 인공지능 단속 서버;를 포함하는,
    단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템.
  2. 제1 항에 있어서,
    상기 인공지능 단속 서버는, 상기 차량 정보 분석 모델로써, 실시간으로 객체를 추적하되,
    상기 차량 정보 분석 모델은, 상기 동영상 이미지을 구성하는 복수의 프레임 중에서 이전 제1 프레임의 제1 객체를 추출하고, 다음 제2 프레임에 추출된 제1 객체의 위치 정보를 추론하고, 상기 제2 프레임의 제2 객체를 추출하고, 추론된 제1 객체의 위치 정보와 추출된 제2 객체의 위치 정보를 비교하여 해당 객체의 움직임을 추적하는 것을 특징으로 하는,
    단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템.
  3. 제2 항에 있어서,
    상기 차량 정보 분석 모델은, 상기 제1 프레임의 제1 객체를 추출하고, 상기 제2 프레임에 제1 객체의 위치 정보를 칼만 필터(Kalman Filter)를 이용하여 추론하는 것을 특징으로 하는,
    단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템.
  4. 제2 항에 있어서,
    상기 차량 정보 분석 모델은, 상기 추론된 제1 객체의 위치 정보와 상기 추출된 제2 객체의 위치 정보를 헝가리안 알고리즘(Hungarian Algorithm)을 이용하여 객체의 움직임을 추적하는 것을 특징으로 하는,
    단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템.
  5. 제1 항에 있어서,
    상기 인공지능 단속 서버는, 상기 차량 속도 분석 모델로써, 대상 객체에 대한 삼차원 버추얼 박스를 생성하고,
    상기 차량 속도 분석 모델은, 생성된 삼차원 버추얼 박스의 좌표 정보에 기반하여 움직임 정보를 연산하여 대상 객체의 움직임 속도를 산출하는 것을 특징으로 하는,
    단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템.
  6. 제1 항에 있어서,
    상기 인공지능 단속 서버는, 상기 차량 번호판 정보 인식 모델로써, 재처리과정을 거쳐서 차량 번호판 정보를 인식하고,
    상기 차량 번호판 정보 인식 모델은, 밝기 조절, 컨트라스트 조절, 기울기 조절, 이미지 형태 변환 및 흔들림 개선의 처리를 적어도 하나 이상 처리한 재처리 과정을 거쳐서 차량 번호판 정보를 인식하는 것을 특징으로 하는,
    단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템.
  7. 제6 항에 있어서,
    상기 차량 번호판 정보 인식 모델은, 슈퍼리솔루션 방식을 이용하여 화질 개선을 처리하되, 차량의 번호판을 단순 확대한 뒤, 상기 슈퍼리솔루션 방식을 적용하는 것을 특징으로 하는,
    단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템.
  8. 동영상 또는 정지영상 이미지를 촬상하는 촬상장치; 및 상기 촬상장치로부터 수신된 동영상 또는 정지영상 이미지를 분석하되, 차량 정보 분석 모델, 차량 속도 분석 모델, 차량 번호판 정보 인식 모델을 개별적으로 운용하여 차량 정보, 차량 속도 및 차량 번호판 정보를 식별하여 불법주차, 속도위반, 교통법규위반 및 어린이 보호 구역 위반에 대한 단속 임무를 처리하는 인공지능 단속 서버;를 포함하는 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템을 이용하는 방법에 있어서,
    상기 촬상장치는, 정기적 또는 비정기적으로 감시 대상 공간에 대한 동영상 이미지를 촬상하여 인공지능 단속 서버로 전송하는 단계;
    상기 인공지능 단속 서버는, 상기 촬상장치로부터 수신된 동영상 이미지를 이용하여 차량 정보 분석을 처리하는 단계;
    상기 인공지능 단속 서버는, 차량 정보 분석을 처리하는 단계에서 얻어진 정보에 기반하여 불법 주차, 속도 위반, 교통 법규 위반 및 어린이 보호 구역 위반에 대한 해당하는지 여부를 판정하고, 그 결과에 따라 위반 차량의 속도 및 번호판 정보를 검지하는 단계;를 포함하는,
    방법.
  9. 제8 항에 있어서,
    상기 차량 정보 분석을 처리하는 단계에서,
    상기 인공지능 단속 서버는, 상기 동영상 이미지을 구성하는 복수의 프레임 중에서 이전 제1 프레임의 제1 객체를 추출하는 단계와, 다음 제2 프레임에 추출된 제1 객체의 위치 정보를 추론하는 단계와, 상기 제2 프레임의 제2 객체를 추출하는다는 단계와, 그리고 추론된 제1 객체의 위치 정보와 추출된 제2 객체의 위치 정보를 비교하여 해당 객체의 움직임을 추적하는 단계를 더 실행하는 것을 특징으로 하는,
    방법.
  10. 제8 항에 있어서,
    상기 위반 차량의 속도 및 번호판 정보를 검지하는 단계에서,
    상기 인공지능 단속 서버는,
    상기 차량 속도 분석 모델로써, 대상 객체에 대한 삼차원 버추얼 박스를 생성하는 단계와, 생성된 삼차원 버추얼 박스의 좌표 정보에 기반하여 움직임 정보를 연산하여 대상 객체의 움직임 속도를 산출하는 단계를 실행하고,
    상기 차량 번호판 정보 인식 모델로써, 재처리과정을 거쳐서 차량 번호판 정보를 인식하는 단계와 밝기 조절, 컨트라스트 조절, 기울기 조절, 이미지 형태 변환 및 흔들림 개선의 처리를 적어도 하나 이상 처리하는 재처리 과정을 거쳐서 차량 번호판 정보를 인식하는 단계를 실행하는 것을 특징으로 하는,
    방법.
KR1020220135882A 2022-10-20 2022-10-20 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템 및 이를 이용하는 방법 KR20240055509A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220135882A KR20240055509A (ko) 2022-10-20 2022-10-20 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템 및 이를 이용하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220135882A KR20240055509A (ko) 2022-10-20 2022-10-20 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템 및 이를 이용하는 방법

Publications (1)

Publication Number Publication Date
KR20240055509A true KR20240055509A (ko) 2024-04-29

Family

ID=90883643

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220135882A KR20240055509A (ko) 2022-10-20 2022-10-20 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템 및 이를 이용하는 방법

Country Status (1)

Country Link
KR (1) KR20240055509A (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101753804B1 (ko) 2016-12-01 2017-07-04 (주)아이엠시티 인공지능을 통한 주정차 위반 단속 알림 시스템
KR102275628B1 (ko) 2021-02-03 2021-07-08 김종일 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 클라우드 기반 교통신호 통합 제어시스템
KR20220107875A (ko) 2021-01-26 2022-08-02 주식회사 라텍 카메라를 활용한 딥러닝 기반 다차로 무인교통과속단속 시스템
KR102436142B1 (ko) 2019-03-12 2022-08-26 한국전자통신연구원 단속 카메라로 촬영된 위반 사실을 이용한 확률적 예측 서비스 제공 방법 및 이를 위한 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101753804B1 (ko) 2016-12-01 2017-07-04 (주)아이엠시티 인공지능을 통한 주정차 위반 단속 알림 시스템
KR102436142B1 (ko) 2019-03-12 2022-08-26 한국전자통신연구원 단속 카메라로 촬영된 위반 사실을 이용한 확률적 예측 서비스 제공 방법 및 이를 위한 장치
KR20220107875A (ko) 2021-01-26 2022-08-02 주식회사 라텍 카메라를 활용한 딥러닝 기반 다차로 무인교통과속단속 시스템
KR102275628B1 (ko) 2021-02-03 2021-07-08 김종일 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 클라우드 기반 교통신호 통합 제어시스템

Similar Documents

Publication Publication Date Title
KR102197946B1 (ko) 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법
US11380105B2 (en) Identification and classification of traffic conflicts
EP1030188B1 (en) Situation awareness system
KR101935399B1 (ko) 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템
CN107705574A (zh) 一种精准快速的道路违章停车全自动抓拍系统
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
US9704201B2 (en) Method and system for detecting uninsured motor vehicles
KR102282800B1 (ko) 라이다와 영상카메라를 이용한 멀티 표적 추적 방법
Giannakeris et al. Speed estimation and abnormality detection from surveillance cameras
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
KR102172239B1 (ko) 영상 기반 비정상 상황 모니터링 방법 및 시스템
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
KR101515166B1 (ko) 객체인식 기반의 주차장 이벤트 검지 시스템
Arya et al. Real-time vehicle detection and tracking
US20090208111A1 (en) Event structure system and controlling method and medium for the same
Wang et al. Towards detection of abnormal vehicle behavior using traffic cameras
KR101485512B1 (ko) 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 cctv 영상처리 방법
KR20240055509A (ko) 단일 카메라를 이용한 복수 임무를 처리하는 인공지능 단속 시스템 및 이를 이용하는 방법
KR102452460B1 (ko) Ptz 카메라를 통해 cctv 공간모델을 생성하는 장치, 방법 및 프로그램
KR102566525B1 (ko) 교통 상황 분석 방법 및 장치
KR102369824B1 (ko) 교행 다차로를 위한 차량번호 인식방법 및 장치
Li et al. Real-time system for tracking and classification of pedestrians and bicycles
KR20240055964A (ko) 차량 인식 정확도 향상을 위한 인공지능 학습 데이터 생성 시스템 및 이를 이용하는 방법
CN117494029B (zh) 一种道路抛洒物事件识别方法及装置
Keler et al. Extraction and analysis of massive skeletal information from video data of crowded urban locations for understanding implicit gestures of road users