KR20230082207A - Npu 기반 교통정보 분석 시스템 및 방법 - Google Patents
Npu 기반 교통정보 분석 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230082207A KR20230082207A KR1020210169910A KR20210169910A KR20230082207A KR 20230082207 A KR20230082207 A KR 20230082207A KR 1020210169910 A KR1020210169910 A KR 1020210169910A KR 20210169910 A KR20210169910 A KR 20210169910A KR 20230082207 A KR20230082207 A KR 20230082207A
- Authority
- KR
- South Korea
- Prior art keywords
- road
- vehicle
- traffic information
- npu
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 68
- 238000013135 deep learning Methods 0.000 claims abstract description 31
- 238000005259 measurement Methods 0.000 claims description 31
- 230000007613 environmental effect Effects 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000003702 image correction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 교통정보 분석 시스템을 개시한다. 보다 상세하게는, 본 발명은 도로 상에 설치된 CCTV 카메라로부터 수집되는 도로영상을 NPU를 통해 분석하여 도로 및 그 주변에서 발생하는 다양한 상황을 판단하는 NPU 기반 교통정보 분석 시스템 및 방법에 관한 것이다.
본 발명의 실시예에 따르면, 각 지역의 도로에 설치되는 다수의 CCTV 모듈 내에 CCTV 영상을 딥 러닝 기반 분석 수단인 NPU 장치를 탑재하여 각 모듈별로 영상을 자체 분석하여 객체정보를 생성 및 관제 서버에 제공함으로써 분석결과의 정확도를 개선함과 더불어 시스템 구축비용을 절감하는 효과가 있다.
본 발명의 실시예에 따르면, 각 지역의 도로에 설치되는 다수의 CCTV 모듈 내에 CCTV 영상을 딥 러닝 기반 분석 수단인 NPU 장치를 탑재하여 각 모듈별로 영상을 자체 분석하여 객체정보를 생성 및 관제 서버에 제공함으로써 분석결과의 정확도를 개선함과 더불어 시스템 구축비용을 절감하는 효과가 있다.
Description
본 발명은 교통정보 분석 시스템에 관한 것으로, 도로 상에 설치된 CCTV 카메라로부터 수집되는 도로영상을 NPU를 통해 분석하여 도로 및 그 주변에서 발생하는 다양한 상황을 판단하는 NPU 기반 교통정보 분석 시스템 및 방법에 관한 것이다.
일반적으로, 스마트 관제시스템은 교차로 또는 관제 지역에 설치된 CCTV 카메라로부터 획득한 영상을 토대로 관제센터의 서버가 영상을 분석하여 검출된 객체정보를 표시하는 시스템이다. 이를 이용하여 분석된 객체정보 등은 교통량 산출, 사고 발생 모니터링 등, 다양한 부가적인 서비스에 활용될 수 있다.
이러한 스마트 관제시스템을 도입함에 있어서, 지역의 관할 구역이 넓고 관제 센터의 서버 자원이 한정적인 경우, 대로변 및 골목길을 포함한 다수의 CCTV 영상을 동시에 분석하고, 이때 도출되는 정보를 이용하여 다양한 서비스(교통정보 분석, 쓰레기 투기, 보행자 분석 등)를 제공하는 데는 서버 자원의 한계가 있다.
특히, 교통정보 분석 및 예측을 위해서는 광범위한 관제 지역(교차로, 대로변, 이면도로 등을 포함)을 커버하는 다수의 CCTV 카메라의 영상을 동시에 분석해야 하므로 그 한계가 명백하다고 할 수 있다.
이러한 스마트 관제시스템과 관련하여, 선행기술문헌인 등록특허공보 제10-2189262호는 카메라로 촬영된 입력 동영상을 획득하는 입력 인터페이스, 적어도 하나의 제1 프로세서 및 교통 정보 수집 서버와 통신하는 통신부를 포함하고, 제1 프로세서는 상기 입력 동영상의 프레임 레이트보다 낮은 프레임 레이트의 입력 프레임을 제1 기계학습 모델에 입력하여 각 프레임에서 검출된 적어도 하나의 객체의 식별 정보 및 속도 정보를 획득하고, 제1 기계학습 모델로부터 출력된 적어도 하나의 객체 각각의 식별 정보 및 속도 정보에 기초하여 객체의 속도가 제1 기준 값을 초과하는 관심 객체를 검출한 이벤트를 검출하고, 검출된 이벤트에 대한 정보인 이벤트 정보 및 입력 동영상을 교통 정보 수집 서버로 전송하는 컴퓨팅 장치를 개시하고 있다.
그러나, 선행기술문헌은 엣지 컴퓨터의 제1 프로세스의 딥 러닝 성능에 크게 의존하는 구성임에 따라, 제1 프로세스의 구현이 어렵고 비용이 높다는 한계가 있다.
본 발명은, 전술한 스마트 관제 시스템의 한계를 극복하기 위해 안출된 것으로, 본 발명은 교차로 및 이면도로 각각의 CCTV 카메라의 영상에 대한 분석을 가능하도록 하는 NPU를 이용한 분석 수단을 제공하는 데 과제가 있다.
또한, 본 발명은 각각에 CCTV 모듈에 장착되는 NPU 장치를 통해 기존 CCTV 카메라와 연계하여 카메라로부터 획득한 영상에 대해 딥 러닝을 기반으로 사람과 차량의 종류 통행량 등을 검출하고, 1차적인 분석 후 생성된 메타데이터는 암호화하여 관제 서버로 전송하는 시스템을 제공하는 데 다른 과제가 있다.
전술한 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 NPU 기반 교통정보 분석 시스템은, 각 지역의 도로에 설치되고, 상기 도로를 실시간으로 촬영하여 도로 영상을 실시간으로 획득하고, 딥 러닝 알고리즘을 통해 분석하여 하나 이상의 도로 속성을 포함하는 교통정보를 생성하는 복수의 CCTV 장치 및, 관제 센터에 설치되고, 정보통신망을 통해 상기 복수의 CCTV 장치와 각각 연결되어 상기 복수의 CCTV 장치로부터 제공되는 암호화된 교통정보를 실시간으로 수집 및 저장하고, 모니터를 통해 각 지역의 도로별 도로 영상과 교통정보를 출력하는 콘트롤 서버를 포함하고, 상기 딥 러닝 알고리즘은 상기 도로 영상에서 배경을 제외하고 등장하는 객체에 하나 이상이 중첩되는 바운딩 박스를 설정하여 객체를 검출할 수 있다.
상기 복수의 CCTV 장치는, 일정 방향에서 고정되어 도로를 촬영하여 도로 영상을 출력하는 카메라 모듈 및, 상기 카메라 모듈에 의해 촬영된 도로 영상을 상기 딥 러닝 알고리즘으로 분석하여 상기 도로 영상에 등장하는 하나 이상의 객체를 차량, 이륜차 및 사람 중, 어느 하나의 클래스로 식별하고, 식별된 클래스의 종류에 따라 이동 경로를 추적하여 교통정보를 생성하는 NPU 모듈을 포함할 수 있다.
상기 NPU 모듈은, 상기 딥 러닝 알고리즘으로 Darknet 프레임워크 기반의 YOLO(You Only Look Once)가 프로그래밍된 NPU를 포함할 수 있다.
상기 도로 속성은, 각 도로의 차량에 대한 대기열 길이, 교통량, 유턴 및 차로 포화 여부 중, 하나 이상을 포함할 수 있다.
상기 NPU 모듈은, 상기 도로 영상 및 차로와 관련된 정보를 입력 받아 도로 상의 차선을 식별하고, 차량 객체가 위치하는 하나 이상의 영역을 정의하여 차량의 진입 및 진출을 판단하여 해당 도로의 교통량을 측정하고, 측정결과를 암호화하여 출력하는 교통량 측정수단 및, 외부 환경 요소에 따라 상기 카메라 모듈에 의해 도로 영상에 발생하는 오차를 보정하여 상기 교통량 측정수단에 제공하는 카메라 보정수단을 포함할 수 있다.
상기 교통량 측정수단은, 상기 카메라 모듈이 촬영하는 도로의 차로 및 최대 정지선의 설정값을 입력 받는 설정값 입력부, 상기 딥 러닝 알고리즘에 기반하여 도로 영상 내 등장하는 차량 객체를 식별하고, 상기 차로 정보에 따라 차선 별로 나누어 차량 진입을 판단하고, 대기 영역을 설정하여 차선을 따라 이동하는 차량 객체를 추적하는 차량 추적부, 차량이 상기 대기 영역으로 진입하면, 대기열의 생성 여부를 판단하고 대기열 생성시 상기 대기 영역과 추정 영역을 구분하는 기준선을 설정하는 기준선 생성부, 이동하는 차량 객체가 상기 기준선을 통과하여 추정 영역에 진입하는지 여부를 검사하고, 기준 프레임 동안 추정 영역에 진입한 차량의 개수를 판단하고 대기열 끝단을 갱신하는 차량 추정부 및, 상기 추정 영역의 진출선으로부터, 제1 가중치만큼 이격된 제1 차량 진출선을 설정하고, 상기 제1 가중치보다 적어도 거리가 먼 제2 가중치만큼 이격된 제2 차량 진출선을 설정하고, 상기 추정 영역으로부터 진출하는 차량이 제1 차량 진출선 만을 통과하면 좌회전 또는 우회전 차량으로 판단하고, 상기 제1 및 제2 차량 진출선을 모두 통과하면 직진 차량으로 판단하는 방향 판단부를 포함할 수 있다.
상기 카메라 보정수단은, 외부 환경 요소의 영향이 없는 상태에서 카메라 모듈이 촬영한 기준 도로 영상을 입력 받고, 상기 기준 도로 영상에 등장하는 적어도 둘 이상의 배경 객체를 추출하고, 영상 내에서 상기 배경 객체의 좌표를 입력 받아 크롭 정보를 생성하는 크롭 생성부, 외부 환경 요소에 따라 왜곡이 존재하는 시점의 카메라 모듈이 촬영한 도로 영상의 각 프레임 별로 상기 배경 객체의 좌표를 중심으로 적어도 10% 이상의 확장된 영역을 추출하고, 상기 크롭 정보와 비교하여 변화량을 산출하는 비교부 및, 상기 변화량에 따라 상기 교통량 측정수단에 입력되는 도로 영상을 보정하는 영상 보정부를 포함할 수 있다.
상기 콘트롤 서버는, 원격지의 CCTV 장치로부터 교통정보를 실시간으로 수집하는 교통정보 수집부, 상기 교통정보에 기초하여, 각 도로별 운행중인 차량수, 도로 정체 현황 및, 사고 발생 지점 중, 하나 이상을 검출하는 모니터링부, 상기 모니터링부에 의해 검출된 각 도로별 현재 상황을 연결된 관제 센터의 모니터로 출력하는 정보 출력부, 각 도로의 CCTV 장치로부터 현재 구동상태를 포함하는 장치정보를 수신하고, 상기 장치정보에 따라 이상여부를 추정하는 장치 관리부 및, 각 도로의 CCTV 장치의 일자별 구동상태를 저장하는 장치DB를 포함할 수 있다.
상기 콘트롤 서버는, 각 도로별로 교통정보를 시분초 단위로 분류 및 기록DB에 저장하는 아카이브 기록부 및, 상기 기록DB를 참조하여, 특정 도로 구간에 대한 교통량에 따라 해당 지역의 교통정책 개선에 참조되는 기록정보를 생성 및 제공하는 정책 지원부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 NPU 기반 교통정보 분석 방법은, 각 지역의 도로에 설치되는 복수의 CCTV 장치가, 상기 도로를 실시간으로 촬영하여 도로 영상을 획득하는 단계, 상기 복수의 CCTV 장치가, 딥 러닝 알고리즘을 통해 도로 영상을 분석하여 하나 이상의 도로 속성을 포함하는 교통정보를 생성 및 암호화하는 단계, 관제 센터에 설치되고, 정보통신망을 통해 상기 복수의 CCTV 장치와 각각 연결된 콘트롤 서버가, 암호화된 교통정보를 실시간으로 수집, 복호화 및 저장하는 단계 및, 상기 콘트롤 서버가, 각 지역의 도로별 도로 영상과 교통정보를 모니터로 출력하는 단계를 포함하고, 상기 딥 러닝 알고리즘은 상기 도로 영상에서 배경을 제외하고 등장하는 객체에 하나 이상이 중첩되는 바운딩 박스를 설정하여 객체를 검출할 수 있다.
상기 복수의 CCTV 장치가 딥 러닝 알고리즘을 통해 도로 영상을 분석하여 하나 이상의 도로 속성을 포함하는 교통정보를 생성 및 암호화하는 단계는, 외부 환경 요소의 영향을 받은 카메라 모듈에 의해 도로 영상에 발생하는 오차를 보정하는 단계 및, 오차가 보정된 도로 영상 및 차로와 관련된 정보를 입력 받아 도로 상의 차선을 식별하고, 차량 객체가 위치하는 하나 이상의 영역을 정의하여 차량의 진입 및 진출을 판단하여 해당 도로의 교통량을 측정하는 단계를 포함할 수 있다.
상기 외부 환경 요소의 영향을 받은 카메라 모듈에 의해 도로 영상에 발생하는 오차를 보정하는 단계는, 외부 환경 요소가 없는 상태에서 카메라 모듈이 촬영한 기준 도로 영상을 입력 받은 단계, 상기 기준 도로 영상에 등장하는 적어도 둘 이상의 배경 객체를 추출하고, 영상 내에서 상기 배경 객체의 좌표를 입력 받아 크롭 정보를 생성하는 단계, 외부 환경 요소에 의해 왜곡이 발생한 카메라 모듈이 촬영한 도로 영상의 각 프레임 별로 상기 배경 객체의 좌표를 중심으로 적어도 10% 이상의 확장된 영역을 추출하고, 상기 크롭 정보와 비교하여 변화량을 산출하는 단계 및, 상기 변화량에 따라 상기 교통량 측정수단에 입력되는 도로 영상을 보정하는 단계를 포함할 수 있다.
상기 오차가 보정된 도로 영상 및 차로와 관련된 정보를 입력 받아 도로 상의 차선을 식별하고, 차량 객체가 위치하는 하나 이상의 영역을 정의하여 차량의 진입 및 진출을 판단하여 해당 도로의 교통량을 측정하는 단계는, 상기 카메라 모듈이 촬영하는 도로의 차로 및 최대 정지선 정보를 입력 받은 단계, 상기 딥 러닝 알고리즘에 기반하여 도로 영상 내 등장하는 차량 객체를 식별하고, 상기 차로 정보에 따라 차선 별로 나누어 차량 진입을 판단하고, 대기 영역을 설정하여 차선을 따라 이동하는 차량 객체를 추적하는 단계, 차량이 상기 대기 영역으로 진입하면, 대기열의 생성 여부를 판단하고 대기열 생성시 상기 대기 영역과 추정 영역을 구분하는 기준선을 설정하는 단계, 이동하는 차량 객체가 상기 기준선을 통과하여 추정 영역에 진입하는지 여부를 검사하고, 기준 프레임 동안 추정 영역에 진입한 차량의 개수를 판단하고 대기열 끝단을 갱신하는 단계, 상기 추정 영역의 진출선으로부터, 제1 가중치만큼 이격된 제1 차량 진출선을 설정하고, 상기 제1 가중치보다 적어도 거리가 먼 제2 가중치만큼 이격된 제2 차량 진출선을 설정하는 단계 및, 상기 추정 영역으로부터 진출하는 차량이 제1 차량 진출선 만을 통과하면 좌회전 또는 우회전 차량으로 판단하고, 상기 제1 및 제2 차량 진출선을 모두 통과하면 직진 차량으로 판단하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 각 지역의 도로에 설치되는 다수의 CCTV 모듈 내에 CCTV 영상을 딥 러닝 기반 분석 수단인 NPU 장치를 탑재하여 각 모듈별로 영상을 자체 분석하여 객체정보를 생성 및 관제 서버에 제공함으로써 분석결과의 정확도를 개선함과 더불어 시스템 구축비용을 절감하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 전체 구조를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 CCTV 장치의 구조를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템에 적용된 딥 러닝 알고리즘에 의한 차량 객체 검출 결과를 예시한 도면이다.
도 4는 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 NPU 모듈의 구조를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 NPU 모듈의 차량 추적 방법을 모식화한 도면이다.
도 6은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 콘트롤 서버의 구조를 나타낸 도면이다.
도 7 및 도 8은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 방법을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템이 제공하는 교통정보를 예시한 도면이다.
도 10은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 카메라 흔들림을 보정하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 CCTV 장치의 구조를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템에 적용된 딥 러닝 알고리즘에 의한 차량 객체 검출 결과를 예시한 도면이다.
도 4는 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 NPU 모듈의 구조를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 NPU 모듈의 차량 추적 방법을 모식화한 도면이다.
도 6은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 콘트롤 서버의 구조를 나타낸 도면이다.
도 7 및 도 8은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 방법을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템이 제공하는 교통정보를 예시한 도면이다.
도 10은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 카메라 흔들림을 보정하는 방법을 설명하기 위한 도면이다.
상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하의 설명에서 본 발명의 'NPU 기반 교통정보 분석 시스템'의 용어는, '교통정보 분석 시스템' 또는 '시스템'으로 혼용하여 표기될 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템 및 방법을 설명한다.
도 1은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 전체 구조를 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템은, 각 지역의 도로에 설치되고, 상기 도로를 실시간으로 촬영하여 도로 영상을 실시간으로 획득하고, 딥 러닝 알고리즘을 통해 분석하여 하나 이상의 도로 속성을 포함하는 교통정보를 생성하는 복수의 CCTV 장치(10) 및 관제 센터에 설치되고, 정보통신망을 통해 상기 복수의 CCTV 장치(10)와 각각 연결되어 복수의 CCTV 장치(10)로부터 제공되는 암호화된 교통정보를 실시간으로 수집 및 저장하고, 모니터를 통해 각 지역의 도로별 도로 영상과 교통정보를 출력하는 콘트롤 서버(300)를 포함할 수 있다.
CCTV 장치(10)는 전국 각 지역의 도로에 대응하여 설치되어 도로 및 운행하는 차량을 실시간으로 촬영하고 이를 분석하는 장치이다. 이러한 CCTV 장치(10)를 도로에 설치된 기존 카메라 모듈에 영상 분석 툴이 프로그래밍된 NPU를 연결하거나, 새로운 카메라 모듈을 설치하여 구축할 수 있고, 도로를 향해 설치되어 실시간으로 도로를 촬영할 수 있다.
또한, CCTV 장치(10)에는 소정의 통신수단이 설치되어 정보통신망에 접속할 수 있고, 원격지의 관제 센터에 설치되는 콘트롤 서버(300)에 도로 영상과 더불어 이를 분석한 결과인 교통정보를 생성 및 제공할 수 있다. 이때, 보안을 위해 교통정보는 공지의 암호화 기법을 통해 암호화되어 콘트롤 서버(300)에 전송될 수 있다.
콘트롤 서버(300)는 교통 관제 센터에 설치 및 운영되는, 전국 도로의 교통정보를 모니터링 하기 위한 서버 장치로서, 각 지역의 다수의 도로에 설치된 CCTV 장치(10)와 정보통신망을 통해 연결되어 그로부터 도로 영상 분석 결과인 교통정보를 실시간으로 수집 및 저장할 수 있다.
또한, 콘트롤 서버(300)는 각 CCTV 장치(10)로부터 전송되는 교통정보에 포함되는 도로 영상의 형태에 따라 현재 CCTV 장치(10)가 정상적으로 구동하고 있는지 판단하고, 이에 따른 조치를 취할 수 있다.
기타, 콘트롤 서버(300)는 매시간, 매일의 교통정보를 아카이브로서 누적 기록하고, 이후 분석을 통해 각 지역의 도로 현황을 파악하고 이후 도로 정책을 수립하는 데 유용하게 활용될 수 있는 정보를 제공할 수 있다. 이러한 부가적인 기능에 대한 상세한 설명은 후술한다.
또한, 각 CCTV 장치(10)와 콘트롤 서버(300)간의 데이터 통신을 구현하기 위한 정보통신망으로는, PSTN(Public Switched Telephone Network)과 같은 유선전화망뿐만 아니라, 데이터 통신망의 일 예로서, LAN(Local Area Network), WAN(Wide Area Network)등의 폐쇄형 네트워크일 수 있으며, 인터넷과 같은 개방형 네트워크가 이용될 수 있다. 인터넷은 TCP/IP 프로토콜 및 그 상위계층에 존재하는 여러 서비스, 즉 HTTP(HyperText Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service), NIS(Network Information Service)를 제공하는 전세계적인 개방형 컴퓨터 네트워크 구조를 의미할 수 있다. 또한, 무선 통신망의 일 예로는, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications), 5G 등 중, 어느 하나가 이용될 수 있으나 이에 한정되는 것은 아니다.
전술한 구조에 따라, 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템은 각 도로를 실시간으로 촬영한 영상을 해당 CCTV 장치에 탑재된 NPU를 통해 자체적으로 분석하여 그 결과인 교통정보를 수집함으로써 종래 관제 센터에 의해 중앙 집중형으로 이루어지던 영상 분석 방식과 대비하여 볼 때 보다 신속하고 정확하게 전국 각 지역의 도로 상황을 분석 및 파악할 수 있게 된다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 CCTV 장치를 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 CCTV 장치의 구조를 나타낸 도면이고, 도 3은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템에 적용된 딥 러닝 알고리즘에 의한 차량 객체 검출 결과를 예시한 도면이다.
도 2 및 도 3을 참조하면, 본 발명의 실시예에 따른 CCTV 장치(10)는 각 지역의 도로에 인접하여 설치되어 도로를 실시간으로 촬영 및 그 영상을 분석하는 장치로서, 일정 방향에서 고정되어 도로를 촬영하여 도로 영상을 출력하는 카메라 모듈(100) 및 그 카메라 모듈(100)에 의해 촬영된 도로 영상을 상기 딥 러닝 알고리즘으로 분석하여 도로 영상에 등장하는 하나 이상의 객체를 차량, 이륜차 및 사람 중, 어느 하나의 클래스로 식별하고, 식별된 클래스의 종류에 따라 이동 경로를 추적하여 교통정보를 생성하는 NPU 모듈(200)을 포함할 수 있다.
카메라 모듈(100)은 공지의 CCTV 카메라로 구현될 수 있다. 이러한 CCTV 카메라는 도로와 인접하여 도로를 향하도록 설치되고, 도로 및 도로를 운행하는 일반 차량 및 보행자 등을 실시간으로 촬영할 수 있고, 촬영에 따라 획득한 도로 영상을 후술하는 NPU 모듈(200)에 제공할 수 있다.
NPU 모듈(200)은 도로 영상을 분석하여 교통정보를 생성하는 교통량 측정수단(210) 및 도로 영상에 존재할 수 있는 오차를 보정하는 카메라 보정수단(250)을 포함할 수 있다.
이중, 교통량 측정수단(210)은 영상을 분석하여 이에 등장하는 배경과 객체를 구분하고, 객체의 종류를 검출하는 딥 러닝 기반 알고리즘이 프로그래밍된 NPU(Neural Processing Unit)을 탑재할 수 있고, 이를 통해 카메라 모듈(100)이 제공하는 실시간 도로 영상을 분석하여 영상 내 등장하는 객체가 차량, 이륜차 또는 보행자 인지 검출할 수 있다.
도 3을 참조하면, 본 발명의 실시예에 따른 교통량 측정수단(210)에 의한 도로 영상 분석 결과를 예시하고 있으며, NPU는 딥 러닝 알고리즘에 의해 배경과 이동 객체를 구분할 수 있으며, 특히 다수의 이동 객체에 대하여 복수의 바운딩 박스(bounding box; bx)를 생성하고, 이에 classifier를 적용하여 분류하여 바운딩 박스를 조정 및 중복 검출을 제거하여 각 바운딩 박스(bx)에 매칭되는 이동 객체의 종류가 'truck', 'bus' 또는 'car' 등에 해당하는 지 식별할 수 있다.
또한, 교통량 측정수단(210)은 NPU의 검출결과에 기초하여 도로 상의 차량 수, 이동 방향에 따라 각 도로의 교통량을 추정할 수 있다.
또한, 카메라 보정수단(250)은 교통량 측정수단(210)이 분석하는 도로 영상에서 카메라 모듈(100)의 환경적인 요소, 일례로서 카메라 모듈(100)이 설치된 장소의 날씨, 발생하는 진동, 거치/고정 형태 등의 여러 외부 요인으로 인하여 발생하는 영상 오차를 보정하는 역할을 하는 것으로, 카메라 모듈(100)로부터 제공되는 도로 영상을 보정하여 교통량 측정수단(210)에 전달할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 CCTV 장치에 탑재되는 NPU 모듈을 상세히 설명한다.
도 4는 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 NPU 모듈의 구조를 나타낸 도면이고, 도 5는 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 NPU 모듈의 차량 추적 방법을 모식화한 도면이다.
도 4 및 도 5를 참조하면, 본 발명의 NPU 기반 교통정보 분석 시스템의 NPU 모듈은, 상기 도로 영상 및 차로와 관련된 정보를 입력 받아 도로 상의 차선을 식별하고, 차량 객체가 위치하는 하나 이상의 영역을 정의하여 차량의 진입 및 진출을 판단하여 해당 도로의 교통량을 측정하고, 측정결과를 암호화하여 출력하는 교통량 측정수단(210) 및, 외부 환경 요소에 따라 카메라 모듈에 의해 도로 영상에 발생하는 오차를 보정하여 교통량 측정수단(210)에 제공하는 카메라 보정수단(250)을 포함할 수 있다.
교통량 측정수단(210)은 도로 영상 분석을 위한 복수의 구성부로서, 카메라 모듈이 촬영하는 도로의 차로 및 최대 정지선의 설정값을 입력 받은 설정값 입력부(211), 차로 정보에 따라, 차선 별로 나누어 차량 진입을 판단하고, 대기 영역을 설정하여 차선을 따라 이동하는 차량 객체를 추적하는 차량 추적부(213), 차량이 대기 영역으로 진입하면, 대기열의 생성 여부를 판단하고 대기열 생성시 대기 영역과 추정 영역을 구분하는 기준선을 설정하는 기준선 생성부(215), 이동하는 차량 객체가 기준선을 통과하여 추정 영역에 진입하는지 여부를 검사하고, 기준 프레임 동안 추정 영역에 진입한 차량의 개수를 판단하고 대기열 끝단을 갱신하는 차량 추정부(217), 추정 영역의 진출선으로부터, 제1 가중치만큼 이격된 제1 차량 진출선을 설정하고, 상기 제1 가중치보다 적어도 거리가 먼 제2 가중치만큼 이격된 제2 차량 진출선을 설정하고, 추정 영역으로부터 진출하는 차량이 제1 차량 진출선 만을 통과하면 좌회전 또는 우회전 차량으로 판단하고, 상기 제1 및 제2 차량 진출선을 모두 통과하면 직진 차량으로 판단하는 방향 판단부(219)를 포함할 수 있다.
설정값 입력부(211)는 분석을 위한 사전 입력 데이터로서 분석 대상이 되는 도로에 대한 기본적인 설정값들, 예를 들면 차로 구분 및 최대 정지선에 대한 정보를 입력 받음으로써 이후 분석 절차에서 이용할 수 있도록 한다.
차량 추적부(213)는 카메라 모듈로부터 획득되는 영상 도로를 분석할 수 있다. 특히, 본 발명의 실시예에 따르면, 본 발명의 교통량 측정수단(210)은 각 도로의 횡단보도, 사거리 등에서 대기열 길이 및 교통량을 산출 및 그 정보를 제공할 수 있다. 이때, 분석 대상이 되는 도로 영상은 카메라 모듈의 흔들림 등에 의한 왜곡이 최소화되어야 하며, 해당 도로의 외부 환경 요소에 의해 왜곡이 발생하는 경우에는 카메라 보정수단(250)에 의해 보정된 도로 영상을 이용할 수 있다.
또한, 차량 추적부(213)는 딥 러닝 알고리즘에 기반하여 도로 영상 내 등장하는 차량 객체를 식별하고, 설정값을 통해 도로 상의 차로를 구분하여 차선 별로 나누어 각 차로로 차량 객체의 진입을 판단한다. 이후, 도 5에 예시된 바와 같이, 영상 내 등장하는 도로 상에 가상의 영역 및 차선을 설정하여 차량 객체의 이동을 예측 및 추적할 수 있다.
이는 일반적으로 차량의 이동 방향을 정해져 있음에 따라 각 차선을 따라 이동하는 차량 객체들의 추적(Tracking) 및 이동 방향을 예측하기 용이하도록 하기 위한 기능이다.
기준선 생성부(215)는 차량의 검출이 시작되는 지점인 검출 시작선(①)을 통과하여 도로 상에 대기 영역 및 추정 영역으로 진입하는 차량에 의해 대기 열이 생성되었는지 확인할 수 있다. 여기서 대기 영역 및 추정 영역은 기준선(②)을 중심으로 구분되며, 추정 영역으로 진입한 차량의 개수를 통해 해당 도로의 대기열의 길이를 산출할 수 있고, 차량의 이동 방향을 예측할 수 있다. 또한, 기준선(②)은 추정 영역의 시작선의 역할을 한다.
또한, 기준선 생성부(215)는 추정 영역까지 진입한 차량들이 해당 차선을 그대로 유지하면서 이동한다고 가정하고 이에 신호 변경 이후 대기열의 차량을 전부 검출하지 않아도 그 차량들의 진출 방향을 예측할 수 있다.
차량 추정부(217)는 차량 객체가 추정 영역에 진입하는 지 여부를 검사하고, 최초 진압한 차량이 정지한 지점에 인접한 선을 추정 영역의 끝선(④)으로 지정한다. 이후 추정영역으로 진입하는 차량들은 약 2 ~ 3 회의 가다 서다를 반복한 후 추정영역에 진입하여 대기열에 합류하는 것으로 추정하고, 대기열에 진입한 차량 대수와 차로별 대기열 끝(③)을 갱신한다.
이후, 차량 추정부(217)는 차량을 실제 검출하는 단위 프레임, 일례로서 5 프레임 동안의 영상들을 비교하여 각 차량이 지정한 최소 검출 횟수만큼 검출된 객체라면 개체의 유효성을 인정하여 별도의 검사를 거치지 않고 차로별 대기열 끝을 해당 차량의 길이만큼 갱신하게 된다. 만약, 지정된 횟수만큼 검출되지 않는다면 5 프레임 동안 대기열 영역의 마지막 선의 좌표를 수집하고 이전과 다르다면 새로운 객체가 포함된 것으로 간주하여 차로별 대기열 끝(③)을 갱신할 수 있다.
방향 판단부(219)는 가중치선을 도입하여 대기영역에 멈추어 있는 차량의 이후 진입방향을 판단할 수 있다. 이를 위해, 본 발명의 실시예에 따르면 방향 판단부(219)는 전술한 추정 영역의 끝선(④)으로부터의 제1 가중치(가산치)만큼 이격된 지점을 제1 진출선(⑤)으로 설정하고, 전술한 추정 영역의 끝선(④)으로부터 제1 가중치보다 적어도 큰 제2 가중치(가산치)만큼 이격된 지점을 제2 진출선(⑥)으로 설정할 수 있다.
이를 통해, 방향 판단부(219)는 추정 영역 내 차량 객체가 진출을 시작하여 추정 영역의 끝선(④)을 지나 제1 진출선(⑤)만을 통과하여 영상 내에서 벗어난 경우, 좌회전 혹은 우회전으로 이동한 것으로 추정하고, 제1 진출선(⑤)과 더불어 제2 진출선(⑥)까지 통과하여 영상 내에서 벗어난 경우 직진으로 이동한 것으로 추정할 수 있다. 이러한 방식으로 교통량 측정수단(210)은 대기열의 차량들이 진행하는 방향을 추적할 수 있다.
또한, 이러한 교통량 측정수단(210)에 입력되는 도로 영상을 보정하는 카메라 보정수단(250)은, 외부 환경 요소의 영향이 없는 상태에서 카메라 모듈이 촬영한 기준 도로 영상을 입력 받고, 기준 도로 영상에 등장하는 적어도 둘 이상의 배경 객체를 추출하고, 영상 내에서 배경 객체의 좌표를 입력 받아 크롭 정보를 생성하는 크롭 생성부(252), 외부 환경 요소가 존재하는 시점의 카메라 모듈이 촬영한 도로 영상의 각 프레임 별로 상기 배경 객체의 좌표를 중심으로 적어도 10% 이상의 확장된 영역을 추출하고, 크롭 정보와 비교하여 변화량을 산출하는 비교부(254) 및, 변화량에 따라 교통량 측정수단에 입력되는 도로 영상을 보정하는 영상 보정부(256)를 포함할 수 있다.
크롭 생성부(252)는 카메라 모듈에 의해 촬영된 도로 영상을 보정하기 위해, 사전에 외부 환경 요소에 영향을 받지 않는 상태에서 해당 카메라 모듈을 통해 촬영한 기준 도로 영상을 입력 받고, 그 기준 도로 영상 내 등장하는 둘 이상의 배경 객체를 추출하여 그 좌표를 입력 받아 크롭(crop) 정보를 생성 및 기록할 수 있다.
이후, 도로 영상에서 외부 환경 요소에 의한 왜곡이 발생하면, 크롭 생성부(252)는 왜곡이 포함된 촬영된 도로 영상을 입력 받고, 기 저장된 크롭 정보에 따라 좌표에 대응하는 영역을 식별 및 추출하되, 상기 좌표보다 적어도 10 % 이상의 확장된 영역을 추출할 수 있다.
비교부(254)는 기 저장된 크롭정보의 배경 객체와 현재 촬영 영상에서 추출된 확장된 영역을 비교하여 프레임의 변화량을 산출할 수 있다. 즉, 비교부(254)는 현재 영상에서 최대 흔들림에 의해 설정된 이동 범위만큼 기존 위치에 더하여 크롭 하고, 최초 설정 단계에서 저장된 크롭 영역을 현재 프레임의 크롭영역 내에서 찾아 변화량을 계산하게 된다.
영상 보정부(256)는 전술한 비교부(254)를 통해 계산한 변화량에 대응하도록 촬영 도로 영상을 역 이동 즉, 보정하여 도로 영상 내 왜곡을 제거하고, 교통량 측정수단(210)에 제공할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 콘트롤 서버를 상세히 설명한다.
도 6은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 콘트롤 서버의 구조를 나타낸 도면이다.
도 6을 참조하면, 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 콘트롤 서버(300)는, 원격지의 CCTV 장치(10)로부터 교통정보를 실시간으로 수집하는 교통정보 수집부(310), 교통정보에 기초하여, 각 도로별 운행중인 차량수, 도로 정체 현황 및, 사고 발생 지점 중, 하나 이상을 검출하는 모니터링부(320), 모니터링부(320)에 의해 검출된 각 도로별 현재 상황을 연결된 관제 센터의 모니터로 출력하는 정보 출력부(330), 각 도로의 CCTV 장치(10)로부터 현재 구동상태를 포함하는 장치정보를 수신하고, 상기 장치정보에 따라 이상여부를 추정하는 장치 관리부(340), 각 도로의 CCTV 장치(10)의 일자별 구동상태를 저장하는 장치DB(350), 각 도로별로 교통정보를 시분초 단위로 분류 및 기록DB(370)에 저장하는 아카이브 기록부(360) 및, 기록DB(370)를 참조하여, 특정 도로 구간에 대한 교통량에 따라 해당 지역의 교통정책 개선에 참조되는 기록정보를 생성 및 제공하는 정책 지원부(380)를 포함할 수 있다.
교통정보 수집부(310)는 시스템이 담당하는 각 지역의 CCTV 장치(10)와 정보통신망을 통해 연결되어 데이터 통신을 수행하며, CCTV 장치(10)로부터 실시간으로 촬영된 도로 영상을 포함하는 교통정보를 수집할 수 있다.
모니터링부(320)는 각 CCTV 장치(10)별 수집된 교통정보에 따라 각 지역의 현재 도로 상황을 모니터링 할 수 있다. 교통정보에는 실시간으로 촬영된 도로 영상뿐만 아니라, 각 도로의 차량에 대한 대기열 길이, 교통량, 유턴 및 차로 포화 여부 등과 같은 도로 속성을 포함할 수 있고, 모니터링부(320)는 이러한 정보에 기초하여 각 도로의 현재 상황을 판단할 수 있다.
정보 출력부(330)는 모니터링부(320)에 의해 판단된 각 도로의 현재상황을 도로별로 도로 영상과 함께 관제 센터에 설치되는 하나 이상의 모니터(400)에 출력할 수 있다. 이에 관제 센터의 모니터링 요원을 각 지역의 도로별 교통량 등의 정보를 즉시 확인할 수 있다.
장치 관리부(340)는 연결되는 CCTV 장치(10)로부터 현재 구동상태를 포함하는 장치정보가 교통정보와 더불어 전송되는 경우, 이를 수집하여 각 도로의 CCTV 장치(10)가 정상적으로 작동하고 있는지 여부를 판단할 수 있다. 또한, 장치 관리부(340)는 장치정보 이외에도, 교통정보에 포함되는 특정 시점에서의 도로 영상의 평균색상, 해상도 등을 분석하여 이상 여부를 판단하는 데 참조할 수 있다.
장치DB(350)는 각 CCTV 장치(10)로부터 수집된 장치정보에 포함되는 구동상태를 일자별로 정렬하여 저장할 수 있다. 장치DB(350)에 저장되는 정보는 다수의 CCTV 장치(10)의 고장 관리, 교체 내역 확인 등에 활용할 수 있다.
한편, 본 발명의 실시예에 따른 콘트롤 서버(300)는 매시간 전국 각 지역의 도로 상황을 실시간으로 모니터링 및 그 결과를 도로 영상과 함께 축적할 수 있으며, 그 축적된 도로 관련 데이터는 다양한 분야에 활용될 수 있다.
이를 위한 구성으로서, 아카이브 기록부(360)는 교통정보 수집부(310)에 의해 수집되는 교통정보에 대하여, 지역별로 년, 월, 일, 시에 따라 분류할 수 있고 기록DB(370)에 저장할 수 있다. 전술한 기록DB(370)에 저장되는 교통정보는 시스템 운영과 직접적으로 관련된 기능뿐만 아니라, 교통 관련 유용한 정보를 도출하는 데 활용될 수 있다.
정책 지원부(380)는 기록DB(370)에 저장된 데이터를 참조하여 각 지역의 교통량을 포함하는 교통정보에 대한 통계정보를 생성 및 제공할 수 있다. 일례로서, 정책 지원부(380)는 각 도로에서 상습 정체가 발생하거나, 사고 다발 지역, 도로가 파손된 지역 등에 관한 통계정보를 생성할 수 있고, 이는 국토교통부, 시설관리공단 또는 지자체 등에서 도로, 차량과 관련된 각종 현황을 확인하고 정책을 결정하는 데 유용한 자료로 활용될 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 방법을 설명한다.
도 7 및 도 8은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 방법에서 교통정보를 생성하는 방법을 나타낸 도면이다.
도 7을 참조하면, 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 방법에서는, 먼저 전국 각 지역의 도로에 설치되는 복수의 CCTV 장치가, 탑재된 카메라 모듈을 통해 도로를 실시간으로 촬영하여 도로 영상을 획득한다(S100).
다음으로, 각 CCTV 장치에 탑재되는 NPU가 딥 러닝 알고리즘을 통해 도로 영상을 분석하여 이에 등장하는 차량 객체를 추출하고, 차량의 이동 방향을 추적하여 교통량을 비롯한 도로 속성을 판단하고 교통정보를 생성한다(S110).
다음으로, CCTV 장치가 생성한 교통정보를 암호화하여 원격지의 관제 센터에 설치되는 콘트롤 서버에 제공하고, 이에 콘트롤 서버가 이를 CCTV 장치별로 수집, 취합하고, 복호화를 통해 원 교통정보를 추출한 후, CCTV 장치별로 저장한다(S120).
그리고, 콘트롤 서버가 복호화된 교통정보로부터 각 지역의 도로별 현재 교통상황을 연결된 모니터에 출력한다(S130).
전술한 단계를 통해, 본 발명의 교통정보 분석 시스템은 각 지역의 도로 상황을 원격지의 관제 센터에서 신속하게 확인할 수 있도록 하며, 이하 본 발명의 교통정보 분석 시스템에 의한 교통정보 분석 방법을 설명한다.
도 8을 참조하면, 본 발명의 실시예에 따른 교통정보 분석 방법에서는, 오차가 보정된 도로 영상 및 차로와 관련된 정보를 입력 받아 도로 상의 차선을 식별하고, 차량 객체가 위치하는 하나 이상의 영역을 정의하여 차량의 진입 및 진출을 판단하여 해당 도로의 교통량을 측정하는 것을 특징으로 한다.
구체적으로, 카메라 모듈이 촬영하는 도로의 차로 및 최대 정지선 정보를 입력 받은 단계로서, NPU 모듈을 구성하는 교통량 측정수단이 각 CCTV 장치가 설치된 도로의 차로, 정지선 등의 도로 특성을 사전에 입력 받아 분석 준비를 한다(S200).
다음으로, 교통량 측정수단은 딥러닝 알고리즘에 기반하여 도로 영상 내 등장하는 차량 객체를 식별하되, 차로 정보에 따라 차선 별로 나누어 차량 진입을 판단하고, 대기 영역을 설정하여 차선을 따라 이동하는 차량 객체를 추적한다(S210).
다음으로, 교통량 측정수단은 도로 영상에서 차량이 대기 영역으로 진입하면, 대기열의 생성 여부를 판단하고 대기열 생성시 대기 영역과 추정 영역을 구분하는 기준선을 설정한다(S220).
다음으로, 교통량 측정수단은 이동하는 차량 객체가 상기 기준선을 통과하여 추정 영역에 진입하는지 여부를 검사하고, 기준 프레임 동안 추정 영역에 진입한 차량의 개수를 판단하고 대기열 끝단을 갱신한다(S230).
다음으로, 교통량 측정수단은 추정 영역의 진출선으로부터, 제1 가중치만큼 이격된 제1 차량 진출선을 설정하고, 상기 제1 가중치보다 적어도 거리가 먼 제2 가중치만큼 이격된 제2 차량 진출선을 설정한다(S240).
이를 통해, 교통량 측정수단은 추정 영역으로부터 진출하는 차량이 제1 차량 진출선 만을 통과하면 좌회전 또는 우회전 차량으로 판단하고, 제1 및 제2 차량 진출선을 모두 통과하면 직진 차량으로 판단함으로써, 차량의 이동 방향에 따라 교통량 등을 도출하게 된다(S250).
한편, 전술한 단계에서 이용되는 분석 대상인 도로 영상은, 카메라 모듈이 설치된 장소에 따른 흔들림 등의 외부 환경적인 요소에 의해 왜곡이 발생할 수 있고, 이에 본 발명의 실시예에서는 외부 환경 요소가 없는 상태에서 카메라 모듈이 촬영한 기준 도로 영상을 입력 받은 단계, 기준 도로 영상에 등장하는 적어도 둘 이상의 배경 객체를 추출하고, 영상 내에서 상기 배경 객체의 좌표를 입력 받아 크롭 정보를 생성하는 단계, 외부 환경 요소에 의해 왜곡이 발생한 카메라 모듈이 촬영한 도로 영상의 각 프레임 별로 상기 배경 객체의 좌표를 중심으로 적어도 10% 이상의 확장된 영역을 추출하고, 상기 크롭 정보와 비교하여 변화량을 산출하는 단계 및, 변화량에 따라 상기 교통량 측정수단에 입력되는 도로 영상을 보정하는 단계를 통해 보정된 도로 영상을 생성하고 분석에 이용하도록 할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 영상 분석 결과의 예시를 통해 본 발명의 기술적 사상을 상세히 설명한다.
도 9는 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템이 제공하는 교통정보를 예시한 도면이다.
도 9를 참조하면, 본 발명의 실시예에 따른 교통정보 분석 시스템은 NPU를 이용한 영상 분석을 통해 각 지역의 도로와 관련된 다양한 도로 속성을 포함하는 교통정보를 도출할 수 있다.
차로별 차량 검지 및 추적 영상으로서, 도로 상에서 운행중인 하나 이상의 차량 객체에 바운딩 박스를 생성할 수 있고, 시스템은 현재 차량의 위치 및 이후 차량의 이동 방향을 추정 및 추적하여 도로 교통량을 파악하거나 사고 발생여부를 판단할 수 있고, 유효영역에서 이동하는 차량의 방향을 추적할 수 있다.
상세하게는, 딥 러닝 알고리즘을 통해 횡단보도 및 교차로 등에서 대기 및 이동중인 차량 객체를 추출하여 차량수를 판단할 수 있으며, (a) 영상 및 (b) 영상에서 차량을 기준으로 우측 대기열에 위치한 차량이 진행함에 따라 동일 대기열의 후순위 차량이 우회전 방향으로 진행하는 것을 추적할 수 있다. 이후, (c) 영상에서 차량을 기준으로 좌측 대기열에 위치한 차량이 방향에 따라 직진하는 것을 추적할 수 있고, (d) 영상에서 중앙 대기열의 차량이 횡단보도에 진입함에 따라 직진방향으로 진행한 것과 후열의 차량들이 대기열에 진입 및 대기하는 것을 추적할 수 있다.
이를 통해, 진행신호 및 정지신호에서 각 차량들의 대기열을 통해 교통량을 산출하거나 이동 방향을 추적하여 연결된 도로의 전체 교통량을 산출할 수 있다.
도 10은 본 발명의 실시예에 따른 NPU 기반 교통정보 분석 시스템의 카메라 흔들림을 보정하는 방법을 설명하기 위한 도면으로서, 도 10을 참조하면 본 발명의 일 실시예에 따르면, 각 지역의 CCTV 장치는 설치된 실내 도로의 주변 상황에 따라 비, 바람 등에 의해 흔들림이 발생하여 촬영된 도로 영상에 왜곡이 발생할 수 있고, 이를 보정하기 위해 기준 도로 영상을 미리 준비하여 NPU 모듈에 입력해야 한다.
이를 위해, NPU 모듈은 최소 CCTV 장치를 설치 또는 운영하기 이전에 흔들림이 없는 상황에서 CCTV 장치를 통해 왜곡되지 않은 기준 도로 영상을 입력 받을 수 있고, 그 기준 도로 영상 내 등장하는 둘 이상의 배경 객체(obj1, obj2)를 지정 및 추출하고, 좌표를 입력 받아 저장할 수 있다. 이러한 배경 객체(obj1, obj2)는 해당 도로 상에 고정되어 항상 존재하는 사물로서, 도면에서는 기준이 되는 배경 객체(obj1, obj2)로서, 도로 안내판(obj1) 및 노면 표지물(obj2)을 예시하고 있다.
상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서, 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.
10 : CCTV 장치
100 : 카메라 모듈
200 : NPU 모듈 210 : 교통량 측정수단
211 : 설정값 입력부 213 : 차량 추적부
215 : 기준선 생성부 217 : 차량 측정부
250: 카메라 보정수단 252 : 크롭 생성부
254 : 비교부 256 : 영상 보정부
300 : 콘트롤 서버 310 : 교통정보 수집부
320 : 모니터링부 330 : 정보 출력부
340 : 장치 관리부 350 : 장치DB
360 : 아카이브 기록부 370 : 기록DB
380 : 정책 지원부 400 : 모니터
200 : NPU 모듈 210 : 교통량 측정수단
211 : 설정값 입력부 213 : 차량 추적부
215 : 기준선 생성부 217 : 차량 측정부
250: 카메라 보정수단 252 : 크롭 생성부
254 : 비교부 256 : 영상 보정부
300 : 콘트롤 서버 310 : 교통정보 수집부
320 : 모니터링부 330 : 정보 출력부
340 : 장치 관리부 350 : 장치DB
360 : 아카이브 기록부 370 : 기록DB
380 : 정책 지원부 400 : 모니터
Claims (13)
- 각 지역의 도로에 설치되고, 상기 도로를 실시간으로 촬영하여 도로 영상을 실시간으로 획득하고, 딥 러닝 알고리즘을 통해 분석하여 하나 이상의 도로 속성을 포함하는 교통정보를 생성하는 복수의 CCTV 장치; 및
관제 센터에 설치되고, 정보통신망을 통해 상기 복수의 CCTV 장치와 각각 연결되어 상기 복수의 CCTV 장치로부터 제공되는 암호화된 교통정보를 실시간으로 수집 및 저장하고, 모니터를 통해 각 지역의 도로별 도로 영상과 교통정보를 출력하는 콘트롤 서버를 포함하고,
상기 딥 러닝 알고리즘은,
상기 도로 영상에서 배경을 제외하고 등장하는 객체에 하나 이상이 중첩되는 바운딩 박스를 설정하여 객체를 검출하는 것인, NPU 기반 교통정보 분석 시스템. - 제 1 항에 있어서,
상기 복수의 CCTV 장치는,
일정 방향에서 고정되어 도로를 촬영하여 도로 영상을 출력하는 카메라 모듈; 및
상기 카메라 모듈에 의해 촬영된 도로 영상을 상기 딥 러닝 알고리즘으로 분석하여 상기 도로 영상에 등장하는 하나 이상의 객체를 차량, 이륜차 및 사람 중, 어느 하나의 클래스로 식별하고, 식별된 클래스의 종류에 따라 이동 경로를 추적하여 교통정보를 생성하는 NPU 모듈
을 포함하는 NPU 기반 교통정보 분석 시스템. - 제 2 항에 있어서,
상기 NPU 모듈은,
상기 딥 러닝 알고리즘으로 Darknet 프레임워크 기반의 YOLO(You Only Look Once)가 프로그래밍된 NPU를 포함하는 NPU 기반 교통정보 분석 시스템. - 제 2 항에 있어서,
상기 도로 속성은,
각 도로의 차량에 대한 대기열 길이, 교통량, 유턴 및 차로 포화 여부 중, 하나 이상을 포함하는 NPU 기반 교통정보 분석 시스템. - 제 3 항에 있어서,
상기 NPU 모듈은,
상기 도로 영상 및 차로와 관련된 정보를 입력 받아 도로 상의 차선을 식별하고, 차량 객체가 위치하는 하나 이상의 영역을 정의하여 차량의 진입 및 진출을 판단하여 해당 도로의 교통량을 측정하고, 측정결과를 암호화하여 출력하는 교통량 측정수단; 및
외부 환경 요소에 따라 상기 카메라 모듈에 의해 도로 영상에 발생하는 오차를 보정하여 상기 교통량 측정수단에 제공하는 카메라 보정수단
을 포함하는 NPU 기반 교통정보 분석 시스템. - 제 5 항에 있어서,
상기 교통량 측정수단은,
상기 카메라 모듈이 촬영하는 도로의 차로 및 최대 정지선의 설정값을 입력 받는 설정값 입력부;
상기 딥 러닝 알고리즘에 기반하여 도로 영상 내 등장하는 차량 객체를 식별하고, 상기 차로 정보에 따라 차선 별로 나누어 차량 진입을 판단하고, 대기 영역을 설정하여 차선을 따라 이동하는 차량 객체를 추적하는 차량 추적부;
차량이 상기 대기 영역으로 진입하면, 대기열의 생성 여부를 판단하고 대기열 생성시 상기 대기 영역과 추정 영역을 구분하는 기준선을 설정하는 기준선 생성부;
이동하는 차량 객체가 상기 기준선을 통과하여 추정 영역에 진입하는지 여부를 검사하고, 기준 프레임 동안 추정 영역에 진입한 차량의 개수를 판단하고 대기열 끝단을 갱신하는 차량 추정부; 및
상기 추정 영역의 진출선으로부터, 제1 가중치만큼 이격된 제1 차량 진출선을 설정하고, 상기 제1 가중치보다 적어도 거리가 먼 제2 가중치만큼 이격된 제2 차량 진출선을 설정하고, 상기 추정 영역으로부터 진출하는 차량이 제1 차량 진출선 만을 통과하면 좌회전 또는 우회전 차량으로 판단하고, 상기 제1 및 제2 차량 진출선을 모두 통과하면 직진 차량으로 판단하는 방향 판단부
를 포함하는 NPU 기반 교통정보 분석 시스템. - 제 5 항에 있어서,
상기 카메라 보정수단은,
외부 환경 요소의 영향이 없는 상태에서 카메라 모듈이 촬영한 기준 도로 영상을 입력 받고, 상기 기준 도로 영상에 등장하는 적어도 둘 이상의 배경 객체를 추출하고, 영상 내에서 상기 배경 객체의 좌표를 입력 받아 크롭 정보를 생성하는 크롭 생성부;
외부 환경 요소에 따라 왜곡이 존재하는 시점의 카메라 모듈이 촬영한 도로 영상의 각 프레임 별로 상기 배경 객체의 좌표를 중심으로 적어도 10% 이상의 확장된 영역을 추출하고, 상기 크롭 정보와 비교하여 변화량을 산출하는 비교부; 및
상기 변화량에 따라 상기 교통량 측정수단에 입력되는 도로 영상을 보정하는 영상 보정부
를 포함하는 NPU 기반 교통정보 분석 시스템. - 제 1 항에 있어서,
상기 콘트롤 서버는,
원격지의 CCTV 장치로부터 교통정보를 실시간으로 수집하는 교통정보 수집부;
상기 교통정보에 기초하여, 각 도로별 운행중인 차량수, 도로 정체 현황 및, 사고 발생 지점 중, 하나 이상을 검출하는 모니터링부;
상기 모니터링부에 의해 검출된 각 도로별 현재 상황을 연결된 관제 센터의 모니터로 출력하는 정보 출력부;
각 도로의 CCTV 장치로부터 현재 구동상태를 포함하는 장치정보를 수신하고, 상기 장치정보에 따라 이상여부를 추정하는 장치 관리부; 및
각 도로의 CCTV 장치의 일자별 구동상태를 저장하는 장치DB
를 포함하는 NPU 기반 교통정보 분석 시스템. - 제 8 항에 있어서,
상기 콘트롤 서버는,
각 도로별로 교통정보를 시분초 단위로 분류 및 기록DB에 저장하는 아카이브 기록부; 및
상기 기록DB를 참조하여, 특정 도로 구간에 대한 교통량에 따라 해당 지역의 교통정책 개선에 참조되는 기록정보를 생성 및 제공하는 정책 지원부
를 포함하는 NPU 기반 교통정보 분석 시스템. - 각 지역의 도로에 설치되는 복수의 CCTV 장치가, 상기 도로를 실시간으로 촬영하여 도로 영상을 획득하는 단계;
상기 복수의 CCTV 장치가, 딥 러닝 알고리즘을 통해 도로 영상을 분석하여 하나 이상의 도로 속성을 포함하는 교통정보를 생성 및 암호화하는 단계;
관제 센터에 설치되고, 정보통신망을 통해 상기 복수의 CCTV 장치와 각각 연결된 콘트롤 서버가, 암호화된 교통정보를 실시간으로 수집, 복호화 및 저장하는 단계; 및
상기 콘트롤 서버가, 각 지역의 도로별 도로 영상과 교통정보를 모니터로 출력하는 단계를 포함하고,
상기 딥 러닝 알고리즘은,
상기 도로 영상에서 배경을 제외하고 등장하는 객체에 하나 이상이 중첩되는 바운딩 박스를 설정하여 객체를 검출하는 것인, NPU 기반 교통정보 분석 방법. - 제 10 항에 있어서,
상기 복수의 CCTV 장치가 딥 러닝 알고리즘을 통해 도로 영상을 분석하여 하나 이상의 도로 속성을 포함하는 교통정보를 생성 및 암호화하는 단계는,
외부 환경 요소의 영향을 받은 카메라 모듈에 의해 도로 영상에 발생하는 오차를 보정하는 단계; 및
오차가 보정된 도로 영상 및 차로와 관련된 정보를 입력 받아 도로 상의 차선을 식별하고, 차량 객체가 위치하는 하나 이상의 영역을 정의하여 차량의 진입 및 진출을 판단하여 해당 도로의 교통량을 측정하는 단계
를 포함하는 NPU 기반 교통정보 분석 방법. - 제 11 항에 있어서,
상기 외부 환경 요소의 영향을 받은 카메라 모듈에 의해 도로 영상에 발생하는 오차를 보정하는 단계는,
외부 환경 요소가 없는 상태에서 카메라 모듈이 촬영한 기준 도로 영상을 입력 받은 단계;
상기 기준 도로 영상에 등장하는 적어도 둘 이상의 배경 객체를 추출하고, 영상 내에서 상기 배경 객체의 좌표를 입력 받아 크롭 정보를 생성하는 단계;
외부 환경 요소에 의해 왜곡이 발생한 카메라 모듈이 촬영한 도로 영상의 각 프레임 별로 상기 배경 객체의 좌표를 중심으로 적어도 10% 이상의 확장된 영역을 추출하고, 상기 크롭 정보와 비교하여 변화량을 산출하는 단계; 및
상기 변화량에 따라 상기 교통량 측정수단에 입력되는 도로 영상을 보정하는 단계
를 포함하는 NPU 기반 교통정보 분석 방법. - 제 11 항에 있어서,
상기 오차가 보정된 도로 영상 및 차로와 관련된 정보를 입력 받아 도로 상의 차선을 식별하고, 차량 객체가 위치하는 하나 이상의 영역을 정의하여 차량의 진입 및 진출을 판단하여 해당 도로의 교통량을 측정하는 단계는,
상기 카메라 모듈이 촬영하는 도로의 차로 및 최대 정지선 정보를 입력 받은 단계;
상기 딥 러닝 알고리즘에 기반하여 도로 영상 내 등장하는 차량 객체를 식별하고, 상기 차로 정보에 따라 차선 별로 나누어 차량 진입을 판단하고, 대기 영역을 설정하여 차선을 따라 이동하는 차량 객체를 추적하는 단계;
차량이 상기 대기 영역으로 진입하면, 대기열의 생성 여부를 판단하고 대기열 생성시 상기 대기 영역과 추정 영역을 구분하는 기준선을 설정하는 단계;
이동하는 차량 객체가 상기 기준선을 통과하여 추정 영역에 진입하는지 여부를 검사하고, 기준 프레임 동안 추정 영역에 진입한 차량의 개수를 판단하고 대기열 끝단을 갱신하는 단계;
상기 추정 영역의 진출선으로부터, 제1 가중치만큼 이격된 제1 차량 진출선을 설정하고, 상기 제1 가중치보다 적어도 거리가 먼 제2 가중치만큼 이격된 제2 차량 진출선을 설정하는 단계; 및
상기 추정 영역으로부터 진출하는 차량이 제1 차량 진출선 만을 통과하면 좌회전 또는 우회전 차량으로 판단하고, 상기 제1 및 제2 차량 진출선을 모두 통과하면 직진 차량으로 판단하는 단계
를 포함하는 NPU 기반 교통정보 분석 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210169910A KR102708711B1 (ko) | 2021-12-01 | 2021-12-01 | Npu 기반 교통정보 분석 시스템 및 방법 |
| PCT/KR2022/017538 WO2023101248A1 (ko) | 2021-12-01 | 2022-11-09 | Npu 기반 교통정보 분석 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210169910A KR102708711B1 (ko) | 2021-12-01 | 2021-12-01 | Npu 기반 교통정보 분석 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230082207A true KR20230082207A (ko) | 2023-06-08 |
| KR102708711B1 KR102708711B1 (ko) | 2024-09-24 |
Family
ID=86612648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210169910A KR102708711B1 (ko) | 2021-12-01 | 2021-12-01 | Npu 기반 교통정보 분석 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102708711B1 (ko) |
| WO (1) | WO2023101248A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102725781B1 (ko) | 2024-04-30 | 2024-11-01 | 동신대학교산학협력단 | 드론을 활용한 교통 분석 시스템 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117037007B (zh) * | 2023-10-09 | 2024-02-20 | 浙江大云物联科技有限公司 | 一种航拍式的道路照明均匀度检查方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101873202B1 (ko) * | 2018-05-24 | 2018-07-02 | 주식회사 싸인텔레콤 | Ai칩이 형성된 현장용 인공지능형 ai칩구동용 다채널 원샷카메라모듈 |
| JP2020522783A (ja) * | 2017-05-31 | 2020-07-30 | カーメラ，インコーポレイテッド | 高精細準リアルタイムマップ生成用の撮像機器を備える車両のシステム |
| KR102189262B1 (ko) | 2020-04-29 | 2020-12-11 | 주식회사 글로벌브릿지 | 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법 |
| KR20210055940A (ko) * | 2019-11-08 | 2021-05-18 | 한국전자통신연구원 | 유동인구 및 교통량 모니터링 시스템 및 방법 |
| KR20210103210A (ko) * | 2020-02-13 | 2021-08-23 | 주식회사 인텔리빅스 | 영상처리장치 및 그 장치의 구동방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100052277A (ko) * | 2008-11-10 | 2010-05-19 | 한국도로공사 | 교통정책에 대한 의사결정을 지원하는 교통정보 제공장치, 제공방법 및 그 기록매체 |
| KR101291000B1 (ko) * | 2013-02-22 | 2013-07-30 | (주)파슨텍 | 고해상도 카메라 기반의 지역분산형 통합관제시스템 |
| KR20200115704A (ko) * | 2019-03-08 | 2020-10-08 | 한국전자통신연구원 | 영상 인식 장치 및 방법 |
| KR102558959B1 (ko) * | 2019-10-14 | 2023-07-24 | 주식회사 케이티 | 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램 |
| KR102323437B1 (ko) * | 2021-06-01 | 2021-11-09 | 시티아이랩 주식회사 | 딥러닝 기반 교통량 모니터링 방법, 및 시스템 |
-
2021
- 2021-12-01 KR KR1020210169910A patent/KR102708711B1/ko active IP Right Grant
-
2022
- 2022-11-09 WO PCT/KR2022/017538 patent/WO2023101248A1/ko unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020522783A (ja) * | 2017-05-31 | 2020-07-30 | カーメラ，インコーポレイテッド | 高精細準リアルタイムマップ生成用の撮像機器を備える車両のシステム |
| KR101873202B1 (ko) * | 2018-05-24 | 2018-07-02 | 주식회사 싸인텔레콤 | Ai칩이 형성된 현장용 인공지능형 ai칩구동용 다채널 원샷카메라모듈 |
| KR20210055940A (ko) * | 2019-11-08 | 2021-05-18 | 한국전자통신연구원 | 유동인구 및 교통량 모니터링 시스템 및 방법 |
| KR20210103210A (ko) * | 2020-02-13 | 2021-08-23 | 주식회사 인텔리빅스 | 영상처리장치 및 그 장치의 구동방법 |
| KR102189262B1 (ko) | 2020-04-29 | 2020-12-11 | 주식회사 글로벌브릿지 | 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102725781B1 (ko) | 2024-04-30 | 2024-11-01 | 동신대학교산학협력단 | 드론을 활용한 교통 분석 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102708711B1 (ko) | 2024-09-24 |
| WO2023101248A1 (ko) | 2023-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Grassi et al. | Parkmaster: An in-vehicle, edge-based video analytics service for detecting open parking spaces in urban environments | |
| US9852631B2 (en) | Mobile on-street parking occupancy detection | |
| CN109448365B (zh) | 一种跨尺度空基平台区域道路交通系统综合监视方法 | |
| WO2023101248A1 (ko) | Npu 기반 교통정보 분석 시스템 및 방법 | |
| US20130265424A1 (en) | Reconfigurable clear path detection system | |
| KR102272279B1 (ko) | 인공지능 알고리즘을 이용한 차량번호판 인식 방법 | |
| US9760783B2 (en) | Vehicle occupancy detection using passenger to driver feature distance | |
| KR101678004B1 (ko) | 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법 | |
| CN112836683B (zh) | 用于便携式摄像设备的车牌识别方法、装置、设备和介质 | |
| KR101298684B1 (ko) | 무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법 | |
| KR102434154B1 (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 | |
| CN105303826A (zh) | 一种违章侧方停车取证装置及方法 | |
| CN118609036B (zh) | 基于图像分析的城市运行中流动商贩管理方法 | |
| CN111275957A (zh) | 一种交通事故信息采集方法、系统及摄像机 | |
| CN113255439B (zh) | 一种障碍物识别方法、装置、系统、终端及云端 | |
| CN112349150B (zh) | 一种机场航班保障时间节点的视频采集方法和系统 | |
| CN114241373A (zh) | 一种端到端的车辆行为检测方法、系统、设备及存储介质 | |
| Ki | Accident detection system using image processing and MDR | |
| CN111627224A (zh) | 车辆速度异常检测方法、装置、设备及存储介质 | |
| Seetha et al. | Intelligent deep learning based pothole detection and alerting system | |
| CN117953470B (zh) | 全景拼接相机的高速公路事件识别方法及装置 | |
| JP6226371B2 (ja) | Ｄｓｒｃ通信異常監視装置、及びｄｓｒｃ通信異常監視プログラム | |
| CN118115834A (zh) | 一种车辆检测模型训练和车辆监测方法、装置、设备 | |
| CN116978234A (zh) | 一种基于行车记录仪的路况数据动态采集方法及系统 | |
| Yadav et al. | Post-Crash Detection and Traffic Analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20211201 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20240325 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20240723 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240913 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240919 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |