KR102453627B1 - 딥러닝 기반 교통 흐름 분석 방법 및 시스템 - Google Patents
딥러닝 기반 교통 흐름 분석 방법 및 시스템 Download PDFInfo
- Publication number
- KR102453627B1 KR102453627B1 KR1020190138049A KR20190138049A KR102453627B1 KR 102453627 B1 KR102453627 B1 KR 102453627B1 KR 1020190138049 A KR1020190138049 A KR 1020190138049A KR 20190138049 A KR20190138049 A KR 20190138049A KR 102453627 B1 KR102453627 B1 KR 102453627B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- traffic
- congestion
- vehicles
- deep learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005206 flow analysis Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title abstract description 4
- 238000013136 deep learning model Methods 0.000 claims abstract description 40
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 11
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 231100001261 hazardous Toxicity 0.000 claims 4
- 230000000737 periodic effect Effects 0.000 claims 4
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
딥러닝 기반 교통 흐름 분석 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 교통 흐름 분석 방법은, 도로 영상을 획득하고, 획득된 도로 영상에서 딥러닝 모델을 이용하여 객체를 검출하고 추적하고, 획득된 도로 영상에서 딥러닝 모델을 이용하여 교통 정보를 인식하며, 검출하고 추적하는 객체와 인식한 교통 정보를 이용하여 교통 이벤트를 생성한다. 이에 의해, 교통 흐름의 분석과 교통 이벤트 생성을 보다 정확하게 수행할 수 있게 된다.
Description
본 발명은 인공 지능을 활용한 영상 처리 기술에 관한 것으로, 더욱 상세하게는 딥러닝 모델을 이용하여 도로 영상을 분석하여 교통 흐름을 파악하는 방법 및 시스템에 관한 것이다.
도로 교통 흐름을 파악하여 안내하기 위해, 도로 CCTV의 영상을 이용하고 있다. 하지만 이는 사람이 육안으로 파악해야 하며, 특수한 상황이 발생했을 때 운전자들에게 안내되는 데 시간이 다소 걸린다는 단점이 있다.
특수한 상황이 발생했을 때 즉각적으로 운전자들에게 안내가 되기 위해서는 교통 상황을 실시간으로 분석할 수 있는 시스템이 필요한데, 특히 교통 분석에 중요한 상황을 교통 이벤트로 정의하고 이를 영상 기반으로 자동 추출하는 방법론들이 필요하다.
이를 위해서는 도로 영상을 이용하여 실시간으로 객체(차량 등)를 검출 및 추적할 수 있는 기술이 필요하며, 추적된 객체 정보 및 도로/차선정보를 융합하여 교통 흐름을 분석하기 위한 구체적인 방법들이 필요하다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 딥러닝 모델을 이용하여 도로 영상에서 객체를 검출/추적하고 교통 정보를 인식하여, 교통 흐름을 분석하고 교통 이벤트를 생성하는 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 교통 흐름 분석 방법은, 도로 영상을 획득하는 단계; 딥러닝 모델을 이용하여, 획득된 도로 영상에서 객체를 검출하고 추적하는 단계; 딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식하는 단계; 검출하고 추적하는 객체와 인식한 교통 정보를 이용하여, 교통 이벤트를 생성하는 단계;를 포함한다.
획득 단계는, 도로의 CCTV, 차량의 블랙박스, 휴대용 영상 단말 중 적어도 하나로부터 도로 영상을 수신하여 획득할 수 있다.
검출/추적 단계는, 검출된 적어도 하나의 객체의 상태를 연속적으로 추정하고, 객체의 상태는, 객체의 ID, 위치 및 크기 중 적어도 하나를 포함할 수 있다.
딥러닝 모델은, 각기 다른 카테고리에 속하는 객체들을 함께 검출하고 추적할 수 있다.
딥러닝 모델은, 단일 네트워크로 객체의 검출과 추적을 모두 수행할 수 있다.
딥러닝 모델은, darknet 기반 심층 구조를 backbone으로 이용하며, spatial pyramid pooling 구조가 적용될 수 있다.
딥러닝 모델은, 주기적으로 재학습되며, 검출하고 추적할 객체를 카테고리 별로 파라미터 튜닝될 수 있다.
본 발명의 실시예에 따른 교통 흐름 분석 방법은, 처리 리소스와 동작 환경을 기초로, 획득된 도로 영상의 해상도, 송신할 영상의 압축 방법 및 네트워크 관련 사항을 가변적으로 설정하는 단계;를 더 포함할 수 있다.
교통 정보는, 도로, 차선, 교통 신호, 표지판 중 적어도 하나를 포함하고, 교통 이벤트는, 도로 정체, 차량 정차, 운전자의 주행 차선, 교통 법규 위반, 위험 차량, 장애물 인식 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 교통 흐름 분석 시스템은, 도로 영상을 획득하는 촬영 장치; 획득된 도로 영상에서 딥러닝 모델을 이용하여 객체를 검출하고 추적하고, 획득된 도로 영상에서 딥러닝 모델을 이용하여 교통 정보를 인식하며, 검출하고 추적하는 객체와 인식한 교통 정보를 이용하여 교통 이벤트를 생성하는 분석 서버;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 교통 흐름 분석 방법은, 딥러닝 모델을 이용하여, 도로 영상에서 객체를 검출하고 추적하는 단계; 딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식하는 단계; 검출하고 추적하는 객체와 인식한 교통 정보를 이용하여, 교통 이벤트를 생성하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 교통 흐름 분석 서버는, 딥러닝 모델을 이용하여, 도로 영상에서 객체를 검출하고 추적하는 검출/추적부; 딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식하는 인식부; 검출하고 추적하는 객체와 인식한 교통 정보를 이용하여, 교통 이벤트를 생성하는 생성부;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 딥러닝 모델을 이용하여 도로 영상에서 객체를 검출/추적하고 교통 정보를 인식하여, 교통 흐름의 분석과 교통 이벤트 생성을 보다 정확하게 수행할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 교통 흐름 분석 시스템을 도시한 도면,
도 2는 객체 검출을 위한 상세 과정,
도 3은 주요 객체 검출 결과 예시,
도 4는 객체 검출 이후 추적을 위한 상세 과정,
도 5는 검출/추적 결과 예시,
도 6은 추적기 결과 분석에 따른 검출기 최적화 및 튜닝,
도 7은 의미론적 분할 방법의 예시,
도 8은 차선 끝점 위치로 변환된 평면도에서 객체 3D 위치 표시,
도 2는 객체 검출을 위한 상세 과정,
도 3은 주요 객체 검출 결과 예시,
도 4는 객체 검출 이후 추적을 위한 상세 과정,
도 5는 검출/추적 결과 예시,
도 6은 추적기 결과 분석에 따른 검출기 최적화 및 튜닝,
도 7은 의미론적 분할 방법의 예시,
도 8은 차선 끝점 위치로 변환된 평면도에서 객체 3D 위치 표시,
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 교통 흐름 분석 시스템을 도시한 도면이다. 본 발명의 실시예에 따른 교통 흐름 분석 시스템은, 도로 영상에서 객체를 검출/추적하고 차선을 인식하면서 교통 이벤트를 생성한다.
이와 같은 기능을 수행하는 본 발명의 실시예에 따른 교통 흐름 분석 시스템은, 도 1에 도시된 바와 같이, 촬영 장치(100)와 교통 흐름 분석 서버(200)가 상호 통신 가능하도록 연결되어 구축된다.
촬영 장치(100)는 도로 영상을 생성하는 장치로, 도로의 CCTV, 차량 내 블랙박스, 보행자나 차량 탑승자의 휴대용 영상 단말 등으로 구현된다. 촬영 장치(100)는, 영상 획득부(110)와 통신부(120)를 포함하여 구성된다.
영상 획득부(110)는 도로를 촬영하여 도로 영상을 획득한다. 통신부(120)는 획득된 도로 영상을 교통 흐름 분석 서버(200)로 전송하고, 교통 흐름 분석 서버(200)로부터 교통 이벤트 정보를 수신한다. 수신된 교통 이벤트 정보는 디스플레이에 표시되거나 스피커를 통해 출력될 수 있다.
교통 흐름 분석 서버(200)는 촬영 장치(100)로부터 수신한 도로 영상을 이용하여 교통 흐름을 분석하고 교통 이벤트를 생성한다. 교통 흐름 분석 서버(200)는 입력 인터페이스(210), 데이터 제어부(220), 데이터 처리부(230) 및 출력 인터페이스(240)를 포함하여 구성된다.
입력 인터페이스(210)는 촬영 장치(100)로부터 도로 영상을 수신하여 디코딩한다.
데이터 제어부(220)는 입력 인터페이스(210)를 통해 수신된 도로 영상을 저장하기 위한 스토리지를 포함할 수 있다. 데이터 제어부(220)는 데이터, 설정값 및 시스템을 관리한다. 구체적으로 데이터 제어부(220)는 처리 리소스와 동작 환경에 따라 도로 영상의 해상도, 송신 영상의 압축 방법, 네트워크 관련 사항을 가변적으로 설정한다. 또한 데이터 제어부(220)는 클라우드 참여자의 프로파일을 분석하여 보안을 유지하는 기능도 수행한다.
데이터 처리부(230)는 입력 인터페이스(210)로부터 전달받은 도로 영상으로부터 교통 흐름을 분석하고 교통 이벤트를 생성한다. 데이터 처리부(230)의 기능에 대해서는 상세히 후술한다.
출력 인터페이스(240)는 데이터 제어부(220)에 저장된 도로 영상과 데이터 처리부(230)에 의해 생성된 교통 이벤트를 촬영 장치(100)나 기타 다른 단말들에 전송한다.
이하에서는 전술한 데이터 처리부(230)에 대해 상세히 설명한다. 데이터 처리부(230)는 도 1에 도시된 바와 같이 객체 검출/추적부(231), 교통 정보 인식부(232), 교통 이벤트 생성부(233)를 포함하여 구성된다.
객체 검출/추적부(231)는 딥러닝 모델을 이용하여 획득된 도로 영상에서 객체를 검출하고 상태(객체의 위치, 크기 및 객체 ID 등)를 연속적으로 추적한다. 추적 결과를 통해, 객체의 방향, 속도, 경로 등의 상위 정보를 추론할 수 있다.
객체 검출/추적부(231)에서는 객체 검출과 추적을 단일 네트워크로 처리하는 딥러닝 모델을 이용하여 인식률을 높일 수 있다.
객체 검출/추적부(231)는 도로 영상에서 여러 주요 객체들을 동시에 검출하고 추적할 수 있다. 이를 위해 검출기의 quantization 에러와 오검출을 고려한 필터 설계를 다중 객체 추적에 적용하였다.
또한 검출/추적 대상이되는 객체들은 각기 다른 카테고리에 포함될 수 있다. 이를 테면, 이륜차, 소형 사륜차, 대형 사륜차, 보행자, 배경 객체를 모두 검출한다.
객체 검출/추적부(231)가 이용하는 딥러닝 모델은 darknet 기반 심층 구조를 backbone으로 채택하였으며, 입력 크기 변화에 강인하고 카테고리간 상호 독립성(e.g. 사람과 오토바이, 버스 안의 사람 등)을 강화하기 위해, spatial pyramid pooling 구조를 변형하여 적용하였다.
서버 리소스에 제한이 있는 경우 인식 성능을 최대한 유지하면서 연산량을 개선하기 위해, 객체 검출/추적부(231)가 이용하는 딥러닝 모델은 1x1xN channel reduction layer의 삽입이나, weight pruning 기법, weight quantization 기법 등 네트워크 압축 기법을 도입함으로써, 성능과 속도의 trade-off 관계를 시나리오 별로 조절할 수 있다.
그리고 객체 검출/추적부(231)가 이용하는 딥러닝 모델은 기존 네트워크 계층을 줄이고 네트워크 계층 감소로 인한 인식 성능 저하를 최소화하기 위한 route (skip connection), reorg와 같은 신규 네트워크 기법을 도입하여 연산량을 개선하였다.
도 2에는 객체 검출을 위한 상세 과정을 나타내었다. 도 2에서 Input Parser는 입력되는 도로 영상과 파라미터를 관리하고, CNN Feature Extraction은 심층 구조(CNN)를 이용하여 입력 데이터로부터 Tensor 형태의 CNN 특징량을 추출한다. Object Detector는 CNN 출력으로부터 실제 검출 결과를 판단하는 데 필요한 후처리 기능들을 순차적으로 수행한다. 도 3에는 주요 객체 검출 결과를 예시하였다. 검출된 객체에는 라벨(label)과 bounding box가 표시된다.
도 4에는 객체 검출 이후 추적을 위한 상세 과정을 나타내었고, 도 5에는 검출/추적 결과를 예시하였다. 검출/추척되는 객체에는 라벨과 bounding box가 표시된다.
한편, 객체 검출/추적부(231)가 이용하는 딥러닝 모델은 추적 성능을 향상시키기 위해, 재학습과 차량의 종류(승용차, 버스, 트럭 등) 별 파라미터 튜닝으로 심층 구조 최적화된다.
구체적으로 도 6에 도시된 바와 같이 객체 검출기에 대해 차량의 다양한 클래스를 고려하여 네트워크 재학습을 진행하고, 추적 환경 및 사용자 DB에 적합한 검출 결과를 획득하기 위해 파라미터 튜닝을 수행하고, 추적기 성능 향상을 위한 심층구조 최적화 및 파라미터 튜닝을 수행하는 것이다.
객체 추적 성능을 고려하여 재학습을 수행하면, 다양한 종류의 다중 차량에 대해 파라미터 튜닝을 수행할 수 있다. 또한 bounding box quantization의 에러 최소화를 위하여 바운딩 박스의 regression 성능을 개선할 수 있다.
교통 정보 인식부(232)는 학습된 딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식한다. 인식하는 교통 정보에는 도로, 차선, 교통 신호, 표지판(속도 표시판, 낙하위험 지역 등) 등이 포함된다.
교통 정보 인식부(232)는 도로, 차선, 교통 신호, 표지판 등을 인식하도록 특화된 딥러닝 모델을 이용한다. 특히, 도로와 차선의 위치의 경우, 도 7에 예시된 바와 같은 의미론적 분할 방법을 사용하여 자동차와 사람이 움직일 수 있은 영역을 구분한다.
차선 검출은 각 차선 별로 ID를 부여하는 딥러닝 방식을 사용하여 도로 내의 차선별 구분이 가능하며, 현재 주행 차선을 유추할 수 있다. 국내 도로 사정을 고려하여 네트워크 재학습을 진행할 수 있으며, 차선 영역 분할 및 인식기 성능 향상을 위한 네트워크 최적화 및 하이퍼 파라미터 튜닝을 수행할 수 있다.
또한 도 8에 제시된 바와 같이 수동으로 차선 양 끝점을 입력 받아 탐지된 객체의 3차원 위치 정보, 이를 테면, 평면으로 변환된 정보를 제공할 수 있다. 이 경우, 카메라 perspective distortion으로 인한 왜곡을 상쇄하는 검출 위치, 추적 적용 이후 각 객체의 정확한 속도 분석에 유리하다.
교통 이벤트 생성부(233)는 객체 검출/추적부(231)에서 검출하고 추적하는 객체와 교통 정보 인식부(232)에서 인식한 교통 정보를 이용하여 교통 흐름을 분석하고, 교통 이벤트를 생성한다.
생성하는 교통 이벤트에는 도로 정체, 차량 정차, 운전자의 주행 차선, 교통 법규 위반(차량 정지선, 불법 유턴, 차량 역주행 등), 위험 차량(끼어들기, 난폭 운전, 보복 운전 등), 장애물 인식(낙하물, 야생동물 등) 등을 포함한다.
도로 정체는 도로 영역에서의 차량의 수 또는 해당 도로에서 운행 중인 차량의 속도를 파악하여 원활, 보통, 정체, 극심한 정체 수준으로 나누어 판단할 수 있다.
정체, 극심한 정체 수준으로 판단되는 경우에는 정체 원인을 파악하기 위하여 신호 인식 정보, 표지판 인식 정보를 활용하여 신호에 의한 정체 또는 기준 속도 변동에 의한 정체 또는 교통량 증가로 인한 정체 등으로 판단할 수 있으며, 전방 도로에 하나 이상의 차량이 정차되어 있는 경우 사고차량 발생에 의한 정체로 판단할 수 있다.
위험 차량 인식을 수행하는 방법에 있어서, ID가 부여되어 추적 중인 객체들을 차선 정보를 이용하여 역주행 여부를 판단하여 위험 차량으로 분류할 수 있다.
또한 차량이 차선변경을 전, 후방 차량 간격이 설정된 값 이하일 때 진행하는 경우 끼어들기 위험 운전자로 판단하여 위험 차량으로 분류할 수 있다.
그리고 전방 차량의 급정거로 인하여 급격히 차간 간격이 좁혀지는 현상이 기 설정된 값 이상 지속되는 경우, 전방에 사고 또는 차량 증가 등으로 인한 정체 현상이 발생하였는지 등을 파악하여 특별한 정체 유발 원인이 발견되지 않는 경우 전방 차량을 보복 운전 차량으로 판단하여 위험 차량으로 분류할 수 있다.
장애물 인식은 차량 파라미터 값을 이용하여 차량으로 판단되지 않는 경우 장애물로 판단할 수 있다. 장애물은 움직이는 객체인지 아닌지를 판단하여 운전자에게 안내될 수 있다.
교통 이벤트 생성부(233)는 이벤트 발생 시 운전자의 단말 등을 이용하여 운전자에게 발생 이벤트 안내 및 우회경로 안내 등을 수행할 수 있다. 예를 들어, 운전자의 네비게이션에 표시되는 지도에 전방에 이벤트 발생 시 해당 영역에 어떤 이벤트가 발생하였는지 표시하고 우회 경로를 안내할 수 있다.
또한 교통 이벤트 생성부(233)는 긴급 이벤트(사고 차량 발생, 역주행 차량, 낙하물 감지 등)의 경우 관련 부처에 신고할 수 있다.
지금까지, 딥러닝 기반 교통 흐름 분석 방법 및 시스템에 대해 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예에 따르면, 딥러닝 모델을 이용하여 도로 영상에서 객체를 검출/추적하고 교통 정보를 인식하여, 교통 흐름의 분석과 교통 이벤트 생성을 보다 정확하게 수행할 수 있게 된다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 촬영 장치
110 : 영상 획득부
120 : 통신부
200 : 교통 흐름 분석 서버
210 : 입력 인터페이스
220 : 데이터 제어부
230 : 데이터 처리부
231 : 객체 검출/추적부
232 : 교통 정보 인식부
233 : 교통 이벤트 생성부
240 : 출력 인터페이스
110 : 영상 획득부
120 : 통신부
200 : 교통 흐름 분석 서버
210 : 입력 인터페이스
220 : 데이터 제어부
230 : 데이터 처리부
231 : 객체 검출/추적부
232 : 교통 정보 인식부
233 : 교통 이벤트 생성부
240 : 출력 인터페이스
Claims (12)
- 교통 흐름 분석 방법에 있어서,
도로 영상을 획득하는 단계;
딥러닝 모델을 이용하여, 획득된 도로 영상에서 객체를 검출하고 추적하는 단계;
딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식하는 단계;
검출하고 추적하는 객체와 인식한 교통 정보를 이용하여, 교통 이벤트를 생성하는 단계;를 포함하고,
객체는,
차량과 보행자를 포함하며,
교통 정보는,
도로, 차선, 교통 신호 및 표지판을 포함하고,
교통 이벤트는,
도로 정체, 차량 정차 및 위험 차량을 포함하며,
교통 흐름 분석 방법은,
도로 정체가 발생하면, 검출된 차량과 인식된 교통 신호와 표지판 및 도로 정차 이벤트를 활용하여, 교통 신호에 의한 정체인지, 기준 속도 변동에 의한 정체인지, 교통량 증가로 인한 정체인지, 사고차량 발생에 의해 의한 정체인지 판단하는 단계;를 더 포함하고,
검출/추적 단계에서 이용되는 딥러닝 모델은,
주기적으로 재학습되며, 검출하고 추적할 객체의 카테고리 별로 파라미터 튜닝되며,
객체의 카테고리는,
이륜차, 소형 사륜차, 대형 사륜차, 보행자를 포함하고,
교통 이벤트 생성 단계는,
차량의 차선 정보로부터 역주행 여부를 판단하여 위험 차량으로 분류하고,
전, 후방 차량 간격이 설정된 값 이하일 때 차량이 차선 변경하는 경우 끼어들기 위험으로 판단하여 위험 차량으로 분류하며,
전방 차량의 급정거로 인해 차간 간격이 좁혀지는 현상이 기 설정된 값 이상 지속되는 경우, 전방에 사고 또는 차량 증가 등으로 인한 정체 현상이 발생하였는지 파악하여 특별한 정체 유발 원인이 발견되지 않는 경우 전방 차량을 보복 운전 차량으로 판단하여 위험 차량으로 분류하는 것을 특징으로 하는 교통 흐름 분석 방법.
- 청구항 1에 있어서,
획득 단계는,
도로의 CCTV, 차량의 블랙박스, 휴대용 영상 단말 중 적어도 하나로부터 도로 영상을 수신하여 획득하는 것을 특징으로 하는 교통 흐름 분석 방법.
- 청구항 1에 있어서,
검출/추적 단계는,
검출된 적어도 하나의 객체의 상태를 연속적으로 추정하고,
객체의 상태는,
객체의 ID, 위치 및 크기 중 적어도 하나를 포함하는 것을 특징으로 하는 교통 흐름 분석 방법.
- 삭제
- 청구항 3에 있어서,
딥러닝 모델은,
단일 네트워크로 객체의 검출과 추적을 모두 수행하는 것을 특징으로 하는 교통 흐름 분석 방법.
- 청구항 5에 있어서,
딥러닝 모델은,
darknet 기반 심층 구조를 backbone으로 이용하며, spatial pyramid pooling 구조가 적용된 것을 특징으로 하는 교통 흐름 분석 방법.
- 삭제
- 청구항 1에 있어서,
처리 리소스와 동작 환경을 기초로, 획득된 도로 영상의 해상도, 송신할 영상의 압축 방법 및 네트워크 관련 사항을 가변적으로 설정하는 단계;를 더 포함하는 것을 특징으로 하는 교통 흐름 분석 방법.
- 청구항 1에 있어서,
교통 이벤트는,
운전자의 주행 차선, 교통 법규 위반, 장애물 인식 중 적어도 하나를 더 포함하는 것을 특징으로 하는 교통 흐름 분석 방법..
- 도로 영상을 획득하는 촬영 장치;
획득된 도로 영상에서 딥러닝 모델을 이용하여 객체를 검출하고 추적하고, 획득된 도로 영상에서 딥러닝 모델을 이용하여 교통 정보를 인식하며, 검출하고 추적하는 객체와 인식한 교통 정보를 이용하여 교통 이벤트를 생성하는 분석 서버;를 포함하고,
객체는,
차량을 포함하며,
교통 정보는,
도로, 차선, 교통 신호 및 표지판을 포함하고,
교통 이벤트는,
도로 정체, 차량 정차 및 위험 차량을 포함하며,
분석 서버는,
도로 정체가 발생하면, 검출된 차량과 인식된 교통 신호와 표지판 및 도로 정차 이벤트를 활용하여, 교통 신호에 의한 정체인지, 기준 속도 변동에 의한 정체인지, 교통량 증가로 인한 정체인지, 사고차량 발생에 의해 의한 정체인지 판단하고,
분석 서버에서 객체를 검출하고 추적하는데 이용되는 딥러닝 모델은,
주기적으로 재학습되며, 검출하고 추적할 객체의 카테고리 별로 파라미터 튜닝되며,
객체의 카테고리는,
이륜차, 소형 사륜차, 대형 사륜차, 보행자를 포함하고,
분석 서버는,
차량의 차선 정보로부터 역주행 여부를 판단하여 위험 차량으로 분류하고,
전, 후방 차량 간격이 설정된 값 이하일 때 차량이 차선 변경하는 경우 끼어들기 위험으로 판단하여 위험 차량으로 분류하며,
전방 차량의 급정거로 인해 차간 간격이 좁혀지는 현상이 기 설정된 값 이상 지속되는 경우, 전방에 사고 또는 차량 증가 등으로 인한 정체 현상이 발생하였는지 파악하여 특별한 정체 유발 원인이 발견되지 않는 경우 전방 차량을 보복 운전 차량으로 판단하여 위험 차량으로 분류하는 것을 특징으로 하는 교통 흐름 분석 시스템.
- 교통 흐름 분석 방법에 있어서,
딥러닝 모델을 이용하여, 도로 영상에서 객체를 검출하고 추적하는 단계;
딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식하는 단계;
검출하고 추적하는 객체와 인식한 교통 정보를 이용하여, 교통 이벤트를 생성하는 단계;를 포함하고,
객체는,
차량을 포함하며,
교통 정보는,
도로, 차선, 교통 신호 및 표지판을 포함하고,
교통 이벤트는,
도로 정체, 차량 정차 및 위험 차량을 포함하며,
교통 흐름 분석 방법은,
도로 정체가 발생하면, 검출된 차량과 인식된 교통 신호와 표지판 및 도로 정차 이벤트를 활용하여, 교통 신호에 의한 정체인지, 기준 속도 변동에 의한 정체인지, 교통량 증가로 인한 정체인지, 사고차량 발생에 의해 의한 정체인지 판단하는 단계;를 더 포함하고,
검출/추적 단계 에서 이용되는 딥러닝 모델은,
주기적으로 재학습되며, 검출하고 추적할 객체의 카테고리 별로 파라미터 튜닝되며,
객체의 카테고리는,
이륜차, 소형 사륜차, 대형 사륜차, 보행자를 포함하고,
교통 이벤트 생성 단계는,
차량의 차선 정보로부터 역주행 여부를 판단하여 위험 차량으로 분류하고,
전, 후방 차량 간격이 설정된 값 이하일 때 차량이 차선 변경하는 경우 끼어들기 위험으로 판단하여 위험 차량으로 분류하며,
전방 차량의 급정거로 인해 차간 간격이 좁혀지는 현상이 기 설정된 값 이상 지속되는 경우, 전방에 사고 또는 차량 증가 등으로 인한 정체 현상이 발생하였는지 파악하여 특별한 정체 유발 원인이 발견되지 않는 경우 전방 차량을 보복 운전 차량으로 판단하여 위험 차량으로 분류하는 것을 특징으로 하는 교통 흐름 분석 방법.
- 딥러닝 모델을 이용하여, 도로 영상에서 객체를 검출하고 추적하는 검출/추적부;
딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식하는 인식부;
검출하고 추적하는 객체와 인식한 교통 정보를 이용하여, 교통 이벤트를 생성하는 생성부;를 포함하고,
객체는,
차량을 포함하며,
교통 정보는,
도로, 차선, 교통 신호 및 표지판을 포함하고,
교통 이벤트는,
도로 정체, 차량 정차 및 위험 차량을 포함하며,
생성부는,
도로 정체가 발생하면, 검출된 차량과 인식된 교통 신호와 표지판 및 도로 정차 이벤트를 활용하여, 교통 신호에 의한 정체인지, 기준 속도 변동에 의한 정체인지, 교통량 증가로 인한 정체인지, 사고차량 발생에 의해 의한 정체인지 판단하고,
검출/추적부에서 이용되는 딥러닝 모델은,
주기적으로 재학습되며, 검출하고 추적할 객체의 카테고리 별로 파라미터 튜닝되며,
객체의 카테고리는,
이륜차, 소형 사륜차, 대형 사륜차, 보행자를 포함하고,
생성부는,
차량의 차선 정보로부터 역주행 여부를 판단하여 위험 차량으로 분류하고,
전, 후방 차량 간격이 설정된 값 이하일 때 차량이 차선 변경하는 경우 끼어들기 위험으로 판단하여 위험 차량으로 분류하며,
전방 차량의 급정거로 인해 차간 간격이 좁혀지는 현상이 기 설정된 값 이상 지속되는 경우, 전방에 사고 또는 차량 증가 등으로 인한 정체 현상이 발생하였는지 파악하여 특별한 정체 유발 원인이 발견되지 않는 경우 전방 차량을 보복 운전 차량으로 판단하여 위험 차량으로 분류하는 것을 특징으로 하는 교통 흐름 분석 서버.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190138049A KR102453627B1 (ko) | 2019-10-31 | 2019-10-31 | 딥러닝 기반 교통 흐름 분석 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190138049A KR102453627B1 (ko) | 2019-10-31 | 2019-10-31 | 딥러닝 기반 교통 흐름 분석 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210052031A KR20210052031A (ko) | 2021-05-10 |
| KR102453627B1 true KR102453627B1 (ko) | 2022-10-12 |
Family
ID=75918497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190138049A KR102453627B1 (ko) | 2019-10-31 | 2019-10-31 | 딥러닝 기반 교통 흐름 분석 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102453627B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102533582B1 (ko) * | 2022-11-10 | 2023-05-17 | 주식회사 에이엔비 | 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법 |
| KR102602319B1 (ko) | 2023-07-18 | 2023-11-16 | 메타빌드 주식회사 | 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적기반 교통 정보 수집 시스템 및 방법 |
| KR102653755B1 (ko) | 2023-07-18 | 2024-04-03 | 메타빌드 주식회사 | 인공지능 영상 딥러닝 모델 학습을 위한 현장 영상 데이터 셋의 수집 시스템 및 방법 |
| KR102713968B1 (ko) * | 2023-12-19 | 2024-10-07 | 한국공간정보산업협동조합 | 인공 지능 영상 기반 지오 태깅 모듈 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102551566B1 (ko) * | 2021-05-31 | 2023-07-06 | 영남대학교 산학협력단 | 교통사고 검지 시스템 및 그 방법 |
| KR102355431B1 (ko) * | 2021-08-25 | 2022-02-08 | 한국건설기술연구원 | Ai 기반 돌발상황 검지 방법 및 그 시스템 |
| KR102586639B1 (ko) * | 2021-11-19 | 2023-10-10 | 한국전자기술연구원 | Cctv 영상 기반 이동 차량 속도 추정 방법 |
| KR102550977B1 (ko) * | 2022-11-17 | 2023-07-04 | 정길영 | 영상 처리를 이용한 지능형 교통 관제 시스템 및 그 방법 |
| KR102660024B1 (ko) * | 2023-08-09 | 2024-04-23 | 뱀부스 주식회사 | 도로 이벤트 탐지 방법 및 그 장치 |
| CN118298637B (zh) * | 2024-04-20 | 2024-11-26 | 广州中元信息技术有限公司 | 智慧交通路况信息管理平台及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101942491B1 (ko) | 2018-11-08 | 2019-04-11 | 주식회사 싸인텔레콤 | 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템 |
| WO2019189152A1 (ja) * | 2018-03-29 | 2019-10-03 | 日本電気株式会社 | 交通監視装置、交通監視システム、交通監視方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
| KR102021534B1 (ko) * | 2018-08-29 | 2019-10-18 | 주식회사 핀텔 | 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101837256B1 (ko) * | 2015-12-21 | 2018-03-12 | 동국대학교 산학협력단 | 능동형 교통 신호 제어 방법 및 그 시스템 |
| KR101951534B1 (ko) * | 2017-01-02 | 2019-02-22 | 이대규 | 교통 cctv 단속 시스템을 위한 통합 단속 방법 및 장치 |
-
2019
- 2019-10-31 KR KR1020190138049A patent/KR102453627B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019189152A1 (ja) * | 2018-03-29 | 2019-10-03 | 日本電気株式会社 | 交通監視装置、交通監視システム、交通監視方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
| KR102021534B1 (ko) * | 2018-08-29 | 2019-10-18 | 주식회사 핀텔 | 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법 |
| KR101942491B1 (ko) | 2018-11-08 | 2019-04-11 | 주식회사 싸인텔레콤 | 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102533582B1 (ko) * | 2022-11-10 | 2023-05-17 | 주식회사 에이엔비 | 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법 |
| KR102602319B1 (ko) | 2023-07-18 | 2023-11-16 | 메타빌드 주식회사 | 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적기반 교통 정보 수집 시스템 및 방법 |
| KR102653755B1 (ko) | 2023-07-18 | 2024-04-03 | 메타빌드 주식회사 | 인공지능 영상 딥러닝 모델 학습을 위한 현장 영상 데이터 셋의 수집 시스템 및 방법 |
| KR102713968B1 (ko) * | 2023-12-19 | 2024-10-07 | 한국공간정보산업협동조합 | 인공 지능 영상 기반 지오 태깅 모듈 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210052031A (ko) | 2021-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102453627B1 (ko) | 딥러닝 기반 교통 흐름 분석 방법 및 시스템 | |
| US11840239B2 (en) | Multiple exposure event determination | |
| US11990036B2 (en) | Driver behavior monitoring | |
| US20240290201A1 (en) | Driver behavior monitoring | |
| JP7499256B2 (ja) | ドライバの挙動を分類するためのシステムおよび方法 | |
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| WO2020087743A1 (zh) | 非机动车交通违法监管方法、装置及电子设备 | |
| Ki et al. | A traffic accident recording and reporting model at intersections | |
| Bonnin et al. | Pedestrian crossing prediction using multiple context-based models | |
| KR102001002B1 (ko) | 딥러닝 기반 번호 인식 시스템 | |
| CN113658427A (zh) | 基于视觉与雷达的路况监控方法及系统、设备 | |
| CN112447060A (zh) | 识别车道的方法、装置及计算设备 | |
| KR102656252B1 (ko) | 단속 정확성을 높인 무인 교통 단속시스템 | |
| Cypto et al. | Automatic detection system of speed violations in a traffic based on deep learning technique | |
| Srinivasan et al. | Advanced Driver Assistance System (ADAS) in Autonomous Vehicles: A Complete Analysis | |
| CN112232312A (zh) | 基于深度学习的自动驾驶方法、装置和电子设备 | |
| CN113850112A (zh) | 基于孪生神经网络的路况识别方法和系统 | |
| Lin et al. | Understanding Vehicle Interaction in Driving Video with Spatial-temporal Deep Learning Network | |
| KR102685593B1 (ko) | 인공신경망을 활용한 객체 검지 기술 기반의 주행 법규 위반 차량 단속 방법 및 장치 | |
| Shilaskar et al. | CentraSense: Proactive Vehicle Direction Monitoring | |
| Sarkar et al. | Real-Time Risk Prediction at Signalized Intersection Using Graph Neural Network [Webinar] | |
| Siriwardana et al. | Driving Through a Bend: Detection of Unsafe Driving Patterns and Prevention of Heavy Good Vehicle Rollovers | |
| KR102039814B1 (ko) | 측후방 차량 검출 방법 및 그 장치 | |
| CN117141470A (zh) | 一种复杂碰撞场景下自动驾驶车辆的道德决策系统 | |
| KR20240174020A (ko) | 저채널 라이다를 이용한 자율주행 객체정보 생성 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20191031 |
|
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20200220 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20191031 Comment text: Patent Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20210721 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| E90F | Notification of reason for final refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Final Notice of Reason for Refusal Patent event date: 20220119 Patent event code: PE09021S02D |
|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20220719 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20220119 Comment text: Final Notice of Reason for Refusal Patent event code: PE06011S02I Patent event date: 20210721 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| AMND | Amendment | ||
| PX0901 | Re-examination |
Patent event code: PX09011S01I Patent event date: 20220719 Comment text: Decision to Refuse Application Patent event code: PX09012R01I Patent event date: 20220311 Comment text: Amendment to Specification, etc. Patent event code: PX09012R01I Patent event date: 20210823 Comment text: Amendment to Specification, etc. |
|
| PX0701 | Decision of registration after re-examination |
Patent event date: 20221004 Comment text: Decision to Grant Registration Patent event code: PX07013S01D Patent event date: 20220919 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20220719 Comment text: Decision to Refuse Application Patent event code: PX07011S01I Patent event date: 20220311 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20210823 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I |
|
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20221006 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20221006 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |