KR102171671B1 - 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템 - Google Patents

딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템 Download PDF

Info

Publication number
KR102171671B1
KR102171671B1 KR1020180092869A KR20180092869A KR102171671B1 KR 102171671 B1 KR102171671 B1 KR 102171671B1 KR 1020180092869 A KR1020180092869 A KR 1020180092869A KR 20180092869 A KR20180092869 A KR 20180092869A KR 102171671 B1 KR102171671 B1 KR 102171671B1
Authority
KR
South Korea
Prior art keywords
image
information
traffic signal
image acquisition
control system
Prior art date
Application number
KR1020180092869A
Other languages
English (en)
Other versions
KR20200019290A (ko
Inventor
유호현
Original Assignee
(주)인터아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인터아이 filed Critical (주)인터아이
Priority to KR1020180092869A priority Critical patent/KR102171671B1/ko
Publication of KR20200019290A publication Critical patent/KR20200019290A/ko
Application granted granted Critical
Publication of KR102171671B1 publication Critical patent/KR102171671B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 교통신호 제어 시스템에 관한 것으로, 특히 신호등 또는 도로 주변의 수많은 영상 정보들로부터 딥 러닝 기법을 통해 영상 객체를 인식 및 분석하고, 분석된 객체 정보들로부터 인공지능 플래닝 기법을 적용하여 교통신호 제어 체계를 실시간 또는 주기적으로 수립하고 업데이트할 수 있도록 구성함으로써, 영상 객체 인식 및 분석의 정확도를 향상시킬 수 있고, 최적의 교통신호 제어 체계를 통해 원활한 교통 흐름을 유지할 수 있도록 하는 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템에 관한 것이다.
본 발명인 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템을 이루는 구성수단은, 교통신호 제어 시스템에 있어서, 신호등 주변 또는 도로 주변의 영상 정보를 획득하는 영상 획득 장치, 상기 영상 획득 장치에서 획득한 영상 정보로부터 딥 러닝 기법을 통해 객체 정보를 인식하고 분석하는 객체 정보 인식 장치, 상기 객체 정보 인식 장치로부터 객체 분석 정보를 전송받고, 상기 객체 분석 정보로부터 인공지능 플래닝 기법을 통해 교통신호 제어 체계를 수립하며, 수립된 교통신호 제어 체계에 따라 교통신호가 제어되도록 하는 통합 교통신호 제어 장치를 포함하여 이루어진 것을 특징으로 한다.

Description

딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템{A system for integrated control of traffic signals based on deep learning and artificial intelligence planning}
본 발명은 교통신호 제어 시스템에 관한 것으로, 특히 신호등 또는 도로 주변의 수많은 영상 정보들로부터 딥 러닝 기법을 통해 영상 객체를 인식 및 분석하고, 분석된 객체 정보들로부터 인공지능 플래닝 기법을 적용하여 교통신호 제어 체계를 실시간 또는 주기적으로 수립하고 업데이트할 수 있도록 구성함으로써, 영상 객체 인식 및 분석의 정확도를 향상시킬 수 있고, 최적의 교통신호 제어 체계를 통해 원활한 교통 흐름을 유지할 수 있도록 하는 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템에 관한 것이다.
현재 신호등을 통한 교통 제어 시스템은 정형화된 교통신호 제어 체계를 적용하는 것이 일반적이다. 또한, 교차로 또는 도로에 센서를 설치하여 차량 인식을 통해 교차로 좌회전 신호를 주거나 영상을 통해 죄회전 차로에 차량이 인식될 경우 좌회전 신호를 주는 방식을 채택 적용하고 있다.
하지만 센서를 이용하여 신호등을 제어하는 방법을 채택할 경우에는 센서의 고장으로 인해 차량을 인식하지 못할 경우가 빈번하고, 이로 인하여 안정적이고 효율적인 교통 신호를 제어할 수 없는 문제가 발생하고, 더 나아가 설치 및 교체 비용이 필요 이상 소요된다는 단점을 가지고 있다.
또한, 센서에 고장 또는 이상이 발생하지 않는 경우에도, 센서의 인식 불량 또는 인식의 한계로 인하여 다양한 문제가 발생할 수 있다. 예를 들어, 센서는 차량 중 오토바이 등에 대한 인식률이 떨어지는 문제가 있고, 차량 위치에 따라 인식 불량 또는 인식 오류가 발생할 수 있는 문제가 발생한다.
또한, 영상을 통한 차량 감응형 신호 제어시스템도 차량이 좌회전 차로에 있는지 여부 등으로 좌회전 신호를 제어하는 것에 국한되어 있는 단점이 있다. 또한 영상을 통한 차량 감응형 신호 제어 시스템이 좌회전 이외의 신호 제어를 할 수 있도록 구성할 수 있지만, 이 경우에도 여전히 차량 감응이 제대로 이루어지지 않는 경우가 발생할 수도 있다.
또한, 영상을 통한 차량 감응형 신호 제어시스템이 적용되더라도 지속적인 학습에 의한 감응이 이루어지지 않아서, 감응의 정확도 및 신뢰도가 떨어지는 문제점을 여전히 안고 있다.
또한, 차량의 운행이 많지 않는 교차로에 신호 시간을 동일하게 부여하여 발생하는 불필요한 차량 대기 등의 다양한 문제점을 해결할 필요성이 있고, 차량의 운행이 많지 않은 이면도로의 경우 교통량에 따라 신호를 효율적으로 제공할 필요성이 있다.
최근 딥 러닝 기법을 이용하여 교통제어의 효율화를 높이기 위한 노력이 시작되고 있다. 그러나 영상 정보로부터 차량 객체 정보를 인지하고 분석하여 최적의 교통신호 제어 체계를 수립하기 위한 기술을 제안되지 못하고 있는 실정이다.
대한민국특허공보 제10-1541808호(이하, "선행기술문헌"이라 함)는 대용량의 데이터를 딥 러닝(Deep Learning) 기술을 이용하여 이상 상태 선박을 식별하고, 항만 내 위협 영역을 탐지함으로써 해양사고를 방지할 수 있는 딥러닝 알고리즘을 이용한 해상교통관제 전문가 시스템 및 제어 방법을 개시하고 있다.
상기 선행기술문헌은 딥러닝 알고리즘을 통해 교통관제를 원활하게 할 수 있는 장점은 있으나, 기본적으로 영상 객체 정보를 인식하고 분석하는 딥 러닝 기법에 해당하지 않기 때문에 영상 객체 분석 정보를 이용한 교통신호 제어 체계를 수립할 수 없고, 더 나아가 인공지능 플래닝 기법을 통한 최적화된 교통신호 제어 체계를 수립할 수 없는 단점을 가진다.
대한민국특허공보 제10-1541808호(공고일자 : 2015년 08월 04일, 발명의 명칭 : 딥러닝 알고리즘을 이용한 해상교통관제 전문가 시스템 및 그 제어 방법)
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 창안된 것으로, 신호등 또는 도로 주변의 수많은 영상 정보들로부터 딥 러닝 기법을 통해 영상 객체를 인식 및 분석하고, 분석된 객체 정보들로부터 인공지능 플래닝 기법을 적용하여 교통신호 제어 체계를 실시간 또는 주기적으로 수립하고 업데이트할 수 있도록 구성함으로써, 영상 객체 인식 및 분석의 정확도를 향상시킬 수 있고, 최적의 교통신호 제어 체계를 통해 원활한 교통 흐름을 유지할 수 있도록 하는 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 딥 러닝을 통해 객체 정보를 인식하고 분석하는 객체 정보 인식 장치를 교통신호등 주변의 로컬 또는 통합 교통신호 제어 장치가 있는 중앙 관제센터에 설치될 수 있도록 구성함으로써, 중앙에서 수많은 교통신호등에 대한 통합 제어뿐만 아니라, 로컬에서 해당 교통신호등에 대한 영상 기반 감응신호 제어를 가능하게 하는 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 딥 러닝 기법을 이용하여 입력되는 영상 정보로부터 차량 객체를 인식하고, 분석을 통하여 차량 이동 방향을 포함한 차량 정보에 해당하는 객체 분석 정보를 생성할 수 있도록 구성함으로써, 통합 교통신호 제어 장치에서 인공지능 플래닝을 통하여 최적의 교통신호 제어 체계를 수립하기 위한 유익한 분석 정보를 제공할 수 있도록 하는 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 수많은 교통신호등들이 인공지능 플래닝 기법에 의해 수립된 교통신호 제어 체계가 반영되어 연동 제어 또는 개별 제어될 수 있도록 구성함으로써, 연계 동작 대상에 포함되는 교통신호등들을 지나가는 루트에서의 교통 흐름을 원활하게 함과 동시에 개별 제어가 유익한 교통신호등에 대해서는 로컬 상황에 맞는 맞춤형 제어 또는 감응신호 제어를 가능하게 하는 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 객체 정보 인식 장치가 복수의 영상 획득 장치로부터 입력되는 영상 정보들을 복수의 GPU(Graphic Processing Unit)를 통해 처리하도록 하되, 실시간 또는 주기적으로 모니터링한 각 GPU의 부하를 고려하여 각 영상 획득 장치의 영상 정보를 처리하기 위한 GPU(Graphic Processing Unit)가 할당될 수 있도록 구성함으로써, 시스템 구축을 위한 시간, 노력 및 비용을 절감할 수 있을뿐만 아니라, 신속하고 효율적인 영상 처리와 교통신호 제어를 가능하게 하는 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템을 제공하는 것을 그 목적으로 한다.
상기와 같은 과제를 해결하기 위하여 제안된 본 발명인 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템을 이루는 구성수단은, 교통신호 제어 시스템에 있어서, 신호등 주변 또는 도로 주변의 영상 정보를 획득하는 영상 획득 장치, 상기 영상 획득 장치에서 획득한 영상 정보로부터 딥 러닝 기법을 통해 객체 정보를 인식하고 분석하는 객체 정보 인식 장치, 상기 객체 정보 인식 장치로부터 객체 분석 정보를 전송받고, 상기 객체 분석 정보로부터 인공지능 플래닝 기법을 통해 교통신호 제어 체계를 수립하며, 수립된 교통신호 제어 체계에 따라 교통신호가 제어되도록 하는 통합 교통신호 제어 장치를 포함하여 이루어진 것을 특징으로 한다.
또한, 상기 객체 정보 인식 장치는 상기 영상 획득 장치 또는 교통신호등 주변에 설치되거나 또는 상기 통합 교통신호 제어 장치와 함께 통합 설치되는 것을 특징으로 한다.
또한, 상기 객체 정보 인식 장치는 데이터베이스부에 저장 관리되는 영상 정보를 딥러닝 기법을 통해 학습하여 딥러닝 데이터를 생성하고, 상기 딥러닝 데이터에 기반하여 상기 영상 획득 장치로부터 입력되는 영상 정보를 분석하여 객체 분석 정보를 생성하는 것을 특징으로 한다.
또한, 상기 통합 교통신호 제어 장치는 상기 객체 정보 인식 장치로부터 전송받은 객체 분석 정보를 인공지능 플래닝 기법을 통해 실시간 또는 주기적으로 분석하여 교통신호 제어 체계를 수립하고, 교통신호등들이 상기 수립된 교통신호 제어 체계가 반영되어 연동 제어 또는 개별 제어되도록 하는 것을 특징으로 한다.
상기와 같은 과제 및 해결 수단을 가지는 본 발명인 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템에 의하면, 신호등 또는 도로 주변의 수많은 영상 정보들로부터 딥 러닝 기법을 통해 영상 객체를 인식 및 분석하고, 분석된 객체 정보들로부터 인공지능 플래닝 기법을 적용하여 교통신호 제어 체계를 실시간 또는 주기적으로 수립하고 업데이트할 수 있도록 구성하기 때문에, 영상 객체 인식 및 분석의 정확도를 향상시킬 수 있고, 최적의 교통신호 제어 체계를 통해 원활한 교통 흐름을 유지할 수 있도록 하는 장점이 발생된다.
또한, 본 발명에 의하면, 딥 러닝을 통해 객체 정보를 인식하고 분석하는 객체 정보 인식 장치를 교통신호등 주변의 로컬 또는 통합 교통신호 제어 장치가 있는 중앙 관제센터에 설치될 수 있도록 구성하기 때문에, 중앙에서 수많은 교통신호등에 대한 통합 제어뿐만 아니라, 로컬에서 해당 교통신호등에 대한 영상 기반 감응신호 제어를 가능하게 하는 효과가 발생한다.
또한, 본 발명에 의하면, 딥 러닝 기법을 이용하여 입력되는 영상 정보로부터 차량 객체를 인식하고, 분석을 통하여 차량 이동 방향을 포함한 차량 정보에 해당하는 객체 분석 정보를 생성할 수 있도록 구성하기 때문에, 통합 교통신호 제어 장치에서 인공지능 플래닝을 통하여 최적의 교통신호 제어 체계를 수립하기 위한 유익한 분석 정보를 제공할 수 있도록 하는 효과가 발생한다.
또한, 본 발명에 의하면, 수많은 교통신호등들이 인공지능 플래닝 기법에 의해 수립된 교통신호 제어 체계가 반영되어 연동 제어 또는 개별 제어될 수 있도록 구성하기 때문에, 연계 동작 대상에 포함되는 교통신호등들을 지나가는 루트에서의 교통 흐름을 원활하게 함과 동시에 개별 제어가 유익한 교통신호등에 대해서는 로컬 상황에 맞는 맞춤형 제어 또는 감응신호 제어를 가능하게 하는 장점이 발생된다.
또한, 본 발명에 의하면, 객체 정보 인식 장치가 복수의 영상 획득 장치로부터 입력되는 영상 정보들을 복수의 GPU(Graphic Processing Unit)를 통해 처리하도록 하되, 실시간 또는 주기적으로 모니터링한 각 GPU의 부하를 고려하여 각 영상 획득 장치의 영상 정보를 처리하기 위한 GPU(Graphic Processing Unit)가 할당될 수 있도록 구성하기 때문에, 시스템 구축을 위한 시간, 노력 및 비용을 절감할 수 있을뿐만 아니라, 신속하고 효율적인 영상 처리와 교통신호 제어를 가능하게 하는 효과가 발생한다.
도 1은 본 발명의 실시예에 따른 딥 러닝 및 인공지능 플래닝 기반 교통 신호 통합제어 시스템의 개략적인 구성도이다.
도 2는 본 발명의 실시예에 따른 딥 러닝 및 인공지능 플래닝 기반 교통 신호 통합제어 시스템을 구성하는 객체 정보 인식 장치의 구성도이다.
도 3은 본 발명의 실시예에 따른 딥 러닝 및 인공지능 플래닝 기반 교통 신호 통합제어 시스템을 구성하는 통합 교통신호 제어 장치의 구성도이다.
도 4는 본 발명의 실시예에 따른 딥 러닝 및 인공지능 플래닝 기반 교통 신호 통합제어 시스템을 구성하는 객체 정보 인식 장치의 영상 처리부 구성도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
도 1은 본 발명의 실시예에 따른 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템의 개략적인 구성도이다.
도 1에 도시된 바와 같이 본 발명의 실시예에 따른 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템(100)은 교통신호등이 설치되는 주변에 설치되는 복수의 영상 획득 장치(10), 상기 복수의 영상 획득 장치(10)로부터 영상 정보를 전송받아 처리 및 분석하는 적어도 하나의 객체 정보 인식 장치(30) 및 상기 적어도 하나의 객체 정보 인식 장치(30)로부터 객체 분석 정보를 전송받아 인공지능 플래닝 기법을 통해 교통신호 제어 체계를 수립하고 이를 적용하여 교통신호가 제어되도록 하는 통합 교통신호 제어장치(50)를 포함하여 구성된다.
상기 영상 획득 장치(10)는 신호등 주변 또는 도로 주변의 영상 정보를 획득한다. 상기 영상 획득 장치(10)에 의하여 획득된 영상 정보는 상기 객체 정보 인식 장치(30)로 전송된다.
상기 영상 획득 장치(10)는 CCTV, IP 카메라, 인터넷 카메라 등 다양한 영상 촬영 장치로 구성되어 상기 객체 정보 인식 장치(30)에 영상 정보를 전송할 수 있다면 다양한 형태로 구성될 수 있다. 상기 영상 획득 장치(10)에 해당하는 카메라는 상기 객체 정보 인식 장치(30)에 의하여 틸팅 등 동작에 관한 제어를 받을 수 있도록 구성될 수도 있다.
상기 영상 획득 장치(10)는 기본적으로 교차로, 이면도로, 횡단보도 등 주변에 설치될 수 있고, 특히 교통신호등 주변에 설치되어 교통신호등 주변의 차량 및 도로 상황에 관한 영상 정보를 획득하는 동작을 수행하도록 설치되고, 더 나아가 상기 교통신호등이 없는 도로 주변의 차량 및 도로 상황에 관한 영상 정보를 추가적으로 획득하는 동작을 수행하도록 설치될 수 있다.
상기 영상 획득 장치(10)는 다양한 객체, 즉 차량, 사람, 도로 등의 객체 정보를 포함하는 영상 정보를 촬영 획득하여 상기 객체 정보 인식 장치(30)로 전송함으로써, 상기 객체 정보 인식 장치(30)에서 객체 정보, 특히 차량 정보가 인식되고 분석될 수 있도록 한다.
상기 객체 정보 인식 장치(30)는 적어도 하나로 구성되어, 상기 수많은 영상 획득 장치(10)로부터 전송되는 영상 정보로부터 객체 정보를 인지하고 분석하여 그 결과, 즉 객체 분석 정보를 생성하여 상기 통합 교통신호 제어장치(50)로 전송하는 동작을 수행한다. 다만, 상기 객체 정보 인식 장치(30)는 영상 정보로부터 객체 정보를 인식하고 분석하기 위하여 딥 러닝 기법을 이용한다. 즉, 본 발명에 따른 객체 정보 인식 장치(30)는 적어도 하나로 구성되고, 상기 수많은 영상 획득 장치(10)에서 획득한 영상 정보로부터 딥 러닝 기법을 통해 객체 정보를 인식하고 분석하는 동작을 수행한다.
상기 객체 정보 인식 장치(30)는 상기 복수의 영상 획득 장치(10)로부터 전송되는 영상 정보를 입력받아 분석하되, 딥 러닝 기법을 통해 객체 정보, 특히 차량 정보를 인식하고 분석하는 동작을 수행한다.
상기 객체 정보 인식 장치(30)에서 적용되는 딥 러닝 알고리즘은 컴퓨터가 인간처럼 판단하고 학습할 수 있도록 하고 이를 통해 사물이나 데이터를 군집화하거나 분류하는 데 사용하는 기술을 일컫는다. 이러한 딥 러닝 알고리즘으로는 예컨대, DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine) 등이 있다. DNN은 Input layer와 Output layer 사이에 복수 개의 Hidden layer들로 이뤄진 인공 신경망(Artificial Neural Network; ANN)을 말한다. CNN은 최소한의 preprocess를 사용하도록 설계된 다계층 퍼셉트론 (Multiplayer perceptron)의 한 종류이다. RNN은 ANN을 구성하는 유닛(unit) 사이의 연결이 directed cycle을 구성하는 신경망이다. RBM은 BM(Boltzmann Machine)에서 층간 연결을 없앤 형태이다.
이와 같이 본 발명에 적용되는 적어도 하나의 객체 정보 인식 장치(30)는 상기와 같은 딥 러닝 기법을 이용하여 상기 입력되는 영상 정보로부터 객체 정보, 특히 차량 정보를 인식하고 분석하기 때문에, 신뢰성 있고 정확한 객체 정보를 인식하고 분석할 수 있고, 이와 같이 분석된 객체 정보, 즉 객체 분석 정보가 상기 통합 교통신호 제어장치(50)로 전송되도록 함으로써 최적의 교통신호 제어 체계가 수립될 수 있도록 한다.
상기 객체 정보 인식 장치(30)는 적어도 하나로 구성된다. 즉 상기 객체 정보 인식 장치(30)는 상기 로컬, 즉 상기 영상 획득 장치(10)가 배치되는 상기 교통신호등 주변 또는 도로 주변에 설치되어 복수 개로 구성될 수도 있고, 상기 통합 교통신호 제어 장치(50)가 구축되는 중앙관제센터에 하나로 설치될 수도 있다.
즉, 본 발명에 적용되는 상기 객체 정보 인식 장치(30)는 상기 영상 획득 장치(10) 또는 교통신호등 주변에 설치되거나 또는 상기 통합 교통신호 제어 장치(50)와 함께 통합 설치될 수 있다.
전자의 경우(상기 객체 정보 인식 장치(30)가 상기 영상 획득 장치(10) 또는 교통신호등 주변에 설치되는 경우), 상기 객체 정보 인식 장치(30)는 상기 영상 획득 장치(10)와 1대1로 대응되어 로컬에 설치될 수도 있고, 적어도 두 개 이상의 영상 획득 장치(10)와 대응되어 로컬에 설치될 수도 있다. 이와 같이 로컬에 설치되는 상기 객체 정보 인식 장치(30)는 1대1로 대응하는 영상 획득 장치(10) 또는 대응하는 복수 개의 영상 획득 장치(10)들로부터 전송되는 영상 정보(들)로부터 딥 러닝 기법을 통해 객체 정보를 인식하고 분석하여 객체 분석 정보를 생성한 후 상기 통합 교통신호 제어장치(50)로 전송한다.
이와 같이, 상기 객체 정보 인식 장치(30)가 상기 영상 획득 장치(10) 또는 교통신호등 주변에 설치되는 경우, 상기 객체 정보 인식 장치(30)는 로컬에서 상기 영상 획득 장치(10)로부터 입력되는 영상 정보에 대하여 딥 러닝 기법을 적용하여 객체 정보를 인식하고 분석한다. 따라서, 상기 로컬에 설치되는 객체 정보 인식 장치(30)의 분석 결과, 즉 객체 분석 정보를 통해 로컬에 구축되는 교통신호등 제어기는 상기 교통신호등을 제어할 수 있다.
정리하면, 상기 로컬에 설치되는 상기 객체 정보 인식 장치(30)는 상기 로컬에 설치되는 상기 영상 획득 장치(들)(10)로부터 전송되는 영상 정보로부터 딥 러닝 기법을 통해 객체 정보, 즉 차량 정보를 인식 및 분석할 수 있고, 이 객체 분석 정보를 바탕으로 로컬에 설치되는 교통신호등 제어기(미도시)는 교통신호등을 감응신호 제어할 수 있다.
한편, 후자의 경우(상기 객체 정보 인식 장치(30)가 상기 통합 교통신호 제어 장치(50)와 함께 통합 설치되는 경우), 상기 객체 정보 인식 장치(30)는 원격에 구축되는 상기 통합 교통신호 제어 장치(50)와 함께 또는 통합되어 설치될 수 있다. 이와 같이 중앙에 설치되는 상기 객체 정보 인식 장치(30)는 로컬에 설치되는 수많은 영상 획득 장치(10)들로부터 전송되는 영상 정보들로부터 딥 러닝 기법을 통해 객체 정보들을 인식하고 분석하여 객체 분석 정보를 생성한 후 상기 통합 교통신호 제어장치(50)로 전송한다.
상기 통합 교통신호 제어 장치(50)는 중앙 관제 센터에 구축되어 상술한 적어도 하나의 객체 정보 인식 장치(30)로부터 전송되는 객체 분석 정보들을 입력받아 저장 관리하고, 이들을 실시간 또는 주기적으로 처리 및 분석하여 복수의 교통신호등을 효율적으로 제어할 수 체계, 즉 교통신호 제어 체계를 수립하며, 이 수립된 교통신호 제어 체계에 따라 로컬에 배치되는 교통신호등들이 제어될 수 있도록 한다. 그런데, 본 발명에 적용되는 상기 통합 교통신호 제어 장치(50)는 상기 전송되는 객체 분석 정보들을 단순 분석하는 것이 아니라 인공지능 플래닝 기법을 통해 분석하여 최적의 교통신호 제어 체계를 수립한다.
즉, 본 발명에 적용되는 상기 통합 교통신호 제어 장치(50)는 상기 객체 정보 인식 장치(30)로부터 객체 분석 정보를 전송받고, 상기 객체 분석 정보로부터 인공지능 플래닝 기법을 통해 교통신호 제어 체계를 수립하며, 수립된 교통신호 제어 체계에 따라 교통신호가 제어되도록 하는 동작을 수행한다.
이와 같이 본 발명에 따른 상기 통합 교통신호 제어 장치(50)는 인공지능(AI : Artificial Intelligence)을 이용하여 실시간 또는 주기적으로 입력되는 객체 분석 정보들로부터 최적의 교통신호 제어 체계를 수립하고 기존에 수립된 교통신호 제어 체계를 업데이트할 수 있다. 즉, 상기 통합 교통신호 제어 장치(50)는 인공지능을 이용하여 교통신호 제어에 관한 계획을 수립하여 체계화할 수 있다.
따라서, 상기 통합 교통신호 제어 장치(50)는 인공지능을 통해 상기 객체 분석 정보들을 분석하여 교통의 원활함을 향상시킬 수 있는 교통신호등들의 제어 체계를 계획하여 수립할 수 있다. 상기 인공지능 플래닝 기법을 통해 수립된 교통신호 제어 체계는 각각의 교통신호등의 제어 체계뿐만 아니라, 교통신호등을 연계하여 연동제어할 수 있는 제어 체계에 해당되고, 이를 통해 교통 흐름을 최적화시킬 수 있다.
이상에서 설명한 본 발명의 실시예에 따른 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템(100)에 의하면, 신호등 또는 도로 주변의 수많은 영상 정보들로부터 딥 러닝 기법을 통해 영상 객체를 인식 및 분석하고, 분석된 객체 정보들로부터 인공지능 플래닝 기법을 적용하여 교통신호 제어 체계를 실시간 또는 주기적으로 수립하고 업데이트할 수 있도록 구성하기 때문에, 영상 객체 인식 및 분석의 정확도를 향상시킬 수 있고, 최적의 교통신호 제어 체계를 통해 원활한 교통 흐름을 유지할 수 있도록 하는 장점이 발생된다.
또한, 본 발명에 의하면, 딥 러닝을 통해 객체 정보를 인식하고 분석하는 객체 정보 인식 장치(30)를 교통신호등 주변의 로컬 또는 통합 교통신호 제어 장치(50)가 있는 중앙 관제센터에 설치될 수 있도록 구성하기 때문에, 중앙에서 수많은 교통신호등에 대한 통합 제어뿐만 아니라, 로컬에서 해당 교통신호등에 대한 영상 기반 감응신호 제어를 가능하게 하는 효과가 발생한다.
이하에서는 상술한 본 발명의 실시예에 따른 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템(100)을 이루는 구성수단의 세부적인 구성 및 동작에 대하여 좀 더 구체적으로 설명한다.
본 발명에 적용되는 객체 정보 인식 장치(30)는 수많은 데이터를 통해 학습하고 이 학습된 결과 데이터, 즉 딥러닝 데이터를 생성하는 딥 러닝 기법을 적용하고, 상기 생성된 딥 러닝 데이터에 기반하여 상기 입력되는 영상 정보로부터 객체 정보를 인식하고 분석하여 객체 분석 정보를 생성한다.
구체적으로, 상기 객체 정보 인식 장치(30)는 데이터베이스부(도 2에서 도면부호 "32"로 표기됨)에 저장 관리되는 영상 정보를 딥러닝 기법을 통해 학습하여 딥러닝 데이터를 생성하고, 상기 딥러닝 데이터에 기반하여 상기 영상 획득 장치(10)로부터 입력되는 영상 정보를 분석하여 객체 분석 정보를 생성하는 동작을 수행한다.
이와 같은 동작을 수행하기 위한 상기 객체 정보 인식 장치(30)는 도 2에 도시된 바와 같이, 영상 입력부(31), 데이터베이스부(32), 딥러닝 학습부(33), 영상 처리부(35), 영상 분석부(38) 및 분석정보 저장부(39)를 포함하여 구성된다.
상기 영상 입력부(31)는 상기 영상 획득 장치(10)로부터 신호등 주변 또는 도로 주변의 영상 정보를 입력받는다. 상기 영상 입력부(31)는 적어도 하나 이상의 영상 획득 장치(10)로부터 영상 정보를 입력받는다. 즉, 상기 영상 입력부(31)는 상기 객체 정보 인식 장치(30)에 대응하는 적어도 하나이 영상 획득 장치(10)로부터 영상 정보를 입력받는다.
상기 영상 입력부(31)를 통해 입력되는 영상 정보는 상기 데이터베이스부(32)에 전달되어 저장 관리되고, 또한 상기 영상 처리부(35)로 전달되어 영상 처리된다. 상기 데이터베이스부(32)로 전달되는 영상 정보는 상기 딥러닝 학습부(33)가 학습하기 위한 데이터로 활용되고, 상기 영상 처리부(35)로 전달되는 영상 정보는 객체 정보, 특히 차량 정보를 인지하고 분석하기 위한 데이터로 활용된다.
상기 데이터베이스부(32)는 상기 딥러닝 학습부(33)가 학습하기 위한 방대한 데이터, 특히 이미지 데이터를 저장 관리한다. 상기 데이터베이스부(32)는 상기 영상 입력부(31)로부터 지속적으로 입력되는 영상 정보를 저장 관리하면서 지속적으로 방대한 영상 정보 데이터를 저장 관리할 수 있다. 결과적으로, 상기 딥러닝 학습부(33)의 학습 효과는 지속적으로 향상될 수 있고, 이로 인하여 영상 정보로부터 객체 정보, 특히 차량 정보 인식의 정확도 및 신뢰도가 더욱더 향상될 수 있다.
상기 딥러닝 학습부(33)는 방대한 영상 정보 데이터를 저장 관리하고 지속적으로 저장관리되는 영상 정보 데이터를 증가시키는 상기 데이터베이스부(32)를 통해 학습하여 딥 러닝 데이터를 생성한다. 즉, 상기 딥러닝 학습부(33)는 상기 데이터베이스부(32)에 저장 관리되는 방대한 영상 정보를 딥러닝 기법을 통해 지속적으로 학습하여 딥러닝 데이터를 생성한다. 이와 같이 생성된 딥러닝 데이터는 상기 데이터베이스부(32) 또는 별도의 저장 공간에 저장 관리될 수 있고, 후술할 영상 분석부(38)에 의하여 영상 정보로부터 객체 정보, 특히 차량 정보를 인식하고 분석하는데 활용된다.
상기 영상 분석부(38)에 의하여 상기 영상 정보는 분석되는데, 상기 분석될 영상 정보는 상기 딥러닝 데이터와 관련하여 비교될 수 있고 분석 가능하게 영상 처리될 필요가 있다. 이를 위하여, 상기 영상 입력부(31)를 통해 입력되는 영상 정보는 상기 영상 처리부(35)에서 영상 처리된 후 상기 영상 분석부(38)로 전달된다.
상기 영상 처리부(35)는 상기 영상 입력부(31)를 통해 실시간으로 들어오는 카메라 영상 정보를 신속하게 처리하여 상기 영상 분석부(38)가 활용할 수 있도록 만들어서 제공하는 동작을 수행한다. 상기 영상 분석부(38)는 실시간으로 영상 정보로부터 객체 정보를 인식하고 분석하기 때문에, 상기 영상 처리부(35) 역시 실시간으로 신속하게 상기 영상 정보를 처리하여 상기 영상 분석부(38)로 전송할 수 있도록 동작해야 한다.
따라서, 상기 영상 처리부(35)는 고속의 영상 처리를 위하여 GPU(Graphic Processing Unit)를 이용하여 영상 처리를 수행하고, 더 나아가 복수의 영상 정보가 실시간으로 입력되어 처리해야 하는 경우에는 복수의 GPU(Graphic Processing Unit)를 채택 적용하고, 최적의 영상 처리 효과를 달성하기 위하여 영상 처리를 위한 유익하고 효율적인 GPU(Graphic Processing Unit) 할당이 채택 적용된다. 이에 대해서는 후술하겠다.
상기 영상 처리부(35)는 상기 입력되는 영상에 대하여 다양한 처리를 수행할 수 있는데, 기본적으로 상기 영상 분석부(38)가 처리된 영상 정보로부터 객체 영상, 특히 차량 정보를 용이하게 인식하고 분석할 수 있도록 하는 처리된 영상 정보를 생성하여 상기 영상 분석부(38)에게 전달한다. 예를 들어, 상기 영상 처리부(35)는 상기 입력되는 영상 정보에 대하여 노이즈 제거, 밝기 조절, 컬러 변환 등의 전처리 과정을 수행할 수 있고, 크기별 객체를 인식하기 위하여 상기 전처리된 영상 정보를 다수의 서브 영상 정보로 분할하는 과정을 수행할 수도 있다.
상기 영상 처리부(35)로부터 처리된 영상 정보는 상기 영상 분석부(38)로 전달된다. 그러면, 상기 영상 분석부(38)는 상기 처리된 영상 정보들로부터 객체 정보를 인식하고 분석하는 동작을 수행한다. 그런데, 상기 영상 분석부(38)는 정확하고 신뢰성 있는 객체 인식 및 분석을 수행하기 위하여, 상기 딥러닝 학습부(33)가 학습에 의하여 생성한 딥러닝 데이터에 기반하여 상기 처리된 영상으로부터 객체 정보를 인식하고 분석하여 객체 분석 정보를 생성한다.
이와 같이, 상기 영상 분석부(38)는 상기 딥러닝 학습부(33)가 지속적인 학습에 의하여 생성한 딥러닝 데이터에 기반하여 상기 영상 획득 장치(10)로부터 입력되는 영상 정보(구체적으로 영상 처리부(35)에서 처리된 영상 정보)를 분석하여 객체 분석 정보를 생성하는 동작을 수행한다. 구체적으로, 상기 영상 분석부(38)는 상기 처리된 영상 정보로부터 객체 정보, 특히 차량 정보를 인식하고 분석하되, 딥 러닝 기법에 의하여 학습되어 생성된 상기 딥러닝 데이터와 상기 처리된 영상 정보를 비교 및 대비 등의 과정을 통해 객체를 인식하고, 인식된 객체의 추가 정보(이동 방향 등)를 분석하여 객체 분석 정보를 생성할 수 있다.
상기 영상 분석부(38)에 의하여 생성되는 상기 객체 분석 정보는 상기 분석정보 저장부(39)에 저장 관리되고, 실시간 또는 주기적으로 상기 통합 교통신호 제어 장치(50)로 전송된다. 상기 객체 분석 정보는 메타 데이터로 상기 분석 정보 저장부(39)에 저장 관리되고, 또한 메타 데이터 형태로 상기 통합 교통신호 제어 장치(50)로 전송된다.
상기 객체 분석 정보는 차량 정보(차량 여부, 차량 이동 방향, 차종, 차색, 차량 번호, 차량 속도 등)를 포함하기 때문에, 교차로 또는 이면 도로 등에 차량 의 진입 또는 대기 등을 분석 정보를 생성할 수 있다. 따라서, 상기 객체 정보 인식 장치(30)가 교통신호등이 구축되는 로컬에 배치되는 경우, 교통신호등 제어기는 상기 생성된 분석 정보를 기반하여 감응신호 제어를 수행할 수 있다.
이와 같은 구성 및 동작에 관한 특징을 가지는 상기 객체 정보 인식 장치(30)를 포함하는 본 발명에 의하면, 딥 러닝 기법을 이용하여 입력되는 영상 정보로부터 차량 객체를 인식하고, 분석을 통하여 차량 이동 방향을 포함한 차량 정보에 해당하는 객체 분석 정보를 생성할 수 있도록 구성하기 때문에, 통합 교통신호 제어 장치(50)에서 인공지능 플래닝을 통하여 최적의 교통신호 제어 체계를 수립하기 위한 유익한 분석 정보를 제공할 수 있도록 하는 효과가 발생한다.
상술한 객체 정보 인식 장치(30), 구체적으로 영상 분석부(38)에서 인식 및 분석하여 생성한 객체 분석 정보는 상기 통합 교통신호 제어장치(50)로 전송되어 최적의 교통신호 제어 체계가 수립될 수 있도록 한다.
상기 통합 교통신호 제어장치(50)는 상기 객체 정보 인식 장치(30)의 영상 분석부(38)로부터 전송받은 객체 분석 정보를 실시간 또는 주기적으로 분석하여 최적의 교통신호 제어 체계를 수립하되, 교통 흐름을 최적화하기 위한 교통신호 제어 체계를 수립하기 위하여 인공지능(AI) 플래닝(planning) 기법을 적용한다. 여기서 적용되는 인공지능 플래닝 기법은 다양한 알고리즘을 이용할 수 있다.
상기 통합 교통신호 제어 장치(50)는 상기 인공지능 플래닝 기법에 따라 수립된 교통신호 제어 체계가 반영되어 교통신호등들이 상호 연계 동작하여 제어되거나 또는 연계 동작에 관련되지 않고 개별적으로 제어되도록 한다.
상기 통합 교통신호 제어 장치(50)는 사전에 정해진 정책에 따라 복수의 교통신호등들이 연계 동작되도록 제어하거나, 상기 인공지능 플래닝 기법에 따라 수립된 교통신호 제어 체계에 의하여 연계 동작 대상으로 포함된 복수의 교통신호등들이 연계 동작되도록 제어할 수 있다. 동일 유사하게, 상기 통합 교통신호 제어 장치(50)는 사전에 정해진 정책에 따라 개별 제어 대상으로 분류된 교통신호등이 개별 동작되도록 제어하거나, 상기 인공지능 플래닝 기법에 따라 수립된 교통신호 제어 체계에 의하여 개별 동작 대상으로 포함된 교통신호등들이 개별 동작되도록 제어할 수 있다.
이와 같이, 상기 통합 교통신호 제어 장치(50)는 상기 객체 정보 인식 장치(30)로부터 전송받은 객체 분석 정보를 인공지능 플래닝 기법을 통해 실시간 또는 주기적으로 분석하여 교통신호 제어 체계를 수립하고, 교통신호등들이 상기 수립된 교통신호 제어 체계가 반영되어 연동 제어 또는 개별 제어되도록 한다.
이와 같은 동작을 수행하기 위하여 상기 통합 교통신호 제어 장치(50)는 분석정보 입력부(51), 저장 관리부(53), 교통체계 수립부(55) 및 교통신호 제어부(57)를 포함하여 구성된다.
상기 분석정보 입력부(51)는 상기 객제 정보 인식 장치(30), 구체적으로 영상 분석부(38)로부터 객체 분석 정보, 특히 차량 분석 정보(차량 여부, 차량 이동 방향 등)를 실시간 또는 주기적으로 전송받아 상기 저장 관리부(53)로 전송한다. 그러면, 상기 저장 관리부(53)는 상기 입력되는 객체 분석 정보를 상기 영상 획득 장치(10)의 식별정보와 매칭하여 저장 관리한다.
상기 객체 정보 인식 장치(30)는 상기 영상 획득 장치(10)로부터 영상 정보를 전송받을 때 상기 영상 획득 장치(10)의 식별 정보와 함께 전송받고, 상기 영상 정보에 대한 분석이 완료되면, 상기 영상 획득 장치(10)의 식별 정보와 함께 상기 객체 분석 정보를 상기 통합 교통신호 제어 장치(50)의 분석정보 입력부(51)로 전송한다. 따라서 상기 저장 관리부(53)는 상기 영상 획득 장치(10)의 식별 정보와 함께 상기 객체 분석 정보를 매칭하여 저장 관리할 수 있다.
상기 교통체계 수립부(55)는 상기 저장 관리부(53)에 실시간 또는 주기적으로 저장 관리되는 객체 분석 정보를 통해 실시간 또는 주기적으로 교통신호 제어 체계를 수립하고, 기존 교통신호 제어 체계를 신규 교통신호 제어 체계로 업데이트한다. 상기 교통체계 수립부(55)는 상기 저장 관리부(53)에 저장 관리되는 객체 분석 정보를 분석하여 교통신호 제어 체계를 수립할 수 있지만, 상기 분석정보 입력부(51)로부터 입력되는 객체 분석 정보를 바로 전송받아 실시간으로 분석하여 실시간으로 교통신호 제어 체계를 수립할 수도 있다. 상기 교통체계 수립부(55)는 상기 객체 분석 정보에 대한 분석을 인공지능 플래닝 기법을 통해 수행함으로써, 최적의 교통 흐름을 유지할 수 있는 교통신호등 제어 계획을 수립할 수 있다.
상기 교통체계 수립부(55)에 의하여 수립된 교통신호 제어 체계는 상기 교통신호 제어부(57)가 반영하여 교통신호등을 연동 제어 또는 개별 제어되도록 한다. 즉, 상기 교통신호 제어부(57)는 교통신호등들이 상기 수립된 교통신호 제어 체계가 반영되어 연동 제어 또는 개별 제어되도록 한다.
이를 위하여 상기 교통신호 제어부(57)는 연동 제어부(58)와 개별 제어부(59)로 구성된다. 상기 연동 제어부(58)는 상기 교통체계 수립부(55)가 인공지능 플래닝 기법을 적용하여 수립한 교통신호 제어 체계에 따라 연계 동작 제어 대상에 포함되는 교통신호등들을 상호 연계하여 제어하는 동작을 수행하고, 상기 개별 제어부(59)는 상기 교통체계 수립부(55)가 인공지능 플래닝 기법을 적용하여 수립한 교통신호 제어 체계에 따라 개별 동작 제어 대상에 포함되는 교통신호등들을 각각 개별 제어하는 동작을 수행한다.
따라서, 상기 교통체계 수립부(55)는 인공지능 플래닝 기법에 따라 교통신호 제어 체계를 수립하되, 최적의 교통 흐름을 유지하기 위하여 연계 동작 제어 대상의 교통신호등들과 개별 동작 제어 대상의 교통신호등들을 분류하고, 각 교통신호등들의 교통신호 제어 계획을 결정하여 수립한다. 그러면, 상기 연동 제어부(58)와 상기 개별 제어부(59)는 각각 상기 교통체계 수립부(55)가 분류한 교통신호등들을 연동 제어 또는 개별 제어하되, 수립된 상기 교통신호 제어 계획에 따라 각각의 교통신호등의 교통신호가 제어되도록 한다.
이와 같이 상기 교통체계 수립부(55)가 연계 동작 제어 대상의 교통신호등들과 개별 동작 제어 대상의 교통신호등을 분류하여 교통신호 제어 체계를 수립하는 이유는 상기 통합 교통신호 제어장치(50)에 의하여 제어되는 섹터 또는 범위(예를 들어 지자체 시 또는 구)에 존재하는 교통신호등들이 설치되는 교차로 또는 이면도로 또는 횡단보도가 모두 차량 이동이 빈번하다고 볼 수 없고, 차량 이동 패턴의 변화가 급격한 교차로는 경우에 따라 연동 제어보다 개별 제어되는 것이 섹터 내의 전체 교통 흐름을 원활하게 할 수 있으며, 차량 이동이 거의 존재하지 않는 이면도로의 교통신호등을 연동 제어 대상으로 포함하는 것은 오히려 연동 제어의 효율을 떨어뜨리고 오히려 원활한 교통 흐름을 저해할 수 있기 때문이다.
상기와 같은 구성 및 동작을 가지는 통합 교통신호 제어 장치(50)를 포함하는 본 발명에 의하면, 수많은 교통신호등들이 인공지능 플래닝 기법에 의해 수립된 교통신호 제어 체계가 반영되어 연동 제어 또는 개별 제어될 수 있도록 구성하기 때문에, 연계 동작 대상에 포함되는 교통신호등들을 지나가는 루트에서의 교통 흐름을 원활하게 함과 동시에 개별 제어가 유익한 교통신호등에 대해서는 로컬 상황에 맞는 맞춤형 제어 또는 감응신호 제어를 가능하게 하는 장점이 발생된다.
이상에서 설명한 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합 제어 시스템(100)은 상술한 바와 같이, 복수의 영상 획득 장치(10), 적어도 하나의 객체 정보 인식 장치(30) 및 통합 교통신호 제어 장치(50)를 포함하여 구성된다. 여기서 상기 객체 정보 인식 장치(30)는 복수 개의 영상 획득 장치(10)와 대응되어 각각의 영상 획득 장치(10)로부터 영상 정보들을 동시 다발적으로 실시간으로 전송받는다.
이 경우에 상기 객체 정보 인식 장치(30)는 상기 복수의 영상 획득 장치(10)로부터 입력되는 영상 정보를 신속하게 영상 처리할 필요가 있다. 즉, 상기 객체 정보 인식 장치(30)를 구성하는 상기 영상 처리부(35)는 상기 영상 입력부(31)를 통해 입력되는 복수의 영상 획득 장치(10)의 영상 정보를 적절하게 분배하여 신속하게 처리할 필요가 있다.
이를 위하여 상기 영상 처리부(35)는 복수의 GPU(Graphic Processing Unit)(37)를 구성하여 복수의 영상 획득 장치(10)로부터 전송되는 영상 정보들을 적절하게 분배하여 신속하게 영상 처리할 수 있다. 상기 영상 처리부(35)는 상기 영상 입력부(31)로부터 입력되는 복수의 영상정보들을 적절하게 분배하여 상기 복수의 GPU(Graphic Processing Unit)(37)들 중 어느 하나에 할당하는 할당 제어부(36)를 포함하여 구성된다.
상기 할당 제어부(36)는 사전에 정해진 정책에 따라, 입력되는 상기 영상 획득 장치(10)의 영상 정보를 상기 복수의 GPU(Graphic Processing Unit)(37)들 중, 어느 하나의 GPU(Graphic Processing Unit)(37)에 할당되어 영상 처리될 수 있도록 제어한다.
구체적으로, 상기 할당 제어부(36)는 사전에 설정된 GPU-영상획득장치그룹 테이블을 저장 관리한다. 즉, 상기 할당 제어부(36)는 각 GPU(37)마다 복수개의 영상획득장치가 그룹핑된 영상획득장치그룹을 대응시켜 저장 관리한다. 따라서, 상기 각 GPU(37)는 대응하는 영상획득장치그룹을 구성하는 영상획득장치(10)들의 식별 정보와 매칭되어 저장 관리된다.
상기 영상획득장치그룹은 고정 영상획득장치들과 유동 영상획득장치들로 구성된다. 상기 고정 영상획득장치들은 대응하는 GPU(37)의 용량으로 함께 영상 처리될 수 있는 영상획득장치들이고, 상기 유동 영상획득장치들은 대응하는 GPU(37)의 용량으로 상기 고정 영상획들장치들과 함께 영상 처리될 수 없는 영상획득장치들이다.
즉, 상기 대응하는 GPU(37)는 상기 고정 영상획득장치들의 영상 정보 모두를 동시에 영상 처리할 수 있고, 상기 고정 영상획득장치들의 영상 정보 모두와 함께 상기 유동 영상획득장치들의 영상 정보에 대한 영상 처리를 수행할 수 없다. 다만, 상기 대응하는 GPU는 상기 고정 영상획득장치들 중 일부의 영상 정보를 입력받지 않는다면(즉 일부의 고정 영상획득장치가 영상 정보를 상기 객체 정보 인식 장치(30)로 전송하지 않는다면), 상기 유동 영상획득장치의 영상 정보에 대한 영상 처리를 수행할 수 있다.
상기 할당 제어부(36)는 복수의 영상 획득 장치(10)로부터 식별 정보와 함께 영상 정보가 입력되면, 상기 사전 설정되어 저장 관리되는 GPU-영상획득장치그룹 테이블을 참조하여 상기 입력되는 식별 정보에 해당하는 영상 획득 장치가 포함되는 영상획득장치그룹과 이에 대응되는 GPU(37)를 확인한다.
상기 할당 제어부(36)는 상기 입력되는 식별 정보에 해당하는 영상 획득 장치가 상기 확인된 영상획득장치그룹을 구성하는 고정 영상획득장치들에 포함되면, 상기 식별 정보와 함께 입력되는 영상 정보가 상기 대응하는 GPU(37)에 할당되어 영상 처리되도록 제어한다.
또한, 상기 할당 제어부(36)는 상기 입력되는 식별 정보에 해당하는 영상 획득 장치가 상기 확인된 영상획득장치그룹을 구성하는 유동 영상획득장치들에 포함되면, 상기 고정 영상획득장치들 중 일부의 영상 정보가 상기 대응하는 GPU(37)에 할당되지 않는 상태에 있는 경우에만(즉 일부의 고정 영상획득장치가 영상 정보를 상기 객체 정보 인식 장치(30)로 전송하지 않는 경우에만) 상기 식별 정보와 함께 입력되는 영상 정보가 상기 대응하는 GPU(37)에 할당되어 영상 처리되도록 제어한다.
반면, 상기 입력되는 식별 정보에 해당하는 영상 획득 장치가 상기 확인된 영상획득장치그룹을 구성하는 유동 영상획득장치들에 포함되고, 상기 고정 영상획득장치들 모두의 영상 정보가 상기 대응하는 GPU(37)에 할당되어 있는 상태라면(즉 모든 고정 영상획득장치가 영상 정보를 상기 객체 정보 인식 장치(30)로 전송하고 있는 상태라면), 상기 할당 제어부(36)는 상기 식별 정보와 함께 입력되는 영상 정보가 상기 대응하는 GPU(37)에 할당될 수 없기 때문에, 사용 용량에 여유가 있는 다른 GPU(37)에 할당되어 영상 처리되도록 제어한다.
이를 위하여, 상기 할당 제어부(36)는 상기 영상 처리부(35)에 구성되는 복수의 GPU(37)들을 실시간으로 모니터링하여 부하량에 해당하는 사용 용량을 확인한다. 이와 같이, 상기 할당 제어부(36)는 복수의 GPU들의 부하량을 실시간으로 모니터링하기 때문에, 상기 식별 정보와 함께 입력되는 영상 정보를 대응하는 GPU에 할당할 수 없는 경우에도 사용 용량에 여유가 있는 다른 GPU에 할당하여 영상 처리되도록 할 수 있다.
이와 같은 구성 및 동작을 가지는 영상 처리부(35)를 포함하는 본 발명에 의하면, 객체 정보 인식 장치(30)가 복수의 영상 획득 장치(10)로부터 입력되는 영상 정보들을 복수의 GPU(Graphic Processing Unit)(37)를 통해 처리하도록 하되, 실시간 또는 주기적으로 모니터링한 각 GPU의 부하를 고려하여 각 영상 획득 장치의 영상 정보를 처리하기 위한 GPU(Graphic Processing Unit)(37)가 할당될 수 있도록 구성하기 때문에, 시스템 구축을 위한 시간, 노력 및 비용을 절감할 수 있을뿐만 아니라, 신속하고 효율적인 영상 처리와 교통신호 제어를 가능하게 하는 효과가 발생한다.
상술한 바와 같이 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였지만, 해당 기술분야의 숙련된 당업자라면, 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변경시킬 수 있다.
10 : 영상 획득 장치 30 : 객체 정보 인식 장치
31 : 영상 입력부 32 : 데이터베이스부
33 : 딥러닝 학습부 35 : 영상 처리부
36 : 할당 제어부 37 : GPU
38 : 영상 분석부 39 : 분석정보 저장부
50 : 통합 교통신호 제어 장치 51 : 분석정보 입력부
53 : 저장 관리부 55 : 교통체계 수립부
57 : 교통신호 제어부 58 : 연동 제어부
59 : 개별 제어부
100 : 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템

Claims (4)

  1. 교통신호 제어 시스템에 있어서,
    신호등 주변 또는 도로 주변의 영상 정보를 획득하는 영상 획득 장치; 상기 영상 획득 장치에서 획득한 영상 정보로부터 딥 러닝 기법을 통해 객체 정보를 인식하고 분석하는 객체 정보 인식 장치; 상기 객체 정보 인식 장치로부터 객체 분석 정보를 전송받고, 상기 객체 분석 정보로부터 인공지능 플래닝 기법을 통해 교통신호 제어 체계를 수립하며, 수립된 교통신호 제어 체계에 따라 교통신호가 제어되도록 하는 통합 교통신호 제어 장치를 포함하고,
    상기 객체 정보 인식 장치는 상기 영상 획득 장치 또는 교통신호등 주변에 설치되거나 또는 상기 통합 교통신호 제어 장치와 함께 통합 설치되고,
    상기 객체 정보 인식 장치는 적어도 하나의 영상 획득 장치로부터 영상 정보를 입력받는 영상 입력부, 상기 영상 입력부로부터 입력되는 복수의 영상 정보를 복수의 GPU를 채택 적용하여 처리하는 영상 처리부 및 상기 처리된 영상 정보로부터 객체 정보를 인식하고 분석하되, 딥러닝 기법에 의하여 학습되어 생성된 딥러닝 데이터와 상기 처리된 영상 정보를 비교 및 대비하여 객체를 인식하고, 인식된 객체의 추가 정보를 분석하여 객체 분석 정보를 생성하는 영상 분석부를 포함하고,
    상기 영상 처리부는 상기 영상 입력부로부터 입력되는 복수의 영상 정보들을 분배하여 상기 복수의 GPU들 중 어느 하나에 할당하는 할당 제어부를 포함하고, 상기 할당 제어부는 각 GPU마다 복수개의 영상획득장치가 그룹핑된 영상획득장치그룹을 대응시켜 저장 관리하고,
    상기 영상획득장치그룹은 대응하는 GPU의 용량으로 함께 영상 처리될 수 있는 고정 영상획득장치들과 대응하는 GPU의 용량으로 상기 고정 영상획득장치들과 함께 영상 처리될 수 없는 유동 영상획득장치들로 구성되고,
    상기 할당 제어부는 복수의 영상 획득 장치로부터 식별 정보와 함께 영상 정보가 입력되면, 상기 입력되는 식별 정보에 해당하는 영상 획득 장치가 포함되는 영상획득장치그룹과 이에 대응되는 GPU를 확인하고,
    상기 할당 제어부는 상기 입력되는 식별 정보에 해당하는 영상 획득 장치가 상기 확인된 영상획득장치그룹을 구성하는 고정 영상획득장치들에 포함되면, 상기 식별 정보와 함께 입력되는 영상 정보가 상기 대응하는 GPU에 할당되어 영상 처리되도록 제어하고,
    상기 할당 제어부는 상기 입력되는 식별 정보에 해당하는 영상 획득 장치가 상기 확인된 영상획득장치그룹을 구성하는 유동 영상획득장치들에 포함되면, 상기 고정 영상획득장치들 중 일부의 영상 정보가 상기 대응하는 GPU에 할당되지 않는 상태에 있는 경우에만 상기 식별 정보와 함께 입력되는 영상 정보가 상기 대응하는 GPU에 할당되어 영상 처리되도록 제어하며,
    상기 할당 제어부는 상기 입력되는 식별 정보에 해당하는 영상 획득 장치가 상기 확인된 영상획득장치그룹을 구성하는 유동 영상획득장치들에 포함되고, 상기 고정 영상획득장치들 모두의 영상 정보가 상기 대응하는 GPU에 할당되어 있는 상태라면, 상기 복수의 GPU들의 부하량을 실시간으로 모니터링하여 사용 용량에 여유가 있는 다른 GPU에 할당되어 영상 처리되도록 제어하는 것을 특징으로 하는 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 통합 교통신호 제어 장치는 상기 객체 정보 인식 장치로부터 전송받은 객체 분석 정보를 인공지능 플래닝 기법을 통해 실시간 또는 주기적으로 분석하여 교통신호 제어 체계를 수립하고, 교통신호등들이 상기 수립된 교통신호 제어 체계가 반영되어 연동 제어 또는 개별 제어되도록 하는 것을 특징으로 하는 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템.
KR1020180092869A 2018-08-09 2018-08-09 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템 KR102171671B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180092869A KR102171671B1 (ko) 2018-08-09 2018-08-09 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180092869A KR102171671B1 (ko) 2018-08-09 2018-08-09 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템

Publications (2)

Publication Number Publication Date
KR20200019290A KR20200019290A (ko) 2020-02-24
KR102171671B1 true KR102171671B1 (ko) 2020-10-29

Family

ID=69637383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180092869A KR102171671B1 (ko) 2018-08-09 2018-08-09 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템

Country Status (1)

Country Link
KR (1) KR102171671B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102400833B1 (ko) 2020-12-29 2022-05-20 서울시립대학교 산학협력단 Ai 강화학습 기반의 교통 신호 제어 장치 및 이를 수행하는 방법
KR20230168381A (ko) 2022-06-07 2023-12-14 유에프엠시스템즈 주식회사 응급상황 대응 교통신호 제어 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102219592B1 (ko) * 2020-04-02 2021-02-24 오정희 딥러닝에 의한 교통신호등 인식 기반의 led 색온도 변환 컨트롤러 및 이를 포함하는 도로조명용 등기구와 그 제어 방법
KR20220085703A (ko) 2020-12-15 2022-06-22 김민근 Ai 음성 서비스 질서 유지 스마트 신호등
KR102561656B1 (ko) * 2021-05-12 2023-07-31 유에프엠시스템즈 주식회사 딥-러닝 기반 객체 감응을 활용한 차량 흐름 제어 시스템
KR102561657B1 (ko) * 2021-06-03 2023-07-31 유에프엠시스템즈 주식회사 신호 제어를 위한 객체 감응형 차량 흐름 제어 방법
CN113763736A (zh) * 2021-07-23 2021-12-07 北京佰才邦技术股份有限公司 交通信息分发方法、系统和电子设备
CN114038212B (zh) * 2021-10-19 2023-03-28 南京航空航天大学 基于双阶段注意力机制和深度强化学习的信号灯控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101821494B1 (ko) * 2016-08-10 2018-01-24 중앙대학교 산학협력단 감응식 교통 신호 제어 방법 및 그 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090116172A (ko) * 2008-05-06 2009-11-11 최상우 인공지능 차량 신호등 제어장치
KR101849366B1 (ko) * 2011-04-15 2018-04-16 한화테크윈 주식회사 교통 신호등 제어 방법 및 시스템
KR101541808B1 (ko) 2015-04-30 2015-08-04 한국해양과학기술원 딥러닝 알고리즘을 이용한 해상교통관제 전문가 시스템 및 그 제어 방법
KR20180068462A (ko) * 2016-12-14 2018-06-22 유재선 신호등 제어 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101821494B1 (ko) * 2016-08-10 2018-01-24 중앙대학교 산학협력단 감응식 교통 신호 제어 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102400833B1 (ko) 2020-12-29 2022-05-20 서울시립대학교 산학협력단 Ai 강화학습 기반의 교통 신호 제어 장치 및 이를 수행하는 방법
KR20230168381A (ko) 2022-06-07 2023-12-14 유에프엠시스템즈 주식회사 응급상황 대응 교통신호 제어 시스템

Also Published As

Publication number Publication date
KR20200019290A (ko) 2020-02-24

Similar Documents

Publication Publication Date Title
KR102171671B1 (ko) 딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템
US20210034951A1 (en) Modular distributed artificial neural networks
US20240020580A1 (en) Automatic generation of ground truth data for training or retraining machine learning models
US20220237469A1 (en) Self-Learning in Distributed Architecture for Enhancing Artificial Neural Network
US20210343150A1 (en) Traffic light detection and lane state recognition for autonomous vehicles
US11067983B2 (en) Coordination of dispatching and maintaining fleet of autonomous vehicles
CN108292473B (zh) 用于控制自主车辆的运动轨迹的方法和系统
US20210216797A1 (en) Method for the classification of parking spaces in a surrounding region of a vehicle with a neural network
CN113287156A (zh) 基于强化学习的信号控制装置及信号控制方法
US10212462B2 (en) Integrated intelligent server based system for unified multiple sensory data mapped imagery analysis
KR20210077651A (ko) 운전 지원 시스템 및 방법
FR3054684A1 (fr) Systeme de pilotage d’un vehicule autonome
CN107031659A (zh) 自驾驶车辆中监控或调节行驶任务转交的方法和装置及自驾驶车辆中行驶任务转交的系统
EP3830808A1 (en) High innovation distributed system for the management of demarcated areas
KR102561656B1 (ko) 딥-러닝 기반 객체 감응을 활용한 차량 흐름 제어 시스템
CN109697503A (zh) 模糊参数化的ki模块以及运行方法
JP2020500389A (ja) 駐車場内に存在する隆起した物体を検出するための方法およびシステム
KR20200071656A (ko) 교통신호 제어 장치 및 방법
JP2020500391A (ja) 駐車場内に存在する隆起した物体を検出するための方法およびシステム
WO2023058360A1 (en) Dynamic image compression for multiple cameras of autonomous vehicles
CN113792680A (zh) 基于图像融合的行为识别方法、装置、电子设备及介质
US20190384991A1 (en) Method and apparatus of identifying belonging of user based on image information
KR20200144894A (ko) 자율 주행 차량을 이용한 물품 전달 방법
CN110177222A (zh) 一种结合车机闲散资源的摄像头曝光参数调整方法及装置
Bhargavi et al. Object detection in Fog computing using machine learning algorithms

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right