KR20230168381A - 응급상황 대응 교통신호 제어 시스템 - Google Patents

Abstract

본 발명은 딥러닝 기반 객체 감응을 활용한 차량 흐름 제어 시스템에 기반하여 교차로 내 차량 대기시간을 현저히 단축시키면서, 응급상황에 대응하여 일정 구간의 교통신호를 능동적으로 제어함으로써 인명과 재산의 손실을 최소화시킬 수 있는 응급상황 대응 교통신호 제어 시스템에 관한 것이다.
본 발명은 「관제서버; 식별정보 및 GPS 정보를 포함한 응급신호를 송출하는 응급차량 단말기; 다수가 분산 배치되어 담당 영역의 도로 영상을 획득하는 카메라; 및 딥-러닝(Deep learning) 기반의 객체분석 알고리즘을 이용하여, 상기 카메라의 촬영에 의해 획득된 영상들을 분석하여 감지된 객체의 위치, 종류 및 크기 중 적어도 하나 이상을 포함하는 객체정보를 출력한 후, 출력된 객체를 트래킹하여 교통정보를 생성하며, 생성된 교통정보를 기반으로 최적 신호체계를 검출한 후, 검출된 최적 신호체계에 따른 감응신호를 교통신호 제어기로 전송하는 콘트롤러; 를 포함하며, 상기 관제서버는 상기 응급신호를 수신·분석하여 상기 콘트롤러를 응급모드로 전환시키고, 상기 콘트롤러는 상기 GPS 정보 기준으로 기 설정된 반경 범위 내의 카메라 촬영 영상으로부터 상기 식별정보에 대응하는 응급차량을 식별·추적하여, 상기 응급차량의 진행 경로 기준으로 상기 감응신호에 우선하는 긴급제어신호를 상기 교통신호 제어기로 전송하도록 구성된 것을 특징으로 하는 응급상황 대응 교통신호 제어 시스템」을 제공한다.

Description

응급상황 대응 교통신호 제어 시스템{Emergency Response Traffic Signal Control System}

본 발명은 딥러닝 기반 객체 감응을 활용한 차량 흐름 제어 시스템에 기반하여 교차로 내 차량 대기시간을 현저히 단축시키면서, 응급상황에 대응하여 일정 구간의 교통신호를 능동적으로 제어함으로써 인명과 재산의 손실을 최소화시킬 수 있는 응급상황 대응 교통신호 제어 시스템에 관한 것이다.

차량 보급률이 증가하고 도심이 확장됨에 따라 교통 혼잡이 일상화되어 경제적 손실을 발생시키고 있다. 또한, 응급 환자, 화재 발생 등의 응급상황에서 도심지의 차량 정체 상황은 돌이킬 수 없는 손실을 야기할 수 있다.

최근 시민 의식 고양으로 구급차, 소방차 등의 응급차량에 대한 운전자의 자발적 양보가 원활히 이루어지고 있으나, 교차로의 차량 정체 상황, 교통 신호 등에 의해 양보를 하고 싶어도 할 수 없는 상황이 발생한다.

따라서, 사회 안전망 확보를 위해 응급상황에 능동적으로 대응할 수 있는 교통 신호 통제 시스템 개발이 요구되며, 종래에 차량 정체에 대한 유동적 대응을 위해 연구·적용되어 온 능동형 교통신호 운영방식과, 딥러닝(Deep learning) 기법을 이용하여 객체 감지 및 트래킹 등을 수행하는 영상 분석 기술 등을 종합적으로 활용하는 방안을 검토할 필요가 있다.

1. 공개특허 10-2020-0141834 "영상기반 교통신호 제어 장치 및 방법" 2. 등록특허 10-2329826 "인공지능 기반 교통신호 제어 장치 및 방법" 3. 등록특허 10-2171671 "딥 러닝 및 인공지능 플래닝 기반 교통신호 통합제어 시스템" 4. 등록특허 10-1846663 "비전 영상분석을 이용한 인공지능 신호등 제어 방법 및 제어기" 5. 등록특허 10-2248658 "인공지능을 이용한 교통관리 시스템"

본 발명은 차량 정체율 및 대기시간을 현저히 절감시킬 수 있는 딥러닝 기반 객체 딥러닝 기반 객체 감응을 활용한 차량 흐름 제어 시스템에 기반하여, 응급신호 수신 또는 응급상황 감지에 따라 긴급제어신호가 우선 적용되도록 하는 응급상황 대응 교통신호 제어 시스템을 제공함에 그 목적이 있다.

위 과제 해결을 위해 본 발명은 「관제서버; 식별정보 및 GPS 정보를 포함한 응급신호를 송출하는 응급차량 단말기; 다수가 분산 배치되어 담당 영역의 도로 영상을 획득하는 카메라; 및 딥-러닝(Deep learning) 기반의 객체분석 알고리즘을 이용하여, 상기 카메라의 촬영에 의해 획득된 영상들을 분석하여 감지된 객체의 위치, 종류 및 크기 중 적어도 하나 이상을 포함하는 객체정보를 출력한 후, 출력된 객체를 트래킹하여 교통정보를 생성하며, 생성된 교통정보를 기반으로 최적 신호체계를 검출한 후, 검출된 최적 신호체계에 따른 감응신호를 교통신호 제어기로 전송하는 콘트롤러; 를 포함하며, 상기 관제서버는 상기 응급신호를 수신·분석하여 상기 콘트롤러를 응급모드로 전환시키고, 상기 콘트롤러는 상기 GPS 정보 기준으로 기 설정된 반경 범위 내의 카메라 촬영 영상으로부터 상기 식별정보에 대응하는 응급차량을 식별·추적하여, 상기 응급차량의 진행 경로 기준으로 상기 감응신호에 우선하는 긴급제어신호를 상기 교통신호 제어기로 전송하도록 구성된 것을 특징으로 하는 응급상황 대응 교통신호 제어 시스템」을 제공한다.

본 발명에서 상기 응급차량 단말기는, 네비게이션 기능이 구비되어 있으며, 상기 네비게이션 UI에 목적지가 입력되면 상기 관제서버가 송출하는 필요 정보를 수신하여 현시하도록 구성될 수 있다.

또한, 본 발명에서 상기 관제서버는 상기 응급차량 단말기의 목적지 정보를 수신하여, 최적 경로를 도출하여 상기 응급차량 단말기에 제공하고, 상기 콘트롤러는 상기 최적 경로와 응급차량의 실시간 진행 경로를 대조하며, 상기 응급차량 앞 구간의 교통신호 제어기에 선제적으로 상기 긴급제어신호를 전송하도록 구성될 수 있다.

위와 같은 본 발명에 따르면,

카메라들에 의해 촬영된 영상을 분석하여 생성된 객체정보 및 교통정보에 따라 교통신호가 제어됨으로서 차량 정체율 및 대기시간을 현저히 절감시킬 수 있고, 연비소모 및 오염가스 배출량을 효과적으로 줄여 사회적 비용 소모를 절감시킬 수 있게 된다.

또한, 응급신호에 따라 우선 적용되는 긴급제어신호에 의해 응급차량의 진행이 저지되지 않도록 하여, 교통상 장애에 따른 인명과 재산의 손실을 최소화시킬 수 있다.

[도 1]은 본 발명이 제공하는 급상황 대응 교통신호 제어 시스템 실시예의 구성도이다.
[도 2]는 본 발명에 적용되는 카메라의 설치 상태 예시도이다.
[도 3]은 본 발명에 적용되는 콘트롤러의 구성을 나타내는 블록도이다.
[도 4]는 콘트롤러 인공지능 학습부의 객체분석 알고리즘에 적용되는 YOLOv4 모델을 나타내는 개념도이다.
[도 5]는 콘트롤러 인공지능 학습부의 객체분석 알고리즘에 적용되는 CNN을 설명하기 위한 예시도이다.
[도 6]은 콘트롤러 영상분류부의 구성을 나타내는 블록도이다.
[도 7]은 콘트롤러 영상분류부의 영상분류 개념도이다.
[도 8]은 콘트롤러의 위반차량 단속부에 의해 감지되는 꼬리물기 위반차량을 나타내는 예시도이다.
[도 9]는 콘트롤러 번호인식부를 설명하기 위한 예시도이다.
[도 10]은 콘트롤러 영상분류테이블 생성/갱신부의 구성을 나타내는 블록도이다.
[도 11]은 응급신호에 따라 생성되는 최적 경로 및 콘트롤러의 응급모드에서 교통신호 제어기가 순차 제어되는 상황의 예시도이다.

이하에서는 첨부된 도면과 함께 본 발명을 상세히 설명한다.

본 발명은 딥러닝 기반 객체 감응을 활용한 차량 제어 흐름 제어 시스템을 기반으로 운용되되, 응급 상황 발생 시 긴급제어신호를 우선 적용할 수 있도록 하기 위한 것으로, 응급 상황의 인지 및 긴급제어신호 운용에 특징이 있다.

이에 본 발명은 [도 1]에 도시된 바와 같이, 「관제서버(2); 식별정보 및 GPS 정보를 포함한 응급신호를 송출하는 응급차량 단말기(7); 다수가 분산 배치되어 담당 영역의 도로 영상을 획득하는 카메라(5); 및 딥-러닝(Deep learning) 기반의 객체분석 알고리즘을 이용하여, 상기 카메라(5)의 촬영에 의해 획득된 영상들을 분석하여 감지된 객체의 위치, 종류 및 크기 중 적어도 하나 이상을 포함하는 객체정보를 출력한 후, 출력된 객체를 트래킹하여 교통정보를 생성하며, 생성된 교통정보를 기반으로 최적 신호체계를 검출한 후, 검출된 최적 신호체계에 따른 감응신호를 교통신호 제어기(8)로 전송하는 콘트롤러(3); 를 포함하며, 상기 관제서버(2)는 상기 응급신호(7)를 수신·분석하여 상기 콘트롤러(3)를 응급모드로 전환시키고, 상기 콘트롤러(3)는 상기 GPS 정보 기준으로 기 설정된 반경 범위 내의 카메라 촬영 영상으로부터 상기 식별정보에 대응하는 응급차량(6)을 식별·추적하여, 상기 응급차량(6)의 진행 경로 기준으로 상기 감응신호에 우선하는 긴급제어신호를 상기 교통신호 제어기(8)로 전송하도록 구성된 것을 특징으로 하는 응급상황 대응 교통신호 제어 시스템(1)」을 제공한다.

본 발명의 기반이 되는 딥러닝 기반 객체 감응을 활용한 차량 제어 흐름 제어 시스템은 카메라 촬영에 의해 획득한 영상을 분석하여 차량 및 보행자 등의 객체분석정보를 검출한 후, 검출된 객체분석정보를 기반으로 신호체계를 수립하도록 구성됨으로써 객체 검출 및 감응의 정확성 및 신뢰도를 높임과 동시에 교차로 내 차량 대기시간을 줄이고 신호 위반차량 단속율을 높일 수 있다.

상기 카메라(5-1, … 5-n, 이하 '5'로 표기)는 다수개가 분산배치되어 담당 영역의 도로 영상을 획득한다. 상기 카메라(5)는 교차로, 단일차로 등을 포함한 다양한 도로에 설치될 수 있음은 당연하다. 상기 카메라(5)는 PTZ(Pan-Tilt_Zoom) 제어가 가능한 통상의 PTZ 카메라로 구현되는 것이 바람직하다.

[도 2]는 상기 카메라의 설치 상태 예시도이다. 상기 카메라(5)는 [도 2]의 (a)에 도시된 바와 같이 신호등 지주 상부에 결합된 일자형 폴(pole)에 설치하거나 (b)에 도시된 바와 같이 캔틸레버형 폴(pole)에 설치하여 촬영 각도가 상부에서 하부를 향하는 방향으로 설치하는 것이 바람직하다.

상기 콘트롤러(3)는 딥-러닝(Deep learning) 기반의 객체분석 알고리즘을 이용하여, 상기 카메라(5)의 촬영에 의해 획득된 영상들을 분석하여 감지된 객체의 위치, 종류 및 크기 중 적어도 하나 이상을 포함하는 객체정보를 출력한 후, 출력된 객체를 트래킹하여 교통정보를 생성하며, 생성된 교통정보를 기반으로 최적 신호체계를 검출한 후, 검출된 최적 신호체계에 따른 감응신호를 상기 교통신호 제어기(8)로 전송한다. 상기 콘트롤러(3)는 다수 지역에 분산 배치될 수 있으며, 구역별로 나누어 1구역당 1대의 콘트롤러(3)가 복수대의 카메라(5) 촬영 영상을 분석하도록 배치될 수 있다.

상기 교통신호 제어기(8)는 신호등(9-1, …, 9-m, 이하 '9'로 표기)의 점등 및 점멸을 제어한다.

아울러, 상기 콘트롤러(3)는 도로 갓길 또는 신호등 지주에 설치된 디스플레이 장치(10)에 각종 정보문구를 전달하여 현시되도록 할 수 있다. 상기 디스플레이 장치(10)는 컨트롤러(3)의 제어에 따라, 기 설정된 경고문구 등이 현시되도록 할 수 있다. 예를 들어, 상기 디스플레이 장치(10)를 우회전 차로의 갓길에 설치하여 차량 우회전 시 보행자가 감지될 때, 기 설정된 경고 문구를 출력하도록 구성될 수 있다.

상기 콘트롤러(3)는 카메라(5), 교통신호 제어기(8), 디스플레이 장치(10) 등과 유·무선 통신망(4)을 통해 데이터를 송·수신할 수 있다. 물론, 상기 콘트롤러(3)는 후술할 관제서버(2) 및 응급차량 단말기(7)와도 유·무선 통신망(4)을 통해 데이터를 송·수신할 수 있으며 이에 관한 자세한 사항은 후술한다.

상기 통신망(4)은 본 발명 시스템(1)의 구성요소 간 데이터 통신을 지원한다. 광역통신망(WAN), LAN(local area network)망, VAN(Value Added Network)망, 유선통신망 등을 상황에 맞게 혼용할 수 있다.

상기 콘트롤러(3)를 구체적으로 설명하면, [도 3]에 도시된 바와 같이, 제어부(30)와 제어대상인 메모리(31), 통신 인터페이스부(32), 인공지능 학습부(33), 영상 분류부(34), 인공지능 기반 영상 분석부(35), 사용량 모니터링부(36), 객체분석정보 생성부(37), 교통정보 생성부(38), 신호체계 수립부(39), 위반차량 단속부(40), 번호인식부(41), 경고문구 출력부(42) 및 영상분류테이블 생성/갱신모듈(43)을 포함하여 구성할 수 있다. 이때 인공지능 기반 영상 분석부(35)는 복수개의 인공지능 기반 영상 분석모듈(35-1, …, 35-M, 이하 '35'로 표기)들로 이루어지고, 각 인공지능 기반 영상 분석모듈은 각 GPU(Graphic Processing Unit)에 설치되어 영상 분석을 수행한다. 상기 교통신호 제어기(8)는 콘트롤러(3)로부터 최적 신호체계에 따른 감응신호를 전송받으면, 전송받은 감응신호에 따라 신호등(9)들이 동작하도록 이들을 제어한다.

상기 제어부(30)는 컨트롤러(3)의 OS(Operating System)이며, 제어대상(31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43)들을 관리 및 제어한다.

또한 상기 제어부(30)는 기 설정된 주기(T) 마다 인공지능 학습부(33)를 실행시키며, 기 설정된 제1 주기(T1) 마다 영상분류테이블 생성/갱신모듈(43)을 실행시킨다.

또한 상기 제어부(30)는 통신 인터페이스부(32)를 통해 카메라(5)들로부터 전송받은 영상들을 영상 분류부(34)로 입력하고, 영상 분류부(34)에 의해 분류된 바에 따라 영상들을 해당하는 인공지능 기반 영상 분석모듈(35)들로 각각 입력한다.

또한 상기 제어부(30)는 객체분석정보 생성부(37)에 의해 생성된 객체분석정보를 교통정보 생성부(38), 위반차량 단속부(40) 및 경고문구 출력부(42)로 입력한다.

또한 상기 제어부(30)는 신호체계 수립부(39)에 의해 최적 신호체계가 수립되면, 수립된 최적 신호체계에 따른 감응신호를 생성한 후, 생성된 최적 신호체계에 따른 감응신호가 교통신호 제어기(8)로 전송되도록 통신 인터페이스부(32)를 제어한다.

또한 상기 제어부(30)는 위반차량 단속부(40)에 의해 위반차량 검출 시, 해당 위반차량의 영상과 차량번호를 매칭 시킨 후, 매칭된 데이터가 관제서버(2)로 전송되도록 통신 인터페이스부(32)를 제어한다.

즉, 본 발명은 위반차량이 검출되지 않는 평시에는 영상들을 관제서버(2)로 전송하지 않되, 위반차량이 검출되는 이벤트가 발생한 경우에만, 영상들을 관제서버(2)로 전송함으로써 종래에 대용량의 영상들이 동시에 관제서버(2)로 전송됨에 따라 통신부하, 연산처리량 급증 및 데이터 저장 효율성이 떨어지는 문제점을 획기적으로 해결할 수 있게 된다.

상기 메모리(31)에는 각 카메라(5)들의 위치 및 식별정보가 기 설정되어 저장된다. 또한 상기 메모리(31)에는 각 전시수단(11)의 위치 및 식별정보가 기 설정되어 저장된다.

또한 상기 메모리(31)에는 각 카메라(5)의 감지영역의 위치정보와, 교차로 및 각 연결차로의 위치정보가 기 설정되어 저장된다.

또한 상기 메모리(31)에는 인공지능 학습부(33)에 의해 학습된 객체분석 알고리즘이 저장되고, 영상분류테이블 생성/갱신모듈(43)에 의해 생성/갱신된 영상분류테이블이 생성된다. 이때 영상분류테이블은 각 카메라로부터 입력된 영상을 처리할 대상인 GPU가 매칭된 데이터를 의미한다.

또한 상기 메모리(31)에는 카메라(5)들로부터 전송받은 영상들과, 객체분석정보 생성부(37) 및 교통정보 생성부(38)에 의해 생성된 객체분석정보 및 교통정보와, 번호인식부(41)에 의해 인식된 차량번호가 임시 저장된다.

[도 4]는 상기 인공지능 학습부(33)의 객체분석 알고리즘에 적용되는 YOLOv4 모델을 나타내는 개념도이고, [도 5]는 상기 객체분석 알고리즘에 적용되는 CNN을 설명하기 위한 예시도이다.

상기 인공지능 학습부(33)는 상기 제어부(30)의 제어에 따라 기 설정된 주기(T) 마다 실행되며, 딥-러닝(Deep learning) 기반의 객체분석 알고리즘을 학습화하며, 상세하게는 주기(T) 동안 수집된 영상과 기 설정된 객체종류를 활용하여, 영상 및 객체종류 간의 상관관계를 학습할 수 있는 학습데이터를 생성하고 생성된 학습데이터를 활용하여 객체영상 및 객체종류 간의 상관관계에 대한 파라미터 값들의 집합인 추출모델을 도출한다.

이때 객체분석 알고리즘은 입력영상을 입력데이터로 하되, 입력된 영상으로부터 기 설정된 차량 및 보행자 등의 객체정보(인식, 위치, 종류, 크기 등)를 출력하는 딥-러닝 알고리즘이다.

또한 상기 객체분석 알고리즘으로는 심층신경망 객체 검지 알고리즘의 하나인 합성곱 신경망(CNN, Convolution Neural Network) 기반의 YOLO를 적용하였고,

1) YOLO는 각 이미지를 S × S개의 그리드로 분할하고 그리드의 신뢰도를 계산하여 경계상자의 위치를 조정함으로써 객체 인식율이 뛰어날 뿐만 아니라 실시간 처리가 가능한 장점을 갖고,

2) CNN은 영상인식에서 대표적으로 사용되는 방법으로 촬영된 이미지를 매트릭스로 수치화하여 데이터를 분석한 후, C1~C5까지는 데이터 처리를 위해 분할된 이미지 영역의 3차원 매트릭스를 분석하며 FC6, FC7에서는 이를 2차원으로 요약/정리하여 활용하며 이렇게 정리된 매트릭스를 딥러닝이나 영상분석에 사용하도록 구성된다.

이러한 YOLO의 인식률 평가를 위해 NVIDIA RTX 2080 Super 2-way 환경에서 테스트한 결과, Pretrained YOLOv4가 실생활에서 자주 볼 수 있는 80종류의 사물에 대해 가장 높은 평균인식률(75.67%)을 보였고, 그 중 자동차, 버스, 트럭 3종류의 사물에 대해서는 평균 80.39%의 인식률을 보였다. 이때 인식률은 모델 평가용 데이터셋(MSCOCO 2017)을 각 AI 모델에 순전파(Forward Propagation)하여 나온 인식 결과를 바탕으로, 'AI 모델이 인식한 사물 개수/이미지에 존재하는 사물 개수'를 계산하였다.

이러한 YOLO의 인식률을 기반으로, 본 발명에서는 객체분석 알고리즘의 인식 대상을 종래에서와 같이, 80종류로 설정하지 않고, 도로에서 볼 수 있는 사물, 즉 자동차, 버스, 오토바이, 트럭, 인체의 5종류로 축소하여 설정함으로써 5% 이상의 인식률 개선이 이루어지도록 하였다.

이와 같이 본 발명의 인공지능 학습부(33)에 의해 학습되는 객체분석 알고리즘은 CNN 기반의 YOLO를 적용하여 학습이 이루어지되, 인식대상을 도로에서 흔히 볼 수 있는 5종류로 제한함으로써 객체 인식 및 분류의 정확성 및 정밀도를 현저히 높일 수 있고, 이에 따라 최적 신호체계 수립의 정확성 및 신뢰도가 함께 증가하여 차량 대기시간을 획기적으로 절감시킬 수 있게 된다.

[도 6]은 상기 영상 분류부(34)를 나타내는 블록도이고, [도 7]은 상기 영상 분류부(34)의 영상분류 개념도이다.

상기 영상 분류부(34)는 [도 7]에 도시된 바와 같이, 영상입력모듈(341)과, 비교 및 판단모듈(342), 일대일기반 분류모듈(343), 영상분류테이블기반 분류모듈(344)로 이루어진다.

상기 영상입력모듈(341)은 카메라(5)들로부터 전송받은 영상(카메라 식별정보 포함)을 입력받는다.

비교 및 판단모듈(342)은 해당 교차로에 설치된 카메라(5)들의 전체 수량(N)과, 컨트롤러(3)에 구비된 GPU(Graphic Processing Unit)의 전체 수량(M)을 비교하며, 상세하게로는 전체 카메라 수량(N)이 전체 GPU 수량(M)의 이하(N ≤ M)인지를 비교한다.

이때 각 GPU에는 인공지능 기반 영상 분석모듈(35)들이 각각 구비되어, 인공지능 학습부(33)에 의해 학습된 딥-러닝 기반의 객체분석 알고리즘을 이용하여 입력된 영상을 분석한다.

또한 상기 비교 및 판단모듈(342)은

1) 만약 전체 카메라 수량(N)이 전체 GPU 수량(M) 이하이면, 일대일 기반 분류모듈(343)을 실행시키고,

2) 만약 전체 카메라 수량(N)이 전체 GPU 수량(M)을 초과하면, 영상분류테이블 기반 분류모듈(344)을 실행시킨다.

상기 일대일 기반 분류모듈(343)은 비교 및 판단모듈(342)에서 전체 카메라 수량(N)이 전체 GPU 수량(M)의 이하(N ≤ M)일 때 실행된다. 즉 일대일 기반 분류모듈(343)은 각 카메라(5)의 영상이 단일 GPU(35)에서 영상처리가 가능할 때 실행된다.

또한 상기 일대일 기반 분류모듈(343)은 입력된 영상들을 GPU(인공지능 기반 영상 분석부, 35)들로 각각 입력하는 방식으로 영상들을 분류한다.

즉 상기 일대일 기반 분류모듈(343)은 카메라(5)의 촬영에 의해 획득된 영상들을 일대일로 각 GPU(35)에 입력한다.

상기 영상분류테이블 기반 분류모듈(344)은 비교 및 판단모듈(342)에서 전체 카메라 수량(N)이 전체 GPU 수량(M)을 초과(N>M)할 때 실행된다. 즉 영상분류테이블 기반 분류모듈(344)은 GPU(35)들 중 적어도 하나 이상이 두 개 이상의 영상들을 처리해야하는 조건일 때 실행된다.

또한 상기 영상분류테이블 기반 분류모듈(344)은 영상분류테이블 생성/갱신모듈(43)에 의해 생성/갱신되어 메모리(31)에 저장된 영상분류테이블을 추출한다. 이때 영상분류테이블은 각 카메라로부터 입력된 영상을 처리할 대상인GPU가 매칭된 데이터를 의미한다.

상기 영상분류테이블 기반 분류모듈(344)은 추출된 영상분류테이블에 따라 입력된 영상들을 해당 GPU(35)로 입력하는 방식으로 영상들을 분류한다.

상기 인공지능 기반 영상 분석모듈(35)들은 인공지능 학습부(35)에 의해 학습된 객체분석 알고리즘을 이용하여, 입력된 영상을 분석하여 객체정보(인식, 위치, 종류, 크기 등)를 출력한다.

상기 사용량 모니터링부(36)는 각 인공지능 기반 영상 분석모듈(35)들 중 적어도 하나 이상이 동작할 때 실행된다.

상기 사용량 모니터링부(36)는 동작 중인 인공지능 기반 영상 분석 모듈(35)들의 영상분석을 위한 사용량(부하량)을 검출하며, 검출된 사용량 정보를 메모리(31)에 저장한다. 즉 상기 사용량 모니터링부(36)는 영상 분석을 위한 연산처리로 인한 각 GPU의 사용량을 실시간 검출하여 메모리(31)에 저장한다.

상기 객체분석정보 생성부(37)는 인공지능 기반 영상 분석모듈(35)들에 의해 검출된 객체정보들과, 각 카메라(5)의 감지영역의 위치정보와, 교차로 및 각 연결차로의 위치정보를 활용함과 동시에 검출된 객체들을 트래킹하여, 각 객체가 위치한 차로종류 및 차선, 이동속도 및 방향 등을 포함하는 객체분석정보를 생성한다.

이때 상기 제어부(30)는 객체분석정보 생성부(37)에 의해 생성된 객체분석정보를 메모리(31)에 저장함과 동시에 교통정보 생성부(38) 및 위반차량 단속부(40)로 입력한다.

상기 교통정보 생성부(38)는 객체분석정보 생성부(37)로부터 입력된 객체분석정보를 활용 및 참조하여, 각 연결차로의 대기열, 대기시간 및 교통량 등을 포함하는 교통정보를 생성한다. 이때 상기 교통정보 생성부(38)에 의해 생성된 교통정보는 제어부(30)의 제어에 따라 메모리(31)에 저장됨과 동시에 신호체계 수립부(39)로 입력된다.

상기 신호체계 수립부(39)는 기 설정된 최적 신호 검출 알고리즘을 이용하여, 교통정보 생성부(38)로부터 입력된 교통정보를 기반으로 최적 신호체계를 수립한다.

이때 교통정보를 기반으로 최적 신호체계를 수립하는 최적 신호 검출 알고리즘에 대한 기술 및 방법은 신호 제어시스템에 있어서 통상적으로 사용되는 기술 및 방법이기 때문에 상세한 설명은 생략하기로 하고, 공지된 다양한 기술 및 방법이 적용될 수 있다.

[도 8]은 상기 위반차량 단속부(40)에 의해 감지되는 꼬리물기 위반차량을 나타내는 예시도이다.

상기 위반차량 단속부(40)는 객체분석정보 생성부(37)에 의해 생성된 객체분석정보와, 교통신호 제어기(7)로부터 입력된 현재 현시정보, 교차로 및 각연결차로의 위치정보를 활용하여, 꼬리물기 등의 위반차량을 검출한다.

이때 제어부(30)는 위반차량 단속부(40)에 의해 위반차량이 검출되면, 검출된 위반차량 정보와, 번호인식부(41)에 의해 인식된 위반차량의 차량번호, 해당 위반차량이 촬영된 영상을 매칭시키며, 매칭된 데이터가 관제서버(9)로 전송되도록 통신 인터페이스부(32)를 제어한다.

[도 9]는 상기 번호인식부(41)를 설명하기 위한 예시도이다. 상기 번호인식부(41)는 연결차로의 차량이 교차로에 진입하는 구간을 통과하는 차량의 영상을 분석하여 차량번호를 인식한다. 이 경우 상기 경고문구 출력부(42)는 객체분석정보 생성부(37)에 의해 생성된 객체분석정보를 활용하여, 차량 및 보행자 충돌이 예측될 때, 해당 전시수단(11)에 경고문구가 출력되도록 할 수 있다.

[도 10]은 상기 영상분류테이블 생성/갱신부(43)를 나타내는 예시도이다. 상기 영상분류테이블 생성/갱신부(43)는 제어부(30)의 제어에 따라, 기 설정된 제1 주기(T1) 마다 실행된다. 또한 상기 영상분류테이블 생성/갱신부(43)는 데이터 수집모듈(431)과, 각 GPU 총사용량 산출모듈(432), 각 GPU 평균사용량 산출모듈(433), 상한설정값(TH) 비교모듈(434), 점검후보 결정모듈(435), GPU 정렬모듈(346), 변경대상 결정모듈(347), 영상분류테이블 갱신모듈(348)로 이루어진다.

상기 데이터 수집모듈(431)은 기 설정된 제1 주기(T1) 동안의 각 GPU별 사용량 데이터들을 수집한다.

각 GPU 총사용량 산출모듈(432)은 데이터 수집모듈(431)에 의해 수집된 각 GPU별 사용량 데이터들을 활용하여, 각 GPU별 총사용량을 산출한다.

각 GPU 평균사용량 산출모듈(433)은 각 GPU 총사용량 산출모듈(432)에 의해 산출된 각 GPU별 총사용량과 제1 주기(T1)를 활용하여, 각 GPU별 평균사용량()을 산출한다.

상한설정값(TH) 비교모듈(434)은 각 GPU 평균사용량 산출모듈(433)에 의해 산출된 각 GPU별 평균사용량( )과 기 설정된 상한설정값(TH)을 비교하며, 상세하게로는 각 GPU별 평균사용량()이 상한설정값(TH) 이상(≥TH )인지를 비교한다.

이때 상한설정값(TH)은 해당 GPU에서 과부하로 판단할 수 있는 사용량 최소값으로 정의된다.

점검후보 결정모듈(435)은 상한설정값(TH) 비교모듈(434)에서,

1) 상한설정값(TH) 미만의 평균사용량()을 갖는 GPU(35)는 점검후보에서 제거하되,

2) 상한설정값(TH) 이상의 평균사용량()을 갖는 GPU(35)가 검출되면, 해당 GPU를 점검후보로 결정한다.

상기 GPU 정렬모듈(436)은 점검후보 결정모듈(435)에서 점검후보가 결정될 때 실행된다.

또한 상기 GPU 정렬모듈(436)은 각 GPU 평균사용량 산출모듈(433)에서 산출된 평균사용량()들을 활용하여, GPU(35)들을 평균사용량()이 낮은 순서로 차례대로 정렬시킨다.

상기 변경대상 결정모듈(437)은 GPU 정렬모듈(436)을 통해 평균사용량( )이 가장 낮은 GPU를 변경대상으로 결정한다.

상기 영상분류테이블 갱신모듈(438)은 점검후보 결정모듈(435)에서 점검 후보로 결정된 GPU에 매칭된 복수개의 영상들 중 어느 하나가, 변경대상 결정모듈(347)에서 변경대상으로 결정된 GPU로 입력되도록 하는 결정한 후, 결정된 매칭정보가 반영되도록 영상분류테이블을 갱신한다.

이때 영상분류테이블 갱신모듈(438)에 의해 갱신된 영상분류테이블은 제어부(30)의 제어에 따라 메모리(31)에 저장된다.

이와 같이 구성되는 본 발명의 일실시예인 객체 감응을 활용한 차량흐름 제어 시스템(1)은 카메라들에 의해 촬영된 영상을 분석하여 객체정보 및 교통정보를 생성한 후, 생성된 교통정보에 따라 최적 현시체계를 생성한 후, 생성된 최적 현시체계에 따라 교통신호가 제어되도록 구성됨으로써 차량 정체율 및 대기시간을 현저히 절감시킬 수 있을 뿐만 아니라 이에 따른 연비소모 및 오염가스 배출량을 효과적으로 줄여 사회적 비용 소모를 절감시킬 수 있게 된다.

또한 본 발명의 객체 감응을 활용한 차량 흐름 제어 시스템(1)은 딥-러닝 알고리즘을 이용하여 입력된 영상들을 분석함에 따라 객체 인식률을 개선시켜 분석의 정확성 및 신뢰도를 획기적으로 높일 수 있다.

또한 본 발명의 객체 감응을 활용한 차량 흐름 제어 시스템(1)은 딥-러닝 알고리즘으로 합성곱 신경망(CNN, Convolution Neural Network) 기반의 YOLO 모델을 적용시킴으로써 객체 인식률을 더욱 높일 수 있게 된다.

또한 본 발명의 객체 감응을 활용한 차량 흐름 제어 시스템(1)은 딥-러닝 알고리즘의 학습 시, 인식대상을 종래에 80종류에서, 도로에서 자주 볼 수 있는 5종류로 제한하여 학습이 이루어지도록 구성됨으로써 객체 인식률을 더욱 개선시킬 수 있다.

또한 본 발명의 객체 감응을 활용한 차량 흐름 제어 시스템(1)은 복수개의 GPU들을 이용하여 영상을 분석함으로써 카메라들의 촬영에 의해 획득된 고용량의 영상들의 실시간 처리 및 분석이 가능하게 된다.

본 발명 시스템(1)은 위와 같은 딥러닝 기반 객체 감응을 활용한 차량 제어 흐름 제어 시스템을 기반으로 응급상황 통제를 위한 구성이 부가된다.

즉, 본 발명 시스템(1)은 식별정보 및 GPS 정보를 포함한 응급신호를 송출하는 응급차량 단말기(7)를 더 포함하여 구성되고, 상기 관제서버(2)는 상기 응급신호를 수신·분석하여 상기 콘트롤러(3)를 응급모드로 전환시킨다.

상기 응급차량 단말기(7)는 소방차, 구급차 등의 응급차량(6)에 장착되거나, 응급차량(6) 운전자가 소지한 스마트폰, 테블릿 등의 모바일 단말기로서, 전용 앱(App)의 활성모드에서 식별정보 및 GPS 정보를 포함한 응급신호를 송출하도록 구성된다. 상기 전용 앱(App)은 별도의 아이콘 터치에 의해 활성화되거나 백그라운드 방식으로 활성화 상태가 유지되도록 할 수 있다. 또한 상기 모바일 단말기는 관제서버(2) IP 주소를 타겟팅하여 응급신호를 송출토록 구성할 수 있다. 상기 전용 앱(App)의 활성모드에서는 관제서버(2)와 직접 음성, 문자, 영상, 데이터 등의 송·수신을 통한 교신이 이루어지도록 구성할 수 있다.

또한 상기 응급차량 단말기(7)에는 네비게이션 기능이 구비되어, 상기 네비게이션 UI에 목적지가 입력되면 상기 관제서버(2)가 송출하는 필요 정보를 수신하여 현시하도록 구성될 수 있다. 이에, 상기 관제서버(2)는 상기 응급차량 단말기(7)의 네비게이션 UI를 통해 입력된 목적지 정보를 수신하여, 실시간 교통량, 도로너비(차선 수), 신호제어 편의성 등을 고려한 최적 경로를 도출하여 상기 응급차량 단말기(7)에 제공할 수 있는 것이다. 또한 상기 관제서버(2)는 상기 응급차량(6)의 실시간 GPS 정보를 반영하여 상기 최적 경로를 변경하여 제공할 수 있다.

상기 관제서버(2)는 상기 응급신호를 수신하여, 응급차량(6)의 식별정보와 GPS 정보를 분석하여, 콘트롤러(3)를 응급모드로 전환시킨다. 분석된 GPS 정보 기준으로 기 설정된 반경 범위 내의 콘트롤러(3)를 모두 응급모드로 전환시키거나, 상기 네비게이션 UI에 입력되는 목적지 정보에 따라 상기 응급차량(6) 진행 경로 상의 콘트롤러(3)를 모두 응급모드로 전환시킬 수 있다.

상기 콘트롤러(3)는 상기 응급신호에 포함되어 송출된 GPS 정보 기준으로 기 설정된 반경 범위 내의 카메라 촬영 영상으로부터 상기 식별정보에 대응하는 응급차량을 식별·추적하여, 상기 응급차량(6)의 진행 경로 기준으로 상기 감응신호에 우선하는 긴급제어신호를 상기 교통신호 제어기(8)로 전송하도록 구성된다.

[도 11]에 도시된 바와 같이 상기 관제서버(2)에서 상기 응급차량 단말기(7)에 최적 경로 정보를 제공하는 경우, 상기 콘트롤러(3)는 관제서버(2)에서 도출한 최적 경로와 응급차량(6)의 실시간 진행 경로를 대조하며, 상기 응급차량(6) 앞 구간의 교통신호 제어기에 선제적으로 긴급제어신호를 전송하도록 구성될 수 있다. 상기 긴급제어신호에 의해 교차로 신호, 보행자 신호 등에 우선하여 응급차량(6)의 진행을 저지하지 않도록 신호 제어가 이루어지질 수 있다. [도 11]은 상기 최적 경로를 붉은색 실선으로 나타냈고, 상기 콘트롤러(3)가 전송하는 긴급제어신호에 의해 제어되는 교통신호 제어기는 제어순서에 따라 파란색 원 안에 넘버링하여 나타냈다.

이상에서 본 발명에 관하여 구체적인 실시예와 함께 상세하게 설명하였다. 그러나 위의 실시 예에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 요지를 벗어남이 없는 범위에서 수정 또는 변형될 수 있다. 따라서 본 발명의 청구범위는 이와 같은 수정 또는 변형을 포함한다.

1 : 응급상황 대응 교통신호 제어 시스템
2 : 관제서버 3 : 콘트롤러
4 : 통신망 5, 5-1, …, 5-n : 카메라
6 : 응급차량 7 : 응급차량 단말기
8 : 교통신호 제어기 9, 9-1, …, 9-m : 신호등
10 : 디스플레이 장치

Claims (3)

1. 관제서버;
   식별정보 및 GPS 정보를 포함한 응급신호를 송출하는 응급차량 단말기;
   다수가 분산 배치되어 담당 영역의 도로 영상을 획득하는 카메라; 및
   딥-러닝(Deep learning) 기반의 객체분석 알고리즘을 이용하여, 상기 카메라의 촬영에 의해 획득된 영상들을 분석하여 감지된 객체의 위치, 종류 및 크기 중 적어도 하나 이상을 포함하는 객체정보를 출력한 후, 출력된 객체를 트래킹하여 교통정보를 생성하며, 생성된 교통정보를 기반으로 최적 신호체계를 검출한 후, 검출된 최적 신호체계에 따른 감응신호를 교통신호 제어기로 전송하는 콘트롤러; 를 포함하며,
   상기 관제서버는 상기 응급신호를 수신·분석하여 상기 콘트롤러를 응급모드로 전환시키고,
   상기 콘트롤러는 상기 GPS 정보 기준으로 기 설정된 반경 범위 내의 카메라 촬영 영상으로부터 상기 식별정보에 대응하는 응급차량을 식별·추적하여, 상기 응급차량의 진행 경로 기준으로 상기 감응신호에 우선하는 긴급제어신호를 상기 교통신호 제어기로 전송하도록 구성된 것을 특징으로 하는 응급상황 대응 교통신호 제어 시스템.
   
2. 제1항에서,
   상기 응급차량 단말기는, 네비게이션 기능이 구비되어 있으며, 상기 네비게이션 UI에 목적지가 입력되면 상기 관제서버가 송출하는 필요 정보를 수신하여 현시하도록 구성된 것을 특징으로 하는 응급상황 대응 교통신호 제어 시스템.
   
3. 제2항에서,
   상기 관제서버는 상기 응급차량 단말기의 목적지 정보를 수신하여, 최적 경로를 도출하여 상기 응급차량 단말기에 제공하고,
   상기 콘트롤러는 상기 최적 경로와 응급차량의 실시간 진행 경로를 대조하며, 상기 응급차량 앞 구간의 교통신호 제어기에 선제적으로 상기 긴급제어신호를 전송하도록 구성된 것을 특징으로 하는 응급상황 대응 교통신호 제어 시스템.