KR20220096359A - Ai 디스플레이 장치 및 이를 이용한 충돌 방지시스템 - Google Patents

Abstract

본 발명은 컨트롤러, 레이더검지기, 카메라 및 디스플레이 패널이 일체형으로 제작됨으로써 불필요한 통신경로를 절감시켜 즉각적이고 신속한 서비스 제공이 가능하여 서비스 정확성 및 신뢰도를 극대화시킬 수 있을 뿐만 아니라 설치가 간단하고, AI 디스플레이 장치들이 차량 및 보행자의 충돌을 예측하여, 충돌 예측 시, 경고문구를 디스플레이 하도록 구성됨으로써 차량 및 보행자의 충돌을 미연에 효과적으로 방지할 수 있으며, 운전자 단말기의 보행자알림 어플리케이션이 접속된 AI 디스플레이 장치로부터 추출한 상태정보에 따라 운전자 단말기에 경고문구를 표출하도록 구성됨으로써 충돌 상황에 대한 정보전달의 정확성 및 효율성을 극대화시켜 충돌사고를 더욱 효과적으로 방지할 수 있는 AI 디스플레이 장치 및 이를 이용한 충돌 방지시스템에 관한 것이다.

Description

AI 디스플레이 장치 및 이를 이용한 충돌 방지시스템{AI displaying apparatus and collision avoidance system therewith}

본 발명은 AI 디스플레이 장치 및 이를 이용한 충돌 방지시스템에 관한 것으로서, 상세하게로는 스쿨존, 교차로, 횡단보도 등의 차량 및 보행자의 충돌을 사전에 미리 예측하여 AI 디스플레이 장치 및 운전자 단말기에 표출되도록 구성됨으로써 안전운전을 유도하여 보행자 및 차량의 충돌사고를 현저히 절감시킬 수 있는 AI 디스플레이 장치 및 이를 이용한 충돌 방지시스템에 관한 것이다.

최근 들어, 도로 인프라가 확장되고 자동차 보급률이 기하급수적으로 증가함에 따라 차량 및 보행자 충돌사고가 빈번하게 발생하고 있고, 이에 따라 설치 장소 및 환경에 적합한 안내문구, 경고문구 등을 보행자 및 차량에게 제공하기 위한 다양한 연구가 활발하게 이루어지고 있다.

특히 유치원생, 초등학생 등의 어린이는 어른과 비교하여 안전의식이 취약할 뿐만 아니라 주의력이 산만하기 때문에 어린이 유동수가 많은 학교나 유치원 등의 주변 지역을 어린이 보호구역(School zone)으로 지정하여 교통사고를 방지하기 위한 노력이 이어지고 있으나, 아직 어린이 보호구역 내에서 교통사고가 빈번하게 발생하고 있는 실정이다.

이에 따라 어린이 보호구역의 과속주행방지 및 과속차량단속을 위한 목적으로 다양한 무인 교통 단속 장비가 설치되고 있는 추세이다.

도 1은 국내등록특허 제10-1454127호(발명의 명칭 : 보행자 및 차량의 움직임을 감지하는 경고 제공 시스템)에 개시된 경고 제공 시스템을 나타내는 블록도이다.

도 1의 경고 제공 시스템(이하 종래기술이라고 함)(100)은 보행자의 움직임을 감지하는 보행자 동작 감지센서(101)와, 차량의 움직임을 감지하는 차량 동작 감지센서(151)와, 보행자가 보행자 동작 감지센서(101)로부터 위치하는 거리를 감지하는 보행자 거리 감지센서(102)와, 차량이 차량 동작 감지센서(151)로부터 위치하는 거리를 감지하는 차량 거리 감지센서(152)와, 차량이 이동하는 가속도를 감지하는 차량 가속도 감지 센서(153)와, 보행자 동작 감지센서(101) 및 보행자 거리 감지센서(102)와 연결되어 보행자의 동작 및 거리 감지 신호를 전달받는 보행자 제어부(105)와, 차량 동작 감지센서(151), 차량 거리 감지센서(152) 및 차량 가속도 감지 센서(153)와 연결되어 차량의 동작, 거리 및 가속도 감지 신호를 전달받는 차량 제어부(155)와, 보행자 제어부(105)와 연결되며 보행자 동작 감지센서(101) 및 거리 감지센서(102)의 측정 값에 따라 보행자의 위치 및 속도를 계산하는 보행자 정보 연산부(110)와, 차량 제어부(155)와 연결되며 차량 동작 감지센서(151), 거리 감지센서(152) 및 가속도 감지센서(153)의 측정 값에 따라 차량의 위치, 속도 및 가속도를 계산하는 차량 정보 연산부(161)와, 보행자 정보 연산부(110)로부터 인가되는 보행자의 위치 및 속도를 이용하여, 보행자 디스플레이부(120)의 점멸 주기를 결정하기 위한 보행자 디스플레이 연산부(115)와, 차량 정보 연산부(161)로부터 인가되는 차량의 위치, 속도 및 가속도를 이용하여, 차량 디스플레이부(162)의 점멸 주기를 결정하기 위한 차량 디스플레이 연산부(165)와, 보행자 디스플레이 연산부(115)로부터 인가되는 신호를 받아 보행자의 속도와 동일한 속도로 움직이는 영상을 출력하는 보행자 디스플레이부(120)와, 차량 디스플레이 연산부(165)로부터 인가되는 신호를 받아 차량의 속도 및 가속도와 동일한 속도로 움직이는 영상을 출력하는 차량 디스플레이부(162)로 이루어진다.

이와 같이 구성되는 종래기술(100)은 접근하는 보행자 및 차량을 인식하여 보행자 디스플레이부(120) 및 차량 디스플레이부(162)를 통해 무단횡단 보행자에 대한 경고문구가 출력되도록 구성됨으로써 무단횡단에 의한 사고를 효과적으로 방지할 수 있는 장점을 갖는다.

그러나 종래기술(100)은 인도에 간격을 두고 설치되는 차량 디스플레이부(162)들을 통해 전시되는 경고문구를 운전자가 육안으로 확인하는 방식으로 운영되기 때문에 정보 전달 정확성 및 효율성이 떨어져 운전자 부주의로 인해 운전자가 차량 디스플레이부(162)에서 표출되는 경고문구를 인지하지 못하는 현상이 빈번하게 발생하고, 이에 따라 무단횡단 사고 방지의 효율성이 현저히 떨어지는 단점을 갖는다.

또한 종래기술(100)은 보행자 및 차량의 위치, 방향 및 속도와 상관없이, 무단횡단 보행자 검지 시에만, 보행자 디스플레이부(120) 및 차량 디스플레이부(162)에 경고문구가 출력되도록 구성되었기 때문에 인접한 차량 디스플레이부(162)들 사이를 차량이 통과할 때, 해당 구간에서 무단횡단자가 갑작스럽게 발생하는 경우, 운전자에게 무단횡단에 대한 정보를 제공할 수 없는 문제점을 갖는다.

특히 주의력이 산만한 어린이의 유동량이 많은 스쿨존에서는 갑작스러운 어린이의 출현에 대한 특별한 주의가 필요하나, 종래기술(100)에서와 같이 단순히 고정된 위치에 설치된 차량 디스플레이부(162)들을 이용하여 경고문구를 출력하는 방식으로는 운전자의 신속하고 즉각적인 인지 및 대응이 이루어질 수 없는 구조적 한계를 갖는다.

또한 종래기술(100)은 보행자 및 차량 감지센서들과, 보행자 디스플레이부, 차량 디스플레이부, 연산처리부가 개별적인 장치로 독립적으로 설치됨으로써 네트워크망 구성이 번거롭고 복잡할 뿐만 아니라 데이터 통신으로 인한 불필요한 시간소모가 발생하여 즉각적이고 신속한 서비스 제공이 이루어지지 않을 뿐만 아니라 통신에러 및 오류가 발생하여 서비스 신뢰도 및 정확성이 떨어지는 문제점을 갖는다.

본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 컨트롤러, 레이더검지기, 카메라 및 디스플레이 패널이 일체형으로 제작됨으로써 불필요한 통신경로를 절감시켜 즉각적이고 신속한 서비스 제공이 가능하여 서비스 정확성 및 신뢰도를 극대화시킬 수 있을 뿐만 아니라 설치가 간단한 AI 디스플레이 장치 및 이를 이용한 충돌 방지시스템을 제공하기 위한 것이다.

또한 본 발명의 다른 해결과제는 도로에 간격을 두고 설치되는 AI 디스플레이 장치들이 차량 및 보행자의 충돌을 예측하여, 충돌 예측 시, 경고문구를 디스플레이 하도록 구성됨으로써 차량 및 보행자의 충돌을 미연에 효과적으로 방지할 수 있는 AI 디스플레이 장치 및 이를 이용한 충돌 방지시스템을 제공하기 위한 것이다.

또한 본 발명의 다른 해결과제는 카메라에 의해 촬영된 영상으로부터 객체(보행자)를 검출하기 위한 객체인식 알고리즘이 FPGA 모듈로 제작됨에 따라 저전력 및 처리속도의 개선이 가능함과 동시에 종래에서와 같이 객체인식 전용 SoC(System on Chip)를 사용하지 않고 AP의 GPU에서 영상을 처리하여 고속 연산이 이루어질 수 있을 뿐만 아니라 기 학습된 합성곱 신경망(CNN, Convolution Neural Network) 및 관계적 신경망(RNN, Recurrent Neural Network)의 딥러닝 연산 로직을 이용하여 입력된 영상으로부터 보행자 객체를 검출하도록 구성됨으로써 객체 인식률 및 인식속도를 극대화시킬 수 있는 AI 디스플레이 장치 및 이를 이용한 충돌 방지시스템을 제공하기 위한 것이다.

또한 본 발명의 또 다른 해결과제는 운전자 단말기의 보행자알림 어플리케이션이 접속된 AI 디스플레이 장치로부터 추출한 상태정보에 따라 운전자 단말기에 경고문구를 표출하도록 구성됨으로써 충돌 상황에 대한 정보전달의 정확성 및 효율성을 극대화시켜 충돌사고를 더욱 효과적으로 방지할 수 있는 AI 디스플레이 장치 및 이를 이용한 충돌 방지시스템을 제공하기 위한 것이다.

또한 본 발명의 또 다른 해결과제는 운전자 단말기의 보행자알림 어플리케이션이 접속된 AI 디스플레이 장치에 접속할 때, 기 설정된 메모리주소에 접근하여 상태정보를 추출하는 방식으로 상태정보를 수집하도록 구성됨으로써 종래에 단말기가 특정 컨트롤러에 접속하여 인증이 완료되면 해당 컨트롤러로 정보를 요청한 후, 응답데이터를 수신 받는 방식과 비교하여 통신경로가 최소화되어 즉각적이고 신속한 서비스 제공이 이루어질 수 있는 AI 디스플레이 장치 및 이를 이용한 충돌 방지시스템을 제공하기 위한 것이다.

상기 과제를 해결하기 위한 본 발명의 해결수단은 도로에 간격을 두고 설치되는 AI 디스플레이 장치들을 포함하는 충돌 방지시스템에 있어서: 상기 AI 디스플레이 장치들은 디스플레이 패널; 설치 위치로부터 후방에 형성된 제1 감지영역(S1)으로 레이더신호를 송수신하는 레이더검지기; 설치 위치로부터 전방에 형성된 제2 감지영역(S2)을 촬영하여 영상을 획득하는 카메라; 상기 레이더검지기에 의해 송수신된 레이더신호를 분석하여 차량을 감지함과 동시에 상기 카메라에 의해 획득된 영상을 분석하여 보행자를 감지하며, 상기 보행자 또는 차량 감지 시, 경고문구를 상기 디스플레이 패널에 전시하는 컨트롤러를 포함하는 것이다.

또한 본 발명에서 상기 컨트롤러는 메모리; 상기 레이더검지기에 의해 송수신된 레이더신호를 분석하여 제1 감지영역(S1)의 차량을 감지하는 신호분석 및 차량감지모듈; 상기 신호분석 및 차량감지모듈에 의해 감지된 차량을 추적하여 감지차량의 위치, 속도 및 방향을 포함하는 차량정보를 생성하는 차량정보 생성모듈; 입력 영상으로부터 기 설정된 객체인식 알고리즘을 이용하여 상기 카메라의 촬영에 의해 획득된 영상을 분석하여 보행자 객체를 검출하는 객체인식모듈; 상기 객체인식모듈에 의해 검출된 보행자 객체의 위치, 속도 및 방향을 포함하는 보행자정보를 생성하는 보행자정보 생성모듈; 차량정보 및 보행자정보를 입력값으로 하여, 충돌예측도를 출력하는 기 설정된 충돌예측 알고리즘을 이용하여 상기 차량정보 생성모듈에 의해 생성된 차량정보와 상기 보행자정보 생성모듈에 의해 생성된 보행자정보를 분석하여 충돌예측도를 검출하는 충돌예측모듈; 상기 충돌예측모듈에 의해 검출된 충돌예측도가 임계치 이상일 때, 상태정보를 안전주의상태로 결정하되, 충돌예측도가 임계치 미만일 때, 상태정보를 평시상태로 결정하는 상태정보 생성모듈; 상기 상태정보 생성모듈에 의해 생성된 상태정보를 상기 디스플레이 패널에 디스플레이 하는 디스플레이 모듈을 포함하는 것이 바람직하다.

또한 본 발명에서 상기 객체인식모듈은 상기 충돌 방지시스템이 스쿨존에 설치될 때, 인도보행자 및 무단횡단자를 보행자 객체로 검출하며, 상기 충돌 방지시스템이 횡단보도에 설치될 때, 횡단보도 보행자 및 무단횡단자를 보행자 객체로 검출하고, 상기 충돌예측모듈은 상기 충돌 방지시스템이 스쿨존에 설치되어 인도보행자를 보행자 객체로 검출할 때, 보행자 객체의 보행자정보와 상관없이 충돌예측도를 임계치 이상으로 검출하는 것이 바람직하다

또한 본 발명에서 상기 충돌 방지시스템은 근거리 통신모듈을 포함하며 보행자알림 어플리케이션이 설치되는 운전자 단말기를 더 포함하고, 상기 컨트롤러는 근거리 통신모듈; 상기 상태정보 생성모듈에 의해 생성된 상태정보를 상기 메모리의 기 설정된 메모리주소의 필드에 저장하는 상태정보 파싱 및 저장모듈; 근거리통신망을 통해 운전자 단말기가 접속되면, 접속된 운전자 단말기의 상기 메모리주소의 메모리 접근을 허용하는 제어모듈을 더 포함하는 것이 바람직하다.

또한 본 발명에서 상기 보행자알림 어플리케이션은 실행 시, 상기 운전자 단말기의 근거리 통신모듈을 활성화시킨 후, 근거리통신 커버리지 내 위치한 AI 디스플레이 장치에 접속하여, 접근 허용된 메모리주소의 메모리에 저장된 상태정보를 추출한 후, 추출된 상태정보를 상기 운전자 단말기의 모니터에 디스플레이 하는 것이 바람직하다.

또한 본 발명에서 상기 객체인식모듈은 FPGA(Field Programmable Gate Array) 모듈로 제작되는 것이 바람직하다.

상기 과제와 해결수단을 갖는 본 발명에 따르면 컨트롤러, 레이더검지기, 카메라 및 디스플레이 패널이 일체형으로 제작됨으로써 불필요한 통신경로를 절감시켜 즉각적이고 신속한 서비스 제공이 가능하여 서비스 정확성 및 신뢰도를 극대화시킬 수 있을 뿐만 아니라 설치가 간단하며, 설치비용을 절감시킬 수 있다.

또한 본 발명에 의하면 AI 디스플레이 장치들이 차량 및 보행자의 충돌을 예측하여, 충돌 예측 시, 경고문구를 디스플레이 하도록 구성됨으로써 차량 및 보행자의 충돌을 미연에 효과적으로 방지할 수 있게 된다.

또한 본 발명에 의하면 카메라에 의해 촬영된 영상으로부터 객체(보행자)를 검출하기 위한 객체인식 알고리즘이 FPGA 모듈로 제작됨에 따라 저전력 및 처리속도의 개선이 가능함과 동시에 종래에서와 같이 객체인식 전용 SoC(System on Chip)를 사용하지 않고 AP의 GPU에서 영상을 처리하여 고속 연산이 이루어질 수 있을 뿐만 아니라 기 학습된 합성곱 신경망(CNN, Convolution Neural Network) 및 관계적 신경망(RNN, Recurrent Neural Network)의 딥러닝 연산 로직을 이용하여 입력된 영상으로부터 보행자 객체를 검출하도록 구성됨으로써 객체 인식률 및 인식속도를 극대화시킬 수 있다.

또한 본 발명에 의하면 운전자 단말기의 보행자알림 어플리케이션이 접속된 AI 디스플레이 장치로부터 추출한 상태정보에 따라 운전자 단말기에 경고문구를 표출하도록 구성됨으로써 충돌 상황에 대한 정보전달의 정확성 및 효율성을 극대화시켜 충돌사고를 더욱 효과적으로 방지할 수 있게 된다.

또한 본 발명에 의하면 운전자 단말기의 보행자알림 어플리케이션이 접속된 AI 디스플레이 장치에 접속할 때, 기 설정된 메모리주소에 접근하여 상태정보를 추출하는 방식으로 상태정보를 수집하도록 구성됨으로써 종래에 단말기가 특정 컨트롤러에 접속하여 인증이 완료되면 해당 컨트롤러로 정보를 요청한 후, 응답데이터를 수신 받는 방식과 비교하여 통신경로가 최소화되어 즉각적이고 신속한 서비스 제공이 이루어질 수 있다.

도 1은 국내등록특허 제10-1454127호(발명의 명칭 : 보행자 및 차량의 움직임을 감지하는 경고 제공 시스템)에 개시된 경고 제공 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일실시예인 충돌 방지시스템을 나타내는 구성도이다.
도 3은 본 발명이 스쿨존에 적용될 때를 나타내는 예시도이다.
도 4는 본 발명이 횡단보도에 적용될 때를 나타내는 예시도이다.
도 5는 본 발명이 교차로 횡단보도에 적용될 때를 나타내는 예시도이다.
도 6은 도 2의 AI 디스플레이 장치를 설명하기 위한 블록도이다.
도 7은 도 6의 컨트롤러를 나타내는 블록도이다.
도 8은 도 7의 노드별 교통정보를 설명하기 위한 예시도이다.
도 9은 도 6의 AI 디스플레이 장치를 나타내는 사시도이다.
도 10은 도 9의 분해 사시도이다.
도 11은 도 2의 운전자 단말기를 나타내는 사시도이다.
도 12는 도 2의 보행자알림 어플리케이션에 의해 충돌위험상태가 운전자 단말기에 노출될 때를 나타내는 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.

도 2는 본 발명의 일실시예인 충돌 방지시스템을 나타내는 구성도이고, 도 3은 본 발명이 스쿨존에 적용될 때를 나타내는 예시도이고, 도 4는 본 발명이 횡단보도에 적용될 때를 나타내는 예시도이고, 도 5는 본 발명이 교차로 횡단보도에 적용될 때를 나타내는 예시도이다.

본 발명의 일실시예인 충돌 방지시스템(1)은 차량 및 보행자를 감지하여 차량 및 보행자의 충돌을 사전에 미리 예측하여 AI 디스플레이 장치(7-1), ..., (7-N)들 및 운전자 단말기(5)에 표출되도록 구성됨으로써 정보전달의 정확성 및 신속성을 높여 차량 및 보행자의 충돌사고를 현저히 절감시키기 위한 것이다.

또한 본 발명의 충돌 방지시스템(1)은 도 2 내지 5에 도시된 바와 같이, 차량의 갓길에 설치되어 차량 및 보행자를 감지함과 동시에 충돌 예측 시, 경고문구를 디스플레이 하는 AI 디스플레이 장치(3-1), ..., (3-N)들과, 운전자가 소지한 단말기인 운전자 단말기(6)와, 운전자 단말기에 설치되어 근거리 통신망(20)을 통해 인접한 AI 디스플레이 장치(3)에 접속하여 AI 디스플레이 장치(3)에서 검출된 상태정보를 운전자 단말기(6)에 디스플레이 하는 응용프로그램인 보행자알림 어플리케이션(7)과, AI 디스플레이 장치(3)들로부터 전송받은 노드별 교통정보를 가공 및 활용하여 교통정보를 생성하며 이를 모니터링 하는 통합관제서버(5)와, 통합관제서버(5) 및 AI 디스플레이 장치(3-1), ..., (3-N)들 사이의 데이터 이동경로를 제공하는 통신망(10)과, 운전자 단말기(6) 및 AI 디스플레이 장치(3-1), ..., (3-N)들 사이의 근거리 통신을 지원하는 근거리 통신망(20)으로 이루어진다.

통신망(10)은 통합관제서버(5) 및 AI 디스플레이 장치(3-1), ..., (3-N)들 사이의 데이터 이동경로를 제공하며, 상세하게로는 광역통신망(WAN), 이동통신망, 유선통신망, 4G/5G/LTE 등으로 구성될 수 있다.

근거리 통신망(20)은 기 설정된 근거리통신 커버리지 내에 위치한, 운전자 단말기(6) 및 AI 디스플레이 장치(3) 사이의 데이터 이동경로를 제공하며, 상세하게로는 블루투스(Bluetooth), NFC(Near Field Communication), 로라(Rora)망 등의 공지된 근거리 통신방식으로 구성될 수 있다.

AI 디스플레이 장치(3-1), ..., (3-N)들은 도로의 갓길에 간격을 두고 설치되며, 후방을 향하는 제1 감지영역(S1)으로 레이더신호를 송수신하여 차량을 감지함과 동시에 전방을 향하는 제2 감지영역(S2)을 촬영하여 보행자를 감지한다.

이때 AI 디스플레이 장치(3-1), ..., (3-N)들 각각은 설치 환경에 따라, 보행자의 종류가 다르게 설정될 수 있다. 즉 일측 AI 디스플레이 장치는 설치 환경에 따라 횡단보도 보행자 및 무단횡단자를 보행자로 감지할 수 있고, 다른 AI 디스플레이 장치는 설치 환경에 따라 인도 보행자를 보행자로 감지할 수 있다.

예를 들어, 도 3에 도시된 바와 같이, 본 발명이 스쿨존에 적용될 때, AI 디스플레이 장치(3)들은 무단횡단자 뿐만 아니라 인도보행자까지 감지하도록 구성될 수 있고, 도 4와 5에 도시된 바와 같이, 본 발명이 횡단보도에 적용될 때, 횡단보도와 인접한 AI 디스플레이 장치(3)들은 횡단보도 보행자 및 무단횡단자를 감지하도록 구성될 수 있다.

일반적으로, 스쿨존은 주의력이 산만한 어린이의 갑작스러운 횡단이 이루어질 수 있기 때문에 AI 디스플레이 장치(3)가 무단횡단자 뿐만 아니라 인도보행자까지 감지하도록 구성됨으로써 운전자에게 더욱 철저한 경고정보를 제공하여 안전성을 높이도록 할 수 있다.

도 6은 도 2의 AI 디스플레이 장치를 설명하기 위한 블록도이다.

AI 디스플레이 장치(3)는 도 6에 도시된 바와 같이, 컨트롤러(31)와, 레이더검지기(33), 디스플레이 패널(35), 카메라(37)로 이루어진다.

레이더검지기(33)는 설치 위치로부터 후방에 형성된 제1 감지영역(S1)으로 레디어신호를 송수신한다. 이때 제1 감지영역(S1)은 해당 AI 디스플레이 장치(3)와 후방에 배치된 AI 디스플레이 장치 사이의 거리와 동일한 거리로 형성되는 것이 바람직하며, 상세하게로는 10 ~ 200m의 감지거리를 갖도록 설치된다.

또한 레이더검지기(33)에 의해 송수신된 레이더신호의 정보는 컨트롤러(31)로 입력된다.

디스플레이 패널(35)은 제어기(51)의 제어에 따라 경고문구가 디스플레이 되며, 경고문구가 후방을 향하도록 설치되어 차량운전자의 열람이 용이하게 이루어지도록 설치된다.

카메라(37)는 기 설정된 제2 감지영역(S2)을 촬영하여 영상을 획득하며, 획득된 영상을 컨트롤러(31)로 입력한다. 이때 제2 감지영역(S2)은 설치 위치로부터 전방의 인도 및 도로(차도)를 포함한다.

도 7은 도 6의 컨트롤러를 나타내는 블록도이다.

컨트롤러(31)는 도 7에 도시된 바와 같이, 제어모듈(310)과, 메모리(311), 데이터 송수신모듈(312), 근거리 통신모듈(313), 신호분석 및 차량감지모듈(314), 차량정보 생성모듈(315), 노드별 교통정보 생성모듈(316), 객체인식모듈(317), 보행자정보 생성모듈(318), 충돌예측모듈(319), 상태정보 생성모듈(320), 상태정보 파싱 및 저장모듈(321)디스플레이모듈(322)로 이루어진다.

제어모듈(310)은 컨트롤러(31)의 O.S(Operating System)이며, 제어대상(311), (312), (313), (314), (315), (316), (317), (318), (319), (320), (321), (322)들을 관리 및 제어한다.

또한 제어모듈(310)은 레이더검지기(33)에 의해 송수신된 레이더신호 정보를 신호분석 및 차량감지모듈(314)로 입력한다.

또한 제어모듈(310)은 카메라(37)의 촬영에 의해 영상이 획득되면, 획득된 영상을 객체인식모듈(317)로 입력함과 동시에 데이터 송수신모듈(312)을 통해 통합관제서버(5)로 전송한다.

또한 제어모듈(310)은 차량정보 생성모듈(315)에 의해 생성된 차량정보를 노드별 교통정보 생성모듈(316) 및 충돌예측모듈(319)로 입력한다.

또한 제어모듈(310)은 노드별 교통정보 생성모듈(316)에 의해 생성된 노드별 교통정보를 충돌예측모듈(319)로 입력함과 동시에 데이터 송수신모듈(312)을 통해 통합관제서버(5)로 전송한다.

또한 제어모듈(310)은 보행자정보 생성모듈(318)에 의해 차량정보 및 보행자정보가 생성되면, 생성된 보행자정보를 충돌예측모듈(319)로 입력한다.

또한 제어모듈(310)은 상태정보 생성모듈(320)에 의해 상태정보가 생성되면, 생성된 상태정보를 디스플레이모듈(513)로 입력한다.

또한 제어모듈(310)은 근거리 통신망(20)을 통해 운전자 단말기(6)가 접속되면, 기 설정된 메모리 주소로 접속된 운전자 단말기(6)의 접근을 허용한다. 이때 기 설정된 메모리 주소에는 상태정보가 저장된다.

메모리(311)에는 기 설정된 통신식별정보 및 위치정보와, 기 설정된 제1, 2 감지영역(S1), (S2)들의 위치정보가 저장된다.

또한 메모리(311)에는 카메라(37)에 의해 획득된 영상이 임시 저장된다.

또한 메모리(311) 중 기 설정된 주소의 필드에는 상태정보 파싱 및 저장모듈(519)에 의해 상태정보가 저장된다.

또한 메모리(311)에는 기 설정된 충돌예측 알고리즘이 저장된다.

이때 충돌예측 알고리즘은 차량정보 및 보행자정보를 입력값으로 하여, 충돌예측도를 출력값으로 하는 알고리즘이며, 상세하게로는 차량의 위치 및 속도와, 보행자의 위치 및 속도를 반영하여 이들의 충돌을 예측한다.

데이터 송수신모듈(312)은 통합관제서버(5)와 데이터를 송수신한다.

근거리 통신모듈(313)은 근거리통신망(20)에 접속된 운전자 단말기와 데이터를 송수신한다.

신호분석 및 차량감지모듈(314)은 레이더검지기(51)에 의해 송수신된 레이더신호를 분석하여 제1 감지영역(S1) 내의 차량을 감지한다.

차량정보 생성모듈(315)은 신호분석 및 차량감지모듈(314)에 의해 감지된 차량을 추적하여 감지차량의 위치, 속도 및 방향으로 이루어지는 차량정보를 생성한다.

이때 차량정보 생성모듈(315)에 의해 생성된 차량정보는 노드별 교통정보 생성모듈(316) 및 충돌예측모듈(319)로 입력된다.

도 8은 도 7의 노드별 교통정보를 설명하기 위한 예시도이다.

노드별 교통정보 생성모듈(316)은 도 8에 도시된 바와 같이, 제1 감지영역(S1)을 기 설정된 셀 단위, 즉 노드단위로 분할한 후, 각 노드의 위치정보와 감지차량의 위치정보를 비교하여 각 노드에 포함된 차량정보들을 이용하여 노드별 교통정보를 생성한다.

또한 노드별 교통정보 생성모듈(316)에 의해 생성된 노드별 교통정보는 제어모듈(310)의 제어에 따라 데이터 송수신모듈(312)을 통해 통합관제서버(5)로 전송된다.

즉 통합관제서버(316)는 모니터링 시, 각 노드 단위의 교통정보에 따라 색상을 다르게 표시하여 모니터링을 수행함으로써 열람자가 차량속도, 정체율 및 병목현상 등의 교통정보를 상세하고 쉽게 인지할 수 있게 된다.

객체인식모듈(317)은 카메라(37)의 촬영에 의해 획득된 영상이 입력되면, 기 설정된 객체인식 알고리즘을 이용하여 입력 영상을 분석하여 객체(보행자)를 검출한다.

이때 객체인식 알고리즘은 영상을 입력데이터로 하여, 객체(보행자)를 출력하는 딥러닝 CNN 알고리즘이다.

또한 본 발명의 객체인식모듈(317)은 FPGA(Field Programmable Gate Array) 모듈로 제작되어 저전력 및 처리속도의 개선이 가능하며, 종래에서와 같이 객체인식 전용 SoC(System on Chip)를 사용하지 않고 AP의 GPU에서 영상을 처리하여 고속 연산이 이루어지게 되며, 용도에 적합하게 새로운 로직을 추가 및 수정할 수 있을 뿐만 아니라 기 학습된 합성곱 신경망(CNN, Convolution Neural Network) 및 관계적 신경망(RNN, Recurrent Neural Network)의 딥러닝 연산 로직을 이용하여 입력된 영상으로부터 보행자 객체를 검출하도록 구성됨으로써 객체 인식률 및 인식속도를 극대화시킬 수 있게 된다.

또한 객체인식모듈(317)에 의해 검출된 객체정보는 보행자정보 생성모듈(318)로 입력된다.

예를 들어, 본 발명이 스쿨존에 설치될 때, 객체인식모듈(317)은 인도 보행자 및 무단횡단자를 보행자 객체로 인식할 수 있고, 본 발명이 횡단보도에 설치될 때, 객체인식모듈(317)은 횡단보도 보행자 및 무단횡단자를 보행자 객체로 인식할 수 있다.

충돌예측모듈(319)은 차량정보 생성모듈(315) 및 보행자정보 생성모듈(318)로부터 차량정보 및 보행자정보를 입력받는다.

또한 충돌예측모듈(319)은 기 설정된 충돌예측 알고리즘을 이용하여 입력된 차량정보 및 보행자정보를 분석하여 충돌예측도를 출력한다.

이때 충돌예측 알고리즘은 차량정보 및 보행자정보를 입력값으로 하여, 충돌예측도를 출력값으로 하는 알고리즘이며, 상세하게로는 차량의 위치 및 속도와, 보행자의 위치 및 속도를 반영하여 이들의 충돌을 예측한다.

또한 충돌예측모듈(319)은 본 발명이 스쿨존에 설치되어 인도보행자를 감지하도록 구성될 때, 별도의 연산처리를 하지 않고 임계치 이상의 충돌예측도를 출력한다. 즉 스쿨존에서는 인도보행자가 감지되는 것만으로, 운전자 단말기(6) 및 디스플레이 패널(35)에서 경고문구가 출력되도록 한다.

상태정보 생성모듈(320)은 충돌예측모듈(319)에 의해 출력된 1)충돌예측도가 임계치 이상이면서 보행자가 무단횡단자 또는 횡단보도 보행자일 때, 상태정보를 충돌위험상태로 결정하며, 2)충돌예측도가 임계치 이상이면서 보행자가 인도보행자일 때, 상태정보를 안전주의상태로 결정하며, 3)충돌예측도가 임계치 미만일 때, 상태정보를 평시상태로 결정한다.

또한 상태정보 생성모듈(320)에 의해 생성된 상태정보는 제어모듈(310)의 제어에 따라 상태정보 파싱 및 저장모듈(321)과 디스플레이 모듈(322)로 입력된다.

상태정보 파싱 및 저장모듈(321)은 상태정보 생성모듈(320)에 의해 상태정보가 생성될 때 실행되며, 상태정보 생성모듈(320)에 의해 생성된 상태정보를 기 설정된 메모리 주소의 메모리(311)에 저장한다.

디스플레이 모듈(322)은 상태정보 생성모듈(320)에 의해 생성된 상태정보에 대응하는 경고문구가 출력되도록 한다.

도 9은 도 6의 AI 디스플레이 장치를 나타내는 사시도이고, 도 10은 도 9의 분해 사시도이다.

본 발명의 AI 디스플레이 장치(3)는 도 9와 10에 도시된 바와 같이, 노면에 수직으로 설치되는 길이를 갖는 봉 형상의 수직암(391)과, 수직암(391)의 일측에 설치되어 경고문구가 출력되는 디스플레이 패널(35)와, 수직암(391)의 상단부에 설치되어 태양광을 수집하여 전기에너지로 변환하는 솔라셀(392)과, 디스플레이 패널(35)의 전방에 설치되어 레이더신호를 송수신하는 레이더검지기(33)와, 수직암(391)에 설치되는 컨트롤러(31)로 이루어진다.

이때 디스플레이 패널(35)에서 전시되는 경고문구는 노면으로부터 대략 200mm 이상의 높이에 배치되는 것이 바람직하다.

또한 도 9와 10에서는 도시되지 않았으나, 디스플레이 패널(35)의 하우징(351)의 후면에는 제2 감지영역(S2)을 촬영하여 영상을 획득하는 카메라(37)가 설치된다.

솔라셀(392)은 수직암(391)의 상단부에 경사지게 설치된다.

디스플레이 패널(35)의 하우징(351)은 시인성이 뛰어난 노란색 색상의 반사시트로 제작되는 것이 바람직하다.

이와 같이 본 발명의 AI 디스플레이 장치(3)는 컨트롤러(31), 레이더검지기(33), 카메라(37), 디스플레이 패널(35) 및 솔라셀(392)이 일체형으로 제작됨으로써 불필요한 통신경로를 최소화하여 통신오류 및 에러를 절감시킬 수 있을 뿐만 아니라 통신속도를 극대화할 수 있으며, 서로 다른 업체에서 제작된 부속장비들을 서로 연동시키기 위한 작업이 필요하지 않아 설치가 간단하고 신속하게 이루어질 수 있으며, 자체 전력공급이 가능하여 전력효율성을 높일 수 있게 된다.

도 11은 도 2의 운전자 단말기를 나타내는 사시도이다.

운전자 단말기(6)는 운전자가 소지하며 후술되는 도 12의 보행자알림 어플리케이션이 설치되는 휴대단말기이며, 상세하게로는 스마트폰(Smart phone)인 것이 바람직하다.

또한 운전자 단말기(6)는 도 11에 도시된 바와 같이, 통상의 스마트폰에 구비되어 일반 문자나 기호, 이미지 등의 콘텐츠가 전시되는 모니터(61)와, 통신망(10)과의 접속을 지원하는 통신 인터페이스모듈(52)과, 근거리 통신망(20)과의 접속을 지원하는 근거리 통신모듈(53)과, 휴대단말기의 O.S를 담당하며 제어대상을 제어하는 제어모듈(54)과, 메모리가 저장되는 메모리(55)와, 본 발명의 목적을 달성하기 위한 보행자알림 어플리케이션(7)을 관리 및 제어하는 어플리케이션 관리모듈(56)으로 이루어진다.

도 12는 도 2의 보행자알림 어플리케이션에 의해 충돌위험상태가 운전자 단말기에 노출될 때를 나타내는 예시도이다.

보행자알림 어플리케이션(7)은 운전자 단말기(6)에 설치되어 보행자 알림 서비스를 제공하기 위한 응용프로그램이다.

또한 보행자알림 어플리케이션(7)은 실행 시, 운전자 단말기(6)의 근거리 통신모듈(63)을 활성화시킨다.

또한 보행자알림 어플리케이션(7)은 운전자 단말기(6), 즉 차량이 전술하였던 도 6 내지 10의 AI 디스플레이 장치(5)와 근거리통신 커버리지내로 진입하면, 근거리 통신망(20)을 통해 AI 디스플레이 장치(5)에 접속한 후, 기 설정된 메모리주소에 저장된 상태정보를 추출한다.

또한 보행자알림 어플리케이션(7)은 추출된 상태정보에 따른 경고문구가 표시되는 기 제작된 그래픽 사용자 인터페이스(GUI, Graphic User Interface)를 운전자 단말기(6)의 모니터(61)에 디스플레이 한다. 이때 보행자알림 어플리케이션(7)은 상태정보가 충돌위험상태 또는 인도보행자일 때, 경고문구를 기 설정된 색상으로 점멸시킴과 동시에 음향 등을 통해 외부로 출력하도록 구성될 수 있다.

즉 본 발명의 보행자알림 어플리케이션(7)은 근거리통신 커버리지 내에 위치한 AI 디스플레이 장치(3)에 접속 시, AI 디스플레이 장치(3)의 기 설정된 메모리주소에 접근하여 상태정보를 추출하는 방식으로 상태정보를 수집하도록 구성되었기 때문에 종래에 단말기가 특정 컨트롤러에 접속하여 인증이 완료되면 해당 컨트롤러로 정보를 요청한 후, 응답데이터를 수신 받는 방식과 비교하여 통신경로를 최소화시켜 즉각적이고 신속한 서비스 제공이 이루어질 수 있게 된다.

이와 같이 본 발명의 일실시예인 충돌 방지시스템(1)은 컨트롤러(31), 레이더검지기(33), 카메라(37) 및 디스플레이 패널(35)이 일체형으로 제작됨으로써 불필요한 통신경로를 절감시켜 즉각적이고 신속한 서비스 제공이 가능하여 서비스 정확성 및 신뢰도를 극대화시킬 수 있을 뿐만 아니라 설치가 간단하며, 설치비용을 절감시킬 수 있다.

또한 본 발명의 충돌 방지시스템(1)은 AI 디스플레이 장치(3)들이 차량 및 보행자의 충돌을 예측하여, 충돌 예측 시, 경고문구를 디스플레이 하도록 구성됨으로써 차량 및 보행자의 충돌을 미연에 효과적으로 방지할 수 있게 된다.

또한 본 발명의 충돌 방지시스템(1)은 카메라(57)에 의해 촬영된 영상으로부터 객체(보행자)를 검출하기 위한 객체인식 알고리즘이 FPGA 모듈로 제작됨에 따라 저전력 및 처리속도의 개선이 가능함과 동시에 종래에서와 같이 객체인식 전용 SoC(System on Chip)를 사용하지 않고 AP의 GPU에서 영상을 처리하여 고속 연산이 이루어질 수 있을 뿐만 아니라 기 학습된 합성곱 신경망(CNN, Convolution Neural Network) 및 관계적 신경망(RNN, Recurrent Neural Network)의 딥러닝 연산 로직을 이용하여 입력된 영상으로부터 보행자 객체를 검출하도록 구성됨으로써 객체 인식률 및 인식속도를 극대화시킬 수 있다.

또한 본 발명의 충돌 방지시스템(1)은 운전자 단말기(6)의 보행자알림 어플리케이션(7)이 접속된 AI 디스플레이 장치(3)로부터 추출한 상태정보에 따라 운전자 단말기(6)에 경고문구를 표출하도록 구성됨으로써 충돌 상황에 대한 정보전달의 정확성 및 효율성을 극대화시켜 충돌사고를 더욱 효과적으로 방지할 수 있게 된다.

또한 본 발명의 충돌 방지시스템(1)은 운전자 단말기(6)의 보행자알림 어플리케이션(7)이 접속된 AI 디스플레이 장치(3)에 접속할 때, 기 설정된 메모리주소에 접근하여 상태정보를 추출하는 방식으로 상태정보를 수집하도록 구성됨으로써 종래에 단말기가 특정 컨트롤러에 접속하여 인증이 완료되면 해당 컨트롤러로 정보를 요청한 후, 응답데이터를 수신 받는 방식과 비교하여 통신경로가 최소화되어 즉각적이고 신속한 서비스 제공이 이루어질 수 있다.

1:충돌 방지시스템 3-1, ..., 3-N:AI 디스플레이 장치들
5:통합관제서버 6:운전자단말기
7:보행자알림 어플리케이션 10:통신망
20:근거리 통신망 31:컨트롤러
33:레이더검지기 35:디스플레이 패널
37:카메라 310:제어모듈
311:메모리 312:데이터 송수신모듈
313:근거리 통신모듈 314:신호분석 및 차량감지모듈
315:차량정보 생성모듈 316:노드별 교통정보 생성모듈
317:객체인식모듈 318:보행자정보 생성모듈
319:충돌예측모듈 320:상태정보 생성모듈
321:상태정보 파싱 및 저장모듈 322:디스플레이 모듈

Claims (6)

1. 도로에 간격을 두고 설치되는 AI 디스플레이 장치들을 포함하는 충돌 방지시스템에 있어서:
   상기 AI 디스플레이 장치들은
   디스플레이 패널;
   설치 위치로부터 후방에 형성된 제1 감지영역(S1)으로 레이더신호를 송수신하는 레이더검지기;
   설치 위치로부터 전방에 형성된 제2 감지영역(S2)을 촬영하여 영상을 획득하는 카메라;
   상기 레이더검지기에 의해 송수신된 레이더신호를 분석하여 차량을 감지함과 동시에 상기 카메라에 의해 획득된 영상을 분석하여 보행자를 감지하며, 상기 보행자 또는 차량 감지 시, 경고문구를 상기 디스플레이 패널에 전시하는 컨트롤러를 포함하는 것을 특징으로 하는 충돌 방지시스템.
2. 제1항에 있어서, 상기 컨트롤러는
   메모리;
   상기 레이더검지기에 의해 송수신된 레이더신호를 분석하여 제1 감지영역(S1)의 차량을 감지하는 신호분석 및 차량감지모듈;
   상기 신호분석 및 차량감지모듈에 의해 감지된 차량을 추적하여 감지차량의 위치, 속도 및 방향을 포함하는 차량정보를 생성하는 차량정보 생성모듈;
   입력 영상으로부터 기 설정된 객체인식 알고리즘을 이용하여 상기 카메라의 촬영에 의해 획득된 영상을 분석하여 보행자 객체를 검출하는 객체인식모듈;
   상기 객체인식모듈에 의해 검출된 보행자 객체의 위치, 속도 및 방향을 포함하는 보행자정보를 생성하는 보행자정보 생성모듈;
   차량정보 및 보행자정보를 입력값으로 하여, 충돌예측도를 출력하는 기 설정된 충돌예측 알고리즘을 이용하여 상기 차량정보 생성모듈에 의해 생성된 차량정보와 상기 보행자정보 생성모듈에 의해 생성된 보행자정보를 분석하여 충돌예측도를 검출하는 충돌예측모듈;
   상기 충돌예측모듈에 의해 검출된 충돌예측도가 임계치 이상일 때, 상태정보를 안전주의상태로 결정하되, 충돌예측도가 임계치 미만일 때, 상태정보를 평시상태로 결정하는 상태정보 생성모듈;
   상기 상태정보 생성모듈에 의해 생성된 상태정보를 상기 디스플레이 패널에 디스플레이 하는 디스플레이 모듈을 포함하는 것을 특징으로 하는 충돌 방지시스템.
3. 제2항에 있어서, 상기 객체인식모듈은
   상기 충돌 방지시스템이 스쿨존에 설치될 때, 인도보행자 및 무단횡단자를 보행자 객체로 검출하며, 상기 충돌 방지시스템이 횡단보도에 설치될 때, 횡단보도 보행자 및 무단횡단자를 보행자 객체로 검출하고,
   상기 충돌예측모듈은
   상기 충돌 방지시스템이 스쿨존에 설치되어 인도보행자를 보행자 객체로 검출할 때, 보행자 객체의 보행자정보와 상관없이 충돌예측도를 임계치 이상으로 검출하는 것을 특징으로 하는 충돌 방지시스템.
4. 제3항에 있어서, 상기 충돌 방지시스템은
   근거리 통신모듈을 포함하며 보행자알림 어플리케이션이 설치되는 운전자 단말기를 더 포함하고,
   상기 컨트롤러는
   근거리 통신모듈;
   상기 상태정보 생성모듈에 의해 생성된 상태정보를 상기 메모리의 기 설정된 메모리주소의 필드에 저장하는 상태정보 파싱 및 저장모듈;
   근거리통신망을 통해 운전자 단말기가 접속되면, 접속된 운전자 단말기의 상기 메모리주소의 메모리 접근을 허용하는 제어모듈을 더 포함하는 것을 특징으로 하는 충돌 방지시스템.
5. 제4항에 있어서, 상기 보행자알림 어플리케이션은
   실행 시, 상기 운전자 단말기의 근거리 통신모듈을 활성화시킨 후, 근거리통신 커버리지 내 위치한 AI 디스플레이 장치에 접속하여, 접근 허용된 메모리주소의 메모리에 저장된 상태정보를 추출한 후, 추출된 상태정보를 상기 운전자 단말기의 모니터에 디스플레이 하는 것을 특징으로 하는 충돌 방지시스템.
6. 제2항 내지 제5항 중 어느 한 항에 있어서, 상기 객체인식모듈은 FPGA(Field Programmable Gate Array) 모듈로 제작되는 것을 특징으로 한느 충돌 방지시스템.

Images