KR102290353B1

KR102290353B1 - 객체 인식을 이용한 무단횡단 경보 시스템 및 방법

Info

Publication number: KR102290353B1
Application number: KR1020190157464A
Authority: KR
Inventors: 강현구; 이진영; 전민수; 김헌식; 강태영; 오상영
Original assignee: 한남대학교 산학협력단
Priority date: 2019-11-29
Filing date: 2019-11-29
Publication date: 2021-08-13
Also published as: KR20210067634A

Abstract

본 발명의 일 실시예에 따른 객체 인식을 이용한 무단횡단 경보 시스템은, 횡단보도 주위에 배치된 카메라로 촬영된 횡단보도 영상 또는 횡단보도 주변 영상으로부터 객체인식 알고리즘을 기초로 객체를 인식하고, 보행자 여부를 판단하여, 보행자에게 경보 출력을 제공하는 것을 특징으로 한다.

Description

객체 인식을 이용한 무단횡단 경보 시스템 및 방법{Unauthorized alerting system and method using object recognition}

본 발명은 객체 인식을 이용한 무단횡단 경보에 관한 것으로, 더욱 상세하게는 객체 인식을 이용한 무단횡단 경보 시스템 및 방법에 관한 것이다.

지능형 교통 시스템(Intelligent Transportation Systems, 이하 ITS)은 전자, 정보, 통신, 제어 등의 기술을 교통체계에 접목시킨 시스템이다. 영상, 전자기파 등의 기술을 이용해 특정지점에서 차량 통과 시 차량을 물체로 인식하고 해당 차량의 주행정보를 획득하는 수동적인 방식을 사용하며, 차량 내 설치된 단말기와 노변장치(Road Side Equipment) 간 통신을 통해 차량의 정보를 추출하기도 하지만, 이러한 방식은 교통정보 및 통계 산출에는 문제가 없더라도 도로상에 발생하는 각종 돌발 상황에 대처하기는 어렵다.

한편, 영상 감시 시스템은 각종 건물이나 공항, 도로, 철도, 군부대 등의 감시대상 지역의 주변에 다수 대의 카메라를 설치하고, 이들로부터 취득되는 영상정보를 저장함과 아울러 원격지의 표시기기 상에 분할하여 표시하고, 침입이나 사고 등의 이벤트가 발생할 때 그 상황을 즉시 인식하여 표출할 수 있도록 한 시스템이다.

그러나 대부분의 영상 감시 시스템은 단순히 CCTV 형태로 촬영만이 이루어지고, 영상을 분석하여 객체 인식이 이루어지지 못하며, ITS와 연동하여 교통정보를 수신함으로써, 횡단보도 주변의 차량 또는 보행자를 파악할 수 있는 시스템이 없는 실정이다.

따라서, 전술한 문제를 해결하기 위하여 객체 인식을 이용한 무단횡단 경보 시스템 및 방법에 대한 연구가 필요하게 되었다.

대한민국 공개 특허 제10-2009-0116215호(2009년11월11일 공개)

본 발명의 목적은 횡단보도 주위에 배치된 카메라로 촬영된 횡단보도 영상 또는 횡단보도 주변 영상으로부터 객체인식 알고리즘을 기초로 객체를 인식하고, 보행자 여부를 판단하여, 보행자에게 경보 출력을 제공할 수 있는, 객체 인식을 이용한 무단횡단 경보 시스템 및 방법을 제공하는 것이다.

상기에 있어서, 횡단보도를 촬영하고 횡단보도의 영상을 획득하는 카메라; 상기 카메라로부터 획득된 횡단보도 영상 또는 횡단보도 주변 도로 영상을 제공받아 해당 영상으로부터 객체 인식 알고리즘을 활용하여 객체를 인식하는 객체인식부; 제어부의 요청을 받아 경보 출력을 제공하는 경보부; 상기 객체인식부로부터 객체 인식 여부 판단에 의해 객체가 인식되면, 객체인식정보를 전달받으며, 객체인식정보에 포함된 보행자 특징값 및 차량 특징값에 따라 보행자를 판단하고, 해당 보행자에게 경보를 통해 인지할 수 있도록 경보 출력을 제어하는 상기 제어부; 상기 제어부의 요청으로 교통정보시스템과 교신하여 교통정보를 전송받아 제어부에 전송하는 통신부; 상기 카메라의 횡단보도 영상 또는 횡단보도 주변 도로 영상으로부터 객체인식부가 객체를 인식하기 위한 센서정보를 제공하는 센싱부;를 포함할 수 있다.

상기에 있어서, 상기 객체 인식 알고리즘은 횡단보도 영상 또는 횡단보도 주변 도로 영상의 특정 객체를 보행자 형상, 차량 형상 및 색상 등의 특징값으로 구분하고, 이 특징값을 추출하여 분석함으로써, 객체 여부를 인식하거나, 배경영상을 미리 저장하고, 배경영상과 실시간 획득되는 횡단보도 영상 및 주변 도로 영상의 프레임 비교에 의해 영상 간 차이에 의해 객체를 인식하는 것을 특징으로 한다.

상기에 있어서, 상기 제어부는 상기 통신부를 통하여 외부의 교통정보시스템과 연동하여 교통정보를 수신할 수 있고, 교통정보에 포함된 신호등 상태정보에 따라 보행 중인 보행자에게 단계별 경고를 제공하도록 제어하는 것을 특징으로 한다.

상기에 있어서, 상기 제어부는 속도측정센서로부터 속도측정값을 제공받아 보행자가 속도를 확인할 수 있도록 표시장치에 표시하거나 기설정된 속도값에 따라 상술한 단계적 경보를 제공하도록 상기 경보부에 요청하며, 상기 경보부는 상기 속도측정센서로부터 속도측정값을 제공받아 보행자가 속도를 확인할 수 있도록 표시장치에 표시하거나 기설정된 속도값에 따라 상기 단계적 경보를 제공하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 객체 인식을 이용한 무단횡단 경보 방법은, 객체 인식을 이용한 무단횡단 경보 시스템은 횡단보도 주위에 배치된 카메라로부터 횡단보도 영상 및 주변 도로 영상을 제공받는 단계; 객체 인식 알고리즘으로 횡단보도 영상 및 주변 도로 영상 내 객체를 인식하고 특징값을 추출하는 단계; 상기 객체 인식을 이용한 무단횡단 경보 시스템은 객체가 인식되면, 특징값에 따라 보행자를 판단하고, 해당 횡단보도에 경보 출력을 하는 단계;를 포함한다.

본 발명은 횡단보도를 카메라로 촬영하고 객체 인식을 하며, 객체 인식된 정보를 분석하여 보행자 여부 또는 횡단보도로 진입하는 차량 여부를 판단하고, 보행자의 무단횡단이나 차량 접근에 대한 경보음을 출력하는 경보수단(스피커)을 이용함으로써, 무단 횡단하는 보행자 또는 차량 운전자에게 경보를 출력하여 알림을 신속히 제공하고, 사고를 미연에 방지하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 객체 인식을 이용한 무단횡단 경보 시스템의 전체 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 객체 인식을 이용한 무단횡단 경보 방법의 순서도이다.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 객체 인식을 이용한 무단횡단 경보 시스템(100)의 전체 구성을 나타낸 블록도이다.

본 발명의 객체 인식을 이용한 무단횡단 경보 시스템(100)은 카메라(110)로 촬영된 횡단보도 영상 또는 횡단보도 주변 영상으로부터 객체인식 알고리즘을 기초로 객체를 인식하고, 보행자 여부를 판단하여, 보행자에게 경보 출력을 제공할 수 있다.

이를 위해 본 발명의 객체 인식을 이용한 무단횡단 경보 시스템(100)은 내부적으로 카메라(110), 객체인식부(120), 경보부(130), 제어부(140), 통신부(150), 센싱부(160)를 더 포함한다.

카메라(110)는 횡단보도 주위에 배치되어 횡단보도를 촬영하고 횡단보도의 영상을 획득할 수 있으며, 야간 촬영을 위해 적외선 카메라(110)가 될 수도 있다.

또한 카메라(110)는 추가로 횡단보도 주변의 도로를 촬영하도록 구비되어 횡단보도 주변 도로 촬영 영상을 획득할 수도 있다.

또한 카메라(110)에는 객체 인식 알고리즘이 내장된 객체인식부(120)가 포함될 수도 있으며, 촬영 영상으로부터 객체 인식율을 높이기 위해 에이다부스트(AdaBoost), 서포트 벡터 머신(Support Vector Machine: SVM), 선형판별식 해석(Linear Disciminant Analysis: LDA), 주성분 분석(Principal Component Analusis: PCA) 등의 알고리즘이 추가로 내장될 수도 있다.

이러한 알고리즘 기법들은 모두 외형에 기반하여 인식대상 영역을 식별하는 것으로, 트레이닝에 사용될 촬상 이미지들의 집합에 의해 트레이닝된 모델을 이용해서 횡단보도 주위의 영역을 검출하며, 여러 주변의 제약 조건들이 트레이닝을 통해 극복되어지기 때문에 결과적으로 촬영된 영상들로부터 객체의 인식 정확도와 신뢰도를 높일 수 있다.

객체인식부(120)는 카메라(110)로부터 획득된 횡단보도 영상 또는 횡단보도 주변 도로 영상을 제공받아 해당 영상으로부터 객체 인식 알고리즘을 활용하여 객체를 인식할수 있다. 여기서 객체인식부(120)에 추출되는 객체는 횡단보도 내 보행 중인 보행자, 주변 도로의 차량이 된다.

객체 인식 알고리즘은 예컨대 영상의 특정 객체를 보행자 형상, 차량 형상 및 색상 등의 특징값으로 구분하고, 이 특징값을 추출하여 분석함으로써, 객체 여부를 인식할 수 있다.

또한, 다른 객체 인식 방법으로 배경영상을 미리 저장하고, 배경영상과 실시간 획득되는 횡단보도 영상 및 주변 도로 영상의 프레임 비교에 의해 영상 간 차이에 의해 객체를 인식할 수도 있다.

또한 객체인식 알고리즘으로 라플라시안(Laplacian) 에지 검출 알고리즘 캐니(Canny) 에지 검출 알고리즘, 라인(Line) 에지 검출 알고리즘 등과 같은 에지 검출 알고리즘을 이용하여 영상 내 경계선을 검출하고 객체를 추출할 수 있다.

제어부(140)는 객체인식부(120)로부터 객체 인식 여부 판단에 의해 객체가 인식되면, 객체인식정보를 전달받으며, 객체인식정보에 포함된 보행자 특징값 및 차량 특징값에 따라 보행자를 판단하고, 해당 보행자에게 경보를 통해 인지할 수 있도록 경보 출력을 제어한다.

또한 제어부(140)는 통신부(150)를 통하여 외부의 교통정보시스템(ITS, 미도시)과 연동하여 교통정보를 수신할 수 있고, 교통정보에 포함된 신호등 상태정보(적색등, 황색등 또는 초록등)에 따라 보행 중인 보행자에게 단계별 경고를 제공하도록 제어할 수도 있다.

또한 제어부(140)는 속도측정센서로부터 속도측정값을 제공받아 보행자가 속도를 확인할 수 있도록 표시장치에 표시하거나 기설정된 속도값에 따라 상술한 단계적 경보를 제공하도록 경보부(130)에 요청할 수도 있다.

경보부(130)는 제어부(140)의 요청을 받아 경보 출력을 제공하며, 경보 형태는 시각적으로 알릴 수 있는 표시장치나 청각적으로 알릴 수 있는 스피커가 포함된다.

경보부(130)는 보행자가 쉽게 인지할 수 있도록 횡단보도 부근에 설치될 수 있으며, 예컨대 신호등에 설치될 수 있다.

또한, 경보부(130)는 교통정보를 수신한 제어부(140)의 요청에 따라 단계적으로 경보를 보행자에게 제공할 수 있다. 예컨대, 신호등이 초록등인 경우 스피커의 출력을 약하게 하여 경보하거나 1회성으로 경고 알람을 제공할 수 있고, 신호등이 황색등이거나 적색등인 경우 스피커의 출력을 강하게 하여 경보하거나 수차례 반복해서 경고 알람을 제공할 수 있게 하여 단계적으로 알람을 제공할 수 있다.

또한, 경보부(130)는 속도측정센서로부터 속도측정값을 제공받아 보행자가 속도를 확인할 수 있도록 표시장치에 표시하거나 기설정된 속도값에 따라 상술한 단계적 경보를 제공할 수도 있다.

통신부(150)는 제어부(140)의 요청으로 교통정보시스템과 교신하여 교통정보를 전송받아 제어부(140)에 전송할 수 있다.

센싱부(160)는 카메라(110)의 횡단보도 영상 또는 횡단보도 주변 도로 영상으로부터 객체인식부(120)가 객체를 인식하기 위해 부가적으로 필요한 센서정보를 제공할 수 있다.

예컨대, 야간에 객체를 인식하기 위해 적외선센서가 포함되거나, 차량 여부를 판단하거나 해당 차량의 속도값을 측정하는 속도측정센서가 포함되거나, 객체의 색상을 감지하기 위한 색센서가 포함될 수 있다. 적외선센서는 보행자 인식이 용이하도록 보행자 신호등과 횡단보도 대기선 사이에 배치됨과 아울러 차량 인식이 용이하도록 차량 대기선 사이에 추가로 배치될 수 있다.

도 2는 본 발명의 일 실시예에 따른 객체 인식을 이용한 무단횡단 경보 방법의 순서도이다.

먼저 객체 인식을 이용한 무단횡단 경보 시스템(100)은 카메라(110)로부터 횡단보도 영상 및 주변 도로 영상을 제공받는다(S20).

객체 인식 알고리즘으로 영상 내 객체를 인식하고 특징값을 추출한다(S22).

객체 인식을 이용한 무단횡단 경보 시스템(100)은 객체가 인식되면, 특징값에 따라 보행자를 판단하고, 해당 횡단보도에 경보 출력을 하여 보행자가 인지하도록 한다(S24).

100 : 무단횡단 경보 시스템
110 : 카메라 120 : 객체인식부
130 : 경보부 140 : 제어부
150 : 통신부 160 : 센싱부

Claims

무단횡단 경보 시스템에 있어서,
횡단보도 주위에 배치된 카메라로 촬영된 횡단보도 영상 또는 횡단보도 주변 영상으로부터 객체인식 알고리즘을 기초로 객체를 인식하고, 보행자 여부를 판단하여, 보행자에게 경보 출력을 제공하되,
상기 무단횡단 경보 시스템은
횡단보도를 촬영하고 횡단보도의 영상을 획득하는 카메라;
상기 카메라로부터 획득된 횡단보도 영상 또는 횡단보도 주변 도로 영상을 제공받아 해당 영상으로부터 객체 인식 알고리즘을 활용하여 객체를 인식하는 객체인식부;
제어부의 요청을 받아 경보 출력을 제공하는 경보부;
상기 객체인식부로부터 객체 인식 여부 판단에 의해 객체가 인식되면, 객체인식정보를 전달받으며, 객체인식정보에 포함된 보행자 특징값 및 차량 특징값에 따라 보행자를 판단하고, 해당 보행자에게 경보를 통해 인지할 수 있도록 경보 출력을 제어하는 상기 제어부;
상기 제어부의 요청으로 교통정보시스템과 교신하여 교통정보를 전송받아 제어부에 전송하는 통신부;
상기 카메라의 횡단보도 영상 또는 횡단보도 주변 도로 영상으로부터 객체인식부가 객체를 인식하기 위한 센서정보를 제공하는 센싱부를 더 포함하고,
상기 객체인식부는 촬영 영상으로부터 객체 인식율을 높이기 위해 에이다부스트(AdaBoost), 서포트 벡터 머신(Support Vector Machine: SVM), 선형판별식 해석(Linear Discriminant Analysis: LDA) 및 주성분 분석(Principal Component Analysis: PCA)중 적어도 어느 하나의 알고리즘이 추가로 내장되며,
상기 제어부는
상기 통신부를 통하여 외부의 교통정보시스템과 연동하여 교통정보를 수신할 수 있고, 교통정보에 포함된 신호등 상태정보에 따라 보행 중인 보행자에게 단계별 경고를 제공하도록 제어함과 아울러,
속도측정센서로부터 속도측정값을 제공받아 보행자가 차량 속도를 확인할 수 있도록 표시장치에 표시하거나 기설정된 속도값에 따라 상술한 단계적 경보를 제공하도록 상기 경보부에 요청하며,
상기 경보부는
상기 속도측정센서로부터 속도측정값을 제공받아 보행자가 차량 속도를 확인할 수 있도록 표시장치에 표시하거나 기설정된 속도값에 따라 상기 단계적 경보를 제공하는 것을 특징으로 하는 객체 인식을 이용한 무단횡단 경보 시스템.
삭제
제1항에 있어서,
상기 객체 인식 알고리즘은
횡단보도 영상 또는 횡단보도 주변 도로 영상의 특정 객체를 보행자 형상, 차량 형상 및 색상의 특징값으로 구분하고, 상기 특징값을 추출하여 분석함으로써, 객체 여부를 인식하거나,
배경영상을 미리 저장하고, 배경영상과 실시간 획득되는 횡단보도 영상 및 주변 도로 영상의 프레임 비교에 의해 영상 간 차이에 의해 객체를 인식하는 것을 특징으로 하는 객체 인식을 이용한 무단횡단 경보 시스템.
삭제
삭제
객체 인식을 이용한 무단횡단 경보 시스템은 횡단보도 주위에 배치된 카메라로부터 횡단보도 영상 및 주변 도로 영상을 제공받는 단계;
객체 인식 알고리즘으로 횡단보도 영상 및 주변 도로 영상 내 객체를 인식하고 특징값을 추출하는 단계;
상기 객체 인식을 이용한 무단횡단 경보 시스템은 객체가 인식되면, 특징값에 따라 보행자를 판단하고, 해당 횡단보도에 경보 출력을 하는 단계;
를 포함하되,
상기 무단횡단 경보 시스템은
횡단보도를 촬영하고 횡단보도의 영상을 획득하는 카메라;
상기 카메라로부터 획득된 횡단보도 영상 또는 횡단보도 주변 도로 영상을 제공받아 해당 영상으로부터 객체 인식 알고리즘을 활용하여 객체를 인식하는 객체인식부;
제어부의 요청을 받아 경보 출력을 제공하는 경보부;
상기 객체인식부로부터 객체 인식 여부 판단에 의해 객체가 인식되면, 객체인식정보를 전달받으며, 객체인식정보에 포함된 보행자 특징값 및 차량 특징값에 따라 보행자를 판단하고, 해당 보행자에게 경보를 통해 인지할 수 있도록 경보 출력을 제어하는 상기 제어부;
상기 제어부의 요청으로 교통정보시스템과 교신하여 교통정보를 전송받아 제어부에 전송하는 통신부;
상기 카메라의 횡단보도 영상 또는 횡단보도 주변 도로 영상으로부터 객체인식부가 객체를 인식하기 위한 센서정보를 제공하는 센싱부를 더 포함하고,
상기 객체인식부는 촬영 영상으로부터 객체 인식율을 높이기 위해 에이다부스트(AdaBoost), 서포트 벡터 머신(Support Vector Machine: SVM), 선형판별식 해석(Linear Discriminant Analysis: LDA) 및 주성분 분석(Principal Component Analysis: PCA)중 적어도 어느 하나의 알고리즘이 추가로 내장되며,
상기 제어부는
상기 통신부를 통하여 외부의 교통정보시스템과 연동하여 교통정보를 수신할 수 있고, 교통정보에 포함된 신호등 상태정보에 따라 보행 중인 보행자에게 단계별 경고를 제공하도록 제어함과 아울러,
속도측정센서로부터 속도측정값을 제공받아 보행자가 차량 속도를 확인할 수 있도록 표시장치에 표시하거나 기설정된 속도값에 따라 상술한 단계적 경보를 제공하도록 상기 경보부에 요청하며,
상기 경보부는
상기 속도측정센서로부터 속도측정값을 제공받아 보행자가 차량 속도를 확인할 수 있도록 표시장치에 표시하거나 기설정된 속도값에 따라 상기 단계적 경보를 제공하는 것을 특징으로 하는 객체 인식을 이용한 무단횡단 경보 방법.
제6항에 있어서,
상기 객체 인식 알고리즘은
영상의 특정 객체를 보행자 형상, 차량 형상 및 색상의 특징값으로 구분하고, 상기 특징값을 추출하여 분석함으로써, 객체 여부를 인식하거나,
배경영상을 미리 저장하고, 배경영상과 실시간 획득되는 횡단보도 영상 및 주변 도로 영상의 프레임 비교에 의해 영상 간 차이에 의해 객체를 인식하는 것을 특징으로 하는 객체 인식을 이용한 무단횡단 경보 방법.