KR102426517B1 - 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치 - Google Patents

Abstract

횡단보도에서 보행자뿐 아니라 차량 주행 환경을 고려하여 보행 안내 및 차량에 대한 횡단보도의 보행자에 대한 알림이 가능하도록 하여, 보행자와 차량의 쌍방의 주의를 통한 횡단보도에서의 안전성 확보가 가능한 기술을 제공한다. 본 발명의 일 실시예에 따른 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치는, 횡단보도 주변에 설치되어 횡단보도 인근의 영역을 촬영하는 제1 촬영 수단; 횡단보도 인근의 차도의 영상을 촬영하는 제2 촬영 수단; 제1 촬영 수단으로부터 촬영된 이미지를 이용하여 횡단보도별 보행자 복잡도 및 보행자의 패턴을 분석하고, 제2 촬영 수단으로부터 촬영된 이미지를 이용하여 횡단보도 인근의 차량의 속도 및 횡단보도 인근의 차도의 복잡도를 분석하는 데이터 분석부; 및 데이터 분석부에 의하여 분석된 보행자 복잡도, 보행자의 패턴 및 횡단보도 인근의 차도의 복잡도에 따라서 보행 신호를 제어하기 위한 제1 제어 명령을 생성하여 횡단보도의 보행 신호를 제어하는 신호 제어기에 전송함으로써, 인근의 보행자의 복잡도 및 보행자의 패턴에 따라서 보행 신호가 제어되도록 하는 보행 신호 제어부; 데이터 분석부에 의하여 분석된 보행자 복잡도, 보행자의 패턴 및 횡단보도의 보행 신호의 제어 상태에 따라서 횡단보도 인근에 설치된 안내 정보 출력 모듈을 통해 보행자 측에 보행에 대한 안내 정보가 출력되도록 하는 보행 신호 안내부; 및 데이터 분석부에 의하여 분석된 보행자 복잡도, 보행자의 패턴, 횡단보도 인근의 차량의 속도 및 차도의 복잡도에 따라서 횡단보도 인근에 설치된 신호 송출 수단을 통해 상기 횡단보도 인근에 위치되는 차량에 보행자의 보행에 따른 알람 정보를 안내하도록 하는 차량 안내부;를 포함하는 것을 특징으로 한다.

Description

영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치{WALKING SIGNAL CONTROL DEVICE THROUGH IMAGE-BASED OBJECT RECOGNITION AND SURROUNDING ENVIRONMENT DETECTION}

본 발명은 횡단보도 주변의 영상인식 및 주변의 환경 감지를 통한 보행 신호의 제어 기술에 관한 것으로, 구체적으로는 횡단보도 주변을 촬영한 영상을 기반으로 사각 지대가 없이 보행자를 인식하고, 이에 더하여 주변의 교통 상황 등의 환경 정보를 기반으로 보행 환경의 변화에 적응하여 보행 신호 및 안내가 가능하도록 하는 기술에 관한 것이다.

일반적으로 횡단보도는 차량이 통행하는 도로 상에 표시되어, 보행자가 도로를 안전하게 횡단할 수 있도록 하는 안전표지의 개념으로 이해될 수 있다.

한편 이러한 횡단보도에는 보행 신호등이 구비되어, 보행 신호와 보행 금지 신호를 안내함으로써 보행자 측에 보행 안내를 수행하고 있으나, 신호를 무시하는 일부 보행자, 잘못된 보행 문화 및, 안전 불감증에 기인한 보행 사고가 횡단보도 주변에서 빈번히 발생하여 왔다.

이에 횡단보도 주변에서의 보행 사고를 저감하기 위하여, 한국 등록 특허 제10-1567894호(횡단보도의 음성 안내 시스템)에서는 횡단보도에 적외선 신호 또는 레이저 신호를 송출하여 보행자의 진입을 감지하고, 차량의 정지선과 보행자 사이의 거리에 따른 경고 안내가 음성으로 수행되도록 하여, 보행자의 경각심을 불러 일으키도록 하는 기술이 개시되어 있다.

그러나 상술한 선행기술에서의 레이저 등은 선 단위로 보행자의 진입을 감지하기 때문에, 단순히 보행자의 진입 여부의 확인만이 가능하여 정확하고 세밀한 보행자의 거동 분석이 어려운 한계가 존재하였으며, 보행 안내 역시 음성이라는 청각적 수단으로만 제공되고 있어, 수준 높은 보행 안내가 수행될 수 없는 한계 또한 존재하였다.

특히, 이러한 횡단보고에서의 안내가 보행자에게만 집중되고 있어 횡단보도를 지나도록 운전하는 차량의 운전자의 부주의가 해소되지 않는 경우, 결국 보행자에 대한 안전사고의 위험성이 매우 커, 이를 해소하기 위한 기술의 필요성이 지적되고 있다.

한편, 최근에는 어린이에 대한 보행 사고의 방지가 주요 이슈로 지적되고 있는데, 이를 위해서 다수의 입법이 이루어지고 있지만, 이는 어린이 보호 구역에서만 제한적으로 이루어지고 있는 현실이다. 실제로 어린이 보호구역을 제외한 다양한 영역에서 보행자의 특성을 반영하여 어린이나 노약자 등 유의 대상 보행자가 존재하는 경우 이에 대응할 수 있는 기술의 필요성이 지적되고 있다.

이에 본 발명은, 횡단보도에서 보행자뿐 아니라 차량 주행 환경을 고려하여 보행 안내 및 차량에 대한 횡단보도의 보행자에 대한 알림이 가능하도록 하여, 보행자와 차량의 쌍방의 주의를 통한 횡단보도에서의 안전성 확보가 가능한 기술을 제공하는 데 일 목적이 있다.

또한 본 발명은, 특히 어린이 보호 구역을 제외한 횡단보도 상에서 어린이 등 보행 유의 대상을 효과적으로 감지하고 이에 대응하여 동일한 횡단보도에서도 서로 다른 안내 및 교통 환경 제어가 가능하도록 하여, 다양한 장소에서 보행자별로 효과적인 보호가 가능한 기술을 제공하는 데 다른 목적이 있다.

상술한 목적들을 달성하기 위해서, 본 발명의 일 실시예에 따른 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치는, 횡단보도 주변에 설치되어 횡단보도 인근의 영역을 촬영하는 제1 촬영 수단; 횡단보도 인근의 차도의 영상을 촬영하는 제2 촬영 수단; 상기 제1 촬영 수단으로부터 촬영된 이미지를 이용하여 횡단보도별 보행자 복잡도 및 보행자의 패턴을 분석하고, 상기 제2 촬영 수단으로부터 촬영된 이미지를 이용하여 횡단보도 인근의 차량의 속도 및 횡단보도 인근의 차도의 복잡도를 분석하는 데이터 분석부; 및 상기 데이터 분석부에 의하여 분석된 보행자 복잡도, 보행자의 패턴 및 횡단보도 인근의 차도의 복잡도에 따라서 보행 신호를 제어하기 위한 제1 제어 명령을 생성하여 횡단보도의 보행 신호를 제어하는 신호 제어기에 전송함으로써, 인근의 보행자의 복잡도 및 보행자의 패턴에 따라서 보행 신호가 제어되도록 하는 보행 신호 제어부; 상기 데이터 분석부에 의하여 분석된 보행자 복잡도, 보행자의 패턴 및 횡단보도의 보행 신호의 제어 상태에 따라서 횡단보도 인근에 설치된 안내 정보 출력 모듈을 통해 보행자 측에 보행에 대한 안내 정보가 출력되도록 하는 보행 신호 안내부; 및 상기 데이터 분석부에 의하여 분석된 보행자 복잡도, 보행자의 패턴, 횡단보도 인근의 차량의 속도 및 차도의 복잡도에 따라서 상기 횡단보도 인근에 설치된 신호 송출 수단을 통해 상기 횡단보도 인근에 위치되는 차량에 보행자의 보행에 따른 알람 정보를 안내하도록 하는 차량 안내부;를 포함하는 것을 특징으로 한다.

상기 신호 송출 수단은, 상기 알람 정보를 포함하는 음성 또는 영상 신호가 출력되며 차량의 진행 방향에 맞서도록 설치되어, 횡단보도를 향해 주행되는 차량의 운전자가 상기 알람 정보를 확인하여 횡단보도의 보행자의 보행 상태를 인지할 수 있도록 하는 알람 출력 수단; 및 상기 알람 정보가 포함된 알람 신호를 주변에 브로드캐스팅하도록 횡단보도 인근에 설치되어, 횡단보도 인근을 주행하는 차량의 통신 수단이 상기 알람 신호를 수신할 수 있도록 하여, 횡단보도 인근을 주행하는 차량이 상기 알람 정보를 수신 시 차량 내부의 음성 또는 영상 출력 수단이 상기 알람 정보를 출력하도록 제어하는 알람 신호 송출 수단; 중 적어도 하나를 포함하는 것이 바람직하다.

상기 데이터 분석부는, 상기 제1 촬영 수단에 의하여 영상이 촬영되는 면 단위의 관제 영역에서의 보행자의 수, 보행자별 진입 위치 지점, 및 보행자의 진입 위치 지점에서의 진행 방향에 대한 분석을 수행하여, 보행자의 복잡도 및 보행자의 패턴을 분석하는 것이 바람직하다.

상기 보행 신호 제어부는, 상기 보행자의 수, 상기 보행자별 진입 위치 지점 및 보행자의 진입 위치 지점에서의 진행 방향을 기준으로 다수의 횡단보도별 보행 신호의 점등 우선순위를 결정하고, 우선순위가 높은 순서대로 보행 신호가 점등되도록 서로 동시 점등이 불가능한 보행 신호의 점등을 제어하는 것이 바람직하다.

상기 보행 신호 제어부는, 상기 보행자의 수, 상기 보행자별 진입 위치 지점, 보행자의 진입 위치 지점에서의 진행 방향 및 횡단보도를 향하는 차도의 복잡도를 기준으로, 횡단보도를 향하는 보행자의 수 대비 횡단보도를 향하는 차도의 복잡도의 비율이 기설정된 임계 수치 미만인 경우, 횡단보도의 보행 신호가 점등되도록 제어하는 것이 바람직하다.

상기 보행 신호 안내부는, 상기 신호 제어기로부터 수집한 신호 정보로서, 보행 신호에 대한 점등 정보가 수집될 시, 점등된 보행 신호가 보행 금지 신호로 변경되기까지의 잔여 시간 정보가 더 수집되도록 하여, 실시간으로 수집되는 잔여 시간이 기 설정된 임계 시간 미만으로 잔존하는 경우, 상기 횡단보도를 횡단하고 있는 보행자 측에 제공되는 안내 정보를, 보행 신호의 종료가 임박하였음을 안내하는 안내 정보로서 변경되도록 하는 것이 바람직하다.

상기 데이터 분석부는, 상기 제1 촬영 수단으로부터 촬영된 이미지와, 기 저장된 횡단보도 인근의 영역과 제1 촬영 수단의 거리 정보를 기반으로, 제1 촬영 수단으로부터 촬영된 이미지를 이용하여 횡단보도의 보행자의 신장을 예측한 정보로서 상기 보행자의 패턴에 대한 정보에 포함된 정보로서 유의 보행자 식별 정보를 생성하는 것이 바람직하다.

상기 차량 안내부는, 상기 유의 보행자 식별 정보에 기설정된 임계 신장 미만의 보행자가 존재하는 것으로 판단되는 경우, 상기 알람 정보에 보행자 주의 정보 및 속도 제한 경고 정보를 포함시켜 안내하도록 하는 것이 바람직하다.

상기 데이터 분석부는, 상기 차량 안내부로부터 상기 알람 정보에 보행자 주의 정보 및 속도 제한 경고 정보가 포함되어 안내됨을 알리는 신호를 수신 시, 상기 차량의 속도가 횡단보도 인근의 차량의 제한 속도에 관계 없이 상기 속도 제한 경고 정보에 대응되는 속도인 기설정된 임계 제한 속도를 초과하는지 여부를 판단하고, 임계 제한 속도를 초과하는 차량을 위법 차량으로 판단하는 것이 바람직하다.

상기 데이터 분석부는, 상기 위법 차량이 감지되는 경우, 상기 위법 차량의 번호 정보 및 속도 정보를 사법 기관의 관제 서버에 전송하는 것이 바람직하다.

본 발명에 의하면, 횡단보도 인근의 보행자가 위치되는 지역을 면단위로 촬영하는 제1 촬영 수단과, 횡단보도 인근의 차도가 위치되는 지역을 면단위로 촬영한 제2 촬영 수단으로부터 촬영된 영상을 바탕으로, 보행자 측면에서의 영상 분석과, 차량 측면에서의 영상 분석을 동시에 수행하여 이를 바탕으로 신호 제어뿐 아니라, 보행자에 대한 안내 정보 및 차량에 대한 알람 정보가 생성되고 보행자 및 차량에 각각 안내되도록 한다. 특히, 도로 및 횡단보도에 대한 시각/음성 안내를 통해서 보행자와 차량에 동시에 횡단보도의 보행에 대한 안내가 이루어지도록 한다.

이러한 본 발명에 의하면, 보행자와 차량 양 측면에 대한 동시 안내가 이루어지도록 하여 차량의 운전자와 보행자가 동시에 횡단보도 상에서 주의를 하도록 하여, 교통 사고의 방지 효과를 극대화할 수 있는 효과가 있다.

특히, 어린이 보호 구역이 아니더라도 영상 분석을 통해 어린이의 보행 여부를 즉각적으로 판단하여 해당 횡단보도 영역을 즉시 어린이 보호 구역과 동일한 주행 환경으로 변경시키기 때문에, 보행자에 대한 안전성을 완전하게 확보할 수 있는 효과가 있다.

도 1은 본 발명의 각 실시예에 따른 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치의 구성 블록도.
도 2는 본 발명의 각 실시예가 적용되는 교통 환경을 설명하기 위한 도면.
도 3은 본 발명의 각 실시예의 구현에 따른 데이터 분석부 및 보행 신호 제어부의 기능 수행을 설명하기 위한 도면.
도 4 및 5는 본 발명의 각 실시예의 구현에 따른 보행 신호 안내부의 기능 수행을 설명하기 위한 도면.
도 6 내지 8은 본 발명의 각 실시예의 구현에 따른 차량 안내부의 기능 수행을 설명하기 위한 도면.

이하에서는, 다양한 실시 예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

본 명세서에서 사용되는 "실시 예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 발명의 실시 예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편 이하의 설명에 있어서, 도면에 기재된 사항은 본 발명의 각 구성의 기능을 설명하기 위하여 일부의 구성이 생략되거나, 과하게 확대 또는 축소되어 도시되어 있으나, 해당 도시 사항이 본 발명의 기술적 특징 및 권리범위를 한정하는 것은 아닌 것으로 이해됨이 당연할 것이다.

또한 이하의 설명에 있어서 하나의 기술적 특징 또는 발명을 구성하는 구성요소를 설명하기 위하여 다수의 도면이 동시에 참조되어 설명될 것이다.

도 1은 본 발명의 각 실시예에 따른 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치의 구성 블록도, 도 2는 본 발명의 각 실시예가 적용되는 교통 환경을 설명하기 위한 도면, 도 3은 본 발명의 각 실시예의 구현에 따른 데이터 분석부 및 보행 신호 제어부의 기능 수행을 설명하기 위한 도면, 도 4 및 5는 본 발명의 각 실시예의 구현에 따른 보행 신호 안내부의 기능 수행을 설명하기 위한 도면, 도 6 내지 8은 본 발명의 각 실시예의 구현에 따른 차량 안내부의 기능 수행을 설명하기 위한 도면이다.

상술한 도면들을 함께 참조하여 설명하면, 본 발명의 각 실시예에 따른 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치(10, 이하 본 발명의 장치라 함)는, 제1 촬영 수단(15), 제2 촬영 수단(16), 데이터 분석부(11), 보행 신호 제어부(12), 보행 신호 안내부(13) 및 차량 안내부(14)를 포함하는 것을 특징으로 한다.

본 발명의 장치(10)에서 제1 촬영 수단(15) 및 제2 촬영 수단(16)은 영상을 촬영하여 데이터 분석부(11)에 전송하는 기능을 수행하는 것으로 설명될 것이나, 제1 촬영 수단(15) 및 제2 촬영 수단(16)은 동일한 스펙의 영상 촬영 장치 및/또는 영상 촬영 결과를 분석한 데이터를 생성하는 장치를 의미할 수 있다.

이러한 제1 촬영 수단(15) 및 제2 촬영 수단(16)을 포함하여, 본 발명의 장치(10)는 도 1 및 2와 같은 환경에서 그 기능을 수행할 수 있다. 도 2를 참조하면, 교차로나 일 방향의 도로 등에 있어서 다수의 차량 신호(80, 81, 82, 83, 84)가 설치되어 차량의 이동을 제어할 수 있다. 이때 차량은 정지선(110) 등을 기준으로 정차 또는 이동하도록 가이드될 수 있다.

한편 다수의 횡단보도(100)가 존재할 수 있으며 횡단보도(100)에는 도 2 등에 도시된 바와 같이 다수의 보행 신호(60 ~ 67)가 설치되어 보행자의 보행을 가이드할 수 있다. 한편 후술하는 보행 신호 안내부(13)에 의하여 안내 정보가 출력되는 횡단보도(100) 인근에 설치된 안내 정보 출력 모듈(30, 31, 32) 역시 설치되어 보행자들에게 시각 또는 청각적인 보행 안내 정보를 제공할 수 있다. 한편 차량 안내부(14)에 의하여 알람 정보가 출력되는 신호 송출 수단(40, 41, 42) 등을 통해서 차량에 시각 또는 청각적 또는 데이터 신호를 통해 알람 정보를 제공할 수 있다.

이와 같은 환경 하에서 제1 촬영 수단(15)은 도 3 등에 도시된 바와 같이 횡단보도 주변에 설치되어 횡단보도 인근의 영역(1000a, 1000b, 1000c, 1000d)을 촬영하는 기능을 수행한다. 바람직하게는 본 발명의 기능 수행을 위해서 상술한 영역(1000a, 1000b, 1000c, 1000d)을 면단위로 촬영하여 해당 촬영 영상을 데이터 분석부(11)에 전송하는 기능을 수행한다. 면단위 영역의 촬영은, 단순히 보행자 등이 선 단위의 경계선을 통과하는지 여부를 파악하는 센서 등의 하드웨어에 의한 기능이 아니라, 카메라 등 면단위의 영상을 촬영하는 것을 의미한다.

한편 제2 촬영 수단(16)은 도 3 등에 도시된 바와 같이 횡단보도 인근의 차도 영역(1100a)의 영상을 촬영하는 기능을 수행한다. 제2 촬영 수단(16)은 상술한 제1 촬영 수단(15)과 동일한 스펙으로서, 역시 면단위 영역의 촬영을 수행하는 영상 촬영 장치로 구성될 수 있다.

제1 촬영 수단(15) 및 제2 촬영 수단(16)은 바람직하게, 적외선 조광기가 설치된 초저조도 카메라가 이용될 수 있다. 이때, 상술한 초저조도 카메라는, 예를 들어 별빛만 있는 정도 또는 빛이 전혀 없는 매우 어두운 환경에서, 적외선을 조사하여, 객체에 반사되어온 적외선을 CCD(Charge-Coupled Device)가 이미지화함으로써, 조도 및 감도가 보정된 촬영 영상이 획득되도록 하는 카메라의 개념으로 이해될 것이다.

이에 의하면, 후술하는 데이터 분석부(11)에 의하여, 종래 레이저 센서 등을 이용하여 선 단위의 객체 인식을 수행하였던 것과는 달리, 상술한 초저조도 카메라에 의하여 면 단위의 객체(보행자) 인식의 수행이 가능해짐에 따라서, 관제 영역 내에서의 보행자 또는 차량의 진입 위치 지점 및, 상술한 진입 위치 지점에서의 보행자 또는 차량의 진행 방향에 대한 이벤트 검출이 수행됨으로써, 보행자가 이용하려는 횡단보도가 어떤 횡단보도 인지를 파악하거나, 차량이 어떤 횡단보도를 향하여 이동 중인지 여부를 명확하게 파악할 수 있게 되어 더욱 면밀한 보행자 및 차량의 거동 분석이 가능해지는 효과가 있다.

특히 본 발명에서는 도 3 등에 도시된 바와 같이 제1 촬영 수단(15)의 촬영 범위(반경)에 포함되는 둘 이상의 횡단보도가 마련된 교차 영역(1000a, 1000b, 1000c, 1000d)을 관제 영역으로 설정할 수 있게 됨에 따라, 관제 영역 설정이 자유로운 것은 물론이고, 둘 이상의 횡단보도에 대한 보행자들의 거동 분석이 동시 다발적으로 수행될 수도 있다.

데이터 분석부(11)는 제1 촬영 수단(15)으로부터 촬영된 이미지를 이용하여 횡단보도별 보행자 복잡도 및 보행자의 패턴을 분석하고, 제2 촬영 수단(16)으로부터 촬영된 이미지를 이용하여 횡단보도 인근의 차량의 속도 및 횡단보도 인근의 차도의 복잡도를 분석하는 기능을 수행한다.

구체적으로 데이터 분석부(11)는 각 촬영 수단(15, 16)으로부터 촬영된 영상을 분석하되, 비전에 가장 많이 활용되고 있는 기술인 CNN(Convolutional Neural Network), 카메라에서 얻은 이미지의 객체 추출을 위한 경계 상자(그리드) 개념과 YOLO(You only Look Once), SSD 등의 다양한 알고리즘을 활용하여, 영상 내의 다수의 객체를 인식하는 기능을 수행할 수 있다.

물론, 상술한 바와 같이 각 촬영 수단(15, 16)이 상술한 객체 인식 기능을 수행하는 기능을 포함하여, 인식된 객체에 대한 다수의 분석 결과를 전송 시, 데이터 분석부(11)는 분석 결과를 수신하여, 상술한 보행자 복잡도, 보행자의 패턴, 차량의 속도, 차도의 복잡도 등을 분석할 결과를 생성하는 기능을 수행할 수 있다.

본 발명에서 보행자 복잡도는 다수의 보행자의 인식 및 인식된 보행자 객체에 대한 다수의 이미지 프레임별 이동 분석을 통한 이동 벡터 분석을 통해, 보행자가 횡단보도를 통해 보행을 할지 여부에 대한 파악, 횡단보도를 통해 보행을 할 것으로 판단되도록 영역에 위치되거나 횡단보도를 향해 이동되는 보행자의 수, 횡단보도가 다수인 경우 어떤 횡단보도에 상술한 보행자의 수가 밀집되어 있는지 여부 등의 정보를 포함하는 개념이다. 보행자의 패턴은 상술한 보행자의 이동 방향 등을 포함하는 개념이다.

차량의 속도는 인식된 차량 객체의 이미지 프레임별 이동 분석을 통한 이동 벡터의 분석을 통해서, 차량의 이동 방향 및 속도를 파악함으로써 도출되는 정보이다. 차도의 복잡도는, 각 식별된 차량의 개수에 대한 카운팅을 통해 도출되는 정보를 의미한다.

이들의 예가 도 3 등에 도시되어 있다. 각 영역(1000a, 1000b, 1000c, 1000d)에 대한 상술한 인식된 객체에 대한 분석을 수행하면 각 객체들의 벡터(V1, V2, V3)이 분석될 수 있다. 이때 분석된 벡터에 따라서 보행자의 패턴이 파악되며, 해당 벡터를 기반으로 보행자가 밀집되어 있는지 여부를 파악하여, 각 횡단보도별 또는 영역별 보행자 복잡도가 산출될 수 있다.

한편 차도 영역(1100a)에서 차량의 벡터(V4, V5)의 분석을 통해서 횡단보도를 향하거나 이로부터 멀어지는 차량들을 인식하고, 이로부터 차량의 속도 및 차도의 복잡도가 산출될 수 있다.

다시 도 1에 대한 설명으로 돌아와서, 보행 신호 제어부(12)는 데이터 분석부(11)에 의하여 분석된 보행자 복잡도, 보행자의 패턴 및 횡단보도 인근의 차도의 복잡도에 따라서 보행 신호를 제어하기 위한 제1 제어 명령을 생성하여 횡단보도의 보행 신호(60)를 제어하는 신호 제어기(20)에 전송함으로써, 인근의 보행자의 복잡도 및 보행자의 패턴에 따라서 보행 신호(60)가 제어되도록 하는 기능을 수행한다.

본 발명에서 신호 제어기(20)는 일반적인 교통 신호의 제어 흐름에 따라서 차량 신호(80) 또는 보행 신호(60)를 제어하는 기능을 수행한다. 일반적인 교통 신호의 제어 흐름이란 각 교통 신호의 점등 순서에 따라서 차례로 교통 신호가 제어됨을 의미한다.

이에 따라서 보행 신호 제어부(12)는 바람직하게는 상술한 일반적인 교통 신호의 제어 흐름에 따른 신호 제어기(20)의 기능 수행 도중, 상술한 보행자 복잡도, 보행자의 패턴 및 차도의 복잡도에 따라서 특정한 신호 점등 제어가 필요한 경우 상술한 제1 제어 명령을 생성하여 신호 제어기(20)에 전송함으로써, 제1 제어 명령이 일반적인 교통 흐름에 의한 제어 신호에 우선하여 적용되도록 하는 기능을 수행하는 것으로 이해될 것이다.

즉 구체적으로, 보행 신호 제어부(12)는, 보행자의 수, 보행자별 진입 위치 지점 및 보행자의 진입 위치 지점에서의 진행 방향을 기준으로 다수의 횡단보도별 보행 신호의 점등 우선순위를 결정하고, 우선순위가 높은 순서대로 보행 신호가 점등되도록 서로 동시 점등이 불가능한 보행 신호의 점등을 제어하는 것이 바람직하다. 즉 일반적인 교통 흐름에 의하여 각 신호들이 제어되는 도중 점등 우선순위가 생성되는 경우, 우선 제1 제어 명령을 생성하여 신호 제어기(20)에 전송하며, 제1 제어 명령을 수신한 신호 제어기(20)는 일반적인 교통 흐름에 의한 제어 신호보다 제1 제어 명령이 우선하여 적용되도록 한다.

이 경우 특정한 상황에서 교통 신호들을 제어하는 것을 의미하기 때문에, 보행 신호 제어부(12)의 제1 제어 명령은 특수한 경우 생성되는 것으로 이해될 수 있다. 즉, 보행 신호 제어부(12)는 보행자의 수, 보행자별 진입 위치 지점, 보행자의 진입 위치 지점에서의 진행 방향 및 횡단보도를 향하는 차도의 복잡도를 기준으로, 횡단보도를 향하는 보행자의 수 대비 횡단보도를 향하는 차도의 복잡도의 비율이 기설정된 임계 수치(예를 들어 30%) 미만인 경우, 일반적인 교통 흐름과 관계없이, 횡단보도의 보행 신호가 점등되도록 제어하는 것이 바람직하다. 이때 해당 수치가 가장 작은 횡단보도의 보행 신호가 상술한 신호의 점등 우선순위가 가장 높은 것으로 이해될 수 있다.

한편, 보행 신호 안내부(13)는 데이터 분석부(11)에 의하여 분석된 보행자 복잡도, 보행자의 패턴 및 횡단보도의 보행 신호의 제어 상태에 따라서 횡단보도 인근에 설치된 안내 정보 출력 모듈(30)을 통해 보행자 측에 보행에 대한 안내 정보가 출력되도록 하는 기능을 수행한다.

본 발명에서 안내 정보 출력 모듈(30)은 예를 들어 도 2에 도시된 바와 같이 횡단보도(100) 인근, 바람직하게는 보행자가 횡단보도(100)에 진입하는 영역 중 바닥에 설치된 LED 출력 수단(31)과, 스피커 등의 음성 출력 수단(32)을 포함하는 것으로 이해될 수 있다.

보행 신호 안내부(13)에 의하여 안내 정보 출력 모듈(30)을 통해 출력되는 안내 정보는, 구체적으로 보행자에게 보행에 대한 안내를 하는 내용을 포함함이 바람직하다. 예를 들어, 도 4 및 5에 도시된 바와 같이 보행 신호(60)의 녹색 등이 점등하여 보행이 가능한 것으로 판단되는 경우, LED 출력 수단(31) 등을 통해 도 4와 같이 “건너세요” 등 보행자에게 횡단보도(100)를 통해서 보행이 가능함을 안내하는 정보가 출력될 수 있다. 이와 반대로, 보행 신호(60)에 적색 등이 점등하여 보행을 하지 않아야 하는 경우, LED 출력 수단(31) 등을 통해서 도 5와 같이 “멈추세요” 등 보행자에게 횡단보도(100)를 통해 보행하지 않아야 함을 안내하는 정보가 출력될 수 있다.

이에 더하여 이미 횡단보도(100)를 통해 보행자가 건너는 중이나 빠른 시간 후 보행 신호가 적색 등으로 변경되는 경우 빠르게 건너도록 하거나, 보행자기 아직 건너지 않고 있고 현재 보행 신호가 녹색 등이지만, 곧 적색 등으로 변경될 예정인 경우 보행자에게 횡단보도를 통해 건너지 말도록 유도할 필요가 있다.

즉, 보행 신호 안내부(13)는 신호 제어기(20)로부터 수집한 신호 정보로서, 보행 신호에 대한 점등 정보가 수집될 시, 점등된 보행 신호가 보행 금지 신호로 변경되기까지의 잔여 시간 정보가 더 수집되도록 하여, 실시간으로 수집되는 잔여 시간이 기 설정된 임계 시간 미만으로 잔존하는 경우, 횡단보도를 횡단하고 있는 보행자 측에 제공되는 안내 정보를, 보행 신호의 종료가 임박하였음을 안내하는 정보로서 변경되도록 하는 것이 바람직하다.

차량 안내부(14)는, 데이터 분석부(11)에 의하여 분석된 보행자 복잡도, 보행자의 패턴, 횡단보도 인근의 차량의 속도 및 차도의 복잡도에 따라서 상기 횡단보도 인근에 설치된 신호 송출 수단(40, 50)을 통해 횡단보도 인근에 위치되는 차량에 보행자의 보행에 따른 알람 정보를 안내하도록 기능한다.

이때 차량에 대한 안내는 두 가지 방식으로 이루어질 수 있다. 즉 차량에 탑승한 운전자에게 외부에서 강한 시각적 안내 또는 청각적 안내가 이루어지도록 하거나, 차량 내부의 스피커나 화면 출력 장치 등을 통해서 운전자에게 내부에서의 시각적 안내 또는 청각적 안내가 이루어지도록 하는 것이다.

전자는 상술한 횡단보도 인근의 시각적 또는 청각적 정보 출력 모듈에 의하여 가능해질 수 있으며, 후자는 무선 네트워크를 통해서 차량의 통신 모듈에 안내를 위한 상술한 알람 정보를 전송하고, 차량 내부의 시각적 또는 청각적 정보 출력 수단에 현재 출력되는 정보와 관계없이 해당 정보가 출력되도록 하는 신호 처리를 통해 이루어질 수 있다.

두 가지 실시예를 모두 실시하기 위해서, 본 발명에서 신호 송출 수단은, 도 1 등에 도시된 바와 같이 알람 출력 수단(40) 및 알람 신호 송출 수단(50)을 포함할 수 있다. 알람 출력 수단(40)은 도 2 등에 도시된 외부의 시각 출력 수단(41, 42) 또는 스피커(미도시)와 같은 예로 구현될 수 있듯, 알람 정보를 포함하는 음성 또는 영상 신호가 출력되며 차량의 진행 방향에 맞서도록 설치되어, 횡단보도를 향해 주행되는 차량의 운전자가 알람 정보를 확인하여 횡단보도의 보행자의 보행 상태를 인지할 수 있도록 하는 기기를 포함하는 개념으로 이해될 것이다.

즉 도 6에 도시된 바와 같이 전광판 등의 시각 출력 수단(41)을 통해서 상술한 알람 정보, 즉 전방의 횡단 보도를 통해서 보행자가 보행하고 있음을 알리는 알람 정보 등이 출력되도록 하는 것이다. 상술한 실시예를 고려할 때, 제2 촬영 수단(16)은 바람직하게는 이와 같은 시각 출력 수단(41)과 동일한 위치에 설치되어, 더욱 효율적인 차량 분석 및 파악이 가능하도록 구현될 수 있다.

한편, 알람 신호 송출 수단(50)은 인근을 지나는 차량에, 알람 정보가 차량의 내부 출력 수단을 통해서 출력되도록 하는 강제 신호를 송출한다. 즉 도 7에 도시된 바와 같이 알람 정보가 포함된 알람 신호를 주변에 브로드캐스팅하도록 횡단보도 인근에 설치되어, 횡단보도 인근을 주행하는 차량(71)의 통신 수단이 알람 신호를 수신할 수 있도록 하여, 횡단보도 인근을 주행하는 차량이 알람 정보를 수신 시 차량 내부의 음성 또는 영상 출력 수단이 알람 정보(51)를 출력하도록 제어하는 기능을 수행한다.

물론 도 7에 도시된 바와 같이 제2 촬영 수단(16)과 함께 설치된 시각 출력 수단(41) 등의 알람 출력 수단과 상술한 알람 신호 송출 수단은 함께 구현되어, 운전자가 외부의 전광판 등을 통해서 알람 정보를 인지하는 동시에 내부에서도 알람 정보를 인지할 수 있도록 구현될 수 있다.

한편, 본 발명에서는 횡단보도(100)의 영역에 있어서 객체를 영상 분석을 통해 인지하는데, 이때 객체의 크기 역시 분석할 수 있다. 이때 객체는 보행자이기 때문에 보행자의 크기, 즉 높이를 분석하면, 보행자의 신장을 분석하고, 분석된 보행자의 신장을 기반으로 보행자의 패턴을 대략적으로 예측할 수 있다.

도 8에 도시된 바와 같이, 데이터 분석부(11)는 제1 촬영 수단(15)으로부터 촬영된 이미지와, 기 저장된 횡단보도 인근의 영역과 제1 촬영 수단(15)의 거리 정보를 기반으로, 제1 촬영 수단(15)으로부터 촬영된 이미지를 이용하여 횡단보도의 보행자의 신장을 예측할 수 있다.

이 경우 보행자의 신장(L1)이 기설정된 임계 신장(Lt, 예를 들어 140) 이하인 경우, 보행자가 어린이일 가능성이 매우 크기 때문에, 이에 대한 각별한 유의가 필요하고 이 경우 보행자의 패턴에 대한 정보에 해당 보행자를 유의해야 함을 나타내는 유의 보행자 식별 정보를 생성하고, 이를 차량 안내부(14)에 전송할 수 있다.

이 경우 차량 안내부(14)는 해당 영역이 어린이 보호 구역인지 여부에 관계없이, 해당 유의 보행자를 각별이 조심해야 함을 차량에 안내하여 어린이 보호 구역에 관계없이 어린이에 대한 보호가 이루어질 수 있도록 할 수 있다. 즉 유의 보행자 식별 정보에 기설정된 임계 신장 미만의 보행자가 존재하는 것으로 판단되는 경우, 도 8에 도시된 바와 같이 시각 출력 수단(41)을 통해 출력되는 알람 정보에 보행자 주의 정보 및 속도 제한 경고 정보를 포함시켜 안내하도록 하는 것이 바람직하다.

즉, 본 발명의 각 실시예가 구현되면 횡단 보도가 설치되는 영역이 어린이 보호구역인지 여부에 관계 없이, 어린이가 존재하는 경우 이에 대한 각별한 주의를 환기시켜, 어린이에 대한 교통 안전성을 확보하도록 하는 것이다.

이러한 효과를 강제하기 위해서, 본 발명에서 데이터 분석부(11)는 차량 안내부(14)로부터 상기 알람 정보에 보행자 주의 정보 및 속도 제한 경고 정보가 포함되어 안내되고 있음을 알리는 신호를 수신 시, 차량의 속도가 횡단보도 인근의 차량의 제한 속도에 관계 없이 상기 속도 제한 경고 정보에 대응되는 속도인 기설정된 임계 제한 속도를 초과하는지 여부를 판단하고, 임계 제한 속도를 초과하는 차량을 위법 차량으로 판단할 수 있다. 즉 제2 촬영 수단(16)이 이때는 어린이 보호 구역에서의 차량의 속도 위반을 위한 촬영 장치로서 기능하게 되는 것이다.

이 경우 법적인 강제성을 부여할 수 있도록 하기 위해서, 데이터 분석부(11)는, 위법 차량이 감지되는 경우, 위법 차량의 번호 정보 및 속도 정보를 사법 기관의 관제 서버(미도시, 예를 들어 교통 단속 서버)에 전송할 수 있다.

이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능함을 이해할 수 있을 것이다. 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는 특별히 반대되는 기재가 없는 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

1. 횡단보도 주변에 설치되어 횡단보도 인근의 영역을 촬영하는 제1 촬영 수단;
   횡단보도 인근의 차도의 영상을 촬영하는 제2 촬영 수단;
   상기 제1 촬영 수단으로부터 촬영된 이미지를 이용하여 횡단보도별 보행자 복잡도 및 보행자의 패턴을 분석하고, 상기 제2 촬영 수단으로부터 촬영된 이미지를 이용하여 횡단보도 인근의 차량의 속도 및 횡단보도 인근의 차도의 복잡도를 분석하는 데이터 분석부; 및
   상기 데이터 분석부에 의하여 분석된 보행자 복잡도, 보행자의 패턴 및 횡단보도 인근의 차도의 복잡도에 따라서 보행 신호를 제어하기 위한 제1 제어 명령을 생성하여 횡단보도의 보행 신호를 제어하는 신호 제어기에 전송함으로써, 인근의 보행자의 복잡도 및 보행자의 패턴에 따라서 보행 신호가 제어되도록 하는 보행 신호 제어부;
   상기 데이터 분석부에 의하여 분석된 보행자 복잡도, 보행자의 패턴 및 횡단보도의 보행 신호의 제어 상태에 따라서 횡단보도 인근에 설치된 안내 정보 출력 모듈을 통해 보행자 측에 보행에 대한 안내 정보가 출력되도록 하는 보행 신호 안내부; 및
   상기 데이터 분석부에 의하여 분석된 보행자 복잡도, 보행자의 패턴, 횡단보도 인근의 차량의 속도 및 차도의 복잡도에 따라서 상기 횡단보도 인근에 설치된 신호 송출 수단을 통해 상기 횡단보도 인근에 위치되는 차량에 보행자의 보행에 따른 알람 정보를 안내하도록 하는 차량 안내부;를 포함하되,
   상기 데이터 분석부는,
   상기 제1 촬영 수단으로부터 촬영된 이미지와, 기 저장된 횡단보도 인근의 영역과 제1 촬영 수단의 거리 정보를 기반으로, 제1 촬영 수단으로부터 촬영된 이미지를 이용하여 횡단보도의 보행자의 신장을 예측한 정보로서 상기 보행자의 패턴에 대한 정보에 포함된 정보로서 유의 보행자 식별 정보를 생성하는 것을 특징으로 하는 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치.
   
2. 제1항에 있어서,
   상기 신호 송출 수단은,
   상기 알람 정보를 포함하는 음성 또는 영상 신호가 출력되며 차량의 진행 방향에 맞서도록 설치되어, 횡단보도를 향해 주행되는 차량의 운전자가 상기 알람 정보를 확인하여 횡단보도의 보행자의 보행 상태를 인지할 수 있도록 하는 알람 출력 수단; 및
   상기 알람 정보가 포함된 알람 신호를 주변에 브로드캐스팅하도록 횡단보도 인근에 설치되어, 횡단보도 인근을 주행하는 차량의 통신 수단이 상기 알람 신호를 수신할 수 있도록 하여, 횡단보도 인근을 주행하는 차량이 상기 알람 정보를 수신 시 차량 내부의 음성 또는 영상 출력 수단이 상기 알람 정보를 출력하도록 제어하는 알람 신호 송출 수단; 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치.
   
3. 제1항에 있어서,
   상기 데이터 분석부는,
   상기 제1 촬영 수단에 의하여 영상이 촬영되는 면 단위의 관제 영역에서의 보행자의 수, 보행자별 진입 위치 지점, 및 보행자의 진입 위치 지점에서의 진행 방향에 대한 분석을 수행하여, 보행자의 복잡도 및 보행자의 패턴을 분석하는 것을 특징으로 하는 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치.
   
4. 제3항에 있어서,
   상기 보행 신호 제어부는,
   상기 보행자의 수, 상기 보행자별 진입 위치 지점 및 보행자의 진입 위치 지점에서의 진행 방향을 기준으로 다수의 횡단보도별 보행 신호의 점등 우선순위를 결정하고, 우선순위가 높은 순서대로 보행 신호가 점등되도록 서로 동시 점등이 불가능한 보행 신호의 점등을 제어하는 것을 특징으로 하는 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치.
   
5. 제3항에 있어서,
   상기 보행 신호 제어부는,
   상기 보행자의 수, 상기 보행자별 진입 위치 지점, 보행자의 진입 위치 지점에서의 진행 방향 및 횡단보도를 향하는 차도의 복잡도를 기준으로, 횡단보도를 향하는 보행자의 수 대비 횡단보도를 향하는 차도의 복잡도의 비율이 기설정된 임계 수치 미만인 경우, 횡단보도의 보행 신호가 점등되도록 제어하는 것을 특징으로 하는 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치.
   
6. 제1항에 있어서,
   상기 보행 신호 안내부는,
   상기 신호 제어기로부터 수집한 신호 정보로서, 보행 신호에 대한 점등 정보가 수집될 시, 점등된 보행 신호가 보행 금지 신호로 변경되기까지의 잔여 시간 정보가 더 수집되도록 하여,
   실시간으로 수집되는 잔여 시간이 기 설정된 임계 시간 미만으로 잔존하는 경우, 상기 횡단보도를 횡단하고 있는 보행자 측에 제공되는 안내 정보를, 보행 신호의 종료가 임박하였음을 안내하는 안내 정보로서 변경되도록 하는 것을 특징으로 하는 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치.
   
7. 삭제
8. 제1항에 있어서,
   상기 차량 안내부는,
   상기 유의 보행자 식별 정보에 기설정된 임계 신장 미만의 보행자가 존재하는 것으로 판단되는 경우, 상기 알람 정보에 보행자 주의 정보 및 속도 제한 경고 정보를 포함시켜 안내하도록 하는 것을 특징으로 하는 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치.
   
9. 제8항에 있어서,
   상기 데이터 분석부는,
   상기 차량 안내부로부터 상기 알람 정보에 보행자 주의 정보 및 속도 제한 경고 정보가 포함되어 안내됨을 알리는 신호를 수신 시, 상기 차량의 속도가 횡단보도 인근의 차량의 제한 속도에 관계 없이 상기 속도 제한 경고 정보에 대응되는 속도인 기설정된 임계 제한 속도를 초과하는지 여부를 판단하고, 임계 제한 속도를 초과하는 차량을 위법 차량으로 판단하는 것을 특징으로 하는 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치.
   
10. 제9항에 있어서,
    상기 데이터 분석부는,
    상기 위법 차량이 감지되는 경우, 상기 위법 차량의 번호 정보 및 속도 정보를 사법 기관의 관제 서버에 전송하는 것을 특징으로 하는 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치.
    

Images