KR102264266B1 - 단속 대상 전반을 단속처리하기 위한 인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템 - Google Patents

Abstract

본 발명은 차량번호 및 주차표지는 물론이고 장애인의 하차 여부를 감시하여, 장애인 전용 주차구역에서의 과태료 부과 대상 전반에 대해 단속처리할 수 있는 인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템에 관한 것으로서, 보다 상세하게는, 차량, 차량번호 및 장애인 주차표지를 인식하는 제1 영상 인식부(230)와, 주차한 차량의 하차 승객을 인공 신경망으로 행동 인식하여 장애인을 인식하는 제2 영상 인식부(240)와, 제1 영상 인식부(230)와 제2 영상 인식부(240)의 인식 결과에 따라 장애인 전용 주차구역의 단속 상황인지 판단하여 단속 상황을 알리는 단속 동작부(250)를 포함하여 구성된다.

Description

단속 대상 전반을 단속처리하기 위한 인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템{CRACKDOWN SYSTEM IN DISABLED PERSONS'S PARKING AREA BASED ON ARTIFICIAL INTELLIGENCE PICTURE READING FOR CRACKING DOWN OVERALL OBJECT OF CONTROL}

본 발명은 차량번호 및 주차표지는 물론이고 장애인의 하차 여부를 감시하여, 장애인 전용 주차구역에서의 과태료 부과 대상 전반에 대해 단속처리할 수 있는 인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템에 관한 것이다.

장애인 전용 주차구역은 보행이 불편한 장애인이 안전하고 불편하지 않게 주차하고, 차량 간의 간격도 충분히 확보되어 승하차할 시에도 불편하지 않도록 특별히 구획한 주차구역으로서, 장애인 로고 등을 바닥에 그려놓아서 쉽게 식별할 수 있게 되어 있다.

그런데, 주차시설의 부족이 갈수록 심해짐에 따라 비장애인 운전자들이 장애인 전용 주차구역에 불법 주차하는 경우가 발생하여서, 장애인 전용 주차구역에 대한 주차 단속을 하고 있다.

여기서, 단속 상황은 장애인 주차표지를 부착하지 않는 차량이 주차한 경우, 주차표지의 차량번호가 자동차 차량번호와 일치하지 않는 경우, 주차표지를 위조 또는 변조한 경우, 장애인 전용 주차구역에 주차하는 데 방해되는 물건 또는 차량이 있는 경우, 주차표지는 있지만 장애인이 탑승하지 않은 경우, 장애인 차량이더라도 주차선을 지키지 않은 경우 등으로 다양하다.

등록특허 제10-1859342호 및 등록특허 제10-2100904호에 따르면, 장애인 전용 주차구역에 주차하는 차량의 차량번호 및 차량에 부착한 장애인 주차표지를 카메라로 촬영한 영상으로 인식하여 주차 단속할 수 있고, 카메라 영상을 이용하거나 또는 초음파 센서를 보조적으로 사용하여 주차 방해를 단속할 수 있다.

하지만, 장애인이 탑승하지 않은 차량이 장애인 전용 주차구역에 주차한 경우에도 단속하여야 하는 데, 등록특허 제10-1859342호 및 등록특허 제10-2100904호의 기술만으로는 이런 상황을 판별할 수 없다. 한편, 등록특허 제10-1634943호는 하차한 장애인을 생체인식(안면 인식, 지문 인식)하여 장애인의 탑승 여부를 확인하는데, 생체인식 과정이 장애인에게는 번거롭고, 그 과정을 수행하기 어려운 장애인도 있으며, 생체정보의 이용에 대한 거부감도 있어서 실제 사용하긴 어렵다.

또한, 카메라를 설치할 수 있는 위치가 제한되어서, 주차표지를 인식하기 곤란한 상황도 발생하고, 주차선을 침범한 경우에도 단속하여야 하지만 주차선 침범을 판별하기 곤란한 경우도 있다.

KR 10-1859342 B1 2018.05.11. KR 10-2100904 B1 2020.04.08. KR 10-1634943 B1 2016.06.24.

따라서, 본 발명은 하차한 사람의 장애인 여부를 자동으로 확인함으로써, 장애인 전용 주차구역에서 과태료 부과할 모든 대상을 단속할 수 있게 구성 가능한 인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템의 제공을 목적으로 한다.

상기 목적을 달성하기 위해 본 발명은 인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템에 있어서, 장애인 차량번호 정보와 주차표지 정보가 사전 등록되어 저장되어 있는 서버(300); 주차면(10) 및 주차면(10) 전방의 통행로(20)를 포함한 감시 영역(30)을 촬영할 카메라(110)와, 단속 상황을 알리기 위한 출력수단(120)을 구비한 감시 장치(100); 및 상기 카메라(110)의 영상에서 감시 영역(30)의 차량을 인공 신경망으로 인식하고 주차면(10)에 주차한 차량에 대해 추가적으로 차량번호 및 장애인 주차표지를 인식하는 제1 영상 인식부(230)와, 주차한 차량의 하차 승객을 인공 신경망으로 행동 인식하여 장애인을 인식하는 제2 영상 인식부(240)와, 인식하여 얻는 차량번호 및 장애인 주차표지 정보를 서버(300)에 조회 요청한 결과 및 장애인의 인식 여부에 따라 장애인 전용 주차구역의 단속 상황인지 판단하여 상기 출력수단(120)으로 단속 상황을 알리는 단속 동작부(250)를 포함하는 단속 장치(200);를 포함한다.

본 발명의 일 실시 예에 따르면, 상기 제2 영상 인식부(240)는 상기 제1 영상 인식부(230)에 의해 인식된 주차 차량의 위치에 따라 결정되는 하차 영역(50)의 영상에 대해 특징맵을 형성하는 컨벌루션 계층(242a)과, 특징맵을 연속 처리하는 활성화 계층(242b) 및 풀링 계층(242c)과, 풀링 계층에서 출력되는 특징값을 결합한 특징량에 따라 하차 영역(50)의 객체를 장애인, 비장애인 및 장애인 보조기구로 클래스 분류하고 분류의 정확성을 나타내는 확률을 출력하는 전결합층(242d)을 포함한 인공 신경망(242); 및 인식되는 비장애인 또는 장애인 보조기구와 인식되는 장애인 사이의 위치 연관성에 근거하여 인식되는 장애인의 확률을 수정한 후, 수정한 확률에 따라 장애인을 확정하는 식별부(243);를 포함한다.

본 발명의 일 실시 예에 따르면, 상기 제1 영상 인식부(230)는 상기 카메라(110)의 영상으로 감시 영역(30)의 차량 또는 물체를 인식함은 물론 위치를 결정하며, 상기 단속 동작부(250)는 인식한 차량 또는 물체의 주차 방행 위치에 따른 단속 상황 및 인식한 주차 차량의 주차선 지킴 여부에 따른 단속 상황을 판단한다.

본 발명의 일 실시 예에 따르면, 상기 단속 장치(200)는 감시 영역(30)의 영상의 배경 영상을 얻고, 주차면(10)의 경계 좌표를 영상 인식하여 얻는 감시 영역 인식부(220)을 포함하고, 상기 제1 영상 인식부(230)는 상기 카메라(110) 영상에서 배경 영상과 차이나는 부분을 관심 이미지로 선정하는 출현 객체 탐지부(231); 관심 이미지에 대해 영상 인식하여 차량과 사람을 인식하는 인공 신경망(232); 차량 및 사람으로 인식되지 아니한 관심 이미지를 물체로 인식하는 물체 인식부(233); 차량으로 인식된 관심 이미지에서 차량번호 및 주차표지를 인식하는 번호/표지 인식부(234);를 포함한다.

본 발명의 일 실시 예에 따르면, 상기 감시 장치(100)는 주차면(10)의 후방측에 간격을 두며 복수 개로 설치되어 주차면(10)의 폭방향 경계 영역을 향한 카메라 축을 갖게 하고, 상기 단속 장치(200)는 복수의 상기 감시 장치(100)에 각각 구비된 카메라(110)의 영상을 각 프레임에 대해 이미지 스티칭(image stitching)하여 이어붙인 병합 영상에서 감시 영역(30)을 특정하여, 감시 영역(30)의 영상을 상기 제1 영상 인식부(230) 및 제2 영상 인식부(240)로 처리하게 한다.

본 발명의 일 실시 예에 따르면, 상기 제1 영상 인식부(230)는 통행로(20) 상의 차량의 장애인 주차표지를 영상 인식하여 얻는 정보를 기억한 후, 차량이 주차할 시에 기억하여 둔 장애물 주차표지 정보를 주차 차량에 적용한다.

본 발명의 일 실시 예에 따르면, 상기 제1 영상 인식부(230)는 영상 병합하기 이전의 모든 카메라(110) 영상에서 각각 통행로 상의 차량의 장애인 주차표지를 영상 인식하게 한다.

본 발명의 일 실시 예에 따르면, 상기 제1 영상 인식부(230)는 주차표지를 본인 운전용 및 보호자 운전용으로 구분하여 인식하고, 주차면에 주차한 차량의 운전석 방향을 인식하고, 상기 제2 영상 인식부(240)는 장애인과 함께 비장애인도 인식하고, 인식되는 장애인의 하차 방향을 인식하며, 상기 단속 동작부(250)는 운전석 방향으로 하차한 승객의 장애인 여부에 따라 본인 운전용 및 보호자 운전용에 부합하는지 확인하여 단속 상황을 판단한다.

상기와 같이 구성되는 본 발명은 차량번호 및 주차표지에 따라 단속 상황을 판별함은 물론이고, 장애인이 탑승하지 않은 차량이 주차한 단속 상황도 판별하여서, 비장애인이 탑승한 차량도 주차 단속할 수 있다.

본 발명의 일 실시 예에 따르면, 하차한 비장애인 또는 장애인 보조기구를 인식하여 장애인을 식별하는 데 활용함으써 사용상의 불편함을 주지 아니하면서 단속 상황을 보다 정확하게 판별할 수 있다.

본 발명의 일 실시 예에 따르면, 후방주차한 상태의 차량의 주차표지를 인식하지 못하는 상황에서도 주차표지를 주차 전에 인식할 수 있다.

본 발명의 일 실시 예에 따르면, 하차 영역을 중심으로 촬영하면서 영상 합성하여 얻는 주차구역 전체 영상을 영상 인식하여서 장애인 전용 주차구역에서 일어나는 다양한 단속 상황을 판별할 수 있음은 물론이고, 주차면 후방이 협소한 주차구역에도 설치 운동할 수 있는 장점도 있다.

본 발명의 일 실시 예에 따르면, 본인 운전용 및 보호자 운전용으로 구분되는 주차표지에 부합하게 탑승한 차량인지도 확인하여서, 단속 상황을 보다 정확하게 판단할 수 있다.

도 1은 본 발명의 실시 예에 따른 인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템의 구성도.
도 2는 카메라(110)을 구비한 복수의 감시 장치(100)에 의해 설정되는 감시 영역(30)을 보여주는 장애인 전용 주차구역의 평면도.
도 3은 제1 영상 인식부(230) 및 제2 영상 인식부(240)의 상세 블록 구성도.
도 4는 주차표지(40)의 인식 시점을 보여주는 장애인 전용 주차구역의 평면도.
도 5는 주차표지(40)의 형상을 보여주는 도면.
도 6은 하차 승객의 인식을 위해 특정한 하차 영역(50)을 보여주는 장애인 전용 주차구역의 평면도.
도 7은 장애인으로 식별되는 하차 승객의 모습을 예시한 도면.

이하, 본 발명의 실시 예들에 대하여 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 구체적이고 다양한 예시들을 보여주며 설명한다. 그러나, 본 발명의 실시 예들은 본 발명의 범위 내에서 다양한 변경이나 수정을 통해 실시될 수 있음도 분명하므로, 설명하는 실시 예들에 한정되지는 않는다.

그리고, 본 발명의 실시예들은 잘 알려진 구성요소, 기능, 방법, 전형적인 상세한 내용에 대해서는 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자가 추가하여 실시할 수 있으므로, 자세히 기술하지 않기로 한다.

본 발명의 실시 예는 소프트웨어와 하드웨어가 결합된 형태로 구현될 수 있고, 소프트웨어와 하드웨어 형태는 부품, 모듈, 부 등으로 기술될 수 있고, 기록매체에 구현된 컴퓨터에서 읽을 수 있는 프로그램 코드의 형태로 구현될 수 있다.

구성요소 사이의 연결은 데이터, 신호, 정보 등을 전달하기 위해 유선 연결 또는 무선 연결일 수 있고, 그 중간에 다른 구성요소를 사이에 두고 간접 연결되어 있는 경우도 포함할 수 있다.

어떤 구성요소를 ‘포함’한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 실시 예에 따른 인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템의 구성도이다.

도 2는 카메라(110)을 구비한 복수의 감시 장치(100)에 의해 설정되는 감시 영역(30)을 보여주는 장애인 전용 주차구역의 평면도이다.

도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 장애인 전용 주차구역 단속 시스템은 장애인 전용 주차구역에 설치된 복수의 감시 장치(100)와, 영상 전송 및 신호 전송을 위한 케이블을 통해 감시 장치(100)에 연결된 단속 장치(200)와, 단속 장치(200)가 예를 들어 인터넷망으로 할 수 있는 통신망(400)을 통해 접속할 수 있게 한 서버(300)를 포함한다.

상기 서버(300)에는 장애인 차량으로 등록된 차량의 차량번호와 차량에 부착하게 한 장애인 주차표지 정보가 사전 등록되어 저장되어 있다. 대한민국의 경우를 예를 들어 설명하면, 상기 서버(300)는 행복e음으로 불리는 사회보장정보시스템 및 자동차등록시스템과 연계하여, 장애인 차량의 차량번호와 장애인 주차표지 정보를 미리 등록되게 할 수 있다.

상기 서버(300)는 단속 장치(200)에서 조회 요청하는 차량번호와 장애인 주차표지 정보의 진위 여부를 단속 장치(200)에게 알려준다. 즉, 장애인 차량의 차량번호와 장애인 주차표지 정보를 매칭시켜 저장하여 둠으로써, 단속 장치(200)에서 인식한 차량의 차량번호 및 장애인 주차표지 정보가 모두 매칭된 정보와 일치하는지의 여부로 진위를 판단하여 단속 장치(200)에 알려준다.

여기서, 장애인 주차표지 정보는 장애인 주차표지 번호와, 본인 운전용 및 보호자 운전용으로 구분되는 식별 정보를 포함하며, 이에 따라, 하기에서 설명하는 바와 같이 차량에서 인식한 장애인 주차표지의 진위 여부를 주차표지 번호 및 유형에 따라 확인할 수 있고, 차량에서 장애인이 하차하는 방향에 따라 단속 상황을 보다 정확하게 판단하는 데 활용할 수 있다.

또한, 상기 서버(300)는 후술하는 바와 같이 단속 장치(200)에서 전달하는 단속 상황 정보를 전달받아 저장하여서, 지방자치단체의 과태료 부과 절차를 지원하는데 활용되게 할 수 있다.

상기 감시 장치(100)는 카메라(110)와 출력수단(120)을 구비하며, 도 2에 예시한 바와 같이 장애인 전용 주차구역의 주차면(10)은 물론이고 주차면(10)에 주차하기 위해 차량이 주차면(10)으로 진입하는 전방의 통행로(20)까지 촬영하게 하고, 특히, 주차면(10)에 주차한 차량에서 하차하는 승객을 촬영하기 위해서 주차면(10)의 폭방향 경계(11)가 있는 영역을 향하게 설치된다.

즉, 상기 카메라(110)는 주차면(10), 주차면(10) 전방의 통행로(20) 및 주차면의 폭방향 경계(11)의 외곽 영역(12)을 감시 영역(30)으로 하여 촬영하게 구비되거나, 상기 감시 장치(100)의 설치할 시에 감시 영역(30)을 촬영할 수 있는 방향으로 카메라(110)를 향하게 설치한다.

이를 위해서, 복수개의 상기 감시 장치(100)를 주차면(10)의 후방에 간격을 두고 설치하여서, 각각의 감시 장치(100)에 구비된 카메라(110)가 주차면(10)의 양측 폭방향 경계(11)의 외곽 영역(12)을 지나가는 방향을 촬영 방향(카메라 축의 방향)으로 되게 한다. 도시한 바와 같이 장애인 전용 주차구역이 복수의 주차면(10)으로 구획한 경우에는 인접한 주차면(10) 사이를 각각 1대의 감시 장치(100)로 촬영하게 할 수 있다.

이에 따라, 복수의 상기 감시 장치(100)는 주차면(10) 및 주차면(10)의 폭방향 경계(11)의 외곽 영역(12)을 포함한 장애인 전용 주차구역 전체는 물론이고 주차면(10) 전방의 통행로(20)를 동시에 촬영할 수 있고, 각 주차면(10)에 주차한 차량에서 하차하는 승객도 가려진 부분을 최소화하며 촬영할 수 있다.

한편, 상기 출력수단(120)은 단속 상황을 사람이 인지할 수 있게 알리는 수단으로서, 예시적으로 경광등(121) 또는 스피커(122)를 포함할 수 있으나, 이에 한정하는 것은 아니고, 디스플레이장치를 사용하여도 좋고, 단속 상황을 알리기 위한 적어도 1개 이상이면 된다. 그리고, 복수 개로 설치한 감시 장치(100)는 각 주차면(10)의 단속 상황을 개별적으로 알리도록 운용되게 할 수 있다.

도 1 및 도 2를 참조하며 설명한 바와 같이 주차면(10)의 후방측 영역 중에 주차면(10)의 폭방향 경계(11)의 외곽 영역(12)과 마주하는 곳에는 각각 감시 장치(100)가 설치되어서, 각각의 감시 장치(110)에 구비된 카메라(110)는 폭방향 경계의 외곽 영역(12)을 폭방향 경계(11)를 따라 지나가는 방향을 카메라 축(112)으로 하여 소정의 촬영범위(111)을 촬영한 영상을 얻는다.

이에 따라, 도 2에 도시한 바와 같이 각각의 카메라(110)로 촬영하여 얻는 영상은 동일 장면을 촬영한 부분이 존재한다.

상기 단속 장치(200)는 복수의 감시 장치(100)에 각각 설치된 카메라(110)에서 촬영한 영상을 병합하는 영상 합성부(210)와, 병합 영상에서 감시 영역(30)을 특정하여 감시 영역(30)의 배경 영상을 얻고 주차면의 경계 좌표를 영상 인식하여 얻는 감시 영역 인식부(220)와, 감시 영역(30)의 영상에서 차량 및 물체를 인식하고 주차 차량에 대해 추가적으로 차량번호 및 장애인 주차표지를 인식하는 제1 영상 인식부(230)와, 주차 차량에서 하차하는 사람을 행동 인식하여 장애인의 하차 여부를 확인하는 제2 영상 인식부(240)와, 제1 영상 인식부(230) 및 제2 영상 인식부(240)의 인식 결과에 따라 단속 상황을 판단하여 상기 출력수단(120)으로 알리는 단속 동작부(250)를 포함한다.

상기 영상 병합부(210)는 카메라(110)의 배치 순서에 따라 카메라(110) 영상을 이미지 스티칭(image stitching)하여 병합한 영상을 얻는다. 이때 얻는 병합 영상은 동일 장면을 촬영한 부분이 겹쳐지게 하여 이어붙여진 영상이므로 감시 영역 전체의 모습을 보여준다. 물론, 공지된 바와 같이 겹쳐지는 부분은 특징점의 유사도에 따라 결정하며, 영상 프레임별로 이미지 스티칭할 수 있다. 한편, 서로 다른 각도에 촬영한 영상을 이어붙일 시에 겹쳐지는 부분 중 어느 한쪽을 삭제하며 이어붙일 수도 있으며, 이어진 부분이 왜곡될 수 있으나 후술하는 바와 같이 제1 인공 신경망(232)으로 차량 및 사람을 인공 신경망으로 충분히 인식할 정도는 되고, 제2 인공 신경망(232)에서 하차 승객의 행동을 정확하게 인식해야 하는 데 이때에는 카메라(110)의 위치에 의해서 겹쳐진 부분이 아닌 부분으로 인식하므로 인식율이 저하되지는 않는다.

상기 감시 영역 인식부(220)는 병합 영상에서 각 주차면(10)의 사각형 경계를 영상 인식하여 각 주차면(10)의 경계 좌표를 얻고, 경계 좌표를 기준으로 각 주차면(10)의 전방 영역에서 소정 폭의 통행로(20)를 결정하여 통행로(20)의 전방측 경계선 좌표를 얻고, 주차면(10)의 폭방향 경계(11) 좌표를 기준으로 소정 폭의 외곽 영역(12)을 결정하여 외곽 영역(12)의 폭방향 측 경계선 좌표를 얻는다. 이와 같이 얻는 경계선 좌표에 따라 주차면(10), 통행로(20) 및 외곽 영역(12)을 감시 영역(30)으로 결정한다. 여기서 통행로(20)의 소정 폭은 통상적인 통행로의 폭을 감안하여 미리 설정하여 두고, 외곽 영역(12)의 소정 폭은 통상적인 하차 영역의 폭을 감안하여 미리 설정하여 둔다.

한편, 도 2에 예시한 장애인 전용 주차구역은 주차면(10) 사이를 이격시켜 통해한 예를 보여주므로, 주차면(10) 사이의 전체 영역을 외곽 영역(12)으로 한다. 그렇지만, 주차면(10)의 폭을 넓게 하고 주차면(10)을 연이어지게 표시한 경우에는 양쪽 끝의 주차면(10)에서만 외곽 영역(12)을 갖게 한다.

그리고, 상기 감시 영역 인식부(220)는 감시 영역(30)의 배경 영상을 저장하여 둔다. 이러한, 감시 영역(30)의 배경 영상은 감시 장치(100) 및 단속 장치(200)를 설치한 후 감시 영역(30)에 차량, 사람 및 물체가 없는 상황에서 얻을 수 있게 하고, 주기적으로 업데이트하게 할 수도 있다.

상기 제1 영상 인식부(230) 및 제2 영상 인식부(240)에 대해서는 도 3 내지 도 7을 참조하여 설명한다.

먼저, 도 3은 제1 영상 인식부(230) 및 제2 영상 인식부(240)의 상세 블록 구성도이다.

상기 제1 영상 인식부(230)는 감시 영역에 출현한 객체를 인식하는 출현 객체 탐지부(231)와, 출현 객체 중에 차량 및 사람을 인식하는 제1 인공 신경망(232)과, 출현 객체 중에 차량 및 사람을 제외한 객체를 물체로 인식하는 물체 인식부(233)와, 인식한 차량에서 차량번호 및 주차표지를 인식하는 번호/표지 인식부(234)를 포함한다.

본 발명의 실시 예에서는 감시 영역(30)에 출현하는 객체를 차량과, 사람과, 차량 및 사람을 제외한 물체로 분류하여 인식한다. 그런데, 물체의 다양성에 의해서 물체를 일일이 분류하며 인식하긴 곤란하므로, 우선 배경 영상과 비교하여 얻는 차영상에 따라 출현 객체 모두를 탐지한 후 인공 신경망으로 차량 및 사람을 인식하여, 차량 및 사람을 제외한 객체를 물체로 인식하며, 이를 위해서 다음과 같이 구성된다.

상기 출현 객체 탐지부(231)는 상기 영상 병합부(210)에서 실시간 생성되는 감시 영역(30)의 병합 영상에서 상기 배경 영상과 차이나는 부분을 감시 영역(30)에 출현한 객체에 의해 촬영된 관심 이미지로 선정한다. 예를 들어, 화소값의 차이가 기설정 값 이상으로 차이나는 화소들의 군집이 기설정 크기 이상인 부분을 관심 이미지로 선정할 수 있다.

상기 제1 인공 신경망(232)은 상기 출현 객체 탐지부(231)에서 선정한 관심 이미지들을 영상 인식하여 차량에 의한 관심 이미지와 사람에 의한 관심 이미지를 추출하며, 본 발명의 실시 예에서는 이미지 분류에서 뛰어난 성능을 나타내는 합성곱 신경망(Convolutional Neural Network, CNN)으로 구성되어, 컨벌루션 계층(convolution layer, 232a), 활성황 계층(activation layer, 232b), 풀링 계층(pooling layer, 232c) 및 전결합층(fully-connected layer, 232d)을 포함한다.

이러한 합성곱 신경망(Convolutional Neural Network, CNN)은 공지의 구성이므로, 간략하게 설명한다.

컨벌루션 계층(232a)은 관심 이미지와 필터 사이에 컨벌루션 연산을 수행하여 관심 이미지의 특징(feature)들을 추출하여 나타낸 특징맵(feature map)을 출력한다. 특징맵 상에 분포하는 특징들은 재배치된 관심 이미지 정보를 포함하게 된다. 여기서, 차량 및 사람의 특징을 잘 추출하기 위한 다양한 필터를 사용할 수 있다. 이러한 컨벌루션 계측(232a)은 복수 개에 의해 다층 신경망으로 구성되어서, 특징들을 계층적으로 추출한 특징맵을 출력하게 할 수 있다.

활성화 계층(232b)은 컨벌루션 계층(232a)의 출력을 정규화하여 출력하는 계층으로서, ReLU 함수, 시그모이드(sigmoid) 함수 등의 비선형 활성화 함수가 사용될 수 있다.

풀링 계층(232c)은 활성화 계층(232b)에 의해 정규화한 특징맹에 대해 서브 샘풀링(subsampling) 또는 풀링(pooling)을 수행하여 특징맵을 대표하는 특징을 추출하는 계층이다.

전결합층(232d)은 추출한 특징들을 결합하여, 관심 이미지가 어떤 클래스(class)에 해당하는지를 판단할 수 있다. 이러한 전결합층(232d)은 소프트맥스 함수(sofrmax function)를 이용한 소프트맥스 계층(softmax layer)과 결합하여, 전결합층(232d)에서의 연산 결과 값에 따라 0과 1사이의 확률 값을 출력하게 구성할 수 있다.

즉, 합성곱 신경망으로 구성된 제1 인공 신경망(232)을 차량 및 사람의 학습 이미지로 지도 학습(Supervised Learning)시켜서, 입력한 관심 이미지 중에 차량 및 사람으로 분류되는 부분을 인식할 수 있다.

또한, 병합 영상 내에서 차량으로 분류하여 인식한 이미지 부분의 위치 좌표와, 사람으로 분류하여 인식한 이미지 부분의 위치 좌표도 얻을 수 있다. 여기서, 위치 좌표는 해당 이미지의 경계 좌표를 포함한다.

상기 물체 인식부(233)는 관심 이미지 중에 제1 인공 신경망(232)에서 차량 및 사람으로 인식된 것을 제외한 나머지 관심 이미지를 물체로 인식한다. 물론, 물체로 인식한 관심 이미지의 위치 좌표도 결정할 수 있다.

한편, 상기 물체 인식부(233)는 물체로 인식된 관심 이미지를 사람으로 인식한 관심 이미지와 물체로 인식한 관심 이미지 사이의 위치에 따라 검증하거나, 또는 차량으로 인식한 관심 이미지와 물체로 인식한 관심 이미지 사이의 위치에 따라 검증할 수 있다. 예를 들어, 물체는 사람 또는 차량에 의해 운반될 수 있으므로, 위치 좌표를 확인하여 사람 또는 차량에 근접한 상태에서 사람 또는 차량으로부터 멀어질 때에 실제 물체로 확정하는 방식으로 검증할 수 있다.

본 발명의 변형 실시 예로서, 예를 들어 물체를 감지하며 거리도 감지할 수 있는 초음파 센서를 상기 감시 장치(100)에 설치하여서, 물체 인식부(233)의 인식 결과를 검증할 수도 있다.

이와 같이 인식하는 차량 및 물체의 병합 영상 상의 위치 좌표는 실시간으로 하기의 단속 동작부(250)에 전달되고, 위치를 확인하여 차량이 주차면(10)에 주차한 것으로 판단될 시에 얻는 차량의 위치 좌표는 제2 영상 인식부(240)에도 전달된다.

상기 번호/표지 인식부(234)는 차량으로 인식한 관심 이미지에서 차량번호 및 장애인 주차표지(40)를 영상 인식하여 얻으며, 이러한 영상 인식 기술은 본 발명이 속한 기술분야에서 공지의 기술이므로 상세 설명을 생략한다.

다만, 상기 번호/표지 인식부(234)는 차량으로 인식한 관심 이미지의 위치 좌표에 따라 차량이 주차면에 진입하는 것으로 판단될 시에 차량의 차량번호를 인식하게 할 수 있다.

반면에, 본 발명의 실시 예에서 상기 번호/표지 인식부(234)는 적어도 장애인 주차표지(40)만은 차량이 주차 이전인 통행로(20) 상에서 인식될 시에, 선제적으로 영상 인식하게 하며, 이를 위해서 차량이 인식되는 순간부터 장애인 주차표지(40)를 인식하는 동작을 수행한다. 즉, 차량이 통행로(20)를 통해 감시영역(30)으로 진입하고, 장애인 주차표지(40)는 차량의 전면 유리창에 부착하여 후방주차한 상태에서는 카메라로 촬영되지 않기 때문이다.

본 발명의 실시 예에서는 병합 영상이 아니라 병합하기 이전 모든 카메라(110) 영상에서 통행로 상의 차량 위치에 해당되는 부분을 영상 인식하여 주차표지를 인식하게 함으로써 인식률을 높일 수 있다. 즉, 주차표지(40)가 기 주차된 차량에 가려지거나, 주차표지를 촬영할 수 있는 카메라가 차량이 통행로(20)로 진입하는 방향에 따라 달라지더라도, 적어도 어느 하나의 카메라 영상에서 주차표지를 인식할 수 있게 하며, 도 4 및 도 6을 참조하며 설명한다.

도 4는 통행로(20) 상에서 차량이 인식된 상황을 보여주는 장애인 전용 주차구역의 평면도이고, 도 6은 인식된 차량이 어느 한 주차면(10)에 주차한 상황을 보보여주는 장애인 전용 주차구역의 평면도이며, 예시적으로 통행로의 어느 한 위치에 인식된 차량과 기 주차된 차량이 도시되어 있다.

도 4에 예시한 바와 같이, 통행로(20)에 진입한 차량이 도 6에 예시한 바와 같이 후방주차하는 경우에, 주차한 차량의 주차표지(40)는 어느 카메라(110)에서도 촬영되지 아니한다.

이에, 상기 번호/표지 인식부(234)는 주차하기 이전에 적어도 주차표지를 인식하는 동작을 선제적으로 수행한다. 물론, 차량번호를 인식하는 동작도 선제적으로 수행할 수 있다. 그렇지만, 주차 중의 차량에서 촬영한 차량번호가 외곡이 덜하므로 주차 중에 인식하는 것이 좋다.

그런데, 주차면(10)의 후방측에 이격 배치된 복수의 카메라(110) 중에는 차량이 통행로(20) 상에 진입하여 인식될 시에 기 주차된 차량에 의해 진입 차량이 가려지는 카메라(110)가 있을 수 있고, 차량의 진압 방향에 따라 주차표지(40)를 촬영하지 못하는 카메라(110)가 있을 수 있다.

이에, 상기 번호/표지 인식부(234)는 복수의 카메라(110)에서 각각 촬영한 영상에서 차량으로 인식된 관심 이미지의 위치에 대응되는 부분에 대해 각각 주차표지를 인식하는 동작을 수행하고, 어느 하나의 영상이든 인식된 주차표지로부터 주차표지 정보를 얻는다.

여기서, 주차표지를 인식하여 얻는 정보는 주차표지에 표기된 번호와, 주차표지의 색상에 의해 본인 운전용 및 보호자 운전용으로 구분한 정보와, 규정된 주차표지의 형상을 인식된 주차표지의 형상과 대조하여 인식된 주차표지가 규정된 형상인지의 여부를 알리는 정보일 수 있다.

도 5는 현재 대한민국에 사용하는 주차표지(40)의 형상을 보여주는 도면이다. 도 5(a)에 도시한 본인 운정용 주차표지와 도 5(b)에 도시한 보호자 운전용 주차표지는 '본인 운전용' 및 '보호자 운전용' 중에 표기한 용도에 의해 구분할 수 있고, 색상을 다르게 하여 구분할 수 있다.

이에, 상기 번호/표지 인식부(234)는 인식한 주차표지 이미지를 기 저장해둔 본인 운전용 주차표지 이미지 및 보호자 운전용 주차표지 이미지와 대조하여 진위 여부를 판단할 수 있게 하고, 구분한 쉬운 방식으로 색상에 따라 용도를 판별하게 할 수 있다.

통행로 상의 차량에서 인식한 장애인 주차표지 정보는 메모리(미도시)에 기억하여 두고, 차량의 이동을 추적하여 주차면에 주차할 시에, 기억한 장애물 주차표지 정보를 주차 차량의 장애물 주차표지 정보로 적용하여서, 차량이 진입할 시에 인식한 차량번호와 함께 하기의 단속 동작부(250)에 전달한다. 물론, 주차표지가 인식되지 아니하며 주차한 차량에 대해 인식한 차량번호는 단속 동작부(250)에 전달한다.

한편, 본 발명의 실시 예에서 상기 제1 영상 인식부(230)는 주차면에 주차한 차량의 운전석 방향을 인식하여, 하기의 단속 동작부(250)에 전달한다.

이를 위해서, 상기 제1 영상 인식부(230)는 주차면에 주차한 차량의 운전석 방향을 인식하게 구성될 수 있다. 이를 위해서, 상기 제1 영상 인식부(230)는 차량의 방향별 학습 이미지로 학습시켜서, 차량을 자세별로 분류하게 할 수 있다. 그리고, 차량이 주차면에 주차할 시의 자세에 따라 운전석 방향을 특정하게 할 수 있다.

다른 실시 예로서, 상기 번호/표지 인식부(240)는 통행로 상의 차량에 대해 주차표지를 인식함은 물론이고, 주차표지가 인식된 통행로 상의 차량이 주차면에 진입할 시에 차량번호를 인식하면서 주차표지를 인식하는 동작도 수행하게 할 수 있다. 이에 따라, 상기 번호/표지 인식부(240)는 통행로 상에서 주차표지가 인식된 후 차량이 주차면에 진입할 시에 주차표지의 인식 여부에 따라 후방주차 및 전방주차를 구분하여 주차한 차량의 운전석 방향을 결정할 수 있다. 또한, 후방주차 및 전방주차로 구분한 차량의 이미지에서 앞좌석 및 뒷좌석을 구분하여 정확한 운전석 방향을 결정할 수 있다.

즉, 주차표지(40)는 차량의 정면 유리창에 부착하므로, 주차하기 위한 주차면(10)으로 진입한 차량에 대해서, 주차면(10) 후방에서 주차표지가 인식된다면 전방주차이고 주차표지가 인식되지 아니한다면 후방주차인 것이기 때문이다.

상기 제2 영상 인식부(240)는 장애인의 하차 여부와, 장애인의 하차 방향과, 운전석에 하차한 승객이 장애인인지 아니면 비장인인지를 식별하기 위한 구성이다.

본 발명의 실시 예에서 상기 제2 영상 인식부(240)는 주차한 차량에서 내리는 객체를 인식할 하차 영역(50)을 결정하는 하차 영역 결정부(241)와, 하차 영역(50)의 영상에 대해 영상 인식하여 차량에서 내리는 객체를 분류하며 인식하는 제2 인공 신경망(242)과, 인식한 객체 사이의 위치 연관성에 근거하여 장애인을 식별하고 장애인이 내리는 방향을 결정하는 식별부(233)를 포함한다.

상기 하차 영역 결정부(241)는 상기 제1 영상 인식부(240)로부터 주차 차량의 위치를 전달받을 시에, 도 6에 예시한 바와 같이 차량의 양 측면 영역을 하차 영역(50)으로 결정한다. 이때의 하차 영역(50)은 병합 영상 상의 영역으로 하거나, 아니면, 복수의 카메라 중에 차량이 주차한 위치에 근접한 카메라에서 촬영한 영상, 즉, 병합 이전 카메라 영상 상의 영역으로 할 수 있다.

상기 제2 인공 신경망(242)은 상기 제1 인공 신경망(232)과 동일하게 이미지 분류 뿐만 아니라 행동 인식하여 행동 분류하는 데도 뛰어난 성능을 갖는 합성곱 신경망(Convolutional Neural Network, CNN)으로 구성되어, 컨벌루션 계층(convolution layer, 242a), 활성황 계층(activation layer, 242b), 풀링 계층(pooling layer, 242c) 및 전결합층(fully-connected layer, 242d)를 포함하므로, 각 계층에 대한 상세 설명은 생략하고 처리하는 정보 및 인식 대상에 따른 기능 위주로 설명한다.

본 발명의 실시 예에서는 하차 영역(50)으로 한정한 영상 부분에서 객체를 인식하므로, 객체 인식할 관심 영역을 검출하지 아니하고, 주차 차량의 양측에 존재하는 하차 영역(50)의 영상을 각각 관심 영역으로 하여 상기 제2 인공 신경망(242)으로 인식 처리하는 것으로 설명한다.

컨벌루션 계층(242a)은 복수 개에 의해 다층 신경망으로 구성되며, 하차 영역의 영상을 입력받아 영상의 특징을 계층적으로 추출하여 특징맵을 형성하고 출력한다. 이때 입력받는 영상은 병합 영상 내의 하차 영역 영상이거나 아니면 하차 영역을 촬영하는 카메라의 영상 내의 하차 영역 영상일 수 있다. 컨벌루션 계층(242a)에서 입력 영상과 컨벌루션 연산하는 필터는 하차 영역(50) 내에서 이동시키며 컨벌루션 연상하여 특징을 추출한다.

활성황 계층(242b) 및 풀링 계층(242c)은 컨벌루션 계층(242a)의 출력을 연속 처리하여 비선형 활성화 함수로 정규화하고 대표적 특징을 추출하여 사이즈 조절한다.

전결합층(242d)은 풀링 계층(242c)에서 출력하는 특징들을 결합하여서, 장애인, 비장애인 및 장애인 보조기구 중에 분류한 클래스를 결과로 하여 출력하고, 아울러, 소프트맥스 함수(sofrmax function)를 이용한 소프트맥스 계층(softmax layer)이 결합되어 있어 전결합층(232d)에서의 연산 결과 값에 따라 0과 1사이의 확률 값을 출력한다.

이와 같이 구성된 제2 인공 신경망(242)은 장애유형별 행동의 특징이 나타난 장애인 이미지와, 다양한 장애인 보조기구의 이미지와, 비장애인의 특징이 나타난 이미지를 학습 이미지로 하여 학습시켜서, 클래스 분류하게 할 수 있다.

상기 식별부(243)는 상기 제2 인공 신경망(242)에서 장애인으로 인식한 객체에 대해서, 비장애인 또는 장애인 보조기구로 인식한 객체와의 위치 연관성에 근거하여 확률를 조정한 후, 조정한 확률에 따라 장애인인지의 여부를 확정한다.

도 7에 예시한 바와 같이, 장애인으로 식별되는 하차 승객의 모습을 참조하여 설명한다.

장애인(60)은 휠체어, 지팡이, 목발 등의 장애인 보조기구(61)를 사용하여 이동할 수 있고, 또는 비장애인(61)의 도움을 받아 이동할 수 있으므로, 장애인 보조기구(62) 또는 비장애인(61)이 장애인(60)에 근접한 위치에서 인식되면, 장애인일 확률이 높다.

또한, 상기 제2 인공 신경망(242)으로 인식한 장애인을 장애인만의 행동 인식에 따라 판별하고, 한정된 하차 영역(50)에서 인식하여 판별하므로, 인식 오류가 있을 수 있다.

이에, 상기 식별부(243)는 상기 제2 인공 신경망(242)으로 장애인을 인식하고, 장애인과 기설정 거리 이내로 근접한 비장애인 또는 장애인 보조기구(61)도 인식할 시에, 인식한 장애인의 확률을 차등을 두며 수정한다. 구체적인 실시 예로서, 장애인 보조기구(62) 및 비장애인(61)이 근접하여 장애인(60)과 함께 인식된 경우, 장애인 보조기구(62)만 근접하여 장애인(60)과 함께 인식된 경우, 비장애인(61)만 근접하여 장애인(60)과 함께 인식된 경우의 순서로 확률을 올리는 값를 다르게 할 수 있다.

그리고, 상기 식별부(243)는 수정한 확률을 장애인 판별의 기준이 되는 기설정 확률값과 비교하여 최종적으로 장애인 여부를 확정하게 할 수 있다.

아울러, 상기 식별부(243)는 주차 차량의 양 하차 영역(50) 중에 장애인(60)이 인식된 하차 영역(50)에 따라 하차 방향을 결정한다. 물론, 양 하차 영역(50) 중에 장애인(60)을 인식한 영역을 하차 방향을 결정할 수 있다. 여기서 확정한 장애인 인식 여부와, 장애인이 인식된 것으로 확정할 시에 결정한 하차 방향을 단속 동작부(250)에 전달한다.

또한, 제2 인공 신경망(242)에서 비장애인도 인식하므로, 비장애인의 하차 방향도 결정하여 단속 동작부(250)에 전달한다.

한편, 하차 방향을 보다 정확하게 얻기 위해서, 하차 영역(50)에서 객체가 있는 영역을 객체별로 얻는 제3 인공 신경망을 추가 구성하고, 제3 인공 신경망으로 얻는 객체 영역별로 제2 인공 신경망(232)로 인식하여 클래스 분류하게 할 수 있다. 즉, 객체 영역에 따라 장애인의 하차 방향을 뒷자석 방향 및 앞자석 방향으로 구분하며 결정할 수 있다. 이때의 객체 위치 검출을 위한 제3 인공 신경망은 객체 인식에 관련된 기술분야에서 공지된 바와 같이 합성곱 신경망으로 구성할 수 있다.

본 발명의 변형 실시 예로서, 주차면 외곽 영역(12) 별로 카메라(110)로 촬영하게 구성된다고 하였지만, 장애인 전용 주차구역에서 설치 공간이 허용된다면, 주차면의 전방측 또는 후방측을 하차 영역으로 하여 촬영할 카메라를 추가할 수 있다. 이 경우, 주차한 차량의 후방측에서 내리는 객체를 인식하여, 후방으로 하차는 장애인을 인식하고 하차 방향을 결정할 수도 있다.

본 발명의 다른 변형 실시 예로서, 감시 영역은 물론 주차한 하차 영역을 촬영할 수 있는 하나의 카메라를 예를 들어 천정에 설치할 수 있는 장애인 전용 주차구역에서는 하나의 카메라만 설치할 수도 있다. 이 경우에, 출력수단(120)은 주차면 별로 설치하고, 영상 병합은 필요 없으며, 제2 영상 인식부(240)은 앞서 언급한 바와 같이 차량에서 내리는 객체의 영역을 검출할 제3 인공 신경망을 추가 하여, 객체 영역별로 객체 인식하게 한다.

상기 단속 동작부(250)는 상기 감시 영역 인식부(220)에서 인식한 주차면 경계 좌표, 외곽 영역 경계 좌표 및 통행로 경계 좌표를 포함하는 감시 영역 경계 정보를 전달받은 후, 상기 제1 영상 인식부(230) 및 제2 영상 인식부(240)의 인식 결과에 따라 장애인 전용 주차구역의 단속 상황인지 판단하여, 단속 상황인 주차면에 인접하게 설치된 감시 장치(100)의 출력수단(120)을 통해 단속 상황을 알리거나 경고하고, 단속 상황의 영상을 넘겨받아 서버(300)에 단속 상황임을 알리며 영상을 전달한다.

여기서, 상기 제1 영상 인식부(230)의 인식 결과로 얻는 정보는 차량의 인식 여부, 물체의 인식 여부, 인식한 차량의 실시간 위치 좌표, 인식한 물체의 실시간 위치 좌표, 차량번호, 주차표지 인식 정보(주차표지 번호, 본인 운전용/보호자 운전용 구분 정보, 주차표지의 규격 적합성 여부) 및 운전석 방향을 포함한다.

상기 제2 영상 인식부(240)의 인식 결과로 얻는 정보는 하차한 승객 중에 장애인 인식 여부, 인식한 장애인의 하차 방향, 인식한 비장애인의 하차 방향을 포함한다.

단속 상황의 판단은 다음과 같이 할 수 있다.

인식한 차량 또는 물체가 통행로 상에서 소정 시간 멈춰 있거나 또는 주차면 상에 소정시간 멈춰 있을 경우, 단속 상황 중에 주차 방해로 판단하여 경고한다.

차량이 주차면에 주차한 것으로 인식되었는 데, 차량번호만 인식되어 전달받는 경우, 단속 상황 중에 장애인 주차표지 없이 주차한 것으로 판단하여 경고한다. 이 경우에는 주차표지가 인식되지 않았음을 알려도 좋다.

주차한 차량에 대해 인식한 차량번호 및 주차표지 정보를 서버(300)에 전달하여 조회 요청한 후, 서버(300)에서 판정한 진위 여부에 따라 안내를 다르게 할 수 있다.

즉, 주차표지가 위조 또는 변조된 경우에, 단속 상황 중에 주차표지의 위변조되어 단속 대상임을 알리는 경고를 하고, 주차표지가 위조 및 변조되지 않았지만 주차표지에 매칭된 차량번호가 인식한 차량번호와 일치하지 않는 경우에, 단속 상황 중에 주차표지와 차량번호가 불일치하여 단속 대상임을 알리는 경고를 한다.

한편, 앞서 설명하였듯이, 주차표지 인식 정보 중에 주차표지의 규격 적합성 여부는 제1 인공 신경망(232)에 자체 판단하므로, 주차표지의 규격이 적합하지 않으면 주차표지의 위조 또는 변조되어 단속 대상임을 알리는 경고를 한다. 하지만, 인식한 주차표지 이미지를 전달받아 진위 여부를 서버(300)에 조회 요청할 수도 있다.

주차한 차량에 대해 인식한 차량번호 및 주차표지 정보에서 단속 상황이 발생하지 않은 상황에서, 하차 승객 중에 장애인이 인식되지 않은 경우에, 단속 상황 중에 주차표지는 있지만 장애인이 타지 않아 단속 상황임을 알리는 경고를 한다.

하차 승객 중에 장애인이 인식되지만, 장애인의 하차 방향이 주차표지 인식 정보의 본인 운전용/보호자 운전용 구분 정보에 부합하지 않는 경우에는 주차표지의 종류에 부합하지 않음을 알린다. 예를 들어, 본인 운전용 주차표지가 인식되고, 인식된 운전자 방향과 인식된 장애인 하차 방향이 불일치한 경우, 주차표지의 종류에 부합하지 않음을 알린다. 이 상황은 지방자치단체에서 단속 상황으로 하지 않을 수 있기 때문에, 부합하지 않음을 알리는 방식과 단속 상황임을 알리는 방식 중에 어느 하나의 방식을 사용자 입력에 의해 채택할 수 있게 하는 것이 좋다.

그런데, 보호자 운전용 주차표지를 부착한 차량에 장애인이 탑승한 상태에서, 보호자인 운전자만 하차하는 경우도 있어서, 하차한 승객 중에 장애인이 인식되지 않아 단속 상황으로 오판할 수 있다. 장애인이 인식되지 않아 단속 상황으로 간주될 수 있음을 알리게 할 수도 있다. 예를 들어, 보호자 운전용 주차표지를 인식하고, 인식한 운전석 방향에서 인식한 비장애인이 하차하고 난 후, 소정 시간 경과하는 동안 장애인 하차가 인식되지 아니하면, 단속 상황으로 인식될 수 있음을 알린다.

이와 같이 장애인 전용 주차구역에서 발생할 수 있는 다양한 단속 상황을 인지하여 단속할 수 있으므로, 실질적으로 장애인 전용 주차구역의 과태료 부과 대상 전반에 대해 단속처리할 수 있다.

이상에서 본 발명의 기술적 사상을 예시하기 위해 구체적인 실시 예로 도시하고 설명하였으나, 본 발명은 상기와 같이 구체적인 실시 예와 동일한 구성 및 작용에만 국한되지 않고, 여러가지 변형이 본 발명의 범위를 벗어나지 않는 한도 내에서 실시될 수 있다. 따라서, 그와 같은 변형도 본 발명의 범위에 속하는 것으로 간주해야 하며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.

10 : 주차면 11 : 폭방향 경계
12 : 폭방향 경계의 외곽 영역
20 : 통행로 30 : 감시 영역
40 : 주차표지 50 : 하차 영역
60 : 장애인 61 : 비장애인
62 : 장애인 보조기구
100 : 감시 장치
110 : 카메라
120 : 출력수단
121 : 경광등 122 : 스피커
200 : 단속 장치
210 : 영상 병합부
220 : 감시 영역 인식부
230 : 제1 영상 인식부
231 : 출현 객체 탐지부
232 : 제1 인공 신경망
232a : 컨벌루션 계층 232b : 활성화 계층
232c : 풀링 계층 232d : 전결합층
233 : 물체 인식부
234 : 번호/표지 인식부
240 : 제2 영상 인식부
241 : 하차 영역 결정부
242 : 제2 인공 신경망
242a : 컨벌루션 계층 242b : 활성화 계층
242c : 플링 계층 242d : 전결합층
243 : 식별부
250 : 단속 동작부
300 : 서버

Claims (8)

1. 장애인 차량번호 정보와 주차표지 정보가 사전 등록되어 저장되어 있는 서버(300);
   주차면(10) 및 주차면(10) 전방의 통행로(20)를 포함한 감시 영역(30)을 촬영할 카메라(110)와, 단속 상황을 알리기 위한 출력수단(120)을 구비한 감시 장치(100); 및
   상기 카메라(110)의 영상에서 감시 영역(30)의 차량을 인공 신경망으로 인식하고 주차면(10)에 주차한 차량에 대해 추가적으로 차량번호 및 장애인 주차표지를 인식하는 제1 영상 인식부(230)와, 주차한 차량의 하차 승객을 인공 신경망으로 행동 인식하여 장애인을 인식하는 제2 영상 인식부(240)와, 인식하여 얻는 차량번호 및 장애인 주차표지 정보를 서버(300)에 조회 요청한 결과 및 장애인의 인식 여부에 따라 장애인 전용 주차구역의 단속 상황인지 판단하여 상기 출력수단(120)으로 단속 상황을 알리는 단속 동작부(250)를 포함하는 단속 장치(200);
   를 포함하되,
   상기 제1 영상 인식부(230)는 주차표지를 본인 운전용 및 보호자 운전용으로 구분하여 인식하고, 주차면에 주차한 차량의 운전석 방향을 인식하고,
   상기 제2 영상 인식부(240)는 장애인과 함께 비장애인도 인식하고, 인식되는 장애인의 하차 방향을 인식하며,
   상기 단속 동작부(250)는 운전석 방향으로 하차한 승객의 장애인 여부에 따라 본인 운전용 및 보호자 운전용에 부합하는지 확인하여 단속 상황을 판단하는
   인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템.
2. 제 1항에 있어서,
   상기 제2 영상 인식부(240)는
   상기 제1 영상 인식부(230)에 의해 인식된 주차 차량의 위치에 따라 결정되는 하차 영역(50)의 영상에 대해 특징맵을 형성하는 컨벌루션 계층(242a)과, 특징맵을 연속 처리하는 활성화 계층(242b) 및 풀링 계층(242c)와, 풀링 계층에서 출력되는 특징값을 결합한 특징량에 따라 하차 영역(50)의 객체를 장애인, 비장애인 및 장애인 보조기구로 클래스 분류하고 분류의 정확성을 나타내는 확률을 출력하는 전결합층(242d)을 포함한 인공 신경망(242); 및
   인식되는 비장애인 또는 장애인 보조기구와 인식되는 장애인 사이의 위치 연관성에 근거하여 인식되는 장애인의 확률을 수정한 후, 수정한 확률에 따라 장애인을 확정하는 식별부(243);
   를 포함하는
   인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템.
3. 제 1항에 있어서,
   상기 제1 영상 인식부(230)는
   상기 카메라(110)의 영상으로 감시 영역(30)의 차량 또는 물체를 인식함은 물론 위치를 결정하며,
   상기 단속 동작부(250)는
   인식한 차량 또는 물체의 주차 방해 위치에 따른 단속 상황 및 인식한 주차 차량의 주차선 지킴 여부에 따른 단속 상황을 판단하는
   인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템.
4. 제 1항에 있어서,
   상기 단속 장치(200)는
   감시 영역(30)의 영상의 배경 영상을 얻고, 주차면(10)의 경계 좌표를 영상 인식하여 얻는 감시 영역 인식부(220)을 포함하고,
   상기 제1 영상 인식부(230)는
   상기 카메라(110) 영상에서 배경 영상과 차이나는 부분을 관심 이미지로 선정하는 출현 객체 탐지부(231);
   관심 이미지에 대해 영상 인식하여 차량과 사람을 인식하는 인공 신경망(232);
   차량 및 사람으로 인식되지 아니한 관심 이미지를 물체로 인식하는 물체 인식부(233);
   차량으로 인식된 관심 이미지에서 차량번호 및 주차표지를 인식하는 번호/표지 인식부(234);
   를 포함하는
   인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템.
5. 제 1항에 있어서,
   상기 감시 장치(100)는
   주차면(10)의 후방측에 간격을 두며 복수 개로 설치되어 주차면(10)의 폭방향 경계 영역을 향한 카메라 축을 갖게 하고,
   상기 단속 장치(200)는
   복수의 상기 감시 장치(100)에 각각 구비된 카메라(110)의 영상을 각 프레임에 대해 이미지 스티칭(image stitching)하여 이어붙인 병합 영상에서 감시 영역(30)을 특정하여, 감시 영역(30)의 영상을 상기 제1 영상 인식부(230) 및 제2 영상 인식부(240)로 처리하게 한
   인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템.
6. 제 5항에 있어서,
   상기 제1 영상 인식부(230)는
   통행로(20) 상의 차량의 장애인 주차표지를 영상 인식하여 얻는 정보를 기억한 후, 차량이 주차할 시에 기억하여 둔 장애물 주차표지 정보를 주차 차량에 적용하는
   인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템.
7. 제 6항에 있어서,
   상기 제1 영상 인식부(230)는
   영상 병합하기 이전의 모든 카메라(110) 영상에서 각각 통행로 상의 차량의 장애인 주차표지를 영상 인식하게 하는
   인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템.
8. 삭제

Images