KR102591758B1

KR102591758B1 - 차량 내 승객 감지장치 및 그 제어방법

Info

Publication number: KR102591758B1
Application number: KR1020180135689A
Authority: KR
Inventors: 노승종
Original assignee: 현대모비스 주식회사
Priority date: 2018-11-07
Filing date: 2018-11-07
Publication date: 2023-10-20
Also published as: KR20200054378A; US20200143182A1; CN111152744B; CN111152744A

Abstract

본 발명은 차량 내 승객 감지장치 및 그 제어방법이 개시된다. 본 발명의 차량 내 승객 감지장치는, 차량 내부 상부에서 좌석을 촬영하는 IR 카메라; 차량의 주행상태를 감지하는 주행상태 감지부; 승객의 방치상태를 경고하는 경고부; 및 주행상태 감지부로부터 주행상태를 입력받아 주정차 상황일 때 IR 카메라로부 차량 내부의 촬영영상을 입력받아 관심영역으로 세분화하고, 관심영역별로 전용 신경망을 통해 탑승객의 특징을 추출하여 전좌석의 탑승객을 검출한 후 방치승객 여부에 따라 경고부를 통해 경보를 출력하는 제어부;를 포함하는 것을 특징으로 한다.

Description

차량 내 승객 감지장치 및 그 제어방법{APPARATUS FOR DETECTING PASSENGER INSIDE VEHICLE AND CONTROL METHOD THEREOF}

본 발명은 차량 내 승객 감지장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 영상기반으로 차량 내 승객을 검출하고 방치상태를 판단하여 경보하는 차량 내 승객 감지장치 및 그 제어방법에 관한 것이다.

일반적으로, 유치원이나 보육시설, 학교, 학원 등과 같은 교육시설에서는 일정하게 정해진 코스를 이동하면서 약속된 장소마다 어린이들을 태운 후 해당 목적지까지 통학시키기 위한 이동수단으로서, 승합차 또는 버스 등 다양한 형태의 통학차량을 운행하고 있다.

그런데, 요즘 버스의 경우 운전자가 출발부터 도착할 때가지 운전자가 모든 조작을 해야 하고 또한 특별한 경우에는 조수역할까지 감당하는 열악한 환경에서 운행하고 있다.

이와 같이 운전자의 역할이 과중하기 때문에 종종 버스의 엔진을 정지시킨 상태에서 어린이들을 방치한 상태로 하차하는 경우가 있다. 이러한 경우 더운 여름철과 같은 경우에는 밀폐된 차속 공간의 온도가 급격히 상승하여 사고가 발생하는 경우가 종종 있었다.

따라서 이러한 문제점을 해결하기 위해 자동차의 운전자가 노약자나 어린이를 실내에 탑승시킨 채 자리를 비웠을 때, 승객을 보호하기 위한 장치로서, 승객의 좌석에 착석 감지 센서나 음성 감지 센서를 설치한 경우가 있었다.

본 발명의 배경기술은 대한민국 등록특허공보 제10-1478053호(2014.12.24. 공고, 어린이 통학차량용 안전 시스템)에 개시되어 있다.

이와 같이 착석 감지 센서를 통해 승객을 감지할 경우 좌석에 물체를 올려놓는 경우에도 승객으로 감지되는 문제점이 있고, 음성을 감지할 경우 외부 소음으로 오인지 될 수 있을 뿐만 아니라 소리를 내지 않고 있을 경우 감지할 수 없는 문제점이 있다.

또한 영상을 기반으로 탐색할 경우에도 탑승객의 자세에 따라 검출이 상이할 뿐만 아니라 신생아나 유아의 경우 탑승객으로 검출하지 못하는 문제점이 있었다.

본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 영상기반으로 차량 내 승객을 검출할 때 탑승객의 특성에 따라 관심영역을 세분화하고 세분화된 관심영역에서 특성에 맞는 전용 신경망을 통해 승객의 특징을 추출한 후 추출된 특징정보를 융합하여 최종 승객으로 검출하여 검출성능을 향상시키며, 탑승객의 방치상태를 판단하여 경보하는 차량 내 승객 감지장치 및 그 제어방법을 제공하는 것이다.

본 발명의 일 측면에 따른 차량 내 승객 감지장치는, 차량 내부 상부에서 좌석을 촬영하는 IR 카메라; 차량의 주행상태를 감지하는 주행상태 감지부; 승객의 방치상태를 경고하는 경고부; 및 주행상태 감지부로부터 주행상태를 입력받아 주정차 상황일 때 IR 카메라로부 차량 내부의 촬영영상을 입력받아 관심영역으로 세분화하고, 관심영역별로 전용 신경망을 통해 탑승객의 특징을 추출하여 전좌석의 탑승객을 검출한 후 방치승객 여부에 따라 경고부를 통해 경보를 출력하는 제어부;를 포함하는 것을 특징으로 한다.

본 발명에서 IR 카메라는, 광시야각의 어안렌즈를 포함하는 것을 특징으로 한다.

본 발명에서 제어부는, 카시트를 사용하지 않는 승객 및 정위치, 정자세로 앉은 승객을 검출하기 위한 정상 관심영역과, 비정상 자세 및 비 정위치의 승객을 검출하기 위한 비정상 관심영역, 및 카시트를 이용하는 승객을 검출하기 위한 유아 관심영역으로 세분화하는 것을 특징으로 한다.

본 발명에서 제어부는, 촬영영상에서 각 좌석별 이미지를 설정된 정상 사이즈로 정규화하여 정상 관심영역을 설정하는 것을 특징으로 한다.

본 발명에서 제어부는, 촬영영상에서 됫좌석 이미지를 설정된 비정상 사이즈로 정규화하여 비정상 관심영역을 설정하는 것을 특징으로 한다.

본 발명에서 제어부는 촬영영상에서 뒷좌석 이미지를 설정된 유아 사이즈로 정규화하여 유아 관심영역을 설정하는 것을 특징으로 한다.

본 발명에서 제어부는, 콘볼루션 신경망을 적용하여 관심영역 별로 탑승객의 특징을 추출한 후 완전연결 신경망을 적용하여 추출된 특징의 연관성 정보를 융합하여 탑승객을 검출하는 것을 특징으로 한다.

본 발명에서 제어부는, 탑승객을 검출하여 운전자가 탑승하지 않은 상태에서 타 좌석의 탑승객이 설정시간 이상 검출될 경우 방치승객으로 판단하는 것을 특징으로 한다.

본 발명은 제어부에서 방치승객이 검출된 경우 운전자의 이동통신 단말기로 경보를 출력하기 위한 무선통신부;를 더 포함하는 것을 특징으로 한다.

본 발명에서 제어부는, 차량제어장치에 경보를 출력하여 공조장치를 작동시키도록 하는 것을 특징으로 한다.

본 발명의 다른 측면에 따른 차량 내 승객 감지장치의 제어방법은, 제어부가 주행상태를 입력받아 주정차 상황인 경우 IR 카메라로부터 차량 내부의 촬영영상을 입력받는 단계; 제어부가 촬영영상을 관심영역으로 세분화하고, 관심영역별로 전용 신경망을 통해 탑승객의 특징을 추출하여 전좌석의 탑승객을 검출하는 단계; 제어부가 탑승객을 검출한 후 방치승객 여부를 판단하는 단계; 및 제어부가 방치승객의 판단여부에 따라 경보를 출력하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에서 탑승객을 검출하는 단계에서 관심영역으로 세분화할 때, 제어부가 카시트를 사용하지 않는 승객 및 정위치, 정자세로 앉은 승객을 검출하기 위한 정상 관심영역과, 비정상 자세 및 비 정위치의 승객을 검출하기 위한 비정상 관심영역, 및 카시트를 이용하는 승객을 검출하기 위한 유아 관심영역으로 세분화하는 것을 특징으로 한다.

본 발명에서 정상 관심영역은, 제어부가 촬영영상에서 각 좌석별 이미지를 설정된 정상 사이즈로 정규화하여 정상 관심영역을 설정하는 것을 특징으로 한다.

본 발명에서 비정상 관심영역은, 제어부가 촬영영상에서 됫좌석 이미지를 설정된 비정상 사이즈로 정규화하여 비정상 관심영역을 설정하는 것을 특징으로 한다.

본 발명에서 유아 관심영역은, 제어부가 촬영영상에서 뒷좌석 이미지를 설정된 유아 사이즈로 정규화하여 유아 관심영역을 설정하는 것을 특징으로 한다.

본 발명에서 탐승객을 검출하는 단계는, 제어부가 콘볼루션 신경망을 적용하여 관심영역 별로 탑승객의 특징을 추출한 후 완전연결 신경망을 적용하여 추출된 특징의 연관성 정보를 융합하여 탑승객을 검출하는 것을 특징으로 한다.

본 발명에서 방치승객을 여부를 판단하는 단계는, 제어부가 탑승객을 검출하여 운전자가 탑승하지 않은 상태에서 타 좌석의 탑승객이 설정시간 이상 검출될 경우 방치승객으로 판단하는 것을 특징으로 한다.

본 발명에서 경보를 출력하는 단계는, 제어부가 무선통신부를 통해 운전자의 이동통신 단말기로 경보를 출력하는 단계를 포함하는 것을 특징으로 한다.

본 발명에서 경보를 출력하는 단계는, 제어부가 차량제어장치에 경보를 출력하여 공조장치를 작동시키는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 차량 내 승객 감지장치 및 그 제어방법은 영상기반으로 차량 내 승객을 검출할 때 탑승객의 특성에 따라 관심영역을 세분화하고 세분화된 관심영역에서 특성에 맞는 전용 신경망을 통해 승객의 특징을 추출한 후 추출된 특징정보를 융합하여 최종 승객으로 검출함으로써, 탑승객의 자세나 연령 등에 무관하게 검출성능을 향상시킬 수 있어 오알람의 발생을 최소화할 수 있을 뿐만 아니라 정확하게 탑승객의 방치상태를 판단하여 경보할 수 있어 방치승객으로 인한 사고를 방지할 수 있다.

도 1은 본 발명의 일 실시예에 따른 차량 내 승객 감지장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량 내 승객 감지장치에서 탑승객을 검출하기 위한 관심영역을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량 내 승객 감지장치에서 탑승객을 검출하기 위한 신경망 구조를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 차량 내 승객 감지장치에서 특징정보를 융합하여 탑승객을 검출하는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량 내 승객 감지장치의 제어방법을 설명하기 위한 흐름도이다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 차량 내 승객 감지장치 및 그 제어방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 차량 내 승객 감지장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량 내 승객 감지장치에서 탑승객을 검출하기 위한 관심영역을 나타낸 도면이며, 도 3은 본 발명의 일 실시예에 따른 차량 내 승객 감지장치에서 탑승객을 검출하기 위한 신경망 구조를 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 차량 내 승객 감지장치에서 특징정보를 융합하여 탑승객을 검출하는 과정을 나타낸 도면이다.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 차량 내 승객 감지장치는, IR 카메라(10), 주행상태 감지부(20), 경고부(40) 및 제어부(30)를 비롯하여 무선통신부(50)를 포함할 수 있다.

IR 카메라(10)는 차량 내부 상부에서 좌석을 촬영하여 촬영영상을 제어부(30)에 제공한다.

여기서 IR 카메라(10)는 한 대의 카메라를 통해 차량 내부의 좌석을 모두 촬영할 수 있도록 광시야각의 어안렌즈를 장착할 수 있다.

주행상태 감지부(20)는 차량의 주행상태를 감지하여 제어부(30)에 제공함으로써, 제어부(30)에서 차량의 주정차 상황을 판단할 수 있도록 한다.

경고부(40)는 승객의 방치상태를 운전자가 인지할 수 있도록 경고한다.

여기서 경고부(40)는 차량의 클러스터에 구비하여 경고화면이나 소리 출력하여 경고할 수 있다.

제어부(30)는 주행상태 감지부(20)로부터 주행상태를 입력받아 주정차 상황일 때 IR 카메라(10)로부터 차량 내부의 촬영영상을 입력받아 관심영역으로 세분화할 수 있다.

여기서, 관심영역은 도 2에 도시된 바와 같이 정의할 수 있다.

즉, (가)에 도시된 바와 같이 제어부(30)는 카시트를 사용하지 않는 승객 및 정위치, 정자세로 앉은 승객을 검출하기 위한 정상 관심영역을 촬영영상에서 각 좌석별 이미지를 설정된 정상 사이즈로 정규화하여 설정할 수 있다.

예를 들어, 224 x 224 사이즈로 정규화하여 A ~ E 영역으로 5개의 정상 관심영역을 설정할 수 있다.

또한, (나)에 도시된 바와 같이 제어부(30)는 두개의 좌석에 걸쳐 않거나 눕거나 일어서는 등 비정상 자세 및 비 정위치의 승객을 검출하기 위한 비정상 관심영역을 촬영영상에서 됫좌석 이미지를 설정된 비정상 사이즈로 정규화하여 설정할 수 있다.

예를 들어, 448 x 224 사이즈로 정규화하여 F 영역으로 비정상 관심영역을 설정할 수 있다.

또한, (다)에 도시된 바와 같이 제어부(30)는 성인보다 몸집이 작거나 카시트를 이용하는 영유아 승객을 검출하기 위한 유아 관심영역을 촬영영상에서 뒷좌석 이미지를 설정된 유아 사이즈로 정규화하여 설정할 수 있다.

예를 들어, 112 x 112 사이즈로 정규화하여 G, H 영역으로 유아 관심영역을 설정할 수 있다.

제어부(30)는 이와 같이 촬영영상에 대해 관심영역을 설정한 후 관심영역별로 전용 신경망을 통해 탑승객의 특징을 추출하여 전좌석의 탑승객을 검출할 수 있다.

도 3에 도시된 바와 같이 관심영역 별로 콘볼루션 신경망(Convolutional Neural Network)을 적용하여 탑승객의 특징을 추출한 후 완전연결 신경망(Fully Connected Neural Network)을 적용하여 추출된 특징의 연관성 정보를 융합하여 탑승객을 검출할 수 있다.

여기서, (가)는 정상 관심영역에서 탑승객의 특징을 추출하는 신경망으로 정상 승객 특징맵을 출력하고, (나)는 비정상 관심영역에서 탑승객의 특징을 추출하는 비정상 승객 특징맵을 출력하며, (다)는 유아 관심영역에서 탑승객의 특징을 추출하는 유아 승객 특징맵을 추출한다. 이후 (라)에서 정상 승객 특징맵과, 비정상 승객 특징맵과 유아 승객 특징맵을 입력받아 완전연결 신경망을 통해 연관성 정보를 모델링하여 승객 탑승 상황에 대한 확률값을 기반으로 전좌석의 탑승객을 검출할 수 있다.

즉, 도 4에 도시된 바와 같이 각각의 관심영역에서 추출된 특징맵을 융합하여 각 노드별로 확률값을 정의하여 승객의 탑승여부를 판단하여 탑승객을 검출할 수 있다.

제어부(30)는 이와 같이 탑승객을 검출한 후 방치승객 여부를 판단하여 경고부(40)를 통해 경보를 출력할 수 있다.

여기서, 제어부(30)는 탑승객을 검출한 결과로부터 운전자가 탑승하지 않은 상태에서 타 좌석의 탑승객이 설정시간 이상 검출될 경우 방치승객으로 판단하고 경보를 출력할 수 있다.

또한, 제어부(30)는 차량제어장치(60)에 경보를 출력하여 공조장치 등을 작동시킴으로써, 방치승객의 2차적인 사고를 방지하도록 할 수도 있다.

한편, 무선통신부(50)는 제어부(30)에서 방치승객이 검출된 경우 운전자의 이동통신 단말기로 경보를 출력하여 운전자가 먼 거리에 있더라도 차량의 상황을 인식하고 대처할 수 있도록 한다.

상술한 바와 같이, 본 발명의 실시예에 의한 차량 내 승객 감지장치에 따르면, 영상기반으로 차량 내 승객을 검출할 때 탑승객의 특성에 따라 관심영역을 세분화하고 세분화된 관심영역에서 특성에 맞는 전용 신경망을 통해 승객의 특징을 추출한 후 추출된 특징정보를 융합하여 최종 승객으로 검출함으로써, 탑승객의 자세나 연령 등에 무관하게 검출성능을 향상시킬 수 있어 오알람의 발생을 최소화할 수 있을 뿐만 아니라 정확하게 탑승객의 방치상태를 판단하여 경보할 수 있어 방치승객으로 인한 사고를 방지할 수 있다.

도 5는 본 발명의 일 실시예에 따른 차량 내 승객 감지장치의 제어방법을 설명하기 위한 흐름도이다.

도 5에 도시된 바와 같이 본 발명의 일 실시예에 따른 차량 내 승객 감지장치의 제어방법에서는 먼저, 제어부(30)는 승객 감지장치를 시작하게 되면 경과시간을 초기화한다(S10).

S10 단계에서 경과시간을 초기화한 후 제어부(30)는 주행상태 감지부(20)로부터 차량의 주행상태를 입력받아 차량의 주정차 상태인지 판단한다(S20).

S20 단계에서 차량의 주정차 상태를 판단한 후 주정차 상태가 아닌 경우 즉, 차량의 주행하는 경우 제어부는 경과시간을 초기화한다(S100).

즉, 차량이 운행되는 경우에는 승객이 방치된 상태로 판단할 수 없어 카운트한 경과시간을 초기화할 수 있다.

S20 단계에서 차량의 주정차 상태를 판단한 후 주정차 상태인 경우, 제어부(30)는 IR 카메라(10)로부터 촬영영상을 입력받는다(S30).

S30 단계에서 촬영영상을 입력받은 후 제어부는 촬영영상을 관심영역으로 세분화하고, 관심영역별로 전용 신경망을 통해 탑승객의 특징을 추출하여 전좌석의 탑승객을 검출한다(S40).

즉, 제어부(30)는 (가)에 도시된 바와 같이 카시트를 사용하지 않는 승객 및 정위치, 정자세로 앉은 승객을 검출하기 위한 정상 관심영역을 촬영영상에서 각 좌석별 이미지를 설정된 정상 사이즈로 정규화하여 설정할 수 있다.

또한, 제어부(30)는 (나)에 도시된 바와 같이 두개의 좌석에 걸쳐 않거나 눕거나 일어서는 등 비정상 자세 및 비 정위치의 승객을 검출하기 위한 비정상 관심영역을 촬영영상에서 됫좌석 이미지를 설정된 비정상 사이즈로 정규화하여 설정할 수 있다.

또한, 제어부(30)는 (다)에 도시된 바와 같이 성인보다 몸집이 작거나 카시트를 이용하는 영유아 승객을 검출하기 위한 유아 관심영역을 촬영영상에서 뒷좌석 이미지를 설정된 유아 사이즈로 정규화하여 설정할 수 있다.

S40 단계에서 탑승객을 검출한 후 제어부(30)는 운전자의 탑승여부를 판단한다(S50).

S50 단계에서 운전자의 탑승여부를 판단하여 운전자가 탑승한 경우, 제어부(30)는 경과시간을 초기화한 후 종료한다(S100).

반면, S50 단계에서 운전자의 탑승여부를 판단하여 운전자가 탑승하지 않은 경우, 제어부(30)는 타 좌석에 승객이 탑승하였는지 판단한다(S60).

S60 단계에서 타 좌석에 승객이 탑승하였는지 판단하여 승객이 탑승하지 않은 경우, 제어부(30)는 경과시간을 초기화한 후 종료한다(S100).

반면, S60 단계에서 타 좌석에 승객이 탑승하였는지 판단하여 승객이 탑승한 경우, 제어부(30)는 경과시간을 카운트한다(S70).

S70 단계에서 경과시간을 카운트한 후 제어부(30)는 경과시간이 설정시간을 경과하였는지 판단한다(S80).

S80 단계에서 경과시간이 설정시간을 경과하지 않은 경우, 제어부(30)는 S20 단계로 리턴하여 차량의 주행상태를 판단하고, 차량이 주정차 상태인 경우 위의 과정을 반복하여 경과시간을 카운트하면서 승객의 방치상태를 판단한다.

S80 단계에서 경과시간이 설정시간을 경과하였는지 판단하여 설정시간을 경과한 경우, 제어부(30)는 경고부(40)를 통해 방치승객 경보를 출력한다(S90).

S90 단계에서 방치승객 경보를 출력할 때, 제어부(30)는 차량제어장치(60)에 경보를 출력하여 공조장치 등을 작동시킴으로써, 방치승객의 2차적인 사고를 방지하도록 할 수도 있다.

한편, 제어부(30)는 방치승객이 검출된 경우 무선통신부(50)를 통해 운전자의 이동통신 단말기로 경보를 출력하여 운전자가 먼 거리에 있더라도 차량의 상황을 인식하고 대처할 수 있도록 한다.

상술한 바와 같이, 본 발명의 실시예에 의한 차량 내 승객 감지장치의 제어방법에 따르면, 영상기반으로 차량 내 승객을 검출할 때 탑승객의 특성에 따라 관심영역을 세분화하고 세분화된 관심영역에서 특성에 맞는 전용 신경망을 통해 승객의 특징을 추출한 후 추출된 특징정보를 융합하여 최종 승객으로 검출함으로써, 탑승객의 자세나 연령 등에 무관하게 검출성능을 향상시킬 수 있어 오알람의 발생을 최소화할 수 있을 뿐만 아니라 정확하게 탑승객의 방치상태를 판단하여 경보할 수 있어 방치승객으로 인한 사고를 방지할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.

10 : IR 카메라 20 : 주행상태 감지부
30 : 제어부 40 : 경고부
50 : 무선통신부 60 : 차량제어장치

Claims

차량 내부 상부에서 좌석을 촬영하는 IR 카메라;
상기 차량의 주행상태를 감지하는 주행상태 감지부;
승객의 방치상태를 경고하는 경고부; 및
상기 주행상태 감지부로부터 주행상태를 입력받아 주정차 상황일 때 상기 IR 카메라로부터 상기 차량 내부의 촬영영상을 입력받아 관심영역으로 세분화하고, 상기 관심영역 별로 전용 신경망을 통해 탑승객의 특징을 추출하여 전좌석의 상기 탑승객을 검출한 후 방치승객 여부에 따라 상기 경고부를 통해 경보를 출력하는 제어부;를 포함하되,
상기 제어부는, 카시트를 사용하지 않는 승객 및 정위치, 정자세로 앉은 승객을 검출하기 위한 정상 관심영역과, 비정상 자세 및 비 정위치의 승객을 검출하기 위한 비정상 관심영역, 및 카시트를 이용하는 승객을 검출하기 위한 유아 관심영역으로 세분화하는 것을 특징으로 하는 차량 내 승객 감지장치.
제 1항에 있어서, 상기 IR 카메라는, 광시야각의 어안렌즈를 포함하는 것을 특징으로 하는 차량 내 승객 감지장치.
삭제
제 1항에 있어서, 상기 제어부는, 상기 촬영영상에서 각 좌석별 이미지를 설정된 정상 사이즈로 정규화하여 상기 정상 관심영역을 설정하는 것을 특징으로 하는 차량 내 승객 감지장치.
제 1항에 있어서, 상기 제어부는, 상기 촬영영상에서 뒷좌석 이미지를 설정된 비정상 사이즈로 정규화하여 상기 비정상 관심영역을 설정하는 것을 특징으로 하는 차량 내 승객 감지장치.
제 1항에 있어서, 상기 제어부는, 상기 촬영영상에서 뒷좌석 이미지를 설정된 유아 사이즈로 정규화하여 상기 유아 관심영역을 설정하는 것을 특징으로 하는 차량 내 승객 감지장치.
제 1항에 있어서, 상기 제어부는, 콘볼루션 신경망을 적용하여 상기 관심영역 별로 상기 탑승객의 특징을 추출한 후 완전연결 신경망을 적용하여 추출된 특징의 연관성 정보를 융합하여 상기 탑승객을 검출하는 것을 특징으로 하는 차량 내 승객 감지장치.
제 1항에 있어서, 상기 제어부는, 상기 탑승객을 검출하여 운전자가 탑승하지 않은 상태에서 타 좌석의 상기 탑승객이 설정시간 이상 검출될 경우 상기 방치승객으로 판단하는 것을 특징으로 하는 차량 내 승객 감지장치.
제 1항에 있어서, 상기 제어부에서 상기 방치승객이 검출된 경우 운전자의 이동통신 단말기로 상기 경보를 출력하기 위한 무선통신부;를 더 포함하는 것을 특징으로 하는 차량 내 승객 감지장치.
제 1항에 있어서, 상기 제어부는, 차량제어장치에 상기 경보를 출력하여 공조장치를 작동시키도록 하는 것을 특징으로 하는 차량 내 승객 감지장치.
제어부가 주행상태를 입력받아 주정차 상황인 경우 IR 카메라로부터 차량 내부의 촬영영상을 입력받는 단계;
상기 제어부가 상기 촬영영상을 관심영역으로 세분화하고, 상기 관심영역 별로 전용 신경망을 통해 탑승객의 특징을 추출하여 전좌석의 상기 탑승객을 검출하는 단계;
상기 제어부가 상기 탑승객을 검출한 후 방치승객 여부를 판단하는 단계; 및
상기 제어부가 상기 방치승객의 판단여부에 따라 경보를 출력하는 단계;를 포함하되,
상기 탑승객을 검출하는 단계에서 상기 관심영역으로 세분화할 때, 상기 제어부가 카시트를 사용하지 않는 승객 및 정위치, 정자세로 앉은 승객을 검출하기 위한 정상 관심영역과, 비정상 자세 및 비 정위치의 승객을 검출하기 위한 비정상 관심영역, 및 카시트를 이용하는 승객을 검출하기 위한 유아 관심영역으로 세분화하는 것을 특징으로 하는 차량 내 승객 감지장치의 제어방법.
삭제
제 11항에 있어서, 상기 정상 관심영역은, 상기 제어부가 상기 촬영영상에서 각 좌석별 이미지를 설정된 정상 사이즈로 정규화하여 상기 정상 관심영역을 설정하는 것을 특징으로 하는 차량 내 승객 감지장치의 제어방법.
제 11항에 있어서, 상기 비정상 관심영역은, 상기 제어부가 상기 촬영영상에서 뒷좌석 이미지를 설정된 비정상 사이즈로 정규화하여 상기 비정상 관심영역을 설정하는 것을 특징으로 하는 차량 내 승객 감지장치의 제어방법.
제 11항에 있어서, 상기 유아 관심영역은, 상기 제어부가 상기 촬영영상에서 뒷좌석 이미지를 설정된 유아 사이즈로 정규화하여 상기 유아 관심영역을 설정하는 것을 특징으로 하는 차량 내 승객 감지장치의 제어방법.
제 11항에 있어서, 상기 탑승객을 검출하는 단계는, 상기 제어부가 콘볼루션 신경망을 적용하여 상기 관심영역 별로 탑승객의 특징을 추출한 후 완전연결 신경망을 적용하여 추출된 특징의 연관성 정보를 융합하여 상기 탑승객을 검출하는 것을 특징으로 하는 차량 내 승객 감지장치의 제어방법.
제 11항에 있어서, 상기 방치승객을 여부를 판단하는 단계는, 상기 제어부가 상기 탑승객을 검출하여 운전자가 탑승하지 않은 상태에서 타 좌석의 상기 탑승객이 설정시간 이상 검출될 경우 상기 방치승객으로 판단하는 것을 특징으로 하는 차량 내 승객 감지장치의 제어방법.
제 11항에 있어서, 상기 경보를 출력하는 단계는, 상기 제어부가 무선통신부를 통해 운전자의 이동통신 단말기로 상기 경보를 출력하는 단계를 포함하는 것을 특징으로 하는 차량 내 승객 감지장치의 제어방법.
제 11항에 있어서, 상기 경보를 출력하는 단계는, 상기 제어부가 차량제어장치에 상기 경보를 출력하여 공조장치를 작동시키는 단계를 포함하는 것을 특징으로 하는 차량 내 승객 감지장치의 제어방법.