KR20220097569A - 차량 내 승객 검출 장치 및 그 방법 - Google Patents

차량 내 승객 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR20220097569A
KR20220097569A KR1020200186977A KR20200186977A KR20220097569A KR 20220097569 A KR20220097569 A KR 20220097569A KR 1020200186977 A KR1020200186977 A KR 1020200186977A KR 20200186977 A KR20200186977 A KR 20200186977A KR 20220097569 A KR20220097569 A KR 20220097569A
Authority
KR
South Korea
Prior art keywords
vehicle
pixels
frame
interest
passenger
Prior art date
Application number
KR1020200186977A
Other languages
English (en)
Other versions
KR102514574B1 (ko
Inventor
김병익
김영춘
안상호
정명환
Original Assignee
아진산업(주)
오토아이티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주), 오토아이티(주) filed Critical 아진산업(주)
Priority to KR1020200186977A priority Critical patent/KR102514574B1/ko
Publication of KR20220097569A publication Critical patent/KR20220097569A/ko
Application granted granted Critical
Publication of KR102514574B1 publication Critical patent/KR102514574B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01566—Devices for warning or indicating mode of inhibition

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상기반으로 차량 내 미착석 승객 유무를 판단하여 차량의 운행을 제어할 수 있는 차량 내 승객 검출 장치 및 그 방법에 관한 것으로, 상기 차량 내 승객 검출 장치는, 차량의 정면 상단부에 설치되며 상기 차량의 내부 및 후방을 모두 촬영하는 카메라; 및 상기 카메라로부터 상기 차량의 내부 및 후방의 촬영 영상을 프레임 단위로 입력받고, 입력된 프레임을 분석하여 미착석 승객 유무를 판단하되, 상기 프레임에 관심영역(Region of Interest; ROI)을 설정하고, 상기 관심영역 내 객체 후보를 탐지한 후 상기 객체 후보에 대한 가중 화소수를 검출하여 미착석 승객 유무를 판단하는 제어부;를 포함한다.

Description

차량 내 승객 검출 장치 및 그 방법 {APPARATUS FOR DETECTING PASSENGER IN A VEHICLE AND METHOD THEREOF}
본 발명은 차량 내 승객 검출 장치 및 그 방법에 관한 것으로, 특히, 영상기반으로 차량 내 미착석 승객 유무를 판단하여 차량의 운행을 제어할 수 있는 차량 내 승객 검출 장치 및 그 방법에 관한 것이다.
자율주행차량(Autonomous Vehicle)이란 운전자 또는 승객의 조작 없이 자동차 스스로 운행이 가능한 자동차를 말하며, 자율주행시스템(Automated Vehicle & Highway Systems)은 자율주행차량이 스스로 운행될 수 있도록 모니터링하고 제어하는 시스템을 말한다.
최근 자율주행차량이 다수의 인원을 수송하기 위한 대중교통으로 이용되는 차량, 예를 들어, 지하철, 버스, 택시 등에 이용되고 있다.
일 예로, 자율주행버스와 같은 경우, 다수의 탑승자가 탑승한 상태로 자율주행 운행을 하는데, 자율주행 경로 및 주행환경 등에 따라서 버스가 흔들리거나 주행 안정도가 낮아지는 경우가 있다.
이때, 버스에 탑승한 승객들이 좌석 이동 또는 하차를 위해 버스 내부에서 움직이는 경우 넘어지거나 버스 내부의 구조물에 부딪히는 안전사고가 발생할 우려가 있다.
따라서, 자율주행차량은 다수의 인원을 수송할 경우, 자율주행 중에 탑승한 승객의 안전을 확보할 수 있는 기술 및 연구에 대한 필요성이 요구되고 있다.
KR 1020200060630 (공개일자: 2020.06.01)
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은, 차량 내 설치된 카메라로부터 촬상된 영상의 프레임에 관심영역을 설정하고, 관심영역 내 객체의 검출 화소수에 거리별 가중치를 적용하여 기립 승객을 탐지함으로써, 영상기반으로 차량 내 미착석 승객을 검출할 수 있는 차량 내 승객 검출 장치 및 그 방법을 제공하는 것이다.
또한, 일 측면에 따른 본 발명의 목적은, 차량의 출발전에 차량 내 미착석 승객의 유무를 판단하여 차량 운행을 제어함으로써 미착석 승객으로 인한 차량 내 안전사고를 방지할 수 있는 차량 내 승객 검출 장치 및 그 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 이하의 발명의 상세한 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 차량 내 승객 검출 장치는, 차량의 정면 상단부에 설치되며 상기 차량의 내부 및 후방을 모두 촬영하는 카메라; 및 상기 카메라로부터 상기 차량의 내부 및 후방의 촬영 영상을 프레임 단위로 입력받고, 입력된 프레임을 분석하여 미착석 승객 유무를 판단하되, 상기 프레임에 관심영역(Region of Interest; ROI)을 설정하고, 상기 관심영역 내 객체 후보를 탐지한 후 상기 객체 후보에 대한 가중 화소수를 검출하여 미착석 승객 유무를 판단하는 제어부;를 포함할 수 있다.
상기 제어부는, 상기 프레임에서 차량 내부의 통로를 설정된 크기로 정규화하여 상기 관심영역을 설정하고, 상기 관심영역 내 객체 후보의 수직라인에서의 검출 화소수에 가중치를 적용하여 가중 화소수를 검출하고, 상기 객체 후보의 검출된 가중 화소수가 설정된 임계값 이상이면, 상기 객체 후보를 미착석 승객으로 판단하며, 상기 객체 후보의 검출된 가중 화소수가 설정된 임계값 미만이면 승객이 아니라고 판단하는 것을 특징으로 한다.
상기 제어부는, 상기 가중 화소수(Dw)를 아래 수학식 1을 통해 검출하는 것을 특징으로 한다.
[수학식 1]
Figure pat00001
(여기서, di는 프레임의 i(1≤i≤H)번째 수직라인에서의 관심영역(ROI) 내 검출 화소수이고, ri는 프레임의 i(1≤i≤H)번째 수직라인에서의 관심영역(ROI) 내 화소수이고, wi는 프레임의 i(1≤i≤H)번째 수직라인에서의 가중치로
Figure pat00002
으로 구해지는 값을 각각 의미함)
상기 객체 후보의 검출 화소수(di) 및 가중 화소수(Dw)의 관계는, 상기 프레임의 수직라인(i)이 1≤i≤H/2 범위에서 di < widi 이고, 상기 프레임의 수직라인(i)이 H/2<i≤H 범위에서 di > widi 인 것을 특징으로 한다.
상기 차량 내 승객 검출 장치는, 상기 관심영역 내 미착석 승객이 검출되면, 미착석의 위험을 경보하거나, 착석 유도 및 출발을 안내하는 안내 방송을 출력하는 알람부;를 더 포함하며, 상기 제어부는, 상기 관심영역 내 미착석 승객이 검출되면 상기 알람부의 경보 및 안내 방송을 제어하고, 상기 관심영역 내 미착석 승객이 검출되지 않으면, 상기 차량의 출발을 지시하는 제어신호를 출력하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 영상기반으로 카메라로부터의 이격 거리에 따른 가중치를 적용하여 미착석 승객 유무를 판단함으로써 미착석 승객의 검출 성능을 향상시킬 수 있을 뿐만 아니라, 미착석 승객의 검출 성능 및 정확성이 향상됨에 따라 미착석 승객의 미검출로 인한 차량 운행으로 발생하는 안전사고를 방지할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 미착석 승객 감지를 위한 별도의 센서를 구비하지 않고 영상기반으로 미착석 승객을 정확하게 검출함으로써 저비용 설치가 가능하고, 검출된 미착석 승객에게 출발전 경보를 수행함으로써 안전한 차량 운행을 도모할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치의 상세 구성을 설명하기 위한 블록 구성도이다.
도 2는, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치에 있어서 차량 내부에 카메라가 설치된 예를 설명하기 위한 예시도이다.
도 3은, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치에 있어서 탑승객을 검출하기 위한 관심영역과 거리별 화소수 차이를 도시한 도면이다.
도 4는, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치에 있어서 카메라로부터의 거리에 따른 가중 화소수를 이용한 객체 검출을 설명하기 위한 도면이다.
도 5 내지 도 7은, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치에 있어서 관심영역 내 승객 검출 결과 예를 도시한 도면이다.
도 8은, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 방법을 설명하기 위한 흐름도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치의 상세 구성을 설명하기 위한 블록 구성도이다.
도 2는, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치에 있어서 차량 내부에 카메라가 설치된 예를 설명하기 위한 예시도이다.
본 발명의 일 실시예에 따른 차량은 자율주행차량(Autonomous Vehicle)으로, 버스를 예로 들어 설명하고 있지만, 이에 한정되는 것은 아니며 다른 종류의 차량인 경우에도 적용될 수 있다.
먼저, 도 1을 참조하면, 본 발명의 일 실시예에 따른 차량 내 승객 검출 장치(10)는, 차량의 후방을 촬영하여 영상 정보를 출력하는 카메라(11)와, 카메라(11)로부터 촬영된 영상 정보를 입력받아 미착석 승객 유무를 판단하는 제어부(12)를 적어도 포함하여 구성될 수 있다.
본 발명의 일 실시예에 따른 차량 내 승객 검출 장치(10)는, 차량구동시스템(100)과 전기적으로 연결되거나 무선 네트워크를 통해 연결되도록 구현될 수 있다. 이를 통해 본 발명의 차량 내 승객 검출 장치(10)는 승객 검출 유무 정보를 차량구동시스템(100)으로 전송하여 출발과 관련된 운행을 수행할 수 있도록 한다.
여기서, 차량은, 차량 운전자의 조작 없이도 스스로 목적지까지 주행하는 자율주행버스일 수 있으며, 버스 내부의 승객은 좌석에 착석한 상태의 승객과 좌석에 착석하지 않고 서있는 미착석 승객을 포함할 수 있다.
그리고, 카메라(11)는, 차량의 내부, 즉, 후방을 촬영하여 영상 정보를 획득할 수 있고, 획득된 영상 정보를 프레임 단위로 제어부(12)에 전달할 수 있다.
이러한 카메라(11)는, 도 2에 도시된 바와 같이, 차량(1)의 전방 및 후방을 촬영할 수 있도록 차량 내부의 앞쪽 상단부, 즉, 천장에 설치될 수 있으며, 본 발명은 이에 한정되지 않고 카메라(11)의 설치 위치는 차량 내부를 촬영하여 미착석 승객을 검출하기 위해 전방 및 후방의 영상 정보를 획득하기 위해 차량 내에서 화각(FOV; Field Of View) 확보가 가능한 위치면 어디든 설치될 수 있다.
또한, 카메라(11)는 카메라(11)의 설치 위치에서부터 후방까지 차량의 중앙 통로 또는 복도를 모두 촬영할 수 있는 화각(FOV; Field Of View)을 가지는 카메라로 구현될 수 있으며, 예를 들면, 화각이 130도 이상을 지원하는 광각 카메라, 고화각을 위해 어안 렌즈(Fish-Eye Lens)를 이용한 카메라일 수 있다.
그리고, 제어부(12)는, 카메라(11)로부터 촬영된 영상 정보가 프레임 단위로 전달되면, 전달된 프레임에 대해 영상 처리 기법을 적용하여 영상 처리를 수행하고 카메라(11)의 위치 지점으로부터의 거리에 따른 가중치를 이용해 프레임 내 객체의 화소수를 검출함으로써 미착석 승객 유무를 판단할 수 있다.
본 발명의 일 실시예에서 미착석 승객 유무 판단은 출발 직전 미착석 승객의 안전을 증진시킬 수 있도록 차량 구동 시스템(100)에 필수적이다.
구체적으로, 제어부(12)는, 입력된 프레임에 대하여 서브샘플링(subsampling)을 수행한다. 서브샘플링은, 양선형 보간법이나 최근접값 이용법, 3차회선보간법 등 다양한 방법을 이용할 수 있으나, 이에 한정되는 것은 아니며 다양한 공지기술을 채택하여 적용할 수 있다. 즉, 샘플링을 통해 입력된 프레임 영상이 칼라 영상인 경우 흑백영상으로 변환되고, 흑백 영상인 경우 그대로 이용할 수 있다. 즉, 흑백 영상을 이용하여 사람 검출을 수행함으로써 조명에 의한 영향을 줄일 수 있을 뿐 아니라 처리시간을 줄일 수 있다.
그런 다음, 제어부(12)는, 서브샘플링이 수행된 프레임으로부터 객체 후보 탐지를 수행하되, 서브샘플링이 수행된 프레임에 관심영역(Region of Interest; ROI)을 설정하고, 관심영역(ROI) 내 움직임 화소수에 따른 객체 후보를 탐지한다.
여기서, 객체 탐지(object detection)는, 이미지나 동영상에서 사람, 동물, 차량 등 의미 있는 객체(object)의 종류와 그 위치(bounding box)를 정확하게 찾기 위한 컴퓨터 비전(computer vision) 기술로, 영상에서 관심 대상을 인식하기 위해 일반적으로 검출 대상에 대한 후보 영역을 찾고 그 후보 영역에 대한 객체의 종류와 위치를 학습된 모델을 통해 예측한다. 이러한 객체 탐지를 위한 방식은 일반적으로 기계 학습 기반 접근 또는 딥 러닝(deep learning) 기반 접근의 객체 탐지 기술이 많이 이용되며, 이는 모두 공지된 기술로 본 발명에서는 이에 대한 상세한 설명을 생략한다.
그리고, 관심영역(ROI)은, 본 발명의 일 실시형태에 있어서, 미착석 승객을 검출하기 위해 차량 내 중앙 통로 또는 복도가 포함된 영역이며, 또는, 미착석 승객을 검출하고자 하는 특정 영역을 지정하여 설정될 수도 있다.
이러한 관심영역(ROI)은, 카메라(11)로부터 촬영되는 차량 내부 모습에 대해 프레임 내 차량 중앙 통로를 설정된 크기로 정규화하여 설정될 수 있다.
또한, 제어부(12)는, 객체 후보에 대한 잡음 제거를 수행하고, 관심영역(ROI) 내 객체 후보에 대한 미착석 승객 유무 판정을 수행한다.
이때, 제어부(12)는, 정확한 미착석 승객 판정을 위해 카메라(11) 설치 위치로부터 객체까지의 거리를 고려할 수 있다. 예를 들면, 카메라(11)의 설치 위치를 기준으로 동일한 객체라도 근거리 영역의 경우는 많은 화소수를 가지나, 원거리 영역의 경우는 적은 화소수를 가지게 되는데, 특히, 원거리 영역의 경우 화소수가 너무 적을 경우 검출을 하지 못하여 객체 탐지가 이루어지지 않을 수 있다.
이와 같이 카메라(11)를 기준으로 근거리 승객의 경우 많은 화소수에 의해 감지가 양호하나, 원거리 승객의 경우 적은 화소수에 의해 감지가 저하된다.
따라서 본 발명의 일 실시예에 따르면, 제어부(12)는, 객체까지의 위치에 따른 화소수의 차이를 보정하기 위해, 관심영역 내 객체 후보의 검출 화소수에 가중치를 적용하여 카메라(11)로부터의 거리에 따른 가중 화소수를 구하고, 구한 가중 화소수를 이용하여 미착석 승객의 유무를 판단한다. 이를 통해 원거리 승객의 감지 효율이 향상될 수 있다.
다시 설명하면, 제어부(12)는, 객체 판단을 위한 가중 화소수를 관심영역(ROI) 내 수직라인(i, 1≤i≤H)에서의 가중치를 검출 화소수에 적용하여 아래 수학식 1과 같이 구할 수 있다.
[수학식 1]
Figure pat00003
di는 프레임의 i(1≤i≤H)번째 수직라인에서의 관심영역(ROI) 내 검출 화소수이고, ri는 프레임의 i(1≤i≤H)번째 수직라인에서의 관심영역(ROI) 내 화소수이고, wi는 프레임의 i(1≤i≤H)번째 수직라인에서의 가중치이며, 이는 아래 수학식 2를 이용하여 구할 수 있다.
[수학식 2]
Figure pat00004
, 1≤i≤H
따라서, 제어부(12)는, 객체 후보에 대한 가중 화소수 검출 결과(DRw)와 임계값(Thd)을 비교하되, 아래 수학식 3에 따라 객체 판단을 수행한다. 예를 들면, 제어부(12)는, 수학식 1을 이용하여 구한 가중 화소수(Dw)가 기설정된 임계값(Thd) 이상이면 객체로 판단(Object)하고, 구한 가중 화소수가 기설정된 임계값 미만이면 객체가 아닌 것으로 판단(Non-Object)한다.
[수학식 3]
Figure pat00005
또한, 제어부(12)는, 미착석 승객 유무 정보를 이용하여 차량 구동 시스템(100) 및 알람부(13)의 작동을 제어할 수 있다.
예를 들면, 제어부(12)는, 차량의 출발 전 미착석 승객이 있는 것으로 판단되면, 차량 출발을 지연하도록 차량 구동 시스템(100)에 요청하는 동시에, 알람부(13)를 통해 미착석 승객의 착석을 유도하거나 출발을 위해 손잡이 등을 꼭 부여잡도록 안내 방송을 실시할 수 있다. 여기서, 알람부(13)는 음성 안내 정보를 출력할 수 있는 스피커를 포함할 수 있다.
또 다른 예를 들면, 제어부(12)는, 차량의 출발 전 미착석 승객이 없는 것으로 판단되면, 차량 구동 시스템(100)으로 이를 통지하여 차량의 출발 및 주행 운행이 이루어지도록 할 수 있다.
상술한 바와 같이, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치는 관심영역 내 객체 후보의 검출 화소수에 가중치를 적용하여 구한 가중 화소수를 이용해 미착석 승객 유무를 판단함으로써 프레임 내 근거리 승객뿐만 아니라 원거리 승객의 감지 효율을 향상시킬 수 있다.
또한, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치는 차량 출발 전, 미착석 승객 유무를 검출함으로써, 미착석 승객의 착석을 유도하거나 미착석 승객으로 하여금 출발을 인지시킴으로써 출발로 인한 흔들림에 대비할 수 있도록 하여 차량 내 안전 사고를 방지하고 안전한 주행이 가능하도록 한다.
도 3은, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치에 있어서 탑승객을 검출하기 위한 관심영역과 거리별 화소수 차이를 도시한 도면이다.
도 3을 참조하면, 미착석 객석 검출을 위해 프레임(20) 내 차량의 중앙 통로에 매칭된 위치로 관심영역(ROI)(22)을 지정하고, 관심영역(ROI)(22) 내 동일한 객체(21)가 그 위치(P1, P2, P3)에 따라 영상 내 화소수의 차이가 생김을 알 수 있다.
도 4는, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치에 있어서 카메라로부터의 거리에 따른 가중 화소수를 이용한 객체 검출을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치의 제어부(12)가, 프레임(30)의 관심영역(ROI)(32) 내 탐지된 각 객체 후보(31, 33, 35, 37)의 검출 화소수(di)에 가중치(wi)를 적용하여 가중 화소수(Dw)를 구함으로써 각 객체 후보(31, 33, 35, 37)에 대한 객체 유무를 판단할 수 있다.
즉, 제어부(12)는, 객체 유무 판단을 위한 가중 화소수(Dw)를 관심영역(ROI)(32) 내 수직라인(i)에서의 가중치(wi)를 적용하여 아래 수학식 1와 같이 구할 수 있다.
[수학식 1]
Figure pat00006
di는 프레임(30)의 i(1≤i≤H)번째 수직라인에서의 관심영역(ROI) 내 검출 화소수이고, ri는 프레임(30)의 i(1≤i≤H)번째 수직라인에서의 관심영역(ROI) 내 화소수이고, wi는 프레임(30)의 i(1≤i≤H)번째 수직라인에서의 가중치이며, 이는 아래 수학식 2를 이용하여 구할 수 있다.
[수학식 2]
Figure pat00007
, 1≤i≤H
여기서, 본 발명의 일 실시예에 따르면, 객체 후보의 검출 화소수(di) 및 가중 화소수(Dw)의 관계는, 프레임의 수직라인(i)이 1≤i≤H/2 범위에서 di < widi 이고, 프레임의 수직라인(i)이 H/2<i≤H 범위에서 di > widi 이다. 이러한 관계로 인해 프레임 내 원거리 객체 검출시, 객체 후보의 가중 화소수(Dw)가 객체 후보의 검출 화소수(di) 보다 큰 화소수가 검출되므로 원거리 승객의 감지 성능을 향상시킬 수 있다.
따라서, 제어부(12)는, 객체 후보(31, 33, 35, 37)에 대한 가중 화소수 검출 결과(DRw)와 임계값(Thd)을 비교하되, 아래 수학식 3에 따라 객체 판단을 수행한다. 예를 들면, 제어부(12)는, 수학식 1을 이용하여 구한 가중 화소수(Dw)가 기설정된 임계값(Thd) 이상이면 객체로 판단(Object)하고, 구한 가중 화소수가 기설정된 임계값 미만이면 객체가 아닌 것으로 판단(Non-Object)한다.
[수학식 3]
Figure pat00008
한편, (비교예) 프레임의 수직라인에서의 관심영역(ROI) 내 객체 후보의 검출 화소수(di)만을 이용하여 객체 판단을 하는 경우는, 프레임(30)의 관심영역(ROI)(32) 내 객체 후보의 검출 화소수(D)를 비교식 1과 같이 프레임(30)의 i(1≤i≤H)번째 수직라인에서의 관심영역(ROI)(32) 내 검출 화소수(di)를 이용하여 구하고, 객체 검출 결과(DR)를 비교식 2와 같이 임계값과 비교하여 객체 판단을 수행할 수 있다.
[비교식 1]
Figure pat00009
[비교식 2]
Figure pat00010
즉, 비교예와 본 발명을 비교하면, 표 1에 나타낸 바와 같이 비교예의 경우, 객체 후보 중 가장 원거리에 위치한 객체 후보(37)를 비객체로 판단하는 반면, 본 발명은 객체 후보 중 가장 원거리에 위치한 객체 후보(37)를 객체로 판단한다.
객체 후보 임계값(Thd) DR DRw
37
35		 Non-Object Object
33 Object Object
31 Object Object
도 5 내지 도 7은, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치에 있어서 프레임의 관심영역 내 승객 검출 결과 예를 도시한 도면이다.
도 5의 (a)는 카메라가 차량에 탑승한 승객(P2, P3)이 중앙 복도를 지나는 상황을 촬영한 영상 프레임이다. 도 5의 (a)에 도시된 바와 같이, 카메라로부터 입력된 프레임에는 미리 좌석에 착석한 승객(P1)과 통로에 서 있는 승객(P2, P3)이 존재하고, 프레임에 관심영역(ROI)을 설정한다.
도 5의 (b)는 도 5의 (a)에 도시된 영상 프레임의 관심영역(ROI) 내 승객 검출 결과의 영상 프레임이다. 도 5의 (b)에 도시된 바와 같이, 관심영역(ROI) 외 영역은 객체 검출에서 제외하고, 관심영역(ROI) 내 기립하고 있는 승객(P2, P3)을 객체로 판단한다.
도 5의 (c)는 카메라가 차량에 탑승한 승객(P1, P2, P3)이 모두 좌석에 앉아 있는 상황을 촬영한 영상 프레임이다. 여기서, 프레임 내 Thd는 임계값을 나타낸다. 도 5의 (c)에 도시된 바와 같이, 카메라로부터 입력된 프레임에는 미리 좌석에 착석한 승객(P1, P2, P3)들만이 존재하고, 프레임에 관심영역(ROI)을 설정한다.
도 5의 (d)는 도 5의 (c)에 도시된 영상 프레임의 관심영역(ROI) 내 승객 검출 결과의 영상 프레임이다. 도 5의 (d)에 도시된 바와 같이, 관심영역(ROI) 내 유효한 검출 화소수가 존재하지 않음을 알 수 있다.
그리고, 도 6의 (a) 내지 (c)에 도시된 바와 같이, 프레임의 관심영역(노란선 표시) 내 임계값(Thd)보다 더 작은 화소수를 가지는 움직임 객체 후보(빨간 선 표시)에 대한 가중 화소수를 구함으로써 승객 검출이 가능함을 알 수 있다.
그리고, 도 7의 (a)에 도시된 바와 같이, 프레임의 관심영역(노란선 표시) 내 승객이 중앙 통로를 따라 후방으로 움직이는 움직임 객체 후보(빨간 선 표시)에 대한 가중 화소수를 구함으로써 승객을 검출할 수 있다.
마찬가지로, 도 7의 (b)에 도시된 바와 같이, 프레임의 관심영역(노란선 표시) 내 승객이 자신의 좌석을 찾아 착석하는 움직임 객체 후보(빨간 선 표시)에 대한 가중 화소수를 구함으로써 아직 좌석에 착석하지 목한 승객을 검출할 수 있다. 이후, 승객이 완전히 착석을 완료하고 나면 객체 검출이 되지 않는다.
도 8은, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치는, 먼저, 차량의 정면 상단부(예를 들어, 천장)에 설치된 카메라가 차량 내부, 즉, 전방 및 후방 전체를 한꺼번에 촬영하고, 카메라에 의해 촬상되는 영상은 프레임 단위로 제어부에 입력될 수 있다(S41). 여기서, 카메라는 바람직하게는 고정 카메라일 수 있으나, 이에 한정되는 것은 아니며 촬영 방향을 원하는 위치로 조절할 수 있는 팬틸트줌카메라로 구현될 수도 있다.
그럼 다음, 프레임 내에 미착석 승객 검출을 위한 관심영역(ROI)을 설정한다(S42). 본 발명의 일 실시예에서는, 차량으로 버스를 예를 들어 설명하므로, 버스의 중앙 통로를 관심영역(ROI)으로 설정할 수 있다. 여기서, 관심영역(ROI)은 프레임에서 차량 내부의 통로를 설정된 크기로 정규화하여 설정하고 그 모양은 통로의 형태에 맞춰 설정될 수 있다.
이어서, 입력된 프레임에 대한 서브샘플링을 수행하고(S43), 관심영역(ROI) 내 움직임 객체 후보를 탐지한다(S44).
그런 다음, 탐지된 움직임 객체 후보에 대한 잡음 제거를 수행하고, 잡음 제거된 움직임 객체 후보에 대해 카메라로부터의 거리에 따른 가중 화소수를 검출한다(S45).
본 발명의 일 실시예에 있어서, 가중 화소수는 관심영역(ROI) 내 움직임 객체 후보의 화소수를 검출할 때, 동일한 객체라도 카메라를 기준으로 근거리 영역과 원거리 영역에서의 움직임 화소수가 차이가 나는 것을 보완하기 위한 가중치를 적용해 객체의 움직임 화소수를 구함으로써 원거리 영역에서의 승객 감지 효율을 향상시킬 수 있다.
즉, 카메라 기준 근거리 승객의 경우 많은 화소수를 가지므로 감지가 용이한 반면, 원거리 승객의 경우 적은 화소수를 가지므로 감지가 어렵다. 따라서, 본 발명의 일 실시예에서는, 해당 수직라인에서의 검출 화소수에 가중치를 적용함으로써 원거리 영역에 대한 객체 검출의 정확도를 높일 수 있다.
구체적으로, 객체 판단을 위한 가중 화소수(Dw)를 관심영역(ROI) 내 수직라인(i)에서의 가중치(wi)를 적용하여 아래 수학식 1과 같이 구할 수 있다.
Figure pat00011
여기서, di는 화상의 i(1≤i≤H)번째 수직라인에서의 관심영역(ROI) 내 검출 화소수이고, ri는 화상의 i(1≤i≤H)번째 수직라인에서의 관심영역(ROI) 내 화소수이고, wi는 화상의 i(1≤i≤H)번째 수직라인에서의 가중치이며, 이는 아래 수학식 2를 이용하여 구할 수 있다.
Figure pat00012
따라서, 본 발명에서는, 수학식 3과 같이, 객체 후보에 대한 검출 결과인 가중 화소수(Dw)가 기설정된 임계값(Thd) 이상이면(S46, Y) 객체로 판단(Object)하고(S47), 구한 가중 화소수가 기설정된 임계값 미만이면(S46, N) 객체가 아닌 것으로 판단(Non-Object)한다(S48).
Figure pat00013
상술한 바와 같이, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 방법에 따르면, 영상 기반으로 미착석 승객 유무를 판단한 후 차량의 출발 신호를 결정하도록 함으로써, 차량 내 미착석 승객으로 인한 안전 사고를 방지할 수 있다.
또한, 본 발명에 따르면, 촬상된 영상의 프레임으로부터 객체의 움직임 화소수를 탐지하되, 영상을 촬상한 카메라의 위치를 기준으로 거리별 가중치를 적용한 가중 화소수를 구함으로써 근거리 객체뿐만 아니라 원거리 객체의 탐지 정확성 및 효율을 향상시킬 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
10. 차량 내 승객 검출 장치 11. 카메라
12. 제어부 13. 알람부
100. 차량구동시스템

Claims (5)

  1. 차량의 정면 상단부에 설치되며 상기 차량의 내부 및 후방을 모두 촬영하는 카메라; 및
    상기 카메라로부터 상기 차량의 내부 및 후방의 촬영 영상을 프레임 단위로 입력받고, 입력된 프레임을 분석하여 미착석 승객 유무를 판단하되, 상기 프레임에 관심영역(Region of Interest; ROI)을 설정하고, 상기 관심영역 내 객체 후보를 탐지한 후 상기 객체 후보에 대한 가중 화소수를 검출하여 미착석 승객 유무를 판단하는 제어부;를 포함하는 차량 내 승객 검출 장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 프레임에서 차량 내부의 통로를 설정된 크기로 정규화하여 상기 관심영역을 설정하고, 상기 관심영역 내 객체 후보의 수직라인에서의 검출 화소수에 가중치를 적용하여 가중 화소수를 검출하고,
    상기 객체 후보의 검출된 가중 화소수가 설정된 임계값 이상이면, 상기 객체 후보를 미착석 승객으로 판단하며, 상기 객체 후보의 검출된 가중 화소수가 설정된 임계값 미만이면 승객이 아니라고 판단하는 것을 특징으로 하는 차량 내 승객 검출 장치.
  3. 제2항에 있어서,
    상기 제어부는, 상기 가중 화소수(Dw)를 아래 수학식 1을 통해 검출하는 것
    [수학식 1]
    Figure pat00014

    (여기서, di는 프레임의 i(1≤i≤H)번째 수직라인에서의 관심영역(ROI) 내 검출 화소수이고, ri는 프레임의 i(1≤i≤H)번째 수직라인에서의 관심영역(ROI) 내 화소수이고, wi는 프레임의 i(1≤i≤H)번째 수직라인에서의 가중치로
    Figure pat00015
    으로 구해지는 값을 각각 의미함)
    을 특징으로 하는 차량 내 승객 검출 장치.
  4. 제3항에 있어서,
    상기 객체 후보의 검출 화소수(di) 및 가중 화소수(Dw)의 관계는, 상기 프레임의 수직라인(i)이 1≤i≤H/2 범위에서 di < widi 이고, 상기 프레임의 수직라인(i)이 H/2<i≤H 범위에서 di > widi 인 것을 특징으로 하는 차량 내 승객 검출 장치.
  5. 제4항에 있어서,
    상기 차량 내 승객 검출 장치는, 상기 관심영역 내 미착석 승객이 검출되면, 미착석의 위험을 경보하거나, 착석 유도 및 출발을 안내하는 안내 방송을 출력하는 알람부;를 더 포함하며,
    상기 제어부는, 상기 관심영역 내 미착석 승객이 검출되면 상기 알람부의 경보 및 안내 방송을 제어하고, 상기 관심영역 내 미착석 승객이 검출되지 않으면, 상기 차량의 출발을 지시하는 제어신호를 출력하는 것을 특징으로 하는 차량 내 승객 검출 장치.
KR1020200186977A 2020-12-30 2020-12-30 차량 내 승객 검출 장치 및 그 방법 KR102514574B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200186977A KR102514574B1 (ko) 2020-12-30 2020-12-30 차량 내 승객 검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200186977A KR102514574B1 (ko) 2020-12-30 2020-12-30 차량 내 승객 검출 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220097569A true KR20220097569A (ko) 2022-07-08
KR102514574B1 KR102514574B1 (ko) 2023-03-30

Family

ID=82407609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200186977A KR102514574B1 (ko) 2020-12-30 2020-12-30 차량 내 승객 검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102514574B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022160162A (ja) * 2021-04-06 2022-10-19 トヨタ自動車株式会社 情報処理装置及び情報処理システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180064775A (ko) * 2016-12-06 2018-06-15 주식회사 만도 차량의 주행 지원 장치 및 이의 구동 방법
KR20180065666A (ko) * 2016-12-08 2018-06-18 현대자동차주식회사 차량의 영상 처리 장치 및 방법
KR20200054378A (ko) * 2018-11-07 2020-05-20 현대모비스 주식회사 차량 내 승객 감지장치 및 그 제어방법
KR20200060630A (ko) 2018-11-22 2020-06-01 한국자동차연구원 자율주행차량의 운행정보 출력 제어 장치 및 방법
KR20200136522A (ko) * 2019-05-27 2020-12-08 현대자동차주식회사 차량 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180064775A (ko) * 2016-12-06 2018-06-15 주식회사 만도 차량의 주행 지원 장치 및 이의 구동 방법
KR20180065666A (ko) * 2016-12-08 2018-06-18 현대자동차주식회사 차량의 영상 처리 장치 및 방법
KR20200054378A (ko) * 2018-11-07 2020-05-20 현대모비스 주식회사 차량 내 승객 감지장치 및 그 제어방법
KR20200060630A (ko) 2018-11-22 2020-06-01 한국자동차연구원 자율주행차량의 운행정보 출력 제어 장치 및 방법
KR20200136522A (ko) * 2019-05-27 2020-12-08 현대자동차주식회사 차량 및 그 제어방법

Also Published As

Publication number Publication date
KR102514574B1 (ko) 2023-03-30

Similar Documents

Publication Publication Date Title
US9311711B2 (en) Image processing apparatus and image processing method
EP3367361B1 (en) Method, device and system for processing startup of front vehicle
US11050929B2 (en) Driver recorder, display control method and program
US20220180483A1 (en) Image processing device, image processing method, and program
JP2019008460A (ja) 物体検出装置、物体検出方法およびプログラム
US20060077543A1 (en) Stereo camera system and stereo optical module
KR20210022570A (ko) 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 컴퓨터 프로그램, 정보 처리 시스템, 그리고 이동체 장치
US20200053297A1 (en) Image processing apparatus, image processing method, and program
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
US11325520B2 (en) Information processing apparatus and information processing method, and control apparatus and image processing apparatus
US11978261B2 (en) Information processing apparatus and information processing method
JP2017165541A (ja) 画像処理装置
KR20220020264A (ko) 센서 장치 및 신호 처리 방법
KR102514574B1 (ko) 차량 내 승객 검출 장치 및 그 방법
JPH1062162A (ja) 障害物検出装置
US11554774B2 (en) Control apparatus, control method, and program
JP5411671B2 (ja) 物体検出装置および運転支援システム
KR20150058881A (ko) 영상 인식을 기반으로 하는 차량의 공기순환 제어방법
US11563905B2 (en) Information processing device, information processing method, and program
US20220224830A1 (en) Imaging device and imaging method
KR102448164B1 (ko) 차량용 레이더 제어 장치 및 방법
CN115868155A (zh) 控制设备、投影系统、控制方法和程序
JP6582891B2 (ja) 空車枠特定システム、方法およびプログラム
KR102643149B1 (ko) 차량 내 승객 검출 장치 및 그 방법
US20230333557A1 (en) Data processing method for object detection and identification and autonomous deriving device therefor

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant