KR20230101226A - 차량 내 승객 검출 장치 및 그 방법 - Google Patents

차량 내 승객 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR20230101226A
KR20230101226A KR1020210191153A KR20210191153A KR20230101226A KR 20230101226 A KR20230101226 A KR 20230101226A KR 1020210191153 A KR1020210191153 A KR 1020210191153A KR 20210191153 A KR20210191153 A KR 20210191153A KR 20230101226 A KR20230101226 A KR 20230101226A
Authority
KR
South Korea
Prior art keywords
image
input
input image
passenger
difference
Prior art date
Application number
KR1020210191153A
Other languages
English (en)
Other versions
KR102643149B1 (ko
Inventor
김병익
김기진
나경진
정명환
Original Assignee
오토아이티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오토아이티(주) filed Critical 오토아이티(주)
Priority to KR1020210191153A priority Critical patent/KR102643149B1/ko
Publication of KR20230101226A publication Critical patent/KR20230101226A/ko
Application granted granted Critical
Publication of KR102643149B1 publication Critical patent/KR102643149B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상기반으로 차량 내 미착석 승객 유무를 판단하여 차량의 운행을 제어할 수 있는 차량 내 승객 검출 장치 및 그 방법에 관한 것으로, 상기 차량 내 승객 검출 장치는, 서로 대면하는 위치에 설치된 제1 카메라 및 제2 카메라; 및 상기 제1 카메라에서 촬영된 제1 입력 영상과 제1 배경 영상의 차와, 상기 제1 입력 영상과 이전 입력 영상과의 차의 절대값을 합산하여 제1 움직임 영역을 검출하고, 상기 제1 움직임 영역으로부터 승객을 검출하며, 상기 제2 카메라에서 촬영된 제2 입력 영상과 제2 배경 영상의 차와, 상기 제2 입력 영상과 이전 입력 영상과의 차의 절대값을 합산하여 제2 움직임 영역을 검출하고, 상기 제1 움직임 영역에 대한 승객 검출 결과와 상기 제2 움직임 영역에 대한 승객 검출 결과를 합산하여 최종 승객 검출을 수행하는 영상처리부;를 포함한다.

Description

차량 내 승객 검출 장치 및 그 방법 {APPARATUS FOR DETECTING PASSENGER IN A VEHICLE AND METHOD THEREOF}
본 발명은 차량 내 승객 검출 장치 및 그 방법에 관한 것으로, 특히, 영상기반의 움직임 검출을 통해 차량 내 미착석 승객 유무를 판단함으로써 차량의 운행을 제어할 수 있는 차량 내 승객 검출 장치 및 그 방법에 관한 것이다.
자율주행차량(Autonomous Vehicle)이란 운전자 또는 승객의 조작 없이 자동차 스스로 운행이 가능한 자동차를 말하며, 자율주행시스템(Automated Vehicle & Highway Systems)은 자율주행차량이 스스로 운행될 수 있도록 모니터링하고 제어하는 시스템을 말한다.
최근 자율주행차량이 다수의 인원을 수송하기 위한 대중교통으로 이용되는 차량, 예를 들어, 지하철, 버스, 택시 등에 이용되고 있다.
일 예로, 자율주행버스와 같은 경우, 다수의 탑승자가 탑승한 상태로 자율주행 운행을 하는데, 자율주행 경로 및 주행환경 등에 따라서 버스가 흔들리거나 주행 안정도가 낮아지는 경우가 있다.
따라서, 자율주행버스는 출발 전 또는 출발 후에도 탑승객의 착석 여부를 확인해야 한다. 왜냐하면, 버스가 출발 또는 정차할 때, 탑승한 승객들이 좌석 착석, 좌석 이동 또는 하차를 위해 버스 내부에서 움직이는 경우 탑승한 승객이 넘어지거나 버스 내부의 구조물에 부딪히는 안전사고가 발생할 우려가 있기 때문이다.
이에 탑승한 승객의 안전을 위하여 자율주행버스 내 미착석 승객을 검출하기 위한 기술 및 연구에 대한 필요성이 요구되고 있다.
따라서, 자율주행차량은 다수의 인원을 수송할 경우, 자율주행 중에 탑승한 승객의 안전을 확보할 수 있는 기술 및 연구에 대한 필요성이 요구되고 있다.
이러한 요구에 따라 최근 영상처리 기술의 발전으로 카메라로부터 획득된 영상을 이용하여 탑승객의 유무를 판단하는 방법들, 예를 들면, 탑승자 특징을 검출하여 인지하는 방법, 딥러닝을 이용한 벙법 등이 제안되고 있다.
하지만, 탑승자 특징을 검출하여 인지하는 방법은, 피부색, 형태 등의 개인차와 안경, 모자 등의 개인 부착물에 의한 상태 변화, 조명 및 배경 같은 외적 환경에 많은 영향을 받아 정확한 검출에 어려움이 있고, 딥러닝을 이용항 방법은 많은 연산량으로 인해 임베디드 시스템으로 구현시 실시간 처리가 어려우며, 이를 해결하기 위해서는 고가의 하드웨어가 필요한 문제가 있다.
KR 1020200060630 (공개일자: 2020.06.01)
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은, 복잡도가 낮고 연산량이 적어 저사양 임베디드 시스템에 적용되어 실시간 처리가 가능한 차량 내 승객 검출 장치 및 그 방법을 제공하는 데 있다.
또한, 일 측면에 따른 본 발명의 목적은, 차량의 출발 전에 차량 내 미착석 승객 또는 출발 후 기립 승객의 유무를 판단하여 차량 운행을 제어함으로써 미착석 승객으로 인한 차량 내 안전사고를 방지할 수 있는 차량 내 승객 검출 장치 및 그 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 이하의 발명의 상세한 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 차량 내 승객 검출 장치는, 서로 대면하는 위치에 설치된 제1 카메라 및 제2 카메라; 및 상기 제1 카메라에서 촬영된 제1 입력 영상과 제1 배경 영상의 차와, 상기 제1 입력 영상과 이전 입력 영상과의 차의 절대값을 합산하여 제1 움직임 영역을 검출하고, 상기 제1 움직임 영역으로부터 승객을 검출하며, 상기 제2 카메라에서 촬영된 제2 입력 영상과 제2 배경 영상의 차와, 상기 제2 입력 영상과 이전 입력 영상과의 차의 절대값을 합산하여 제2 움직임 영역을 검출하고, 상기 제1 움직임 영역에 대한 승객 검출 결과와 상기 제2 움직임 영역에 대한 승객 검출 결과를 합산하여 최종 승객 검출을 수행하는 영상처리부;를 포함할 수 있다.
또한, 상기 제1 카메라는 차량의 정면 상단부에 설치되며 상기 차량의 내부 및 후방을 모두 촬영하고, 상기 제2 카메라는 차량의 후면 상단부에 설치되며 상기 차량의 내부 및 전방을 모두 촬영하며, 상기 제1 카메라의 촬영된 제1 입력 영상과 상기 제2 카메라의 촬영된 제2 입력 영상이 서로 중첩되는 영역을 제1 영역, 제2 영역 및 제3 영역으로 분할하는 것을 특징으로 한다.
또한, 상기 영상처리부는, 상기 제1 카메라로부터 촬영된 제1 입력 영상이 입력되면, 현재 입력된 제1 입력 영상이 초기영상인지 확인하고, 확인 결과 상기 현재 입력된 제1 입력 영상이 초기영상이면 초기 배경영상을 생성하는 제1 배경영상 생성부와, 상기 확인 결과, 상기 현재 입력된 제1 입력 영상이 초기영상이 아니면, 상기 현재 입력된 제1 입력 영상과 기생성된 제1 배경영상의 차(difference)를 구하고, 상기 현재 입력된 제1 입력 영상과 이전 입력 영상과의 차(difference)의 절대값을 구한 후, 구한 차와 차의 절대값을 합산하여 배경영역을 제외한 제1 움직임 영역을 검출하는 제1 움직임 검출부와, 상기 제1 움직임 영역에 제1 마스킹 이미지를 적용하여 제1 변화량(Max_Gray_rate1)을 구하고, 상기 제1 변화량에 기초하여 승객을 검출하는 제1 승객 검출부를 포함하는 제1 영상 처리부; 상기 제2 카메라로부터 촬영된 제2 입력 영상이 입력되면, 현재 입력된 제2 입력 영상이 초기영상인지 확인하고, 확인 결과 상기 현재 입력된 제2 입력 영상이 초기영상이면 초기 배경샘플영상을 생성하는 제2 배경영상 생성부와, 상기 확인 결과, 상기 현재 입력된 제2 입력 영상이 초기영상이 아니면, 상기 현재 입력된 제2 입력 영상과 기생성된 제2 배경영상의 차(difference)를 구하고, 상기 현재 입력된 제2 입력 영상과 이전 입력된 영상과의 차(difference)의 절대값을 구한 후 구한 차와 차의 절대값을 합산하여 배경영역을 제외한 제2 움직임 영역을 검출하는 제2 움직임 검출부와, 상기 제2 움직임 영역에 제2 마스킹 이미지를 적용하여 제2 변화량(Max_Gray_rate2)을 구하고, 상기 제2 변화량에 기초하여 승객을 검출하는 제2 승객 검출부를 포함하는 제2 영상 처리부; 및 상기 제1 변화량에 따른 승객 검출 결과 및 상기 제2 변화량에 따른 승객 검출 결과를 합산하여 승객 검출 위치를 판단하는 최종 승객 검출부;를 포함하는 것을 특징으로 한다.
또한, 상기 제1 움직임 검출부는, 상기 제1 마스킹 이미지를 상기 제1 움직임 영역에 적용하여 제1 관심 영역(Region of Interest; ROI)을 추출하고, 추출한 제1 관심 영역과 상기 제1 움직임 영역을 비교하여 제1 변화량을 구하며, 상기 제2 움직임 검출부는, 상기 제2 마스킹 이미지를 상기 제2 움직임 영역에 적용하여 제2 관심 영역을 추출하고, 추출한 제2 관심 영역과 상기 제2 움직임 영역을 비교하여 제2 변화량을 구하는 것을 특징으로 한다.
또한, 상기 최종 승객 검출부는, 상기 제1 변화량에 따른 승객 검출 결과와 상기 제2 변화량에 따른 승객 검출 결과를 합산하여 미착석 승객의 위치를 상기 제1 영역, 제2 영역 및 제3 영역 중 어느 영역에 위치하는지 판단하는 것을 특징으로 한다.
또한, 상기 제1 배경영상 생성부는,
상기 현재 입력된 제1 입력 영상과 제1 배경영상의 차(difference)를 이용해 제1 배경영상을 갱신하며, 상기 제2 배경영상 생성부는, 상기 현재 입력된 제2 입력 영상과 제2 배경영상의 차(difference)를 이용해 제2 배경영상을 갱신하는 것을 특징으로 한다.
한편, 본 발명의 다른 실시예에 따른 차량 내 승객 검출 방법은, (a) 차량의 후방 및 전방을 각각 촬영하여 제1 입력 영상 및 제2 입력 영상을 입력받는 단계; (b) 현재 입력된 제1 입력 영상과 제1 배경 영상의 차와, 상기 현재 입력된 제1 입력 영상과 이전 입력 영상과의 차의 절대값을 합산하여 제1 움직임 영역을 검출하고, 상기 제1 움직임 영역으로부터 승객을 검출하는 단계; (c) 현재 입력된 제2 입력 영상과 제2 배경 영상의 차와, 상기 현재 입력된 제2 입력 영상과 이전 입력 영상과의 차의 절대값을 합산하여 제2 움직임 영역을 검출하는 단계; 및 (d) 상기 제1 움직임 영역에 대한 승객 검출 결과와 상기 제2 움직임 영역에 대한 승객 검출 결과를 합산하여 최종 승객 검출을 수행하는 단계;를 포함한다.
또한, 상기 (b) 단계는, 현재 입력된 제1 입력 영상이 초기영상인지 확인하는 단계; 확인 결과, 상기 현재 입력된 제1 입력 영상이 초기영상이면 초기 배경영상을 생성하는 단계; 상기 확인 결과, 상기 현재 입력된 제1 입력 영상이 초기영상이 아니면, 상기 현재 입력된 제1 입력 영상과 기생성된 제1 배경영상의 차(difference)를 구하는 단계; 상기 현재 입력된 제1 입력 영상과 이전 입력 영상과의 차(difference)의 절대값을 구하는 단계; 구한 차와 차의 절대값을 합산하여 배경영역을 제외한 제1 움직임 영역을 검출하는 단계; 상기 제1 움직임 영역에 제1 마스킹 이미지를 적용하여 제1 관심 영역(Region of Interest; ROI)을 추출하는 단계; 추출한 제1 관심 영역과 상기 제1 움직임 영역을 비교하여 제1 변화량(Max_Gray_rate1)을 구하는 단계; 및 상기 제1 변화량에 기초하여 승객을 검출하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.
또한, 상기 (c) 단계는, 현재 입력된 제2 입력 영상이 초기영상인지 확인하는 단계; 확인 결과, 상기 현재 입력된 제2 입력 영상이 초기영상이면 초기 배경영상을 생성하는 단계; 상기 확인 결과, 상기 현재 입력된 제2 입력 영상이 초기영상이 아니면, 상기 현재 입력된 제2 입력 영상과 기생성된 제2 배경영상의 차(difference)를 구하는 단계; 상기 현재 입력된 제2 입력 영상과 이전 입력 영상과의 차(difference)의 절대값을 구하는 단계; 구한 차와 차의 절대값을 합산하여 배경영역을 제외한 제2 움직임 영역을 검출하는 단계; 상기 제2 움직임 영역에 제2 마스킹 이미지를 적용하여 제2 관심 영역(Region of Interest; ROI)을 추출하는 단계; 추출한 제2 관심 영역과 상기 제2 움직임 영역을 비교하여 제2 변화량(Max_Gray_rate2)을 구하는 단계; 및 상기 제2 변화량에 기초하여 승객을 검출하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.
또한, 상기 (d) 단계는, 상기 제1 변화량에 따른 승객 검출 결과와 상기 제2 변화량에 따른 승객 검출 결과를 합산하여 미착석 승객의 위치를 상기 제1 입력 영상과 상기 제2 입력 영상이 서로 중첩되는 영역을 분할한 제1 영역, 제2 영역 및 제3 영역 중 어느 영역에 위치하는지 판단하여 최종 승객의 위치를 검출하는 단계인 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 카메라로부터 획득한 현재영상을 예측된 배경영상과의 차 영상과 이전영상과의 차 영상을 이용하여 미착석 승객을 검출함으로써 미착석 승객의 검출 성능을 향상시킬 수 있을 뿐만 아니라, 미착석 승객의 검출 성능 및 정확성이 향상됨에 따라 미착석 승객의 미검출로 인한 차량 운행으로 발생하는 안전사고를 방지할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 촬영된 영상의 프레임 간의 차를 이용해 움직임 검출을 통해 미착석 승객을 검출함으로써 실시간 처리가 가능한 저사양 임베디드 시스템을 구현할 수 있어 비용 절감 효과가 가능할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 검출된 미착석 승객에게 출발 전 경보를 수행함으로써 착석을 유도하고 이를 통해 안전한 차량 운행을 도모할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치의 상세 구성을 설명하기 위한 구성도이다.
도 2는 본 발명의 일 실시 형태에 따른 차량 내 승객 검출 장치에 있어서 승객 위치를 분류한 영역을 나타낸 예시도이며, (a)는 버스 내부의 카메라 위치와 각 영역을 표시한 도면이고 (b) 영상 프레임에서 각 영역을 표시한 도면이다.
도 3은 본 발명의 일실시 형태에 따른 차량 내 승객 검출 장치의 실험예에 따른 승객 검출 결과를 나타낸 예시도이며, (a)는 주간, 승객이 검출된 경우, (b)는 주간, 승객 미검출된 경우, (c)는 야간, 승객이 검출된 경우, (d)는 야간, 승객 미검출된 경우를 각각 나타낸다.
도 4는 본 발명의 일실시 형태에 따른 차량 내 승객 검출 방법을 설명하기 위한 흐름도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다. 각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치의 상세 구성을 설명하기 위한 구성도이다. 본 발명의 일 실시예에 따른 차량은 자율주행차량으로, 버스를 예로 들어 설명하고 있지만, 이에 한정되는 것은 아니며 다른 종류의 차량인 경우에도 적용될 수 있다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량 내 승객 검출 장치(100)는, 제1 카메라(110), 제2 카메라(115) 및 영상처리부(150)를 포함하여 구성될 수 있다. 그리고, 영상처리부(150)는 제1 영상처리부(120), 제2 영상처리부(130) 및 최종 승객 검출부(140)를 포함하여 구성된다.
이러한 본 발명의 제1 실시형태에 따른 차량 내 승객 검출 장치(100)는, 차량구동시스템(200)과 전기적으로 연결되거나 무선 네트워크를 통해 연결되도록 구현될 수 있다. 이를 통해 본 발명의 차량 내 승객 검출 장치(100)는 미착석 승객 검출 정보를 차량구동시스템(200)으로 전송하여 출발과 관련된 운행을 수행할 수 있도록 한다. 여기서, 차량은, 차량 운전자의 조작 없이도 스스로 목적지까지 주행하는 자율주행버스(Autonomous Vehicle)일 수 있으며, 버스 내부의 승객은 좌석에 착석한 상태의 승객과 좌석에 착석하지 않고 서 있는 미착석 승객을 포함할 수 있다.
구체적으로 설명하면, 제1 카메라(110)는 차량의 정면 상단부에 설치되며 차량의 내부 및 후방을 촬영하여 제1 입력 영상을 출력한다. 이때, 제1 카메라(110)는 제1 입력 영상을 프레임 단위로 실시간 제1 영상처리부(120)에 전달할 수 있다.
또한, 제2 카메라(115)는 차량의 후면 상단부에 설치되며 차량의 내부 및 전방을 촬영하여 제2 입력 영상을 출력한다. 이때, 제2 카메라(110)는 제2 입력 영상을 프레임 단위로 실시간 제2 영상처리부(130)에 전달할 수 있다.
이러한 제1 및 제2 카메라(110, 115)는 차량의 전방 또는 후방을 촬영할 수 있도록 서로 대면하여 마주보도록 차량 내부의 앞쪽 또는 뒤쪽 상단부, 즉, 천장에 설치될 수 있으나, 본 발명은 이에 한정되지 않고 카메라의 설치 위치는 차량 내부를 촬영하여 미착석 승객을 검출하기 위해 전방 또는 후방의 영상 정보를 획득하기 위해 차량 내에서 화각(FOV; Field Of View) 확보가 가능한 위치면 어디든 설치될 수 있다. 또한, 제1 및 제2 카메라(110, 115)는 설치 위치에서부터 전방 또는 후방까지 차량의 중앙 통로 또는 복도를 모두 촬영할 수 있는 화각(FOV; Field Of View)을 가지는 카메라로 구현될 수 있으며, 예를 들면, 화각이 130도 이상을 지원하는 광각 카메라, 고화각을 위해 어안 렌즈(Fish-Eye Lens)를 이용한 카메라일 수 있다.
그리고, 제1 영상처리부(120)는, 제1 카메라(110)로부터 촬영된 제1 입력 영상을 입력받아 배경영상과 차분(difference)하여 움직임이 존재하는 움직임 영역을 검출함으로써 미착석 승객을 검출한다.
이러한 제1 영상처리부(120)는 제1 배경영상 생성부(121), 제1 움직임 검출부(122) 및 제1 승객 검출부(123)를 적어도 포함하여 구성될 수 있다.
먼저, 제1 배경영상 생성부(121)는, 제1 카메라(110)의 촬영된 제1 입력 영상이 입력되면, 현재 입력된 제1 입력 영상이 초기영상인지 확인하고, 확인 결과 현재 입력된 제1 입력 영상이 초기영상이면 초기 배경영상을 생성하고, 이를 배경영상DB(미도시)에 저장한다. 여기서, 배경은 차량의 촬영구역(내부)에 움직이는 물체/승객이 없는 최초 촬영된 영상에 포함된 화소 정보를 의미한다.
즉, 제1 배경영상 생성부(121)는, 연속적으로 입력되는 현재 입력 영상의 프레임 중에서 첫 번째 영상 프레임을 기초로 초기 배경영상을 생성할 수 있다. 예를 들어, 제1 배경영상 생성부(121)는 현재 입력 영상의 시퀀스를 구성하는 영상 프레임 중에서 첫 번째 영상 프레임을 초기 배경영상으로 설정할 수 있다.
또한, 제1 배경영상 생성부(121)는, 현재 입력 영상과 저장된 배경영상의 차(difference)를 이용해 저장된 배경영상을 갱신하여 배경영상DB(미도시)에 저장할 수 있다.
이러한 제1 배경영상 생성부(121)의 배경 예측은 ViBE(Visual Background Extractor) 방법을 이용하여 구현하고 있으나, 이에 한정되는 것은 아니며 이미 공지된 다양한 배경 예측 알고리즘을 이용할 수 있다.
그리고, 제1 움직임 검출부(122)는, 제1 카메라(110)의 현재 입력 영상이 초기영상인지 확인한 결과, 현재 입력 영상이 초기영상이 아니면 현재 입력 영상과 저장된 배경영상의 차(difference)를 구하여 배경을 제외한 움직임이 존재하는 움직임 영역을 검출한다.
즉, 제1 움직임 검출부(122)는 현재 입력 영상과 배경 영상의 각 프레임 사이의 차이(difference)가 존재하는지 비교하는 것에 의해 움직임 영역을 용이하게 검출할 수 있다.
또한, 제1 움직임 검출부(122)는, 현재 입력 영상과 이전 입력 영상의 차(difference)의 절대값을 계산한 후, 계산된 현재 입력 영상과 배경영상의 차(difference)와 현재 입력 영상과 이전 입력 영상의 차(difference)의 절대값을 합산하여 움직임 영역을 검출할 수 있다.
이처럼 제1 움직임 검출부(122)는, 현재 입력 영상과 배경 영상의 차와 현재 입력 영상과 이전 입력 영상의 차를 함께 고려함으로써 움직임 변화에 대한 검출 성능을 향상시킬 수 있다.
그리고, 제1 승객 검출부(123)는 관심영역을 추출하기 위한 마스킹 이미지를 검출된 움직임 영역에 적용하여 제1 변화량(Max_Gray_rate1)을 구한다.
예를 들어, 제1 변화량(Max_Gray_rate1)은 아래 수학식 1과 같이 구할 수 있다. 여기서, Max_Gray_rate은 검출된 움직임 영역을 마스킹 이미지를 통해 관심 영역을 추출하고 추출한 관심 영역의 화소 변화량을 구한 결과값이다.
Figure pat00001
즉, 제1 승객 검출부(123)는 제1 변화량(Max_Gray_rate1)과 승객 유무를 판단하기 위한 임계값(Th)을 비교하여 검출된 움직임 영역에 대한 승객 유무를 판단한다. 예를 들어, 제1 승객 검출부(123)는 제1 변화량(Max_Gray_rate1)이 승객 유무를 판단하기 위한 임계값(Th)보다 크면 승객이 있다고 판단한다.
그리고, 제2 영상처리부(130)는, 제2 카메라(115)로부터 촬영된 제2 입력 영상을 입력받아 배경영상과 차분(difference)하여 움직임이 존재하는 움직임 영역을 검출함으로써 미착석 승객을 검출한다.
이러한 제2 영상처리부(130)는 제2 배경영상 생성부(131), 제2 움직임 검출부(132) 및 제2 승객 검출부(133)를 적어도 포함하여 구성될 수 있다.
먼저, 제2 배경영상 생성부(131)는, 제2 카메라(115)의 촬영된 제2 입력 영상이 입력되면, 현재 입력된 제2 입력 영상이 초기영상인지 확인하고, 확인 결과 현재 입력된 제2 입력 영상이 초기영상이면 초기 배경영상을 생성하고, 이를 배경영상DB(미도시)에 저장한다. 여기서, 배경은 차량의 촬영구역(내부)에 움직이는 물체/승객이 없는 최초 촬영된 영상에 포함된 화소 정보를 의미한다.
즉, 제2 배경영상 생성부(131)는, 연속적으로 입력되는 현재 입력 영상의 프레임 중에서 첫 번째 영상 프레임을 기초로 초기 배경영상을 생성할 수 있다. 예를 들어, 제2 배경영상 생성부(131)는 현재 입력 영상의 시퀀스를 구성하는 영상 프레임 중에서 첫 번째 영상 프레임을 초기 배경영상으로 설정할 수 있다.
또한, 제2 배경영상 생성부(131)는, 현재 입력 영상과 저장된 배경영상의 차(difference)를 이용해 저장된 배경영상을 갱신하여 배경영상DB(미도시)에 저장할 수 있다.
이러한 제2 배경영상 생성부(131)의 배경 예측은, 제1 배경영상 생성부(121)과 동일하게, ViBE(Visual Background Extractor) 방법을 이용하여 구현하고 있으나, 이에 한정되는 것은 아니며 이미 공지된 다양한 배경 예측 알고리즘을 이용할 수 있다.
그리고, 제2 움직임 검출부(132)는, 제2 카메라(115)의 현재 입력 영상이 초기영상인지 확인한 결과, 현재 입력 영상이 초기영상이 아니면 현재 입력 영상과 저장된 배경영상의 차(difference)를 구하여 배경을 제외한 움직임이 존재하는 움직임 영역을 검출한다.
즉, 제2 움직임 검출부(132)는 현재 입력 영상과 배경 영상의 각 프레임 사이의 차이(difference)가 존재하는지 비교하는 것에 의해 움직임 영역을 용이하게 검출할 수 있다.
또한, 제2 움직임 검출부(132)는, 현재 입력 영상과 이전 입력 영상의 차(difference)의 절대값을 계산한 후, 계산된 현재 입력 영상과 배경영상의 차(difference)와 현재 입력 영상과 이전 입력 영상의 차(difference)의 절대값을 합산하여 움직임 영역을 검출할 수 있다.
이처럼 제2 움직임 검출부(132)는, 현재 입력 영상과 배경 영상의 차와 현재 입력 영상과 이전 입력 영상의 차를 함께 고려함으로써 움직임 변화에 대한 검출 성능을 향상시킬 수 있다.
그리고, 제2 승객 검출부(133)는 관심영역을 추출하기 위한 마스킹 이미지를 검출된 움직임 영역에 적용하여 제2 변화량(Max_Gray_rate2)을 구한다. 예를 들어, 제1 변화량(Max_Gray_rate1)은 수학식 1과 같이 구할 수 있다.
즉, 제2 승객 검출부(133)는 제2 변화량(Max_Gray_rate2)과 승객 유무를 판단하기 위한 임계값(Th)을 비교하여 검출된 움직임 영역에 대한 승객 유무를 판단한다. 예를 들어, 제2 승객 검출부(133)는 제2 변화량(Max_Gray_rate2)이 승객 유무를 판단하기 위한 임계값(Th)보다 클 경우 미착석 승객이 있다고 판단한다.
그리고, 최종 승객 검출부(140)는, 제1 변화량에 따른 승객 검출 결과 및 제2 변화량에 따른 승객 검출 결과를 합산하여 미착석 승객의 위치를 상기 제1 영역, 제2 영역 및 제3 영역 중 어느 영역에 위치하는지 판단한다.
이러한 최종 승객 검출부(140)는, 영상의 프레임에 대해 제1 영역, 제2 영역, 제3 영역의 세 구간으로 구분하고, 제1 변화량(Max_Gray_rate1) 및 제2 변화량(Max_Gray_rate2)을 이용해 각 구간의 승객 유무를 판단할 수 있다.
예를 들어, 최종 승객 검출부(140)는, Max_Gray_rate1 > Max_Gray_rate2 이고, Max_Gray_rate1 > thm 이고, Max_Gray_rate2 > thm 이면 제1 영역으로 승객 위치를 판단한다. 다른 예를 들어, 최종 승객 검출부(140)는, th < Max_Gray_rate1 < thm 이고, th < Max_Gray_rate2 < thm 이면 제2 영역으로 승객 위치를 판단한다. 또 다른 예를 들어, 최종 승객 검출부(140)는, Max_Gray_rate1 < Max_Gray_rate2 이고, Max_Gray_rate1 > thm 이고, Max_Gray_rate2 > thm 이면 제3 영역으로 승객 위치를 판단한다. 여기서, Th는 승객 유무를 판단하기 위한 임계값, thm은 승객 위치 판단에 사용되는 임계값이다.
한편, 본 발명에 있어서, 영상처리부(150)는, 차량의 출발 전 미착석 승객이 검출되면, 미착석 승객의 착석을 유도하기 위한 경보발생부(미도시)를 더 포함할 수 있다. 경보발생부는 미착석 승객의 착석을 유도하기 위한 안내 방송을 출력할 수 있는 스피커 및 조명으로 미착석 승객의 주의를 끌어 착석을 유도할 수 있는 경고등을 포함할 수 있다.
또한, 영상처리부(150)는, 차량의 출발 전 미착석 승객이 검출되면, 차량 출발을 지연하도록 차량 구동 시스템(100)에 요청하고, 미착석 승객이 없는 것으로 판단되면, 차량 구동 시스템(100)으로 이를 통지하여 차량의 출발 및 주행 운행이 이루어지도록 할 수 있다.
상술한 바와 같이, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치는 현재 입력 영상과 배경영상의 차와, 현재 입력 영상과 이전 입력 영상의 차를 합산하여 승객 검출을 수행함으로써 승객 검출의 정확도를 향상시킬 수 있다.
또한, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치는 전방 설치 카메라에서 촬영된 현재 입력 영상을 이용한 승객 검출 결과와, 후방 설치 카메라에서 촬영된 현재 입력 영상을 이용한 승객 검출 결과를 합산하여 승객 검출을 수행함으로써 승객의 검출 정확도를 더욱 향상시킬 수 있다.
이로써 본 발명은 차량 출발 전, 미착석 승객 유무 및 위치를 정확하게 검출함으로써, 미착석 승객의 착석을 유도하거나 미착석 승객으로 하여금 출발을 인지시킴으로써 출발로 인한 흔들림에 대비할 수 있도록 하여 차량 내 안전 사고를 방지하고 안전한 주행이 가능하도록 할 수 있다.
도 2는 본 발명의 일 실시 형태에 따른 차량 내 승객 검출 장치에 있어서 승객 위치를 분류한 영역을 나타낸 예시도이며, (a)는 버스 내부의 카메라 위치와 각 영역을 표시한 도면이고 (b) 영상 프레임에서 각 영역을 표시한 도면이다.
도 2의 (a)에 도시된 바와 같이, 본 실시예에 있어서, 차량(10)의 전면에 제1 카메라(110)가 설치되고, 차량(10)의 후면에 제2 카메라(115)가 설치된다. 제1 카메라(110) 및 제2 카메라(115)가 서로 대향하여 촬영하는 버스 내부를 제1 영역(A), 제2 영역(B) 및 제3 영역(C)으로 구분한다.
이후, 최종 승객 검출부(140)는 제1 변화량(Max_Gray_rate1)과 제2 변화량(Max_Gray_rate2)을 이용해 제1 영역(A), 제2 영역(B) 및 제3 영역(C) 중에서 승객이 존재하는 위치를 판단할 수 있다.
도 2의 (b)에 도시된 바와 같이, 제1 카메라(110)의 촬영된 입력 영상의 프레임에서 앞 부분부터 제1 영역(A), 제2 영역(B) 및 제3 영역(C)으로 영역을 구분한다. 한편, 도시하지는 않았지만, 제2 카메라(115)의 촬영된 입력 영상의 프레임의 경우는 앞 부분부터 제3 영역(C), 제2 영역(B) 및 제1 영역(C)으로 영역이 구분된다.
도 3은 본 발명의 일실시 형태에 따른 차량 내 승객 검출 장치의 실험예에 따른 승객 검출 결과를 나타낸 예시도이며, (a)는 주간, 승객이 검출된 경우, (b)는 주간, 승객 미검출된 경우, (c)는 야간, 승객이 검출된 경우, (d)는 야간, 승객 미검출된 경우를 각각 나타낸다.
[실험예]
본 발명의 차량 내 승객 검출 장치의 성능 테스트를 위해, ARM cortex A9 듀얼코어, Ram 4GB의 하드웨어를 가지는 시스템을 이용하고, 입력영상은 Full HD(1920×1080)영상을 320×180 크기로 변환하여 수행하였다.
도 3의 (a) 및 (c)에 도시된 바와 같이, 관심 영역(ROI) 내 승객(P1, P2)이 검출되면 붉은 색으로 관심 영역을 표시하여 관리자로 하여금 승객 검출을 시각적으로 인지할 수 있도록 표시할 수 있다.
도 3의 (b) 및 (d)에 도시된 바와 같이, 관심 영역(ROI) 내 승객 미검출이면 하얀 색으로 관심 영역을 표시하여 관리자로 하여금 승객 미검출을 시각적으로 인지할 수 있도록 표시할 수 있다.
구분 전체프레임수 전체검출 프레임수 전체 검출율(%)
주간 none(미검출) 2,682 2,649 98.8
제1 영역 1,767 1,706 96.5
제2 영역 2,331 2,206 94.6
제3 영역 1,328 1,226 92.3
sum 8,108 7,787 96.
야간 none(미검출) 6,441 6,157 95.6
제1 영역 3,847 3,843 99.9
제2 영역 3,858 3,797 98.4
제3 영역 3,349 3,337 99.6
sum 17,495 17,134 97.9
total 25,603 24,921 97.3
표 1은 승객이 있을 때와 없을 때 주간/야간에 각각의 검출율을 나타낸다.
표 1에서 알 수 있듯이, 본 발명에 따른 차량 내 승객 검출 장치의 검출율은 평균(total) 97.3%로 우수한 성능을 가짐을 확인할 수 있다.
이러한 결과를 통해 본 발명에 따른 차량 내 승객 검출 장치는 저사양의 임베디드 시스템으로 구현 가능하며, 검출 성능 또한 우수함을 알 수 있다.
도 4는 본 발명의 일실시 형태에 따른 차량 내 승객 검출 방법을 설명하기 위한 흐름도이다. 도 4에 도시된 차량 내 승객 검출 방법은 도 1 내지 도 3에 도시된 차량 내 승객 검출 장치를 통해 구현된다.
도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 차량 내 승객 검출 방법은, 제1 카메라로부터 입력되는 영상에 대한 제1 승객 검출 과정(S1000)과 제2 카메라로부터 입력되는 영상에 대한 제2 승객 검출 과정(S2000)과 최종 승객 검출 과정(S3000)으로 이루어진다.
먼저, 제1 승객 검출 과정을 설명하면, 차량의 후방을 촬영하여 제1 입력 영상을 입력받으면(S1001), 현재 입력된 제1 입력 영상이 초기영상인지 확인하고(S1002), 확인 결과, 현재 입력된 제1 입력 영상이 초기영상이면(Y) 제1 초기 배경영상을 생성하고(S1004), 이를 배경영상DB에 저장한다(S1005).
한편, 확인 결과, 현재 입력된 제1 입력 영상이 초기영상이 아니면(N), 현재 입력된 제1 입력 영상과 기생성된 제1 배경영상의 차(difference)를 구하고(S1003), 현재 입력된 제1 입력 영상과 제1 배경영상의 차(difference)를 이용해 제1 배경영상을 갱신(S1006)하여 저장한다(S1005). 이때, 제1 배경영상에 대한 노이즈 제거를 수행할 수 있으며, 노이즈 제거는 모폴로지(morphology) 기법을 이용하여 이루어질 수 있으나 이에 한정되는 것은 아니다.
또한, 현재 입력된 제1 입력 영상과 이전 입력 영상(S1007)과의 차(difference)의 절대값을 구하고(S1008), 구한 차와 차의 절대값을 합산하여 배경영역을 제외한 제1 움직임 영역을 검출한다(S1009).
그런 다음, 제1 움직임 영역에 제1 마스킹 이미지를 적용(S1010)하여 제1 관심 영역(Region of Interest; ROI)을 추출하고 추출한 제1 관심 영역과 제1 움직임 영역을 비교하여 제1 변화량(Max_Gray_rate1)을 구한다(S1011).
이어서, 구한 제1 변화량에 기초하여 승객 유무를 판단함으로써 승객을 검출한다(S1012).
다음으로, 제2 승객 검출 과정을 설명하면, 차량의 전방을 촬영하여 제2 입력 영상을 입력받으면(S2001), 현재 입력된 제1 입력 영상이 초기영상인지 확인하고(S2002), 확인 결과, 현재 입력된 제2 입력 영상이 초기영상이면(Y) 제2 초기 배경영상을 생성하고(S2004), 이를 배경영상DB에 저장한다(S2005).
한편, 확인 결과, 현재 입력된 제2 입력 영상이 초기영상이 아니면(N), 현재 입력된 제2 입력 영상과 기생성된 제2 배경영상의 차(difference)를 구하고(S2003), 현재 입력된 제2 입력 영상과 제2 배경영상의 차(difference)를 이용해 제2 배경영상을 갱신(S2006)하여 저장한다(S2005). 이때, 제2 배경영상에 대한 노이즈 제거를 수행할 수 있으며, 노이즈 제거는 모폴로지(morphology) 기법을 이용하여 이루어질 수 있으나 이에 한정되는 것은 아니다.
또한, 현재 입력된 제2 입력 영상과 이전 입력 영상(S2007)과의 차(difference)의 절대값을 구하고(S2008), 구한 차와 차의 절대값을 합산하여 배경영역을 제외한 제2 움직임 영역을 검출한다(S2009).
그런 다음, 제2 움직임 영역에 제2 마스킹 이미지를 적용(S2010)하여 제2 관심 영역(Region of Interest; ROI)을 추출하고 추출한 제2 관심 영역과 제2 움직임 영역을 비교하여 제2 변화량(Max_Gray_rate2)을 구한다(S2011).
이어서, 구한 제2 변화량에 기초하여 승객 유무를 판단함으로써 승객을 검출한다(S2012).
다음으로, 최종 승객 검출 과정(S300)을 설명하면, 제1 변화량에 따른 승객 검출 결과와 상기 제2 변화량에 따른 승객 검출 결과를 합산(S3001)하여 미착석 승객의 위치를 제1 입력 영상과 제2 입력 영상이 서로 중첩되는 영역을 분할한 제1 영역, 제2 영역 및 제3 영역 중 어느 영역에 위치하는지 판단하여 최종 승객의 위치를 검출한다(S3002).
상술한 바와 같이, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 방법에 따르면, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치는 현재 입력 영상과 배경영상의 차와, 현재 입력 영상과 이전 입력 영상의 차를 합산하여 승객 검출을 수행함으로써 승객 검출의 정확도를 향상시킬 수 있다.
또한, 본 발명의 일 실시형태에 따른 차량 내 승객 검출 장치는 전방 설치 카메라에서 촬영된 현재 입력 영상을 이용한 승객 검출 결과와, 후방 설치 카메라에서 촬영된 현재 입력 영상을 이용한 승객 검출 결과를 합산하여 승객 검출을 수행함으로써 승객의 검출 정확도를 더욱 향상시킬 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
10. 차량 110. 제1 카메라
115. 제2 카메라 150. 영상처리부
200. 차량구동시스템

Claims (10)

  1. 서로 대면하는 위치에 설치된 제1 카메라 및 제2 카메라; 및
    상기 제1 카메라에서 촬영된 제1 입력 영상과 제1 배경 영상의 차와, 상기 제1 입력 영상과 이전 입력 영상과의 차의 절대값을 합산하여 제1 움직임 영역을 검출하고, 상기 제1 움직임 영역으로부터 승객을 검출하며, 상기 제2 카메라에서 촬영된 제2 입력 영상과 제2 배경 영상의 차와, 상기 제2 입력 영상과 이전 입력 영상과의 차의 절대값을 합산하여 제2 움직임 영역을 검출하고, 상기 제1 움직임 영역에 대한 승객 검출 결과와 상기 제2 움직임 영역에 대한 승객 검출 결과를 합산하여 최종 승객 검출을 수행하는 영상처리부;를 포함하는 차량 내 승객 검출 장치.
  2. 제1항에 있어서,
    상기 제1 카메라는 차량의 정면 상단부에 설치되며 상기 차량의 내부 및 후방을 모두 촬영하고, 상기 제2 카메라는 차량의 후면 상단부에 설치되며 상기 차량의 내부 및 전방을 모두 촬영하며,
    상기 제1 카메라의 촬영된 제1 입력 영상과 상기 제2 카메라의 촬영된 제2 입력 영상이 서로 중첩되는 영역을 제1 영역, 제2 영역 및 제3 영역으로 분할하는 것을 특징으로 하는 차량 내 승객 검출 장치.
  3. 제2항에 있어서, 상기 영상처리부는,
    상기 제1 카메라로부터 촬영된 제1 입력 영상이 입력되면, 현재 입력된 제1 입력 영상이 초기영상인지 확인하고, 확인 결과 상기 현재 입력된 제1 입력 영상이 초기영상이면 초기 배경영상을 생성하는 제1 배경영상 생성부와, 상기 확인 결과, 상기 현재 입력된 제1 입력 영상이 초기영상이 아니면, 상기 현재 입력된 제1 입력 영상과 기생성된 제1 배경영상의 차(difference)를 구하고, 상기 현재 입력된 제1 입력 영상과 이전 입력 영상과의 차(difference)의 절대값을 구한 후, 구한 차와 차의 절대값을 합산하여 배경영역을 제외한 제1 움직임 영역을 검출하는 제1 움직임 검출부와, 상기 제1 움직임 영역에 제1 마스킹 이미지를 적용하여 제1 변화량(Max_Gray_rate1)을 구하고, 상기 제1 변화량에 기초하여 승객을 검출하는 제1 승객 검출부를 포함하는 제1 영상 처리부;
    상기 제2 카메라로부터 촬영된 제2 입력 영상이 입력되면, 현재 입력된 제2 입력 영상이 초기영상인지 확인하고, 확인 결과 상기 현재 입력된 제2 입력 영상이 초기영상이면 초기 배경샘플영상을 생성하는 제2 배경영상 생성부와, 상기 확인 결과, 상기 현재 입력된 제2 입력 영상이 초기영상이 아니면, 상기 현재 입력된 제2 입력 영상과 기생성된 제2 배경영상의 차(difference)를 구하고, 상기 현재 입력된 제2 입력 영상과 이전 입력된 영상과의 차(difference)의 절대값을 구한 후 구한 차와 차의 절대값을 합산하여 배경영역을 제외한 제2 움직임 영역을 검출하는 제2 움직임 검출부와, 상기 제2 움직임 영역에 제2 마스킹 이미지를 적용하여 제2 변화량(Max_Gray_rate2)을 구하고, 상기 제2 변화량에 기초하여 승객을 검출하는 제2 승객 검출부를 포함하는 제2 영상 처리부; 및
    상기 제1 변화량에 따른 승객 검출 결과 및 상기 제2 변화량에 따른 승객 검출 결과를 합산하여 승객 검출 위치를 판단하는 최종 승객 검출부;를 포함하는 차량 내 승객 검출 장치.
  4. 제3항에 있어서,
    상기 제1 움직임 검출부는, 상기 제1 마스킹 이미지를 상기 제1 움직임 영역에 적용하여 제1 관심 영역(Region of Interest; ROI)을 추출하고, 추출한 제1 관심 영역과 상기 제1 움직임 영역을 비교하여 제1 변화량을 구하며,
    상기 제2 움직임 검출부는, 상기 제2 마스킹 이미지를 상기 제2 움직임 영역에 적용하여 제2 관심 영역을 추출하고, 추출한 제2 관심 영역과 상기 제2 움직임 영역을 비교하여 제2 변화량을 구하는 것을 특징으로 하는 차량 내 승객 검출 장치.
  5. 제4항에 있어서,
    상기 최종 승객 검출부는, 상기 제1 변화량에 따른 승객 검출 결과와 상기 제2 변화량에 따른 승객 검출 결과를 합산하여 미착석 승객의 위치를 상기 제1 영역, 제2 영역 및 제3 영역 중 어느 영역에 위치하는지 판단하는 것을 특징으로 하는 차량 내 승객 검출 장치.
  6. 제3항에 있어서,
    상기 제1 배경영상 생성부는, 상기 현재 입력된 제1 입력 영상과 제1 배경영상의 차(difference)를 이용해 제1 배경영상을 갱신하며,
    상기 제2 배경영상 생성부는, 상기 현재 입력된 제2 입력 영상과 제2 배경영상의 차(difference)를 이용해 제2 배경영상을 갱신하는 것을 특징으로 하는 차량 내 승객 검출 장치.
  7. (a) 차량의 후방 및 전방을 각각 촬영하여 제1 입력 영상 및 제2 입력 영상을 입력받는 단계;
    (b) 현재 입력된 제1 입력 영상과 제1 배경 영상의 차와, 상기 현재 입력된 제1 입력 영상과 이전 입력 영상과의 차의 절대값을 합산하여 제1 움직임 영역을 검출하고, 상기 제1 움직임 영역으로부터 승객을 검출하는 단계;
    (c) 현재 입력된 제2 입력 영상과 제2 배경 영상의 차와, 상기 현재 입력된 제2 입력 영상과 이전 입력 영상과의 차의 절대값을 합산하여 제2 움직임 영역을 검출하는 단계; 및
    (d) 상기 제1 움직임 영역에 대한 승객 검출 결과와 상기 제2 움직임 영역에 대한 승객 검출 결과를 합산하여 최종 승객 검출을 수행하는 단계;를 포함하는 차량 내 승객 검출 방법.
  8. 제7항에 있어서, 상기 (b) 단계는,
    현재 입력된 제1 입력 영상이 초기영상인지 확인하는 단계;
    확인 결과, 상기 현재 입력된 제1 입력 영상이 초기영상이면 초기 배경영상을 생성하는 단계;
    상기 확인 결과, 상기 현재 입력된 제1 입력 영상이 초기영상이 아니면, 상기 현재 입력된 제1 입력 영상과 기생성된 제1 배경영상의 차(difference)를 구하는 단계;
    상기 현재 입력된 제1 입력 영상과 이전 입력 영상과의 차(difference)의 절대값을 구하는 단계;
    구한 차와 차의 절대값을 합산하여 배경영역을 제외한 제1 움직임 영역을 검출하는 단계;
    상기 제1 움직임 영역에 제1 마스킹 이미지를 적용하여 제1 관심 영역(Region of Interest; ROI)을 추출하는 단계;
    추출한 제1 관심 영역과 상기 제1 움직임 영역을 비교하여 제1 변화량(Max_Gray_rate1)을 구하는 단계; 및
    상기 제1 변화량에 기초하여 승객을 검출하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 차량 내 승객 검출 방법.
  9. 제8항에 있어서, 상기 (c) 단계는,
    현재 입력된 제2 입력 영상이 초기영상인지 확인하는 단계;
    확인 결과, 상기 현재 입력된 제2 입력 영상이 초기영상이면 초기 배경영상을 생성하는 단계;
    상기 확인 결과, 상기 현재 입력된 제2 입력 영상이 초기영상이 아니면, 상기 현재 입력된 제2 입력 영상과 기생성된 제2 배경영상의 차(difference)를 구하는 단계;
    상기 현재 입력된 제2 입력 영상과 이전 입력 영상과의 차(difference)의 절대값을 구하는 단계;
    구한 차와 차의 절대값을 합산하여 배경영역을 제외한 제2 움직임 영역을 검출하는 단계;
    상기 제2 움직임 영역에 제2 마스킹 이미지를 적용하여 제2 관심 영역(Region of Interest; ROI)을 추출하는 단계;
    추출한 제2 관심 영역과 상기 제2 움직임 영역을 비교하여 제2 변화량(Max_Gray_rate2)을 구하는 단계; 및
    상기 제2 변화량에 기초하여 승객을 검출하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 차량 내 승객 검출 방법.
  10. 제9항에 있어서, 상기 (d) 단계는,
    상기 제1 변화량에 따른 승객 검출 결과와 상기 제2 변화량에 따른 승객 검출 결과를 합산하여 미착석 승객의 위치를 상기 제1 입력 영상과 상기 제2 입력 영상이 서로 중첩되는 영역을 분할한 제1 영역, 제2 영역 및 제3 영역 중 어느 영역에 위치하는지 판단하여 최종 승객의 위치를 검출하는 단계인 것을 특징으로 하는 차량 내 승객 검출 방법.
KR1020210191153A 2021-12-29 2021-12-29 차량 내 승객 검출 장치 및 그 방법 KR102643149B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210191153A KR102643149B1 (ko) 2021-12-29 2021-12-29 차량 내 승객 검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210191153A KR102643149B1 (ko) 2021-12-29 2021-12-29 차량 내 승객 검출 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230101226A true KR20230101226A (ko) 2023-07-06
KR102643149B1 KR102643149B1 (ko) 2024-03-05

Family

ID=87185371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210191153A KR102643149B1 (ko) 2021-12-29 2021-12-29 차량 내 승객 검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102643149B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016203910A (ja) * 2015-04-27 2016-12-08 トヨタ自動車株式会社 乗員検知装置および乗員検知方法
KR20180046798A (ko) * 2016-10-28 2018-05-09 삼성에스디에스 주식회사 실시간 교통 정보 제공 방법 및 장치
KR20180065666A (ko) * 2016-12-08 2018-06-18 현대자동차주식회사 차량의 영상 처리 장치 및 방법
KR20190089536A (ko) * 2018-01-23 2019-07-31 현대자동차주식회사 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법
KR20200060630A (ko) 2018-11-22 2020-06-01 한국자동차연구원 자율주행차량의 운행정보 출력 제어 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016203910A (ja) * 2015-04-27 2016-12-08 トヨタ自動車株式会社 乗員検知装置および乗員検知方法
KR20180046798A (ko) * 2016-10-28 2018-05-09 삼성에스디에스 주식회사 실시간 교통 정보 제공 방법 및 장치
KR20180065666A (ko) * 2016-12-08 2018-06-18 현대자동차주식회사 차량의 영상 처리 장치 및 방법
KR20190089536A (ko) * 2018-01-23 2019-07-31 현대자동차주식회사 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법
KR20200060630A (ko) 2018-11-22 2020-06-01 한국자동차연구원 자율주행차량의 운행정보 출력 제어 장치 및 방법

Also Published As

Publication number Publication date
KR102643149B1 (ko) 2024-03-05

Similar Documents

Publication Publication Date Title
CN112287960B (zh) 用于训练或再训练机器学习模型的地面真值数据的自动生成
US20220343138A1 (en) Analysis of objects of interest in sensor data using deep neural networks
JP4772115B2 (ja) 夜間に道路を検出する方法及びシステム
US8599266B2 (en) Digital processing of video images
CN104508723B (zh) 图像处理装置
US20130004024A1 (en) Method and system of identifying one or more features represented in a plurality of sensor acquired data sets
JP2000090277A (ja) 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置
US20120070034A1 (en) Method and apparatus for detecting and tracking vehicles
JP2000516004A (ja) 情景における相対運動状態にある領域を識別し標定し、変位の速度と方向を決定するようリアルタイムに動作する方法および装置
JP2000244897A (ja) 状態認識システムおよび状態認識表示生成方法
CN108280444A (zh) 一种基于车辆环视图的快速运动物体检测方法
US12007783B2 (en) Methods and systems for navigating autonomous and semi-autonomous vehicles
CN111540191B (zh) 基于车联网的行车示警方法、系统、设备及存储介质
WO2019015144A1 (zh) 图像处理方法和系统、存储介质和计算设备
CN115116137A (zh) 基于轻量化YOLO v5网络模型与时空记忆机制的行人检测方法
KR102643149B1 (ko) 차량 내 승객 검출 장치 및 그 방법
KR102514574B1 (ko) 차량 내 승객 검출 장치 및 그 방법
JP2002145072A (ja) 踏切障害物検知装置
JPH07228250A (ja) 軌道内監視装置及びプラットホーム監視装置
KR102089230B1 (ko) 영상을 이용한 차량의 속도 예측 장치 및 방법
EP1161081A2 (en) Automatic bright window detection
KR101582454B1 (ko) 촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
US20210256273A1 (en) Ternary image obtaining method and apparatus, and vehicle
JP2021072592A (ja) 物体検出装置、物体検出方法、及び物体検出プログラム
WO2023170768A1 (ja) 制御装置、監視システム、制御方法及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant