KR20220073412A - 승객 모니터링 시스템 및 방법, 그리고 이를 이용한 승하차 인식 방법 - Google Patents

승객 모니터링 시스템 및 방법, 그리고 이를 이용한 승하차 인식 방법 Download PDF

Info

Publication number
KR20220073412A
KR20220073412A KR1020200161465A KR20200161465A KR20220073412A KR 20220073412 A KR20220073412 A KR 20220073412A KR 1020200161465 A KR1020200161465 A KR 1020200161465A KR 20200161465 A KR20200161465 A KR 20200161465A KR 20220073412 A KR20220073412 A KR 20220073412A
Authority
KR
South Korea
Prior art keywords
passenger
seat
vehicle
image
seated
Prior art date
Application number
KR1020200161465A
Other languages
English (en)
Inventor
이병재
민재식
김성은
허민회
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200161465A priority Critical patent/KR20220073412A/ko
Publication of KR20220073412A publication Critical patent/KR20220073412A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01554—Seat position sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)

Abstract

승객 모니터링 시스템(1)은, 차량의 내부 영상을 촬영하여 차량 내부 영상을 생성하는 카메라, 상기 차량 내부 영상에서 물체 검출 기술을 이용하여 승객의 존재 유무 및 승객의 위치를 파악하는 승객 검출 모듈, 및 상기 차량 내부에서의 승객 위치와 좌석 위치를 매칭 알고리즘을 이용하여 매치하여, 상기 차량에 탑승한 승객이 착석한 좌석의 위치를 파악하는 좌석 매칭 모듈을 포함한다.

Description

승객 모니터링 시스템 및 방법, 그리고 이를 이용한 승하차 인식 방법{Passenger monitoring system and method, and getting on/off recognition method using the same}
본 개시는 승객 모니터링 시스템 및 방법, 그리고 이를 이용한 승하차 인식 방법에 관한 것이다.
차량에 탑승한 승객의 착석 여부를 인식하기 위해 압력 센서 방식이 이용된다. 압력 센서 방식을 구현하기 위해서는 많은 수의 부품이 필요하고, 압력 센서를 좌석에 설치하기 위해 좌석을 해체 및 재조립함으로써, 압력 센서 설치 비용이 발생하게 된다. 또한, 승객이 좌석에 착석하는 횟수가 증가할수록 압력 센서에 가해지는 물리적인 충격이 축적되어, 압력 센서의 감도가 약해지거나 압력 센서가 파손될 수 있다.
압력 센서 대신 초음파 센서를 이용하여 착석 여부를 인식할 경우, 초음파 센서로부터 좌석까지의 거리가 길어질수록 정확도가 감소하는 문제가 발생할 수 있다. 또한, 초음파 센서는 온도 변화에 민감하게 반응하여 착석 여부 인식의 정확도가 온도 변화에 영향을 받는 문제가 발생할 수 있다.
레이더 센서는 거리 측정에 적합할 뿐, 해상도가 낮아 착석 여부를 인식하기 위해 승객을 인식하는데 있어 대상 인식의 정확도가 매우 낮다. 그러면, 레이더 센서를 이용한 대상 인식에 오류가 발생하여 착석 여부 인식 정확도 역시 낮은 문제점이 있다.
승차 공유(ridesharing service) 서비스에 있어서, 승객이 좌석에 착석하였는지 여부를 인식하는 것은 승객이 승차장에서 탑승하였는지 또는 승객이 하차장에서 승차하였는지를 파악하기 위해서 필요하다.
승객이 좌석에 착석하였는지 여부를 정확하게 인식할 수 있는 승객 모니터링 시스템 및 방법, 그리고 이를 이용한 승하차 인식 방법을 제공하고자 한다.
발명의 한 특징에 따른 승객 모니터링 시스템은, 차량의 내부 영상을 촬영하여 차량 내부 영상을 생성하는 카메라, 상기 차량 내부 영상에서 물체 검출 기술을 이용하여 승객의 존재 유무 및 승객의 위치를 파악하는 승객 검출 모듈, 및 상기 차량 내부에서의 승객 위치와 좌석 위치를 매칭 알고리즘을 이용하여 매치하여, 상기 차량에 탑승한 승객이 착석한 좌석의 위치를 파악하는 좌석 매칭 모듈을 포함한다.
상기 차량 내부 영상은 RGB 영상일 수 있다.
상기 승객 검출 모듈은, 컨볼루션 신경망(Convolutional Neural Network, CNN)을 이용하여 상기 차량 내부 영상에서 승객의 머리를 인식하고, 상기 인식된 머리에 기초하여 승객의 위치를 파악할 수 있다.
, 승객 모니터링 시스템.
상기 승객 검출 모듈은, 상기 컨볼루션 신경망을 통해 상기 차량 내부 영상의 특징을 추출하고, 상기 추출된 특징의 클래스를 분류하며, 상기 추출된 특징이 사람의 머리에 해당하는 경우, 박스 회귀 레이어(Box Regression Layer)를 통해 사람의 머리로 분류된 박스의 정확한 위치를 파악할 수 있다.
상기 매칭 알고리즘은 헝가리안 알고리즘일 수 있다. 상기 좌석 매칭 모듈은, 상기 차량의 내부 레이 아웃에 따라 정의되는 차량 내부면에서의 복수의 좌석 위치에 대해서 상기 파악된 승객의 위치를 대응시키는 모든 할당 조합에 대한 비용을 계산하고, 상기 계산된 비용의 합이 가장 적은 할당 조합을 선택하며, 상기 비용은 승객의 머리 위치와 대응된 좌석 위치 간의 거리일 수 있다. 상기 좌석 매칭 모듈은, 상기 복수의 좌석 위치에 대한 상기 파악된 승객의 위치 대응에 있어서, 중복을 허용하지 않을 수 있다.
상기 승객 검출 모듈은, 포즈 추정(pause estimation) 기술을 이용하여 상기 차량 내부 영상에서 승객의 포즈를 인식하고, 인식된 포즈에 기초하여 승객이 앉은 위치를 파악할 수 있다.
상기 승갬 검출 모듈은, 스택 모래시계 네트워크(Stacked Hourglass Networks)를 이용하여 승객에 대한 복수의 키포인트를 나타내는 복수의 히트맵을 생성하고, 상기 복수의 히트맵 평균을 산출하며, 상기 평균 결과에서 상기 승객의 골반 중심 위치를 검출하고, 상기 승객의 골반 중심 위치를 상기 승객의 위치로 결정할 수 있다.
발명의 다른 특징에 따른 승객 모니터링 방법은, 차량의 내부 영상을 촬영하여 차량 내부 영상을 생성하는 단계, 상기 차량 내부 영상에서 물체 검출 기술을 이용하여 승객의 존재 유무 및 승객의 위치를 파악하는 승객 검출 단계, 및 상기 차량 내부에서의 승객 위치와 좌석 위치를 매칭 알고리즘을 이용하여 매치하여, 상기 차량에 탑승한 승객이 착석한 좌석의 위치를 파악하는 좌석 매칭 단계를 포함한다.
상기 차량 내부 영상은 RGB 영상일 수 있다.
상기 승객 검출 단계는, 컨볼루션 신경망(Convolutional Neural Network, CNN)을 이용하여 상기 차량 내부 영상에서 승객의 머리를 인식하고, 상기 인식된 머리에 기초하여 승객의 위치를 파악하는 단계를 포함할 수 있다.
상기 승객의 머리를 인식하는 단계는, 상기 컨볼루션 신경망을 통해 상기 차량 내부 영상의 특징을 추출하고, 상기 추출된 특징의 클래스를 분류하는 단계를 포함하고, 상기 승객의 위치를 파악하는 단계는, 상기 추출된 특징이 사람의 머리에 해당하는 경우, 박스 회귀 레이어(Box Regression Layer)를 통해 사람의 머리로 분류된 박스의 정확한 위치를 파악하는 단계를 포함할 수 있다.
상기 매칭 알고리즘은 헝가리안 알고리즘일 수 있다. 상기 좌석 매칭 단계는, 상기 차량의 내부 레이 아웃에 따라 정의되는 차량 내부면에서의 복수의 좌석 위치에 대해서 상기 파악된 승객의 위치를 대응시키는 모든 할당 조합에 대한 비용을 계산하는 단계 및 상기 계산된 비용의 합이 가장 적은 할당 조합을 선택하는 단계를 포함하고, 상기 비용은 승객의 머리 위치와 대응된 좌석 위치 간의 거리일 수 있다. 상기 비용을 계산하는 단계에서, 상기 복수의 좌석 위치에 대한 상기 파악된 승객의 위치 대응은 중복이 허용되지 않을 수 있다.
상기 승객 검출 단계는, 포즈 추정(pause estimation) 기술을 이용하여 상기 차량 내부 영상에서 승객의 포즈를 인식하고, 인식된 포즈에 기초하여 승객이 앉은 위치를 파악하는 단계를 포함할 수 있다.
상기 승객 검출 단계는, 스택 모래시계 네트워크(Stacked Hourglass Networks)를 이용하여 승객에 대한 복수의 키포인트를 나타내는 복수의 히트맵을 생성하는 단계, 상기 복수의 히트맵 평균을 산출하는 단계, 및 상기 평균 결과에서 상기 승객의 골반 중심 위치를 검출하고, 상기 승객의 골반 중심 위치를 상기 승객의 위치로 결정하는 단계를 포함할 수 있다.
발명의 또 다른 특징에 따른 승하차 인식 방법은, 승차 예약 정보를 운영 서버로부터 수신하는 단계, 차량 내부의 승객 수의 변화가 발생하면, 승하차가 시작한 것으로 감지하는 단계, 상기 차량 내부 승객 수가 예약된 승객의 수와 일치하고 상기 차량 내부의 승객 수 변화가 발생하지 않으면, 승하차가 완료한 것으로 판단하는 단계, 상기 승하차 완료 시점에 승객들이 착석한 좌석 위치를 파악하는 단계, 및 상기 파악한 좌석 위치가 상기 승차 예약 정보의 예약된 좌석과 일치하는지 판단하는 단계를 포함하고, 상기 승객들이 착석한 좌석 위치를 파악하는 단계는, 상기 차량 내부 영상을 촬영하여 차량 내부 영상을 생성하는 단계; 상기 차량 내부 영상에서 물체 검출 기술을 이용하여 승객의 존재 유무 및 승객의 위치를 파악하는 승객 검출 단계, 및 상기 차량 내부에서의 승객 위치와 좌석 위치를 매칭 알고리즘을 이용하여 매치하여, 상기 차량에 탑승한 승객이 착석한 좌석의 위치를 파악하는 좌석 매칭 단계를 포함한다.
상기 파악한 좌석 위치와 예약된 좌석이 일치하지 않으면, 상기 승객들이 착석한 좌석 위치를 파악하는 단계가 수행된다.
상기 승하차 인식 방법은, 상기 파악한 좌석 위치가 상기 승차 예약 정보의 예약된 좌석과 일치하면, 소정 기간 동안 승객의 움직임이 있는지 판단하는 단계를 더 포함할 수 있다.
승객이 좌석에 착석하였는지 여부를 정확하게 인식할 수 있는 승객 모니터링 시스템 및 방법, 그리고 이를 이용한 승하차 인식 방법을 제공한다.
도 1 및 도 2는 일 실시예에 따른 승객 모니터링 시스템의 구성을 나타낸 도면이다.
도 3 내지 도 5는 일 실시예에 따른 매칭 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 CNN을 이용한 포즈 추정 방법을 나타낸 도면이다.
도 7은 일 실시예에 따른 승하차 인식 방법을 나타낸 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일, 유사한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및/또는 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1 및 도 2는 일 실시예에 따른 승객 모니터링 시스템의 구성을 나타낸 도면이다.
도 1은 차량(2)에 승객 검출 모듈(20) 및 좌석 매칭 모듈(30)을 포함하는 연산 처리 장치가 없을 경우의 승객 모니터링 시스템(1)을 나타낸 도면이다. 도 2는 차량(2)에 연산 처리 장치가 있을 경우의 승객 모니터링 시스템(1)을 나타낸 도면이다.
도 1 및 도 2에 도시된 바와 같이, 승객 모니터링 시스템(1)은 카메라(10), 승객 검출 모듈(20), 좌석 매칭 모듈(30)를 포함한다. 도 2에서 승객 검출 모듈(20) 및 좌석 매칭 모듈(30)은 연산 처리 장치(23)를 구성하고, 연산 처리 장치(23)는 컴퓨터, 서버, 임베디드 장비 등일 수 있다. 카메라(10)는 LAN 또는 유선으로 연산 처리 장치(23)와 연결될 수 있고, 네트워크 라우터(50)와 연산 처리 장치(23)은 LAN으로 연결될 있다. 카메라(10)에 의해 촬영된 영상은 LAN을 통해 승객 검출 모듈(20)에 전송될 수 있다.
차량 내부에는 카메라(10)만 위치하고, 승객 검출 모듈(20) 및 좌석 매칭 모듈(30)은 차량을 관리하는 운영 서버(3)의 구성일 수 있다. 이 경우, 차량에 설치된 네트워크 라우터(50)를 통해 카메라(10)에 의해 획득된 차량 내부 영상이 운영 서버(3)에 전송될 수 있다. 또는, 차량(2)이 승객 검출 모듈(20) 및 좌석 매칭 모듈(30)도 포함할 수 있다. 이 경우에는 좌석 매칭 모듈(30)에 의해 처리된 결과 즉, 승객과 좌석 간의 매칭 결과가 차량에 설치된 네트워크 라운터(50)를 통해 운영 서버(3)에 전송된다. 운영 서버(3)는 매칭 결과를 차량 단말, 승객의 사용자 단말, 그리고 승차 공유 서비스를 총괄하는 관제 시스템에 전송할 수 있다. 카메라(10)와 네트워크 라운터(50) 그리고 카메라(10)와 승객 검출 모듈(20)는 LAN을 통해 정보를 송수신할 수 있다.
카메라(10)는 차량의 내부 영상을 촬영하여, 차량 내부 영상을 생성한다. 카메라(10)는 차량 내부에서 모든 좌석을 촬영할 수 있는 위치에 설치될 수 있고, RGB 영상을 획득할 수 있다. RGB 영상을 획득하는 카메라(10)는 해상도가 높아 고감도로 승객에 대한 영상을 획득할 수 있고, 가격도 다른 센서, 압력 센서, 초음파 센서, 레이저 센서에 비해 저렴하며, RGB 영상을 통해 인식 가능한 범위도 넓다. 또한, 딥러닝 기술의 발달로 RGB 영상 기반의 사물 인식 정확도가 매우 높다.
승객 검출 모듈(20)은 물체 검출(Object Detection) 기술을 이용하여 카메라(10)에 의해 획득된 차량 내부의 RGB 영상에서 승객의 존재 유무와 위치를 파악한다.
물체 검출 기술은 알고리즘을 구성하는 방식에 따라 크게 2-stage와 1-stage 로 나뉜다. 2-stage는 컨볼루션(Convolution) 신경망을 근간으로 하여 물체가 존재하는 영역(region)을 제안하는 region proposal 단계와 분류(classifiaction)를 수행하는 단계로 구성된다. 대표적인 방법론으로 R-CNN(Regions　with Convolutional Neural Networks) 형태의 신경망이 있고, R-CNN에서 region proposal을 기존 알고리즘이 아닌 신경망으로 생성해내는 RPN(Region Proposal Network)을 제안한 Faster R-CNN 신경망이 있다. 1-stage 방식은 Region proposal을 생성한 뒤 분류를 수행하는 기존 2-stage 방식 대신 이를 모두 한 번에 처리하여 2-stage 방식 대비 빠른 검출 속도와 낮은 연산량을 달성할 수 있고, 대표적인 방법론으로 RetinaNet 방식이 있다. 기존 물체 검출 알고리즘이 모든 종류의 물체를 분류하는 범용성을 추구하는 반면 특정 도메인에 특화된 검출 알고리즘으로, 사람 얼굴 검출에 최적화된 RetinaFace 방식도 있다. 승객 검출 모듈(20)은 R-CNN, Faster R-CNN, RetinaNet, RetinaFace 방식 중 어느 하나에 따라 구현될 수 있으나 발명이 이에 제한되는 것은 아니다. 본 개시에서 소개하고 있는 방식 외의 다른 다른 방식 중 어느 하나에 따라 차량 내부면에서 승객의 머리를 인식하고, 그 위치를 검출할 수 있는 승객 검출 모듈(20)이 구현될 수도 있다. 차량 내부면은 차량 내부의 레이 아웃에 따라 정의되는 영역으로, 차량 내부면에서 좌석의 위치는 좌석 매칭 모듈(30)에 미리 저장될 수 있다.
일 예로, 승객 검출 모듈(20)은 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반의 검출 알고리즘에 기반하여 구현되었다. 기존 물체 검출 알고리즘 대비 승객 머리 검출에 특화시켜 속도와 정확도를 향상시키기 위해 2-stage 물체 검출 대신 1-stage 물체 검출 방식이 적용되었고, 머리 대부분이 정사각형에 가까운 박스로 표현이 가능하므로 region proposal을 수행하기 위한 앵커(Anchor)의 가로세로 비율(Aspect ratio)을 1:2, 1:1, 2:1 세 가지 대신 1:1 한 가지로 설정하였다. 승객 검출 모듈(20)의 신경망은 적은 계산량으로도 높은 성능을 확보할 수 있는 MobileNet V1 구조의 컨볼루션 신경망 모델을 기반으로 구현되었고, 기존 공개된 다양한 얼굴 검출 데이터셋의 얼굴 정답(label) 박스 크기의 가로 세로 길이를 1.5배 확대한 머리 정답 데이터셋을 통해 신경망이 학습되었다. 차량 내부에 승객 검출 모듈(20)이 구축된 경우에도, 원활하게 구동 가능하면서 승객의 머리 인식 및 위치 검출의 높은 정확도가 유지될 수 있다. 대량의 얼굴 데이터를 학습하기 위해 기존 공개된 양질의 데이터셋인 Open Image V5, WiderFace, SCUT-HEAD 데이터셋이 활용될 수 있다. 세 가지 데이터셋을 모두 합할 경우 약 70만 명의 다양한 얼굴을 학습하는 효과를 얻을 수 있고 다양한 상황에서도 정확하게 승객의 머리를 인식할 수 있도록 승객 검출 모듈(20)이 학습된다.
승객 검출 모듈(20)은 컨볼루션 신경망을 통해 차량 내부 영상의 특징을 추출하고, 추출된 특징의 클래스를 분류한다. 승객 검출 모듈(20)은 추출된 특징이 사람의 머리에 해당하는 경우, 해당 추출된 특징에 대응하는 영역의 위치에 기초하여 승객의 위치를 파악할 수 있다. 승객 검출 모듈(20)은 박스 회귀 레이어(Box Regression Layer)를 통해 사람의 머리로 분류된 박스의 정확한 위치를 파악할 수 있다. 박스는 차량 내부 영상을 복수의 영역으로 구분할 때, 구분된 각 영역을 지칭하는 것으로, 승객 검출 모듈(20)은 사람의 머리로 분류된 박스의 위치에 기초하여 차량 내부면에서 승객의 위치를 파악할 수 있다.
좌석 매칭 모듈(30)은 승객 검출 모듈(20)로부터 차량 내부면에서 파악된 승객의 위치와 차량 내부면에서의 좌석 위치를 매치하여, 승객이 착석한 좌석의 위치를 파악할 수 있다.
좌석 매칭 모듈(30)은 차량 내부면에서의 좌석 위치에 대한 정보를 포함하고, 승객 검출 모듈(20)로부터 승객의 위치를 수신하며, 매칭 알고리즘을 이용하여 좌석의 위치와 승객의 위치 간의 매칭 결과를 도출하고, 매칭 결과에 기초하여 승객이 착석한 좌석의 위치를 파악한다.
예를 들어, 좌석 매칭 모듈(30)은 좌석에 승객 위치를 할당하는 알고리즘을 이용할 수 있다. 예를 들어, 할당 문제를 해결하는 알고리즘으로 헝가리안 알고리즘(Hungarian algorithm)이 좌석 매칭 모듈(30)에 적용될 수 있다.
구체적으로, 승객의 집합을 I, 좌석의 집합을 J로 정의한다. 승객 검출 모듈(20)은 각 승객(
Figure pat00001
)에 대한 머리 검출의 결과값으로
Figure pat00002
형태의 박스 좌표를 획득한다. 각 좌석(
Figure pat00003
)의 위치값으로
Figure pat00004
형태의 박스 좌표가 좌석 매칭 모듈(30)에 설정되어 있을 수 있다. 박스 좌표에서 x 및 y는 박스의 중심 좌표이고, w 및 h는 박스의 폭과 높이이다.
좌석 매칭 모듈(30)은 승객 집합을 구성하는 모든 승객 각각을 좌석의 집합을 구성하는 모든 좌석에 할당할 때 드는 비용(
Figure pat00005
)을 산출한다. 예를 들어, 좌석 매칭 모듈(30)은 승객 박스의 중심 위치와 좌석 박스의 중심 위치 사이의 유클리디안 거리를 계산하여 비용을 산출할 수 있다. 또는, 좌석 매칭 모듈(30)은 승객 박스와 좌석 박스 간의 겹침(overlap)을 계산하여 비용을 산출할 수 있다. 겹침(overlap)을 계산하기 위해서, 두 박스 간의 교차 영역_IoU(Intersection over Union,
Figure pat00006
또는 두 박스 간의 중복 영역_IoT(Intersection over Target,
Figure pat00007
) 중 하나를 계산할 수 있다.
좌석 매칭 모듈(30)은 승객(i)과 좌석(j) 간의 일대일 대응 함수(
Figure pat00008
) 중에서 비용의 합
Figure pat00009
이 최소가 되는 함수
Figure pat00010
를 찾는다. 이때, 승객과 좌석 간의 모든 할당 조합에 대한 비용을 계산하고 최소값을 구할 경우
Figure pat00011
의 실행시간 발생할 수 있으나, 헝가리안 알고리즘(Hungarian algorithm)을 사용할 경우 실행 시간은
Figure pat00012
이다. n이 5 이상일 경우
Figure pat00013
이므로 실행시간 측면에서 이점을 가지는 헝가리안 알고리즘이 좌석 매칭 모듈(30)에 적용될 수 있다.
도 3 내지 도 5는 일 실시예에 따른 매칭 방법을 설명하기 위한 도면이다.
도 3은 같은 좌석에 2명의 승객이 가까이 있는 경우를 나타낸 도면이다.
도 3에 도시된 바와 같이, 승객 추출 모듈은 RGB 영상에 기초하여 두 승객 1 및 2(i1, i2)의 머리(H1, H2)를 검출하고, 두 승객 1 및 2의 머리 검출 결과값
Figure pat00014
,
Figure pat00015
각각이 두 승객 1 및 2의 머리(H1, H2) 각각의 위치를 지시한다.
좌석 매칭 모듈(30)은 좌석 1(j1)의 위치값
Figure pat00016
과 두 승객 1 및 2 각각의 머리 검출 결과값 간의 차이를 산출하여 좌석과 두 승객 1 및 2 각각 간의 거리를 도출하고, 좌석 2(j2)의 위치값
Figure pat00017
과 두 승객 1 및 2 각각의 머리 검출 결과값 간의 차이를 산출하여 좌석 2(j2)와 두 승객 1 및 2 각각 간의 거리를 도출할 수 있다.
표 1은 좌석과 승객간의 거리를 나타낸 비용 메트릭스(cost matrix)이다. 좌석 매치에 있어 비용은 승객과 좌석 간의 거리이다.
구분 승객1 승객2
좌석1 2 1
좌석2 3 4
단순히 순차적으로 승객-좌석 최소 거리에 기초하여 승객에 좌석을 할당할 경우 에러가 발생할 수 있다. 예를 들어, 먼저 승객 1-> 승객 2 순서로 좌석을 할당할 경우, 승객 1은 좌석 1과 거리가 가장 가까우므로 좌석 1이 할당되고, 이어서, 승객 2도 좌석 1과 거리가 가장 가까우므로 좌석 1이 할당된다. 만약 좌석의 중복 할당이 허용되지 않을 경우, 좌석 1은 승객 1에 이미 점유된 상태이므로, 승객 2에게 2번째로 가까운 좌석 2가 할당된다. 즉, 중복 할당이 허용되는 경우 하나의 좌석 1에 두 승객이 할당되는 에러가 발생하고, 중복 할당이 허용되지 않은 경우 실제 승객이 착석한 좌석과 추정된 좌석이 바뀌는 에러가 발생한다.
위와 같이 최소 거리 기준으로 발생하는 에러를 방지하기 위해서, 좌석 매칭 모듈(30)은 매칭 알고리즘 예를 들어, 헝가리안 알고리즘을 이용한다. 즉, 좌석 매칭 모듈(30)은 비용 매트릭스에서 좌석과 승객이 중복되지 않는 선택조합 중 비용의 합이 가장 작은 조합을 선택한다. 예를 들어, 승객 1 및 승객 2에 대해서, 좌석 1-좌석 2 및 좌석 2-좌석 1 각각의 조합에 대한 비용의 합은 6 그리고 4이다. 6과 4 중 적은 비용의 합 4가 선택되므로, 좌석 매칭 모듈(30)은 승객 1은 좌석 2에, 승객 2는 좌석 1에 착석한 것으로 추정한다. 이는 실제 승객이 착석한 좌석과 동일한 결과이다.
이와 같이, 매칭 알고리즘을 활용할 경우, 할당 순서와 관계없이 항상 동일한 결과를 얻을 수 있고, 중복 할당이 허용되지 않으므로, 실제 좌석에는 한 명의 승객이 앉는 것과 일치한다.
도 4는 한 승객이 두 좌석 사이 중간에 위치할 경우를 나타낸 도면이다.
도 4에 도시된 상황에서, 좌석과 승객간의 거리를 나타낸 비용 매트릭스는 아래 표 2와 같다.
구분 승객1 승객2
좌석1 3 1
좌석2 3 4
이 경우에도 앞서 설명한 바와 같이, 단순히 순차적으로 승객-좌석 최소 거리에 기초하여 승객에 좌석을 할당할 경우 에러가 발생할 수 있다. 예를 들어, 먼저 승객 1-> 승객 2 순서로 좌석을 할당할 경우, 승객 1은 좌석 1과 좌석 2에 대한 거리가 동일하다. 이를 해결하기 위해서 임의적으로 승객 1에 대해서 좌석 1 및 2 중 하나를 할당하는 것은 오류를 야기할 수 있다. 이어서, 승객 2는 좌석 1과 거리가 가장 가까우므로 좌석 1이 할당된다. 만약 좌석 1이 임의적으로 승객 1에 할당된 상황이면, 중복 할당이 발생한다.
좌석 매칭 모듈(30)은 비용 매트릭스에서 좌석과 승객이 중복되지 않는 선택조합 중 비용의 합이 가장 작은 조합을 선택한다. 예를 들어, 승객 1 및 승객 2에 대해서, 좌석 1-좌석 2 및 좌석 2-좌석 1 각각의 조합에 대한 비용의 합은 7 그리고 4이다. 7과 4 중 적은 비용의 합 4가 선택되므로, 좌석 매칭 모듈(30)은 승객 1은 좌석 2에, 승객 2는 좌석 1에 착석한 것으로 추정한다. 이는 실제 승객이 착석한 좌석과 동일한 결과이다.
도 5는 같은 좌석에 3명의 승객이 근처에 위치할 경우를 나타낸 도면이다.
도 5에 도시된 상황에서, 좌석과 승객간의 거리를 나타낸 비용 매트릭스는 아래 표 3와 같다.
구분 승객1 승객2 승객3
좌석1 3 3 4
좌석2 2 1 2
좌석3 4 3 3
이 경우에도 앞서 설명한 바와 같이, 단순히 순차적으로 승객-좌석 최소 거리에 기초하여 승객에 좌석을 할당할 경우 에러가 발생할 수 있다. 예를 들어, 먼저 승객 1-> 승객 2->승객 3의 순서로 좌석을 할당할 경우, 승객 1은 좌석 2와 거리가 가장 가까우므로 좌석 2이 할당되고, 이어서, 승객 2에 대해서 가장 가까운 좌석 2가 점유되어 있으므로, 그 다음으로 가까운 좌석 1 또는 좌석 3이 승객 2에 할당될 수 있다. 이때, 승객 2에 좌석 1이 할당된 경우, 승객 3에 대해서는 남아있는 좌석 3이 할당되어, 승객 1 및 승객 2에 대한 좌석 할당은 에러이다. 또는 승객 2에 좌석 3이 할당된 경우, 승객 3에 대해서는 남아있는 좌석 3이 할당되어, 승객 1 내지 3에 대한 좌석 할당이 에러이다.
좌석 매칭 모듈(30)은 비용 매트릭스에서 좌석과 승객이 중복되지 않는 선택조합 중 비용의 합이 가장 작은 조합을 선택한다. 예를 들어, 승객 1 내지 승객 3에 대해서, 좌석 1-좌석 2-좌석 3, 좌석 1-좌석 3-좌석 2, 좌석 2-좌석 1-좌석 3, 좌석 2-좌석 3-좌석 1, 좌석 3-좌석 1-좌석 2, 및 좌석 3-좌석 2-좌석 1 각각의 조합에 대한 비용의 합은 7, 8, 8, 9, 9, 및 9이다. 7 내지 9 중 적은 비용의 합 7이 선택되므로, 좌석 매칭 모듈(30)은 승객 1은 좌석 1에, 승객 2는 좌석 2에, 그리고 승객 3은 좌석 3에 착석한 것으로 추정한다. 이는 실제 승객이 착석한 좌석과 동일한 결과이다.
승객 검출 모듈(20)이 승객의 머리를 인식하고 그 위치를 파악하는 대신 포즈 추정(pause estimation) 기술을 이용하여 차량 내부 영상에서 승객의 포즈를 인식하고, 인식된 포즈에 기초하여 승객이 앉은 위치를 파악할 수 있다.
카메라(10)에 의해 획득된 차량 내부 영상에서 승객의 머리를 인식하여 승객의 위치를 파악하는 경우, 해당 승객의 앞좌석 등받이 시트로 인해 가림 현상이 발생한다. 가림 현상이 일어난 경우 승객이 몸을 좌측이나 우측으로 기울이면, 승객의 머리가 좌측 또는 우측으로 이동하게 되어 승객이 착석한 좌석 인식에 에러가 발생할 수 있다.
승객 검출 모듈(20)은 승객의 머리를 인식하는 것 대신, 포즈 추정 기술을 이용하여 승객의 포즈를 추정하고, 추정된 포즈에서 골반 위치를 기준으로 승객의 위치를 파악할 수 있다. 포즈 추정 기술은 공지된 다양한 방식으로 승객 검출 모듈(20)에서 구현될 수 있다.
승객 검출 모듈(20)인 카메라(10)에 의해 획득된 차량 내부 영상에서 승객의 신체 관절인 키포인트(Keypoint)가 어떻게 구성되어 있는지 위치를 측정(Localization)하고, 측정된 키포인트들에 기초하여 승객의 포즈를 추정(Estimation)할 수 있다.
승객의 신체에서 키포인트는 머리, 목, 어깨, 팔꿈치, 손목, 골반, 무릎, 발목 등이 있을 수 있다 포즈 추정 기술은 공지된 다양한 방식으로 승객 검출 모듈(20)에서 구현될 수 있다.
도 6은 일 실시예에 따른 CNN을 이용한 포즈 추정 방법을 나타낸 도면이다.
도 6에 도시된 영상은 일 실시예를 설명하기 위한 일 예로, 신체의 키포인트가 히트맵에서 어떻게 드러나는지 설명하기 위한 영상이다.
승객 검출 모듈(20)은 포즈 추정 방법 중 모래시계(Hourglass) 네트워크를 이용할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 승객 검출 모듈(20)은 복수의 스테이지(Stage1~Stage N)로 구성된 스택 모래시계 네트워크(Stacked Hourglass Networks)를 이용한다. 각 스테이지는 인코더 및 디코더 구조를 가지고 있고, 인코더 구조에서 특징(features)이 다운샘플링(downsampling)되고, 디코더 구조에서 특징이 업샘플링(upsampling)되어 정보가 복구되면서 히트맵이 형성된다. 인코더를 구성하는 각 층은 디코더를 구성하는 각 층에 대응하여 연결되어 있다. 이렇게 각 스테이지에서 예측(Prediction) 된 영상은 k개의 키포인트(keypoint) 각각에 대한 개별 히트맵 k개의 집합이다. 히트맵의 정답은 가우시안 커널의 중심이 k 개의 키포인트 각각의 좌표에 대응되고, k개의 키포인트가 존재한다. 따라서, 각 스테이지는 k개의 가우시안 커널 각각의 중심이 대응하는 키포인트의 좌표에 위치하도록 히트맵을 생성한다. 즉, 각 스테이지는 하나의 키포인트에 대해 1xWxH 크기의 히트맵을 생성하고, k 개의 키포인트에 대해서 k개의 히트맵을 생성하며, 최종적으로 1xWxH 크기의 히트맵 k개를 쌓아 kxWxH 크기의 최종 정답 예측 결과를 얻을 수 있다. 그러면, 도 6의 각 스테이지의 가장 우측에 위치한 이미지와 같이, 한 장의 2차원 WxH 이미지에 모든 예측된 키포인트가 보여지게 된다.
이때, k 개의 히트맵들을 쌓는 순서는 복수의 키포인트의 배열 순서에 따를 수 있다. 예를 들어, 키포인트들의 순서가 head-neck-hip이라면, head 키포인트 히트맵, neck 키포인트 히트맵, 및 hip 키포인트 히트맵 순으로 쌓인다.
각 스테이지(Stage i, i는 2부터 N까지의 자연수)는 인코더 및 디코더로 구성된 CNN 블록(CNN i)과 이전 스테이지(Stage i-1)에서 예측된 히트맵(prediction i-1)의 합으로 나타낼 수 있다. 예를 들어, 도 6의 Stage 1의 중간 결과 a와 최종 예측 결과 b(Prediction 1)가 먼저 생성된다. ⓒ는 입력에 대해서 BatchNormalization(BN) 및 ReLu(Rectified Linear Unit) 층과 함께 컨볼루션(Convolution)을 수행하는 블록으로, 이하, ConvBlock으로 설명한다.
Stage2는 CNN 연산을 위한 CNN_2 블록을 포함하고, CNN_2 블록의 입력은 a'(= ConvBlock(a)) 및 b'(= ConvBlock(b))의 Element-wise 합(Sum) c(= a' + b')이다. CNN_2 블록의 결과로 c'이 나오며, c'는 CNN_2(c) 로 표현할 수 있다. Stage 2는 b''(= ConvBlock(b))와 c’의 Element-wise 합으로 최종 예측 결과 Prediction 2 (= b'' + c')를 생성한다. 이와 같은 과정이 최종 Stage N까지 반복된다.
　승객 검출 모듈(20)은 Stage 2~Stage N에 의해 획득된 복수의 히트맵(Prediction 2~N)의 평균을 산출하여 최종적으로 승객의 포즈를 나타내는 히트맵(Prediction_F)을 획득하고, 승객의 위치를 특정하기 위해서 히트맵(Prediction_F)에서 검출된 왼쪽 엉덩이의 좌표와 오른쪽 엉덩이의 좌표에 대한 평균으로 승객의 골반 중심 위치를 검출한다. 승객 검출 모듈(20)은 승객의 골반 중심 위치를 승객 위치로 결정한다.
승객 검출 모듈(20)의 스택 모래시계 네트워크는 학습 데이터의 입력에 대한 최종 예측 히트맵과 입력에 대응하는 실제 히트맵 간의 오차를 줄이는 방향으로 학습된다. 예를 들어, 오차는 아래 수식 1 또는 수식 2에 의해 산출될 수 있다. 수식에서 yi는 실제 정답 히트맵이고, f(xi)는 예측된 정답 히트맵이며, N은 히트맵의 총 수이다. 수식 1에 따라 N개의 히트맵들 각각의 오차의 절대값을 합산하거나, 수식 2에 따라 N 개의 히트맵들 각각의 오차를 제곱한 값을 합산할 수 있다. 이렇게 산출된 L1 또는 L2를 N으로 나눈 평균(L1/N 또는 L2/N)으로 최종 오차를 산출할 수 있다.
[수식 1]
L1=
Figure pat00018
[수식 2]
L2=
Figure pat00019
도 7은 일 실시예에 따른 승하차 인식 방법을 나타낸 순서도이다.
차량이 승하차 지점에 도착하면, 하차해야 할 승객이 하차하고, 승차해야 할 승객이 승차했는지 여부가 파악되어야 차량이 출발할 수 있다. 일 실시예에 따른 승객 모니터링 시스템(1)은 차량 내부의 승객 수 및 승객의 착석 여부를 파악할 수 있다.
차량이 승하차 지점에 도착한다(S1).
승객 모니터링 시스템(1)은 승차 예약 정보를 운영 서버(3)로부터 수신할 수 있다(S2). 승차 예약 정보는 승객에 대한 정보, 승객이 착석할 좌석의 위치 등에 관한 좌석 정보, 승차지, 하차지 등을 포함할 수 있다.
승객 모니터링 시스템(1)은 차량 내부의 승객 수의 변화가 발생하면, 승객 모니터링 시스템(1)은 승하차가 시작한 것을 감지한다(S3).
승객 모니터링 시스템(1)은 차량 내부 승객 수가 예약된 승객의 수와 일치하고 차량 내부의 승객 수 변화가 발생하지 않으면, 승객 모니터링 시스템(1)은 승하차가 완료한 것으로 판단한다(S4).
승객 모니터링 시스템(1)은 승하차 완료 시점에 승객들이 착석한 좌석 위치를 파악한다(S5). S5 단계는 앞서 도 1 내지 도 5를 참조하여 설명한 실시예에 따라 승객 모니터링 시스템(1)이 수행한다.
승객 모니터링 시스템(1)은 S5 단계에서 파악한 좌석 위치가 예약된 좌석과 일치하는지 판단한다(S6).
S6 판단 결과, 승객 모니터링 시스템(1)이 파악한 좌석 위치와 예약된 좌석이 일치하면, 소정 기간 동안 승객의 움직임이 있는지 판단한다(S7).
S7 판단 결과, 승객의 움직임이 소정 기간 없으면, 차량은 출발한다(S8).
S6 판단 결과, 승객 모니터링 시스템(1)이 파악한 좌석 위치와 예약된 좌석이 일치하지 않으면, 다시 S6 단계를 수행한다. 이때, 승객 모니터링 시스템(1)은 불일치 좌석이 있음을 차량 단말에 알리고, 차량 내부 방송을 통해 알릴 수 있다. 또한, 예약된 좌석이 비어있을 경우, 예약된 좌석의 승객의 사용자 단말에 이를 알릴 수 있다(S9).
추가적으로, 승객 모니터링 시스템(1)은 승객의 좌석 착석 여부 및 그 위치를 파악하고, 주행 중 승객이 좌석을 이탈한 경우, 차량 내부 방송이나, 승객의 사용자 단말, 및 차량 단말을 통해 좌석 이탈 경고를 알릴 수 있다.
또한, 승객 모니터링 시스템(1)은 주행이 종료된 차량에 어린이 또는 노약자가 남아 있을 경우, 이를 감지하여 사용자 단말, 차량 단말 등에 이를 알려 차량 갇힘 사고를 방지할 수 있다.
나아가, 로보택시(모빌리티 서비스)의 승객 승하차 여부 파악에 일 실시예에 따른 승객 모니터링 시스템(1)이 적용될 수 있다. 또한, 대중교통 서비스에도 일 실시예가 적용되어 좌석 점유 현황을 파악할 수 있다.
또한, 승객이 소지품을 차량에 놓고 내릴 경우, 승객이 착석했던 좌석에 남아있는 물건을 인식하고, 그 위치를 파악하여 사용자 단말, 차량 단말, 및 차량의 내부 방송을 통해 알릴 수 있다.
좌석에 착석한 승객을 인식할 경우, 승객 인식(recognition)을 통해 좌석을 인식된 승객에 맞춰 조절할 수 있다.
덧붙여, 승객 정보(나이, 성별, 기분)를 활용하여 개인 맞춤화 서비스가 제공될 수 있다. 예를 들어, 차량에 탑승한 승객이 노인인 경우, 노약자석이 자동 배정되고, 어린이인 경우 카시트 좌석이 배정될 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였으나, 본 발명의 권리범위가 이에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상의 지식을 가진 자가 여러 가지로 변형 및 개량한 형태 또한 본 발명의 권리범위에 속한다.
1: 승객 모니터링 시스템
10: 카메라
20: 승객 검출 모듈
30: 좌석 매칭 모듈

Claims (21)

  1. 차량의 내부 영상을 촬영하여 차량 내부 영상을 생성하는 카메라;
    상기 차량 내부 영상에서 물체 검출 기술을 이용하여 승객의 존재 유무 및 승객의 위치를 파악하는 승객 검출 모듈; 및
    상기 차량 내부에서의 승객 위치와 좌석 위치를 매칭 알고리즘을 이용하여 매치하여, 상기 차량에 탑승한 승객이 착석한 좌석의 위치를 파악하는 좌석 매칭 모듈을 포함하는, 승객 모니터링 시스템.
  2. 제1항에 있어서,
    상기 차량 내부 영상은 RGB 영상인, 승객 모니터링 시스템.
  3. 제1항에 있어서,
    상기 승객 검출 모듈은,
    컨볼루션 신경망(Convolutional Neural Network, CNN)을 이용하여 상기 차량 내부 영상에서 승객의 머리를 인식하고, 상기 인식된 머리에 기초하여 승객의 위치를 파악하는, 승객 모니터링 시스템.
  4. 제3항에 있어서,
    상기 승객 검출 모듈은,
    상기 컨볼루션 신경망을 통해 상기 차량 내부 영상의 특징을 추출하고, 상기 추출된 특징의 클래스를 분류하며, 상기 추출된 특징이 사람의 머리에 해당하는 경우, 박스 회귀 레이어(Box Regression Layer)를 통해 사람의 머리로 분류된 박스의 정확한 위치를 파악하는, 승객 모니터링 시스템.
  5. 제1항에 있어서,
    상기 매칭 알고리즘은 헝가리안 알고리즘인, 승객 모니터링 시스템.
  6. 제5항에 있어서,
    상기 좌석 매칭 모듈은,
    상기 차량의 내부 레이 아웃에 따라 정의되는 차량 내부면에서의 복수의 좌석 위치에 대해서 상기 파악된 승객의 위치를 대응시키는 모든 할당 조합에 대한 비용을 계산하고, 상기 계산된 비용의 합이 가장 적은 할당 조합을 선택하며, 상기 비용은 승객의 머리 위치와 대응된 좌석 위치 간의 거리인, 승객 모니터링 시스템.
  7. 제6항에 있어서,
    상기 좌석 매칭 모듈은,
    상기 복수의 좌석 위치에 대한 상기 파악된 승객의 위치 대응에 있어서, 중복을 허용하지 않는, 승객 모니터링 시스템.
  8. 제1항에 있어서,
    상기 승객 검출 모듈은,
    포즈 추정(pause estimation) 기술을 이용하여 상기 차량 내부 영상에서 승객의 포즈를 인식하고, 인식된 포즈에 기초하여 승객이 앉은 위치를 파악하는, 승객 모니터링 시스템.
  9. 제8항에 있어서,
    상기 승갬 검출 모듈은,
    스택 모래시계 네트워크(Stacked Hourglass Networks)를 이용하여 승객에 대한 복수의 키포인트를 나타내는 복수의 히트맵을 생성하고, 상기 복수의 히트맵 평균을 산출하며, 상기 평균 결과에서 상기 승객의 골반 중심 위치를 검출하고, 상기 승객의 골반 중심 위치를 상기 승객의 위치로 결정하는, 승객 모니터링 시스템.
  10. 차량의 내부 영상을 촬영하여 차량 내부 영상을 생성하는 단계;
    상기 차량 내부 영상에서 물체 검출 기술을 이용하여 승객의 존재 유무 및 승객의 위치를 파악하는 승객 검출 단계; 및
    상기 차량 내부에서의 승객 위치와 좌석 위치를 매칭 알고리즘을 이용하여 매치하여, 상기 차량에 탑승한 승객이 착석한 좌석의 위치를 파악하는 좌석 매칭 단계를 포함하는, 승객 모니터링 방법.
  11. 제10항에 있어서,
    상기 차량 내부 영상은 RGB 영상인, 승객 모니터링 방법.
  12. 제10항에 있어서,
    상기 승객 검출 단계는,
    컨볼루션 신경망(Convolutional Neural Network, CNN)을 이용하여 상기 차량 내부 영상에서 승객의 머리를 인식하고, 상기 인식된 머리에 기초하여 승객의 위치를 파악하는 단계를 포함하는, 승객 모니터링 방법..
  13. 제12항에 있어서,
    상기 승객의 머리를 인식하는 단계는,
    상기 컨볼루션 신경망을 통해 상기 차량 내부 영상의 특징을 추출하고, 상기 추출된 특징의 클래스를 분류하는 단계를 포함하고,
    상기 승객의 위치를 파악하는 단계는,
    상기 추출된 특징이 사람의 머리에 해당하는 경우, 박스 회귀 레이어(Box Regression Layer)를 통해 사람의 머리로 분류된 박스의 정확한 위치를 파악하는 단계를 포함하는, 승객 모니터링 방법.
  14. 제10항에 있어서,
    상기 매칭 알고리즘은 헝가리안 알고리즘인, 승객 모니터링 방법.
  15. 제14항에 있어서,
    상기 좌석 매칭 단계는,
    상기 차량의 내부 레이 아웃에 따라 정의되는 차량 내부면에서의 복수의 좌석 위치에 대해서 상기 파악된 승객의 위치를 대응시키는 모든 할당 조합에 대한 비용을 계산하는 단계; 및
    상기 계산된 비용의 합이 가장 적은 할당 조합을 선택하는 단계를 포함하고,
    상기 비용은 승객의 머리 위치와 대응된 좌석 위치 간의 거리인, 승객 모니터링 방법.
  16. 제14항에 있어서,
    상기 비용을 계산하는 단계에서, 상기 복수의 좌석 위치에 대한 상기 파악된 승객의 위치 대응은 중복이 허용되지 않는, 승객 모니터링 방법.
  17. 제10항에 있어서,
    상기 승객 검출 단계는,
    포즈 추정(pause estimation) 기술을 이용하여 상기 차량 내부 영상에서 승객의 포즈를 인식하고, 인식된 포즈에 기초하여 승객이 앉은 위치를 파악하는 단계를 포함하는, 승객 모니터링 방법.
  18. 제16항에 있어서,
    상기 승객 검출 단계는,
    스택 모래시계 네트워크(Stacked Hourglass Networks)를 이용하여 승객에 대한 복수의 키포인트를 나타내는 복수의 히트맵을 생성하는 단계;
    상기 복수의 히트맵 평균을 산출하는 단계; 및
    상기 평균 결과에서 상기 승객의 골반 중심 위치를 검출하고, 상기 승객의 골반 중심 위치를 상기 승객의 위치로 결정하는 단계를 포함하는, 승객 모니터링 방법.
  19. 승차 예약 정보를 운영 서버로부터 수신하는 단계;
    차량 내부의 승객 수의 변화가 발생하면, 승하차가 시작한 것으로 감지하는 단계;
    상기 차량 내부 승객 수가 예약된 승객의 수와 일치하고 상기 차량 내부의 승객 수 변화가 발생하지 않으면, 승하차가 완료한 것으로 판단하는 단계;
    상기 승하차 완료 시점에 승객들이 착석한 좌석 위치를 파악하는 단계; 및
    상기 파악한 좌석 위치가 상기 승차 예약 정보의 예약된 좌석과 일치하는지 판단하는 단계를 포함하고,
    상기 승객들이 착석한 좌석 위치를 파악하는 단계는,
    상기 차량 내부 영상을 촬영하여 차량 내부 영상을 생성하는 단계;
    상기 차량 내부 영상에서 물체 검출 기술을 이용하여 승객의 존재 유무 및 승객의 위치를 파악하는 승객 검출 단계; 및
    상기 차량 내부에서의 승객 위치와 좌석 위치를 매칭 알고리즘을 이용하여 매치하여, 상기 차량에 탑승한 승객이 착석한 좌석의 위치를 파악하는 좌석 매칭 단계를 포함하는, 승하차 인식 방법.
  20. 제19항에 있어서,
    상기 파악한 좌석 위치와 예약된 좌석이 일치하지 않으면, 상기 승객들이 착석한 좌석 위치를 파악하는 단계를 수행하는, 승하차 인식 방법.
  21. 제19항에 있어서,
    상기 파악한 좌석 위치가 상기 승차 예약 정보의 예약된 좌석과 일치하면, 소정 기간 동안 승객의 움직임이 있는지 판단하는 단계를 더 포함하는, 승하차 인식 방법.


KR1020200161465A 2020-11-26 2020-11-26 승객 모니터링 시스템 및 방법, 그리고 이를 이용한 승하차 인식 방법 KR20220073412A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200161465A KR20220073412A (ko) 2020-11-26 2020-11-26 승객 모니터링 시스템 및 방법, 그리고 이를 이용한 승하차 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200161465A KR20220073412A (ko) 2020-11-26 2020-11-26 승객 모니터링 시스템 및 방법, 그리고 이를 이용한 승하차 인식 방법

Publications (1)

Publication Number Publication Date
KR20220073412A true KR20220073412A (ko) 2022-06-03

Family

ID=81982878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200161465A KR20220073412A (ko) 2020-11-26 2020-11-26 승객 모니터링 시스템 및 방법, 그리고 이를 이용한 승하차 인식 방법

Country Status (1)

Country Link
KR (1) KR20220073412A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486324A (zh) * 2023-03-08 2023-07-25 深圳市旗畅科技有限公司 一种地铁座位踩踏行为检测方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486324A (zh) * 2023-03-08 2023-07-25 深圳市旗畅科技有限公司 一种地铁座位踩踏行为检测方法、装置、设备及存储介质
CN116486324B (zh) * 2023-03-08 2024-02-09 深圳市旗畅科技有限公司 一种地铁座位踩踏行为检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US10643085B1 (en) Method and device for estimating height and weight of passengers using body part length and face information based on human's status recognition
CN110119676B (zh) 一种基于神经网络的驾驶员疲劳检测方法
US11557150B2 (en) Gesture control for communication with an autonomous vehicle on the basis of a simple 2D camera
Matthews et al. Vehicle detection and recognition in greyscale imagery
JP6184877B2 (ja) 車両用外界認識装置
CN109117701A (zh) 基于图卷积的行人意图识别方法
US20050201591A1 (en) Method and apparatus for recognizing the position of an occupant in a vehicle
US20080162389A1 (en) Hybrid architecture for acquisition, recognition, and fusion
JP6815613B2 (ja) 人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置
KR101973933B1 (ko) 승차인원 검지방법 및 그 장치
US9892574B2 (en) Method for monitoring access authorizations by an access monitoring system
JP2003025953A (ja) 乗客識別システム及びそのための方法
GB2604964A (en) Systems and methods for detecting symptoms of occupant illness
CN108021879A (zh) 一种基于视频图像的交通车辆类型识别方法
CN113255430A (zh) 基于深度学习的视频中人群分布检测与计数方法
KR20220073412A (ko) 승객 모니터링 시스템 및 방법, 그리고 이를 이용한 승하차 인식 방법
CN107045630A (zh) 一种基于rgbd的行人检测和身份识别方法及系统
KR20090126545A (ko) 사후확률을 이용한 보행자 인식 장치 및 방법과 그를이용한 보행자 보호 장치
JP4745966B2 (ja) 目標物の自動識別システム
CN103390150A (zh) 人体部件检测方法和装置
KR102287683B1 (ko) 컴퓨터 비전을 이용한 승객 계수 장치 및 승객 모니터링 시스템
Faber et al. A system architecture for an intelligent airbag deployment
Langenberg et al. Automatic traffic light to ego vehicle lane association at complex intersections
CN112861581A (zh) 人数分析方法及其系统
US11651626B2 (en) Method for detecting of comparison persons to a search person, monitoring arrangement, in particular for carrying out said method, and computer program and computer-readable medium