KR102109648B1 - 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법 - Google Patents

딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법 Download PDF

Info

Publication number
KR102109648B1
KR102109648B1 KR1020190158876A KR20190158876A KR102109648B1 KR 102109648 B1 KR102109648 B1 KR 102109648B1 KR 1020190158876 A KR1020190158876 A KR 1020190158876A KR 20190158876 A KR20190158876 A KR 20190158876A KR 102109648 B1 KR102109648 B1 KR 102109648B1
Authority
KR
South Korea
Prior art keywords
passenger
ride
free
information
face recognition
Prior art date
Application number
KR1020190158876A
Other languages
English (en)
Inventor
김동기
Original Assignee
주식회사 핀텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 핀텔 filed Critical 주식회사 핀텔
Priority to KR1020190158876A priority Critical patent/KR102109648B1/ko
Application granted granted Critical
Publication of KR102109648B1 publication Critical patent/KR102109648B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
    • G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
    • G07B15/02—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points taking into account a variable factor such as distance or time, e.g. for passenger transport, parking systems or car rental systems
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)

Abstract

본 발명은 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법에 관한 것으로, 해결하고자 하는 기술적 과제는 딥러닝 알고리즘을 이용하여 대중교통수단의 무임승차징후 승객을 특정하고, 이에 대한 정보를 취합 및 배포하여 무임승차징후 승객에 대한 관리와 승차 방지가 가능하도록 하는데 있다.
일례로, 대중교통수단의 출입문 상부 측에 설치되고, 가상 승하차 라인을 이용하여 승객의 승하차를 카운팅하는 계수 카메라; 대중교통수단에 설치되고, 교통카드의 체킹을 통해 과금 시스템과 연동하여 승객의 요금징수를 처리하는 요금징수 단말기; 대중교통수단의 출입문을 향해 설치되고, 딥러닝 알고리즘을 이용하여 승하차하는 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식한 후 상기 요금징수 단말기의 태깅 동작에 대한 승객의 이동궤적을 추적하여 무임승차 여부를 판별하는 얼굴인식 카메라; 및 대중교통수단에 설치되고, 상기 얼굴인식 카메라를 통해 무임승차로 판별되는 경우 상기 계수 카메라를 통한 해당 승객의 계수시간정보 및 상기 얼굴인식 카메라를 통해 처리된 해당 승객의 인식정보를 취합하여 역에 설치된 중앙서버로 전송하여 무임승차징후 승객을 등록하기 위한 관리서버를 포함하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템을 개시한다.

Description

딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법{SYSTEM FOR DETECTING FREE RIDING OF PUBLIC TRANSPORTATION USING FACE RECOGNITION OF DEEP LEARNING AND METHOD THEREOF}
본 발명의 실시예는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법에 관한 것이다.
최근 국회에서는 지방자치단체가 수행하고 있는 지하철이나 경전철 무임승차제도를 정부 부조금 지급 대상에 포함되도록 하는 보조금 관리에 관한 법률 일부 개정안을 발의하였다. 현행법에서는 서울 등 도시철도 무임수송 손실비용은 국고지원 대상에서 빠져있어 손실액 전부를 지자체가 떠안고 있다.
이로 인한 영업 적자는 차량, 시설 등 승객의 안전 수송을 위한 투자활동에 까지 영향을 준다고 보고하고 있다. 이는 재정이 부실할 경우 자칫 지하철 안전 문제를 소홀히 하여 시설 노후화에 적절히 대응할 수 없기 때문이다. 실제 2014년 5월 발생한 지하철 2호선 상왕십리역 전동차 추돌 사고의 원인이 안전점검 소홀 외에도 복잡한 신호 체계와 함께 20년 이상 된 낡은 차량과 시설 노후화 등이 주요 요인으로 꼽히고 있다. 이러한 재정 악화의 원인이 무임승차에 따른 운임 수입 감면이 가장 큰 원인으로 지적 받고 있다. 이러한 문제는 서울뿐만 아니라 전국의 도시철도 운영 기관 모두에 해당되는 사항으로 그 사안이 더 심각하게 받아들일 필요가 있다.
최근, 자동차의 급격한 증가와 도로 교통의 정체 등 타 육상교통 수단이 한계에 이르면서 전기철도에 대한 수요가 나날이 증가하고 확장되는 추세이며, 이러한 추세에 따라 트램(Tram)과 같은 전기철도에 대한 수요가 점차 증가되어 공급이 확대되고 있다.
이와 같은 트램의 특성상 지하철이나 경전철과 비슷하거나 더 큰 무임승차의 발생 빈도가 예상되며, 그에 따라 무임승차를 방지하거나 막을 수 있는 대책이 시급한 실정이다.
등록특허공보 제10-1939350호(등록일자: 2019년01월10일) 공개특허공보 제10-2011-0038983호(공개일자: 2011년04월15일)
본 발명의 실시예는, 딥러닝 알고리즘을 이용하여 대중교통수단의 무임승차징후 승객을 특정하고, 이에 대한 정보를 취합 및 배포하여 무임승차징후 승객에 대한 관리와 승차 방지가 가능하도록 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법을 제공한다.
본 발명의 실시예에 따른 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템은, 대중교통수단의 출입문 상부 측에 설치되고, 가상 승하차 라인을 이용하여 승객의 승하차를 카운팅하는 계수 카메라; 대중교통수단에 설치되고, 교통카드의 체킹을 통해 과금 시스템과 연동하여 승객의 요금징수를 처리하는 요금징수 단말기; 대중교통수단의 출입문을 향해 설치되고, 딥러닝 알고리즘을 이용하여 승하차하는 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식한 후 상기 요금징수 단말기의 태깅 동작에 대한 승객의 이동궤적을 추적하여 무임승차 여부를 판별하는 얼굴인식 카메라; 및 대중교통수단에 설치되고, 상기 얼굴인식 카메라를 통해 무임승차로 판별되는 경우 상기 계수 카메라를 통한 해당 승객의 계수시간정보 및 상기 얼굴인식 카메라를 통해 처리된 해당 승객의 인식정보를 취합하여 역에 설치된 중앙서버로 전송하여 무임승차징후 승객을 등록하기 위한 관리서버를 포함한다.
또한, 상기 계수 카메라는, 대중교통수단의 출입문을 가로지르며 서로 나란히 순차적으로 배열되는 제1 가상 감지 라인, 제2 가상 감지 라인 및 제3 가상 감지 라인을 형성하고, 대중교통수단의 출입문 영역에 대하여 촬영된 영상 중 승객 영역의 중심지점을 특정하고, 상기 중심지점이 상기 제1 가상 감지 라인, 제2 가상 감지 라인 및 제3 가상 감지 라인을 통과한 감지 순서와 조합에 따라 승차와 하차를 판별하고, 판별 결과에 따라 승하차 수를 카운팅 할 수 있다.
또한, 대중교통수단의 출입문의 상부 측에 설치되고, 출입문의 개폐상태를 감지하고, 감지된 개폐상태에 따라 상기 계수 카메라의 계수 동작을 시작하기 위한 제어 신호를 상기 계수 카메라로 출력하는 거리 센서를 더 포함할 수 있다.
또한, 상기 얼굴인식 카메라는, 승하차하는 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식하고, 인식된 승객의 골격에 따른 신장, 얼굴 및 성별에 따라 미취학아동, 어린이, 청소년 및 성인에 따른 승차적용요금을 판별하는 승차적용요금 판별부; 상기 계수 카메라를 통해 승차로 카운팅 된 승객의 이동궤적을 추적하여 상기 요금징수 단말기에 교통카드를 태깅하는 동작 없이 미리 설정된 감시 영역의 이탈을 인식하면 무임승차로 판별하여 해당 승객의 인식정보를 상기 관리서버로 전송하는 무임승차징후 승객 판별부; 및 상기 계수 카메라를 통한 승차로 카운팅 된 승객의 이동궤적을 추적하여 상기 요금징수 단말기에 교통카드를 태깅하는 동작이 인식되면, 상기 승차적용요금 판별부를 통해 판별된 승객의 승차적용요금정보를 상기 요금징수 단말기로 전송하는 승차적용요금정보 전송부를 포함할 수 있다.
또한, 상기 요금징수 단말기는, 상기 얼굴인식 카메라로부터 수신된 승차적용요금정보와 실제 교통카드의 결제요금이 상이한 경우 상기 얼굴인식 카메라에 해당 승차적용요금정보와 매칭되는 승객의 얼굴인식정보를 상기 관리서버로 전달하도록 요청할 수 있다.
또한, 상기 얼굴인식 카메라는, 승객의 이동궤적의 추적을 통해 승객의 하차 시 상기 요금징수 단말기에 교통카드를 태깅하지 않은 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식하고, 인식된 해당 승객의 이동궤적의 추적에 따른 해당 승객의 재 승차 시 상기 계수 카메라로 카운팅 취소 신호를 전달하여 해당 승객의 재 승차 시 노카운팅되도록 하되, 해당 승객의 수에 따른 노카운팅 개수 정보를 포함된 카운팅 취소 신호를 전달하는 승하차 예외 상황 판별부를 더 포함할 수 있다.
또한, 상기 관리서버는, 상기 얼굴인식 카메라를 통해 무임승차로 판별되는 경우 상기 계수 카메라를 통한 해당 승객의 계수시간정보 및 상기 얼굴인식 카메라를 통해 처리된 해당 승객의 인식정보를 취합하고, 취합된 무임승차징후 승객정보를 리스트화하고, 대중교통수단이 미리 지정된 역에 위치한 경우 상기 중앙서버에 해당 리스트정보를 자동으로 업로드하고, 상기 무임승차징후 승객정보의 누적횟수에 기반하여 무임승차승객으로 판별된 무임승차 승객정보를 상기 중앙서버로부터 자동으로 다운로드 받아 상기 얼굴인식 카메라로 전달할 수 있다.
또한, 상기 얼굴인식 카메라는, 상기 관리서버로부터 전달 받은 상기 무임승차 승객정보를 승차하는 승객의 인식정보와 비교하여 무임승차징후 승객으로 판별하고, 판별 결과 무임승차징후 승객으로 판별되는 경우 해당 승객의 인식정보를 포함하는 무임승차징후정보를 상기 요금징수 단말기로 전송하고, 상기 요금징수 단말기는, 상기 얼굴인식 카메라로부터 수신된 상기 무임승차징후정보에 따라 해당 승객의 인식정보와 무임승차 경고메시지를 출력할 수 있다.
본 발명의 다른 실시예에 따른 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 방법은, 대중교통수단의 출입문 상부 측에 설치된 계수 카메라가, 가상 승하차 라인을 이용하여 승객의 승하차를 카운팅하는 승하차 계수 단계; 대중교통수단에 설치된 요금징수 단말기에 교통카드를 체킹하는 경우 과금 시스템과 연동하여 승객의 요금징수를 처리하는 요금징수 처리 단계; 대중교통수단의 출입문을 향해 설치된 얼굴인식 카메라가, 딥러닝 알고리즘을 이용하여 승하차하는 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식한 후 상기 요금징수 단말기의 태깅 동작에 대한 승객의 이동궤적을 추적하여 무임승차 여부를 판별하는 승객 인식 단계; 및 상기 승객 인식 단계를 통해 무임승차로 판별되는 경우 대중교통수단에 설치된 관리서버가, 상기 계수 카메라를 통한 해당 승객의 계수시간정보 및 상기 승객 인식 단계를 통해 처리된 해당 승객의 인식정보를 취합하고 대역에 설치된 중앙서버로 전송하여 무임승차징후 승객을 등록하기 위한 정보 업데이트 단계를 포함한다.
또한, 상기 승하차 계수 단계는, 상기 계수 카메라가, 대중교통수단의 출입문을 가로지르며 서로 나란히 순차적으로 배열되는 제1 가상 감지 라인, 제2 가상 감지 라인 및 제3 가상 감지 라인을 형성하고, 대중교통수단의 출입문 영역에 대하여 촬영된 영상 중 승객 영역의 중심지점을 특정하고, 상기 중심지점이 상기 제1 가상 감지 라인, 제2 가상 감지 라인 및 제3 가상 감지 라인을 통과한 감지 순서와 조합에 따라 승차와 하차를 판별하고, 판별 결과에 따라 승하차 수를 카운팅 할 수 있다.
또한, 상기 승하차 계수 단계는, 대중교통수단의 출입문의 상부 측에 설치된 거리 센서가, 출입문의 개폐상태를 감지하고, 감지된 개폐상태에 따라 상기 계수 카메라의 계수 동작을 시작하기 위한 제어 신호를 상기 계수 카메라로 출력할 때 수행될 수 있다.
또한, 상기 승객 인식 단계는, 승차적용요금 판별부가, 승하차하는 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식하고, 인식된 승객의 골격에 따른 신장, 얼굴 및 성별에 따라 미취학아동, 어린이, 청소년 및 성인에 따른 승차적용요금을 판별하는 승차적용요금 판별 단계; 무임승차징후 승객 판별부가, 상기 계수 카메라를 통한 승차로 카운팅 된 승객의 이동궤적을 추적하여 상기 요금징수 단말기에 교통카드를 태깅하는 동작 없이 미리 설정된 감시 영역의 이탈을 인식하면 무임승차로 판별하여 해당 승객의 인식정보를 상기 관리서버로 전송하는 무임승차징후 승객 판별 단계; 및 상기 무임승차징후 승객 판별부가, 상기 계수 카메라를 통한 승차로 카운팅 된 승객의 이동궤적을 추적하여 상기 요금징수 단말기에 교통카드를 태깅하는 동작을 인식하면, 상기 승차적용요금 판별 단계를 통해 판별된 승객의 승차적용요금정보를 상기 요금징수 단말기로 전송하는 승차적용요금정보 전송 단계를 포함할 수 있다.
또한, 상기 요금징수 처리 단계는, 상기 얼굴인식 카메라로부터 수신된 승차적용요금정보와 실제 교통카드의 결제요금이 상이한 경우 상기 얼굴인식 카메라에 해당 승차적용요금정보와 매칭되는 승객의 얼굴인식정보를 상기 관리서버로 전달하도록 요청할 수 있다.
또한, 상기 승객 인식 단계는, 승하차 예외 상황 판별부가, 승객의 이동궤적의 추적을 통해 승객의 하차 시 상기 요금징수 단말기에 교통카드를 태깅하지 않은 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식하고, 인식된 해당 승객의 이동궤적의 추적에 따른 해당 승객의 재 승차 시 상기 계수 카메라로 카운팅 취소 신호를 전달하여 해당 승객의 재 승차 시 노카운팅되도록 하되, 해당 승객의 수에 따른 노카운팅 개수 정보를 포함된 카운팅 취소 신호를 전달하는 승하차 예외 상황 판별 단계를 더 포함할 수 있다.
또한, 상기 정보 업데이트 단계는, 상기 얼굴인식 카메라를 통해 무임승차로 판별되는 경우 상기 승하차 계수 단계를 통한 해당 승객의 계수시간정보 및 상기 승객 인식 단계를 통해 처리된 해당 승객의 인식정보를 취합하고, 취합된 무임승차징후 승객정보를 리스트화하고, 대중교통수단이 미리 지정된 역에 위치한 경우 상기 중앙서버에 해당 리스트정보를 자동으로 업로드하고, 상기 무임승차징후 승객정보의 누적횟수에 기반하여 무임승차승객으로 판별된 무임승차 승객정보를 상기 중앙서버로부터 자동으로 다운로드 받아 상기 얼굴인식 카메라로 전달할 수 있다.
또한, 상기 승객 인식 단계는, 상기 관리서버로부터 전달 받은 상기 무임승차 승객정보를 승차하는 승객의 인식정보와 비교하여 무임승차징후 승객으로 판별하고, 판별 결과 무임승차징후 승객으로 판별되는 경우 해당 승객의 인식정보를 포함하는 무임승차징후정보를 상기 요금징수 단말기로 전송하고, 상기 요금징수 처리 단계는, 상기 얼굴인식 카메라로부터 수신된 상기 무임승차징후정보에 따라 해당 승객의 인식정보와 무임승차 경고메시지를 출력할 수 있다.
본 발명에 따르면, 딥러닝 알고리즘을 이용하여 대중교통수단의 무임승차징후 승객을 특정하고, 이에 대한 정보를 취합 및 배포하여 무임승차징후 승객에 대한 관리와 승차 방지가 가능하도록 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템의 전체 구성과 그 관계를 나타낸 개요도이다.
도 2는 본 발명의 실시예에 따른 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템의 전체 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 얼굴인식 카메라의 세부 구성을 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템의 위치 구성을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 계수 카메라를 통한 승하차 계수 방식을 설명하기 위해 나타낸 계수 실행 화면이다.
도 6 및 도 7은 본 발명의 실시예에 따른 승객의 골격 및 얼굴 검출 및 인식 방식을 설명하기 위해 나타낸 인식 화면이다.
도 8은 본 발명의 실시예에 따른 얼굴인식 카메라를 통한 무임승차 판별 동작 방식을 설명하기 위해 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 승하차 예외 상황 판별부의 동작 방식을 설명하기 위해 나타낸 도면이다.
도 10은 본 발명의 실시예에 따른 관리서버에서 중앙서버로 업로드 된 정보를 나타낸 도면이다.
도 11은 본 발명의 다른 실시예에 따른 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 방법을 나타낸 흐름도이다.
도 12는 본 발명의 다른 실시예에 따른 부정승차판별 및 무임승차판별을 위한 승객 인식 방법을 나타낸 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 실시예에 따른 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템의 전체 구성과 그 관계를 나타낸 개요도이고, 도 2는 본 발명의 실시예에 따른 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템의 전체 구성을 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 얼굴인식 카메라의 세부 구성을 나타낸 블록도이고, 도 4는 본 발명의 실시예에 따른 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템의 위치 구성을 나타낸 도면이고, 도 5는 본 발명의 실시예에 따른 계수 카메라를 통한 승하차 계수 방식을 설명하기 위해 나타낸 계수 실행 화면이고, 도 6 및 도 7은 본 발명의 실시예에 따른 승객의 골격 및 얼굴 검출 및 인식 방식을 설명하기 위해 나타낸 인식 화면이고, 도 8은 본 발명의 실시예에 따른 얼굴인식 카메라를 통한 무임승차 판별 동작 방식을 설명하기 위해 나타낸 도면이고, 도 9는 본 발명의 실시예에 따른 승하차 예외 상황 판별부의 동작 방식을 설명하기 위해 나타낸 도면이며, 도 10은 본 발명의 실시예에 따른 관리서버에서 중앙서버로 업로드 된 정보를 나타낸 도면이다.
도 1 및 도 2를 참조하면, 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템(100)은 계수 카메라(110), 요금징수 단말기(120), 얼굴인식 카메라(130), 관리서버(140) 및 거리 센서(150)를 포함한다.
이하에서 설명하는 대중교통수단은 트램(Tram)을 일례로 하여 설명하며, 본 실시예에서는 대중교통수단을 트램으로만 한정하는 것이 아니라, 버스, 지하철, 경전철 등 다양한 대중교통수단이 적용될 수 있다.
상기 계수 카메라(110)는, 트램의 출입문 상부 측에 설치되고, 가상 승하차 라인을 이용하여 승객의 승하차를 카운팅 할 수 있다.
예를 들어, 도 5에 도시된 바와 같이 계수 카메라(110)는, 트램의 출입문을 가로지르며 서로 나란히 순차적으로 배열되는 제1 가상 감지 라인(SL1), 제2 가상 감지 라인(SL2) 및 제3 가상 감지 라인(SL3)을 형성하고, 트램의 출입문 영역에 대하여 촬영된 영상 중 승객 영역의 중심지점(A1, A2)을 특정수 있다. 여기서, 제1 가상 감지 라인(SL1), 제2 가상 감지 라인(SL2) 및 제3 가상 감지 라인(SL3)은 이러한 순으로 출입문 쪽에 가깝게 배열되며, 중심지점(A1, A2)는 검출된 승객의 머리 영상 영역 또는 승객 몸체 영역의 중심부분을 의미하며, 이러한 지점이 제1 가상 감지 라인(SL1), 제2 가상 감지 라인(SL2) 및 제3 가상 감지 라인(SL3)에 의해 감지될 수 있다.
또한, 계수 카메라(110)는, 가상의 중심지점(A1, A2)이 제1 가상 감지 라인(SL1), 제2 가상 감지 라인(SL2) 및 제3 가상 감지 라인(SL3)을 통과한 감지 순서와 조합에 따라 승차와 하차를 판별하고, 판별 결과에 따라 승하차 수를 카운팅 할 수 있다.
예를 들어, 중심지점 A1이 검출되면, 검출된 중심지점 A1의 이동궤적을 추적하고, 그 이동궤적 상에 중심지점 A1이 제1 가상 감지 라인(SL1), 제2 가상 감지 라인(SL2) 및 제3 가상 감지 라인(SL3) 순으로 이동하는 것이 검출되면, 중심지점 A1에 해당하는 승객은 승차로 판별되어 승차 계수를 올릴 수 있다.
이러한 계수 카메라(110)는 스테레오 카메라를 포함할 수 있으나, 본 실시예에서는 계수 카메라(110)를 스테레오 카메라로만 한정하는 것이 아니라, 영상 감지 방식이 적용되는 다양한 계수 장치가 포함될 수 있다.
상기 요금징수 단말기(120)는, 트램에 설치되고, 교통카드의 체킹을 통해 과금 시스템(10)과 연동하여 승객의 요금징수를 처리할 수 있다. 이러한 요금징수 단말기(120)는 RFID 리더기를 구비하며 승객의 후불제 교통카드, 충전식 교통카드 등을 태깅을 통해 인식하여 과금 시스템(10)에 해당 카드 정보를 전달하여 요금 징수 처리를 수행할 수 있도록 하며, 결제자 정보, 요금 결제 금액 정보, 결제 시간 등의 정보가 관리서버(140)로 전송할 수 있다.
한편, 요금징수 단말기(120)의 화면은 얼굴인식 카메라(130)에 의해 보이도록 배치될 수 있으며, 적어도 하나 이상이 설치될 수 있으며, 승차칸 또는 출입문 마다 설치될 수 있다.
상기 얼굴인식 카메라(130)는, 대중교통수단의 출입문을 향해 설치되고, 딥러닝 알고리즘을 이용하여 승하차하는 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식한 후 요금징수 단말기(120)의 태깅 동작에 대한 승객의 이동궤적을 추적하여 무임승차 여부를 판별할 수 있다.
이를 위해, 얼굴인식 카메라(130)는 승차적용요금 판별부(131), 무임승차징후 승객 판별부(132)와 승차적용요금정보 전송부(133)를 포함할 수 있으며, 추가적으로 승하차 예외 상황 판별부(134)를 포함할 수 있다.
상기 승차적용요금 판별부(131)는, 딥러닝 알고리즘을 이용하여 승하차하는 승객의 골격(구체적으로는 골격에 따른 신장), 얼굴 및 성별을 검출 및 인식하고, 인식된 승객의 골격에 따른 신장, 얼굴 및 성별에 따라 미취학아동, 어린이, 청소년 및 성인에 따른 승차적용요금을 판별할 수 있다.
예를 들어, 도 6에 도시된 바와 같이, 승하차하는 승객의 골격을 검출하고 해당 승객에 대한 신장을 검출하여 인식할 수 있으며, 도 7에 도시된 바와 같이, 승객의 얼굴의 특징점을 추출하여 얼굴 자체를 인식할 뿐만 아니라, 이를 기반으로 성별을 인식할 수 있다. 이에 따라, 120cm 이상부터의 신장을 검출할 수 있으며, 가령 아동의 경우 8세 아동 평균 신장(133cm)를 기준으로 8세 이하의 미취학아동인지 어린이 혹은 청소년인지, 얼굴과 성별에 따른 평균 신장 값을 기준으로 청소년 또는 성인을 구분할 수 있으며, 이에 따라 해당 승객에 맞는 승차적용요금을 판별할 수 있다.
이러한 승차적용요금 판별부(131)는, 승객에 대한 검지를 위해서는 딥러닝 학습 방식 중 CNN(Convolutional neural network) 방식을 이용하여 승객을 탐지할 수 있으며, 이때 학습 데이터는 머리 색깔 별, 머리카락을 종류(펌), 모자, 의상에 따라 다양한 머리 형태로서 이러한 학습 데이터를 기반으로 한 학습이 추가적으로 진행될 수 있다.
상기 무임승차징후 승객 판별부(132)는, 계수 카메라(110)를 통해 승차로 카운팅 된 승객의 이동궤적을 추적하여 요금징수 단말기(120)에 교통카드를 태깅하는 동작 없이 미리 설정된 감시 영역의 이탈을 인식하면 무임승차로 판별하여 해당 승객의 인식정보를 관리서버(140)로 전송할 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 계수 카메라(110)를 통해 승차 카운팅 된 승객에 대한 골격(신장), 얼굴, 성별 등이 검출 및 인식된 후, 해당 승객에 대한 이동궤적을 추적할 수 있으며, 추적 결과 승객이 요금징수 단말기(120)에 태깅하는 동작을 취하지 않고 얼굴인식 카메라(130)의 감시 영역을 벗어나는 경우 해당 승객을 무임승차징후가 있는 승객으로 판별하고, 인식된 각종 정보를 관리서버(140)에 전송할 수 있다.
이때, 계수 카메라(110)의 해당 승객의 계수시간정보와 요금징수 단말기(120)의 시간정보를 함께 관리서버(140)에 전송할 수 있으며, 이에 관리서버(140)는 각 시간정보와 함께 해당 승객의 인식정보를 무임승차징후 승객정보로 생성할 수 있다. 이러한 무임승차징후 승객정보는 트램이 지정된 역에 도착하면 해당 역에 설치된 중앙서버(20)로 인터넷 또는 네트워크 망을 통해 자동으로 업로드 될 수 있다.
한편, 무임승차징후 승객 판별부(132)는 상술한 바와 같이 승객의 교통카드 태깅 동작이 없는 경우를 무임승차로 간주할 뿐만 아니라, 좀 더 정확한 무임승차 판별을 위하여 요금징수 단말기(120) 중심의 영상을 좀 더 상세히 분석하는 방법도 추가될 수 있다.
즉, 무임승차징후 승객 판별부(132)는, 요금징수 단말기(120)가 영상 내에서 시각적으로 보인다면 요금징수 단말기(120)의 주변에 발생하는 영역을 분석하여 태깅 유무를 판단할 수 있다. 이때, 설정 화면에서 카드 주변이 설정될 수 있는데, 가령 3점 이상 다각형을 요금징수 단말기(120)의 영역으로 설정하고, 3점 이상의 다각형을 요금징수 단말기(120)의 주변 영역으로 설정할 수 있다. 또한, 요금징수 단말기(120)의 색의 변화를 감지할 수 있다. 이때, 움직이는 객체의 궤적과 카드 리더기의 상호 관계를 분석하여 태깅 여부가 판단될 수 있다.
한편, 승객의 이동궤적 정보는 시간에 따라 속도, 방향, 거리, 시간에 대한 정보를 포함할 수 있다. 궤적 정보를 기반으로 승객의 패턴을 분석하고 그 궤적이 가지고 있는 시간적 정보/공간적 정보들의 연관성을 분석하여 교통카드의 태깅 여부를 판단할 수 있다.
한편, 무임승차징후 승객 판별부(132)는, 요금징수 단말기(120)와의 시간적 관계를 정의하기 위하여 터치(touch)와 오버랩(overlap) 타입을 정의할 수 있다. 여기서, 터치(touch)는 요금징수 단말기(120)와 승객의 교통카드가 정상적인 접촉이 이루어졌을 때로 정의되며, 오버랩(overlap)은 요금징수 단말기(120)가 승객으로 가려졌을 때로 정의될 수 있다.
상기 승차적용요금정보 전송부(133)는, 계수 카메라(110)를 통한 승차로 카운팅 된 승객의 이동궤적을 추적하여 요금징수 단말기(120)에 교통카드를 태깅하는 동작이 인식되면, 승차적용요금 판별부(131)를 통해 판별된 승객의 승차적용요금정보를 요금징수 단말기(120)로 전송할 수 있다.
즉, 승차 계수된 승객에 대한 이동궤적을 추적한 결과 요금징수 단말기(120)에 교통카드를 태깅하는 동작이 인식되면, 해당 타이밍에 해당 승객이 부가해야 할 요금과 적용 분류(미취학아동, 어린이, 청소년 및 성인)한 정보를 요금징수 단말기(120)로 주어 정확한 요금징수가 이루어지도록 한다.
이에 따라, 요금징수 단말기(120)는, 얼굴인식 카메라(130)로부터 수신된 승차적용요금정보와 실제 교통카드의 결제요금이 상이한 경우 얼굴인식 카메라(130)에 해당 승차적용요금정보와 매칭되는 승객의 얼굴인식정보를 관리서버(140)로 전달하도록 요청할 수 있다.
즉, 승차적용요금 판별부(131)를 통해 판별된 승차적용요금과 요금징수 단말기(120)에서 실제로 인식된 대상의 요금이 상이할 경우, 즉 성인으로 판별되었으나 청소년 교통카드가 인식되는 경우, 부정행위징후 승객으로 체크되고, 해당 승객에 대한 인식정보(신장, 얼굴, 성별, 카드정보, 태깅시간정보, 승차 역 위치정보 등)을 관리서버(140)에 전송하여, 추후 관리서버(140)가 중앙서버(20)로 보고할 수 있도록 한다. 또는, 요금징수 단말기(120)에서 음성이나 알림음을 출력하여 정확한 요금징수를 요구하도록 가이드 할 수 있다.
상기 승하차 예외 상황 판별부(134)는, 승객의 이동궤적의 추적을 통해 승객의 하차 시 요금징수 단말기(120)에 교통카드를 태깅하지 않은 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식하고, 인식된 해당 승객의 이동궤적의 추적에 따른 해당 승객의 재 승차 시 계수 카메라(110)로 카운팅 취소 신호를 전달하여 해당 승객의 재 승차 시 노카운팅되도록 하되, 해당 승객의 수에 따른 노카운팅 개수 정보를 포함된 카운팅 취소 신호를 전달할 수 있다.
예를 들어, 도 9에 도시된 바와 같이, 얼굴인식 카메라(130)는 출입문 근처의 승객에 대한 이동궤적을 추적하고, 추적 결과 태깅을 하지 않은 상태로 출입문이 열릴 때 하차를 시도하는 것으로 인식되는 경우(①), 하차 시 승객에 대한 특징점과 승차 시 검출된 특징점 즉 골격, 신장, 얼굴, 성별, 뿐만 아니라 머리 색깔 별, 머리카락을 종류(펌), 모자, 의상 등에 대한 특징점을 비교(②)하여 승객을 특정할 수 있다(③). 얼굴인식 카메라(130)는 승차 시 승객에 대한 특징점을 검출 및 인식하게 되면 해당 승객에 대한 인식번호 혹은 식별번호를 부여해 각 승객을 구분할 수 있다.
이때, 특정된 승객이 그대로 하차하게 되면 하차 시 카드 미 태깅으로 기록되지만, 탑승인원이 증가하는 출퇴근시간의 경우 트램의 안쪽에 있는 승객이 하차하기 위해 출입문 근처에 있는 승객이 잠시 하차하였다가 승차하는 경우가 종종 발생되는데, 본 실시예에서는 이러한 승하차 예외 상황을 판별하여 해당 승객이 재 승차할 때 승차 계수를 별도로 하지 않으며, 무임승차로 판단하지 않도록 하여 해당 승객에 대한 피해를 예방할 수 있다.
이를 위해, 승하차 예외 상황 판별부(134)는 얼굴인식 카메라(130)를 통해 특정된 승객이 재 승차함을 인식(④)하게 되면, 계수 카메라(110)에 특정된 승객에 대한 승차 카운팅을 생략할 수 있도록 지시하고, 요금징수 단말기(120) 또한 태깅하지 않아도 무임승차로 기록되지 않도록 지시할 수 있다. 이때, 특정된 승객의 승차 카운팅의 생략을 위해서는 계수 카메라(110) 또한 어떠한 승객에 대한 승차 카운팅을 생략하는지 알고 있어야 하므로, 승하차 예외 상황 판별부(133)가 특정된 승객 인원과 해당 인원이 승차 인식 타이밍에 맞춰 계수 카메라(110) 및 요금징수 단말기(120)에 신호를 주도록 동작하는 것이 바람직하다.
상기 관리서버(140)는, 트램에 설치되고, 얼굴인식 카메라(130)를 통해 무임승차로 판별되는 경우 계수 카메라(110)를 통한 해당 승객의 계수시간정보 및 얼굴인식 카메라(130)를 통해 처리된 해당 승객의 인식정보를 취합하여 역에 설치된 중앙서버(20)로 전송하여 추후 무임승차징후 승객을 등록할 수 있다.
좀 더 구체적으로, 관리서버(140)는, 얼굴인식 카메라(130)를 통해 무임승차로 판별되는 경우 계수 카메라(110)를 통한 해당 승객의 계수시간정보 및 얼굴인식 카메라(130)를 통해 처리된 해당 승객의 인식정보를 취합하고, 취합된 무임승차징후 승객정보를 리스트 할 수 있다. 또한, 관리서버(140)는 트램이 미리 지정된 역(예를 들어 종착역)에 위치한 경우 해당 역에 설치된 중앙서버(20)에 리스트정보를 자동으로 업로드 할 수 있다.
이때, 관리서버(140)는, 무임승차징후 승객정보의 누적횟수에 기반하여 무임승차승객으로 판별된 무임승차 승객정보를 중앙서버로부터 자동으로 다운로드 받아 얼굴인식 카메라(130)로 전달할 수 있다.
이에, 얼굴인식 카메라(130)는, 관리서버(140)로부터 전달 받은 무임승차 승객정보를 승차하는 승객의 인식정보와 비교하여 무임승차징후 승객으로 판별할 수 있는데, 그 판별 결과 현재 승차하는 승객이 무임승차징후 승객으로 판별되는 경우 해당 승객의 인식정보를 포함하는 무임승차징후정보를 요금징수 단말기(120)로 전송하거나, 미리 전송해 놓은 상태에서 해당 승객에 대한 식별정보를 보내어 요금징수 단말기(120)가 해당 승객이 무인승차 이력이 있는 승객임을 인지할 수 있도록 한다.
이때, 요금징수 단말기(120)는, 얼굴인식 카메라(130)로부터 수신된 무임승차징후정보(또는 무임승차징후가 있는 특정 승객이 탑승한 사실을 알리기 위한 신호)에 따라 해당 승객의 인식정보와 무임승차 경고메시지를 출력하여, 무임승차에 대한 경고메시지를 승차 타이밍에 맞게 출력함으로써, 무임승차를 방지할 수 있다.
한편, 관리서버(140)는 계수 카메라(110) 및 얼굴인식 카메라(130)를 통해 처리된 정보를 취합하여 역에 설치된 중앙서버로 전송하는 기본적인 동작도 수행할 수 있다.
예를 들어, 도 10에 도시된 바와 같이 개폐 검지기와 계수기 즉 본 실시예의 계수 카메라(110)의 설정정보, 해당 트램의 상황 정보(역 정보, 출입문 상태, 승차인원, 하차인원, 탑승인원, 무임승차인원, 누적무임승차인원 등)와, 승하차 시간, 승하차 정보 등의 로그 정보를 제공할 수 있다.
상기 거리 센서(150)는, 트램의 출입문의 상부 측에 설치되고, 출입문의 개폐상태를 감지하고, 감지된 개폐상태에 따라 계수 카메라(110)의 계수 동작을 시작하기 위한 제어 신호를 계수 카메라(110)로 출력할 수 있다.
예를 들어, 거리 센서(150)는 트램의 출입문의 열림과 닫힘을 감지하고, 열림을 감지할 경우 계수 카메라(110)의 동작이 실행되도록 하는 제어 신호를 출력하며, 해당 출입문의 닫힘일 감지되는 경우 미리 설정된 시간 이후 계수 카메라(110)의 동작이 중지되도록 하는 제어 신호를 출력할 수 있다. 이에 따라, 트램의 출입문이 닫힌 상황에서 불필요한 승차 계수 동작을 차단할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 방법을 나타낸 흐름도이고, 도 12는 본 발명의 다른 실시예에 따른 부정승차판별 및 무임승차판별을 위한 승객 인식 방법을 나타낸 흐름도이다.
이하의 본 실시예에 따른 대중교통수단의 무임승차 검출 방법은 상술한 대중교통수단의 무임승차 검출 시스템에 의한 방법으로, 도 1 내지 도 10과 함께 보다 상세히 설명한다.
도 11을 참조하면, 본 발명의 다른 실시예에 따른 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 방법(S100)은, 승하차 계수 단계(S110), 요금징수 처리 단계(S120), 승객 인식 단계(S130) 및 정보 업데이트 단계(S140)를 포함한다.
상기 승하차 계수 단계(S110)에서는, 트램의 출입문 상부 측에 설치된 계수 카메라(110)가, 가상 승하차 라인을 이용하여 승객의 승하차를 카운팅 할 수 있다.
예를 들어, 도 5에 도시된 바와 같이 승하차 계수 단계(S110)에서는, 트램의 출입문을 가로지르며 서로 나란히 순차적으로 배열되는 제1 가상 감지 라인(SL1), 제2 가상 감지 라인(SL2) 및 제3 가상 감지 라인(SL3)을 형성하고, 트램의 출입문 영역에 대하여 촬영된 영상 중 승객 영역의 중심지점(A1, A2)을 특정수 있다. 여기서, 제1 가상 감지 라인(SL1), 제2 가상 감지 라인(SL2) 및 제3 가상 감지 라인(SL3)은 이러한 순으로 출입문 쪽에 가깝게 배열되며, 중심지점(A1, A2)는 검출된 승객의 머리 영상 영역 또는 승객 몸체 영역의 중심부분을 의미하며, 이러한 지점이 제1 가상 감지 라인(SL1), 제2 가상 감지 라인(SL2) 및 제3 가상 감지 라인(SL3)에 의해 감지될 수 있다.
또한, 승하차 계수 단계(S110)에서는, 가상의 중심지점(A1, A2)이 제1 가상 감지 라인(SL1), 제2 가상 감지 라인(SL2) 및 제3 가상 감지 라인(SL3)을 통과한 감지 순서와 조합에 따라 승차와 하차를 판별하고, 판별 결과에 따라 승하차 수를 카운팅 할 수 있다.
예를 들어, 중심지점 A1이 검출되면, 검출된 중심지점 A1의 이동궤적을 추적하고, 그 이동궤적 상에 중심지점 A1이 제1 가상 감지 라인(SL1), 제2 가상 감지 라인(SL2) 및 제3 가상 감지 라인(SL3) 순으로 이동하는 것이 검출되면, 중심지점 A1에 해당하는 승객은 승차로 판별되어 승차 계수를 올릴 수 있다.
한편, 승하차 계수 단계(S110)는, 트램의 출입문의 상부 측에 설치된 거리 센서가, 출입문의 개폐상태를 감지하고, 감지된 개폐상태에 따라 계수 카메라(110)의 계수 동작을 시작하기 위한 제어 신호를 계수 카메라(110)로 출력할 때 수행될 수 있다.
상기 요금징수 처리 단계(S120)에서는, 트램에 설치된 요금징수 단말기(120)에 교통카드를 체킹하는 경우 과금 시스템(10)과 연동하여 승객의 요금징수를 처리할 수 있다.
상기 승객 인식 단계(S130)에서는, 트램의 출입문을 향해 설치된 얼굴인식 카메라(130)가, 딥러닝 알고리즘을 이용하여 승하차하는 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식한 후 요금징수 단말기(120)의 태깅 동작에 대한 승객의 이동궤적을 추적하여 무임승차 여부를 판별할 수 있다.
이를 위해, 승객 인식 단계(S130)는 승차적용요금 판별 단계(S131), 무임승차징후 승객 판별 단계(S132), 승차적용요금정보 전송 단계(S133) 및 승하차 예외 상황 판별 단계(S134)를 포함할 수 있다.
상기 승차적용요금 판별 단계(S131)에서는, 승차적용요금 판별부(131)가, 승하차하는 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식하고, 인식된 승객의 골격에 따른 신장, 얼굴 및 성별에 따라 미취학아동, 어린이, 청소년 및 성인에 따른 승차적용요금을 판별할 수 있다.
예를 들어, 도 6에 도시된 바와 같이, 승하차하는 승객의 골격을 검출하고 해당 승객에 대한 신장을 검출하여 인식할 수 있으며, 도 7에 도시된 바와 같이, 승객의 얼굴의 특징점을 추출하여 얼굴 자체를 인식할 뿐만 아니라, 이를 기반으로 성별을 인식할 수 있다. 이에 따라, 120cm 이상부터의 신장을 검출할 수 있으며, 가령 아동의 경우 8세 아동 평균 신장(133cm)를 기준으로 8세 이하의 미취학아동인지 어린이 혹은 청소년인지, 얼굴과 성별에 따른 평균 신장 값을 기준으로 청소년 또는 성인을 구분할 수 있으며, 이에 따라 해당 승객에 맞는 승차적용요금을 판별할 수 있다.
이러한 승차적용요금 판별 단계(S131)는, 승객에 대한 검지를 위해서는 딥러닝 학습 방식 중 CNN(Convolutional neural network) 방식을 이용하여 승객을 탐지할 수 있으며, 이때 학습 데이터는 머리 색깔 별, 머리카락을 종류(펌), 모자, 의상에 따라 다양한 머리 형태로서 이러한 학습 데이터를 기반으로 한 학습이 추가적으로 진행될 수 있다.
상기 무임승차징후 승객 판별 단계(S132)에서는, 무임승차징후 승객 판별부(132)가, 계수 카메라(110)를 통한 승차로 카운팅 된 승객의 이동궤적을 추적하여 요금징수 단말기(120)에 교통카드를 태깅하는 동작 없이 미리 설정된 감시 영역의 이탈을 인식하면 무임승차로 판별하여 해당 승객의 인식정보를 관리서버(140)로 전송할 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 계수 카메라(110)를 통해 승차 카운팅 된 승객에 대한 골격(신장), 얼굴, 성별 등이 검출 및 인식된 후, 해당 승객에 대한 이동궤적을 추적할 수 있으며, 추적 결과 승객이 요금징수 단말기(120)에 태깅하는 동작을 취하지 않고 얼굴인식 카메라(130)의 감시 영역을 벗어나는 경우 해당 승객을 무임승차징후가 있는 승객으로 판별하고, 인식된 각종 정보를 관리서버(140)에 전송할 수 있다.
이때, 계수 카메라(110)의 해당 승객의 계수시간정보와 요금징수 단말기(120)의 시간정보를 함께 관리서버(140)에 전송할 수 있으며, 이에 관리서버(140)는 각 시간정보와 함께 해당 승객의 인식정보를 무임승차징후 승객정보로 생성할 수 있다. 이러한 무임승차징후 승객정보는 트램이 지정된 역에 도착하면 해당 역에 설치된 중앙서버(20)로 인터넷 또는 네트워크 망을 통해 자동으로 업로드 될 수 있다.
한편, 무임승차징후 승객 판별 단계(S132)에서는, 상술한 바와 같이 승객의 교통카드 태깅 동작이 없는 경우를 무임승차로 간주할 뿐만 아니라, 좀 더 정확한 무임승차 판별을 위하여 요금징수 단말기(120) 중심의 영상을 좀 더 상세히 분석하는 방법도 추가될 수 있다.
즉, 무임승차징후 승객 판별 단계(S132)에서는, 요금징수 단말기(120)가 영상 내에서 시각적으로 보인다면 요금징수 단말기(120)의 주변에 발생하는 영역을 분석하여 태깅 유무를 판단할 수 있다. 이때, 설정 화면에서 카드 주변이 설정될 수 있는데, 가령 3점 이상 다각형을 요금징수 단말기(120)의 영역으로 설정하고, 3점 이상의 다각형을 요금징수 단말기(120)의 주변 영역으로 설정할 수 있다. 또한, 요금징수 단말기(120)의 색의 변화를 감지할 수 있다. 이때, 움직이는 객체의 궤적과 카드 리더기의 상호 관계를 분석하여 태깅 여부가 판단될 수 있다.
한편, 승객의 이동궤적 정보는 시간에 따라 속도, 방향, 거리, 시간에 대한 정보를 포함할 수 있다. 궤적 정보를 기반으로 승객의 패턴을 분석하고 그 궤적이 가지고 있는 시간적 정보/공간적 정보들의 연관성을 분석하여 교통카드의 태깅 여부를 판단할 수 있다.
한편, 무임승차징후 승객 판별 단계(S132)는 무임승차징후 승객 판별부(132)와 요금징수 단말기(120) 간의 시간적 관계를 정의하기 위하여 터치(touch)와 오버랩(overlap) 타입을 정의할 수 있다. 여기서, 터치(touch)는 요금징수 단말기(120)와 승객의 교통카드가 정상적인 접촉이 이루어졌을 때로 정의되며, 오버랩(overlap)은 요금징수 단말기(120)가 승객으로 가려졌을 때로 정의될 수 있다.
상기 승차적용요금정보 전송 단계(S133)에서는, 무임승차징후 승객 판별부(133)가, 계수 카메라(110)를 통한 승차로 카운팅 된 승객의 이동궤적을 추적하여 요금징수 단말기(120)에 교통카드를 태깅하는 동작을 인식하면, 승차적용요금 판별 단계(S132)를 통해 판별된 승객의 승차적용요금정보를 요금징수 단말기(120)로 전송할 수 있다.
즉, 승차 계수된 승객에 대한 이동궤적을 추적한 결과 요금징수 단말기(120)에 교통카드를 태깅하는 동작이 인식되면, 해당 타이밍에 해당 승객이 부가해야 할 요금과 적용 분류(미취학아동, 어린이, 청소년 및 성인)한 정보를 요금징수 단말기(120)로 주어 정확한 요금징수가 이루어지도록 한다.
이에 따라, 요금징수 처리 단계(S120)에서는, 얼굴인식 카메라(130)로부터 수신된 승차적용요금정보와 실제 교통카드의 결제요금이 상이한 경우 얼굴인식 카메라(130)에 해당 승차적용요금정보와 매칭되는 승객의 얼굴인식정보를 관리서버(140)로 전달하도록 요청할 수 있다.
즉, 승차적용요금 판별 단계(S131)를 통해 판별된 승차적용요금과 요금징수 단말기(120)에서 실제로 인식된 대상의 요금이 상이할 경우, 즉 성인으로 판별되었으나 청소년 교통카드가 인식되는 경우, 부정행위징후 승객으로 체크되고, 해당 승객에 대한 인식정보(신장, 얼굴, 성별, 카드정보, 태깅시간정보, 승차 역 위치정보 등)을 관리서버(140)에 전송하여, 추후 관리서버(140)가 중앙서버(20)로 보고할 수 있도록 한다.
또는, 요금징수 단말기(120)에서 음성이나 알림음을 출력하여 정확한 요금징수를 요구하도록 가이드 할 수 있다.
상기 승하차 예외 상황 판별 단계(S134)에서는, 승객의 이동궤적의 추적을 통해 승객의 하차 시 요금징수 단말기(120)에 교통카드를 태깅하지 않은 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식하고, 인식된 해당 승객의 이동궤적의 추적에 따른 해당 승객의 재 승차 시 계수 카메라(110)로 카운팅 취소 신호를 전달하여 해당 승객의 재 승차 시 노카운팅되도록 하되, 해당 승객의 수에 따른 노카운팅 개수 정보를 포함된 카운팅 취소 신호를 전달할 수 있다.
예를 들어, 도 9에 도시된 바와 같이, 얼굴인식 카메라(130)는 출입문 근처의 승객에 대한 이동궤적을 추적하고, 추적 결과 태깅을 하지 않은 상태로 출입문이 열릴 때 하차를 시도하는 것으로 인식되는 경우(①), 하차 시 승객에 대한 특징점과 승차 시 검출된 특징점 즉 골격, 신장, 얼굴, 성별, 뿐만 아니라 머리 색깔 별, 머리카락을 종류(펌), 모자, 의상 등에 대한 특징점을 비교(②)하여 승객을 특정할 수 있다(③). 얼굴인식 카메라(130)는 승차 시 승객에 대한 특징점을 검출 및 인식하게 되면 해당 승객에 대한 인식번호 혹은 식별번호를 부여해 각 승객을 구분할 수 있다.
이때, 특정된 승객이 그대로 하차하게 되면 하차 시 카드 미 태깅으로 기록되지만, 탑승인원이 증가하는 출퇴근시간의 경우 트램의 안쪽에 있는 승객이 하차하기 위해 출입문 근처에 있는 승객이 잠시 하차하였다가 승차하는 경우가 종종 발생되는데, 본 실시예에서는 이러한 승하차 예외 상황을 판별하여 해당 승객이 재 승차할 때 승차 계수를 별도로 하지 않으며, 무임승차로 판단하지 않도록 하여 해당 승객에 대한 피해를 예방할 수 있다.
이를 위해, 승하차 예외 상황 판별 단계(S134)에서는, 얼굴인식 카메라(130)를 통해 특정된 승객이 재 승차함을 인식(④)하게 되면, 계수 카메라(110)에 특정된 승객에 대한 승차 카운팅을 생략할 수 있도록 지시하고, 요금징수 단말기(120) 또한 태깅하지 않아도 무임승차로 기록되지 않도록 지시할 수 있다. 이때, 특정된 승객의 승차 카운팅의 생략을 위해서는 계수 카메라(110) 또한 어떠한 승객에 대한 승차 카운팅을 생략하는지 알고 있어야 하므로, 승하차 예외 상황 판별부(133)가 특정된 승객 인원과 해당 인원이 승차 인식 타이밍에 맞춰 계수 카메라(110) 및 요금징수 단말기(120)에 신호를 주도록 동작하는 것이 바람직하다.
상기 정보 업데이트 단계(S140)에서는, 승객 인식 단계(S130)를 통해 무임승차로 판별되는 경우 트램에 설치된 관리서버(140)가, 계수 카메라(110)를 통한 해당 승객의 계수시간정보 및 승객 인식 단계(S140)를 통해 처리된 해당 승객의 인식정보를 취합하고 대역에 설치된 중앙서버(20)로 전송하여 무임승차징후 승객을 등록할 수 있다.
좀 더 구체적으로, 정보 업데이트 단계(S140)에서는, 얼굴인식 카메라(130)를 통해 무임승차로 판별되는 경우 계수 카메라(110)를 통한 해당 승객의 계수시간정보 및 얼굴인식 카메라(130)를 통해 처리된 해당 승객의 인식정보를 취합하고, 취합된 무임승차징후 승객정보를 리스트 할 수 있다. 또한, 관리서버(140)는 트램이 미리 지정된 역(예를 들어 종착역)에 위치한 경우 해당 역에 설치된 중앙서버(20)에 리스트정보를 자동으로 업로드 할 수 있다.
이때, 관리서버(140)는, 무임승차징후 승객정보의 누적횟수에 기반하여 무임승차승객으로 판별된 무임승차 승객정보를 중앙서버로부터 자동으로 다운로드 받아 얼굴인식 카메라(130)로 전달할 수 있다.
이에, 승객 인식 단계(S130)에서는, 관리서버(140)로부터 전달 받은 무임승차 승객정보를 승차하는 승객의 인식정보와 비교하여 무임승차징후 승객으로 판별할 수 있는데, 그 판별 결과 현재 승차하는 승객이 무임승차징후 승객으로 판별되는 경우 해당 승객의 인식정보를 포함하는 무임승차징후정보를 요금징수 단말기(120)로 전송하거나, 미리 전송해 놓은 상태에서 해당 승객에 대한 식별정보를 보내어 요금징수 단말기(120)가 해당 승객이 무인승차 이력이 있는 승객임을 인지할 수 있도록 한다.
이때, 요금징수 처리 단계(S120)는, 얼굴인식 카메라(130)로부터 수신된 무임승차징후정보(또는 무임승차징후가 있는 특정 승객이 탑승한 사실을 알리기 위한 신호)에 따라 해당 승객의 인식정보와 무임승차 경고메시지를 출력하여, 무임승차에 대한 경고메시지를 승차 타이밍에 맞게 출력함으로써, 무임승차를 방지할 수 있다.
한편, 정보 업데이트 단계(S140)에서는, 계수 카메라(110) 및 얼굴인식 카메라(130)를 통해 처리된 정보를 취합하여 역에 설치된 중앙서버로 전송하는 기본적인 동작도 수행할 수 있다.
예를 들어, 도 10에 도시된 바와 같이 개폐 검지기와 계수기 즉 본 실시예의 계수 카메라(110)의 설정정보, 해당 트램의 상황 정보(역 정보, 출입문 상태, 승차인원, 하차인원, 탑승인원, 무임승차인원, 누적무임승차인원 등)와, 승하차 시간, 승하차 정보 등의 로그 정보를 제공할 수 있다.
이상에서 설명한 것은 본 발명에 의한 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 그 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
100: 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템
110: 계수 카메라
120: 요금징수 단말기
130: 얼굴인식 카메라
131: 승차적용요금 판별부
132: 무임승차징후 승객 판별부
133: 승차적용요금정보 전송부
134: 승하차 예외 상황 판별부
140: 관리서버
150: 거리 센서
S100: 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 방법
S110: 승하차 계수 단계
S120: 요금징수 처리 단계
S130: 승객 인식 단계
S131: 승차적용요금 판별 단계
S132: 무임승차징후 승객 판별 단계
S133: 승차적용요금정보 전송 단계
S134: 승하차 예외 상황 판별 단계
S140: 정보 업데이트 단계
10: 과금 시스템
20: 중앙서버
SL1: 제1 가상 센싱 라인
SL2: 제2 가상 센싱 라인
SL3: 제3 가상 센싱 라인
A1, A2중심지점

Claims (14)

  1. 대중교통수단의 출입문 상부 측에 설치되고, 가상 승하차 라인을 이용하여 승객의 승하차를 카운팅하는 계수 카메라;
    대중교통수단에 설치되고, 교통카드의 체킹을 통해 과금 시스템과 연동하여 승객의 요금징수를 처리하는 요금징수 단말기;
    대중교통수단의 출입문을 향해 설치되고, 딥러닝 알고리즘을 이용하여 승하차하는 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식한 후 상기 요금징수 단말기의 태깅 동작에 대한 승객의 이동궤적을 추적하여 무임승차 여부를 판별하는 얼굴인식 카메라; 및
    대중교통수단에 설치되고, 상기 얼굴인식 카메라를 통해 무임승차로 판별되는 경우 상기 계수 카메라를 통한 해당 승객의 계수시간정보 및 상기 얼굴인식 카메라를 통해 처리된 해당 승객의 인식정보를 취합하여 역에 설치된 중앙서버로 전송하여 무임승차징후 승객을 등록하기 위한 관리서버를 포함하는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템.
  2. 제1 항에 있어서,
    상기 계수 카메라는,
    대중교통수단의 출입문을 가로지르며 서로 나란히 순차적으로 배열되는 제1 가상 감지 라인, 제2 가상 감지 라인 및 제3 가상 감지 라인을 형성하고, 대중교통수단의 출입문 영역에 대하여 촬영된 영상 중 승객 영역의 중심지점을 특정하고, 상기 중심지점이 상기 제1 가상 감지 라인, 제2 가상 감지 라인 및 제3 가상 감지 라인을 통과한 감지 순서와 조합에 따라 승차와 하차를 판별하고, 판별 결과에 따라 승하차 수를 카운팅하는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템.
  3. 제2 항에 있어서,
    대중교통수단의 출입문의 상부 측에 설치되고, 출입문의 개폐상태를 감지하고, 감지된 개폐상태에 따라 상기 계수 카메라의 계수 동작을 시작하기 위한 제어 신호를 상기 계수 카메라로 출력하는 거리 센서를 더 포함하는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템.
  4. 제1 항에 있어서,
    상기 얼굴인식 카메라는,
    승하차하는 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식하고, 인식된 승객의 골격에 따른 신장, 얼굴 및 성별에 따라 미취학아동, 어린이, 청소년 및 성인에 따른 승차적용요금을 판별하는 승차적용요금 판별부;
    상기 계수 카메라를 통해 승차로 카운팅 된 승객의 이동궤적을 추적하여 상기 요금징수 단말기에 교통카드를 태깅하는 동작 없이 미리 설정된 감시 영역의 이탈을 인식하면 무임승차로 판별하여 해당 승객의 인식정보를 상기 관리서버로 전송하는 무임승차징후 승객 판별부; 및
    상기 계수 카메라를 통한 승차로 카운팅 된 승객의 이동궤적을 추적하여 상기 요금징수 단말기에 교통카드를 태깅하는 동작이 인식되면, 상기 승차적용요금 판별부를 통해 판별된 승객의 승차적용요금정보를 상기 요금징수 단말기로 전송하는 승차적용요금정보 전송부를 포함하는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템.
  5. 제4 항에 있어서,
    상기 요금징수 단말기는,
    상기 얼굴인식 카메라로부터 수신된 승차적용요금정보와 실제 교통카드의 결제요금이 상이한 경우 상기 얼굴인식 카메라에 해당 승차적용요금정보와 매칭되는 승객의 얼굴인식정보를 상기 관리서버로 전달하도록 요청하는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템.
  6. 제1 항에 있어서,
    상기 관리서버는,
    상기 얼굴인식 카메라를 통해 무임승차로 판별되는 경우 상기 계수 카메라를 통한 해당 승객의 계수시간정보 및 상기 얼굴인식 카메라를 통해 처리된 해당 승객의 인식정보를 취합하고, 취합된 무임승차징후 승객정보를 리스트화하고, 대중교통수단이 미리 지정된 역에 위치한 경우 상기 중앙서버에 해당 리스트정보를 자동으로 업로드하고, 상기 무임승차징후 승객정보의 누적횟수에 기반하여 무임승차승객으로 판별된 무임승차 승객정보를 상기 중앙서버로부터 자동으로 다운로드 받아 상기 얼굴인식 카메라로 전달하는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템.
  7. 제6 항에 있어서,
    상기 얼굴인식 카메라는,
    상기 관리서버로부터 전달 받은 상기 무임승차 승객정보를 승차하는 승객의 인식정보와 비교하여 무임승차징후 승객으로 판별하고, 판별 결과 무임승차징후 승객으로 판별되는 경우 해당 승객의 인식정보를 포함하는 무임승차징후정보를 상기 요금징수 단말기로 전송하고,
    상기 요금징수 단말기는,
    상기 얼굴인식 카메라로부터 수신된 상기 무임승차징후정보에 따라 해당 승객의 인식정보와 무임승차 경고메시지를 출력하는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템.
  8. 대중교통수단의 출입문 상부 측에 설치된 계수 카메라가, 가상 승하차 라인을 이용하여 승객의 승하차를 카운팅하는 승하차 계수 단계;
    대중교통수단에 설치된 요금징수 단말기에 교통카드를 체킹하는 경우 과금 시스템과 연동하여 승객의 요금징수를 처리하는 요금징수 처리 단계;
    대중교통수단의 출입문을 향해 설치된 얼굴인식 카메라가, 딥러닝 알고리즘을 이용하여 승하차하는 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식한 후 상기 요금징수 단말기의 태깅 동작에 대한 승객의 이동궤적을 추적하여 무임승차 여부를 판별하는 승객 인식 단계; 및
    상기 승객 인식 단계를 통해 무임승차로 판별되는 경우 대중교통수단에 설치된 관리서버가, 상기 계수 카메라를 통한 해당 승객의 계수시간정보 및 상기 승객 인식 단계를 통해 처리된 해당 승객의 인식정보를 취합하고 대역에 설치된 중앙서버로 전송하여 무임승차징후 승객을 등록하기 위한 정보 업데이트 단계를 포함하는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 방법.
  9. 제8 항에 있어서,
    상기 승하차 계수 단계는,
    상기 계수 카메라가, 대중교통수단의 출입문을 가로지르며 서로 나란히 순차적으로 배열되는 제1 가상 감지 라인, 제2 가상 감지 라인 및 제3 가상 감지 라인을 형성하고, 대중교통수단의 출입문 영역에 대하여 촬영된 영상 중 승객 영역의 중심지점을 특정하고, 상기 중심지점이 상기 제1 가상 감지 라인, 제2 가상 감지 라인 및 제3 가상 감지 라인을 통과한 감지 순서와 조합에 따라 승차와 하차를 판별하고, 판별 결과에 따라 승하차 수를 카운팅하는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 방법.
  10. 제9 항에 있어서,
    상기 승하차 계수 단계는,
    대중교통수단의 출입문의 상부 측에 설치된 거리 센서가, 출입문의 개폐상태를 감지하고, 감지된 개폐상태에 따라 상기 계수 카메라의 계수 동작을 시작하기 위한 제어 신호를 상기 계수 카메라로 출력할 때 수행되는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 방법.
  11. 제8 항에 있어서,
    상기 승객 인식 단계는,
    승차적용요금 판별부가, 승하차하는 승객의 골격에 따른 신장, 얼굴 및 성별을 검출 및 인식하고, 인식된 승객의 골격에 따른 신장, 얼굴 및 성별에 따라 미취학아동, 어린이, 청소년 및 성인에 따른 승차적용요금을 판별하는 승차적용요금 판별 단계;
    무임승차징후 승객 판별부가, 상기 계수 카메라를 통한 승차로 카운팅 된 승객의 이동궤적을 추적하여 상기 요금징수 단말기에 교통카드를 태깅하는 동작 없이 미리 설정된 감시 영역의 이탈을 인식하면 무임승차로 판별하여 해당 승객의 인식정보를 상기 관리서버로 전송하는 무임승차징후 승객 판별 단계; 및
    상기 무임승차징후 승객 판별부가, 상기 계수 카메라를 통한 승차로 카운팅 된 승객의 이동궤적을 추적하여 상기 요금징수 단말기에 교통카드를 태깅하는 동작을 인식하면, 상기 승차적용요금 판별 단계를 통해 판별된 승객의 승차적용요금정보를 상기 요금징수 단말기로 전송하는 승차적용요금정보 전송 단계를 포함하는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 방법.
  12. 제11 항에 있어서,
    상기 요금징수 처리 단계는,
    상기 얼굴인식 카메라로부터 수신된 승차적용요금정보와 실제 교통카드의 결제요금이 상이한 경우 상기 얼굴인식 카메라에 해당 승차적용요금정보와 매칭되는 승객의 얼굴인식정보를 상기 관리서버로 전달하도록 요청하는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 방법.
  13. 제8 항에 있어서,
    상기 정보 업데이트 단계는,
    상기 얼굴인식 카메라를 통해 무임승차로 판별되는 경우 상기 승하차 계수 단계를 통한 해당 승객의 계수시간정보 및 상기 승객 인식 단계를 통해 처리된 해당 승객의 인식정보를 취합하고, 취합된 무임승차징후 승객정보를 리스트화하고, 대중교통수단이 미리 지정된 역에 위치한 경우 상기 중앙서버에 해당 리스트정보를 자동으로 업로드하고, 상기 무임승차징후 승객정보의 누적횟수에 기반하여 무임승차승객으로 판별된 무임승차 승객정보를 상기 중앙서버로부터 자동으로 다운로드 받아 상기 얼굴인식 카메라로 전달하는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 방법.
  14. 제13 항에 있어서,
    상기 승객 인식 단계는,
    상기 관리서버로부터 전달 받은 상기 무임승차 승객정보를 승차하는 승객의 인식정보와 비교하여 무임승차징후 승객으로 판별하고, 판별 결과 무임승차징후 승객으로 판별되는 경우 해당 승객의 인식정보를 포함하는 무임승차징후정보를 상기 요금징수 단말기로 전송하고,
    상기 요금징수 처리 단계는,
    상기 얼굴인식 카메라로부터 수신된 상기 무임승차징후정보에 따라 해당 승객의 인식정보와 무임승차 경고메시지를 출력하는 것을 특징으로 하는 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 방법.
KR1020190158876A 2019-12-03 2019-12-03 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법 KR102109648B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190158876A KR102109648B1 (ko) 2019-12-03 2019-12-03 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190158876A KR102109648B1 (ko) 2019-12-03 2019-12-03 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102109648B1 true KR102109648B1 (ko) 2020-05-12

Family

ID=70679469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190158876A KR102109648B1 (ko) 2019-12-03 2019-12-03 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102109648B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021241587A1 (ko) * 2020-05-28 2021-12-02

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110038983A (ko) 2009-10-09 2011-04-15 조용범 영상을 이용하여 승객의 승하차수를 카운트하는 방법 및 장치
KR20170049141A (ko) * 2015-10-28 2017-05-10 삼성에스디에스 주식회사 무임 승차 확인 방법과 이를 수행하기 위한 장치 및 시스템
KR101939350B1 (ko) 2018-01-15 2019-01-16 주식회사 핀텔 무임 승차 감지 방법 및 장치
KR102021534B1 (ko) * 2018-08-29 2019-10-18 주식회사 핀텔 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법
KR20190125243A (ko) * 2019-10-18 2019-11-06 정현수 무임승차에 단절을 위한 무임승차 방지기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110038983A (ko) 2009-10-09 2011-04-15 조용범 영상을 이용하여 승객의 승하차수를 카운트하는 방법 및 장치
KR20170049141A (ko) * 2015-10-28 2017-05-10 삼성에스디에스 주식회사 무임 승차 확인 방법과 이를 수행하기 위한 장치 및 시스템
KR101939350B1 (ko) 2018-01-15 2019-01-16 주식회사 핀텔 무임 승차 감지 방법 및 장치
KR102021534B1 (ko) * 2018-08-29 2019-10-18 주식회사 핀텔 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법
KR20190125243A (ko) * 2019-10-18 2019-11-06 정현수 무임승차에 단절을 위한 무임승차 방지기

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021241587A1 (ko) * 2020-05-28 2021-12-02
WO2021241587A1 (ja) * 2020-05-28 2021-12-02 株式会社日立国際電気 乗降者数計数システム及び乗降者数計数装置
JP7303384B2 (ja) 2020-05-28 2023-07-04 株式会社日立国際電気 乗降者数計数システム及び乗降者数計数装置

Similar Documents

Publication Publication Date Title
KR102109647B1 (ko) 딥러닝을 이용한 대중교통수단의 승하차 계수 시스템 및 방법
WO2021159865A1 (zh) 一种基于数据校准的公交路线预测方法及系统
GB2556942A (en) Transport passenger monitoring systems
WO2018058958A1 (zh) 一种道路车辆交通告警系统及其方法
CN104805784B (zh) 一种闸机逃票检测系统及方法
KR101718806B1 (ko) 열차의 승강장 정차시간 자동 산출 서버, 시스템 및 방법
CN104574547B (zh) 一种基于人脸识别技术的高速公路防逃费方法
JP2015108854A (ja) 情報処理システム、情報処理方法および情報処理プログラム
CN109410347A (zh) 一种高铁闸机通行方法及系统
KR101934330B1 (ko) 차량 승차 인원 검지를 이용한 요금 정산 방법 및 장치
KR101131693B1 (ko) 교통사고 안내시스템 및 안내방법
CN205943007U (zh) 一种营运客车非法中途载客的报警系统
KR102459906B1 (ko) 듀얼밴드 적외선 카메라를 이용한 승차인원 검지 시스템 및 그 방법
CN114022961A (zh) 车载系统、车辆及车载系统的控制方法
KR102109648B1 (ko) 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법
WO2023174240A1 (zh) 一种公交客流检测方法及系统
CN114999141B (zh) 电瓶车停放管理方法、装置、设备、系统及可读存储介质
CN108550218A (zh) 一种自行车专用道综合管控系统及其管控方法
CN113965901B (zh) 一种基于无线探针的高速公路隧道人员监控方法
CN112532928B (zh) 一种基于5g和人脸识别的公交车车载系统及使用方法
CN110310400B (zh) 一种自行车专用车道智能闸机系统及其控制方法
CN111666879A (zh) 一种基于大数据框架的公交客流分析与规划系统和方法
KR102004998B1 (ko) 무단패스 방지 시스템
CN216310865U (zh) 车载系统及具有其的车辆
CN113611025A (zh) 一种新型轨道交通快速检人系统及方法

Legal Events

Date Code Title Description
GRNT Written decision to grant