KR20200074350A - 무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법 - Google Patents

무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법 Download PDF

Info

Publication number
KR20200074350A
KR20200074350A KR1020180162209A KR20180162209A KR20200074350A KR 20200074350 A KR20200074350 A KR 20200074350A KR 1020180162209 A KR1020180162209 A KR 1020180162209A KR 20180162209 A KR20180162209 A KR 20180162209A KR 20200074350 A KR20200074350 A KR 20200074350A
Authority
KR
South Korea
Prior art keywords
occupant
free
detecting
sign
pose
Prior art date
Application number
KR1020180162209A
Other languages
English (en)
Other versions
KR102160547B1 (ko
Inventor
황현철
곽재호
박성원
오용국
이수형
남성원
김형진
김동기
Original Assignee
한국철도기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국철도기술연구원 filed Critical 한국철도기술연구원
Priority to KR1020180162209A priority Critical patent/KR102160547B1/ko
Publication of KR20200074350A publication Critical patent/KR20200074350A/ko
Application granted granted Critical
Publication of KR102160547B1 publication Critical patent/KR102160547B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/04—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to presence or absence of the driver, e.g. to weight or lack thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61B—RAILWAY SYSTEMS; EQUIPMENT THEREFOR NOT OTHERWISE PROVIDED FOR
    • B61B1/00—General arrangement of stations, platforms, or sidings; Railway networks; Rail vehicle marshalling systems
    • B61B1/02—General arrangement of stations and platforms including protection devices for the passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61D—BODY DETAILS OR KINDS OF RAILWAY VEHICLES
    • B61D19/00—Door arrangements specially adapted for rail vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02—Indicating or recording positions or identities of vehicles or trains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/04—Automatic systems, e.g. controlled by train; Change-over to manual control
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
    • G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
    • G07B15/02—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points taking into account a variable factor such as distance or time, e.g. for passenger transport, parking systems or car rental systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법에 관한 것으로, 더욱 상세하게는 탑승자의 승차 및 하차 여부를 판단하는 계수기와, 요금을 태그하는 요금징수 단말기, 탑승자의 포즈 검지하는 검지기의 상호 피드백을 통해 무임승차 징후자를 판단하고, 무임승차 징후자의 특징 정보를 추출하는 시스템 및 방법을 제공하는 것이다. 따라서, 본 발명에서는 요금 자율 지불식 차량에 설치된 요금징수 단말기와 더불어, 복수의 센서를 통해 무임으로 승차하는 탑승자를 검지하고, 이를 무임승차 징후자로 판단하여, 무임승차 징후자의 특징이 되는 정보를 추출할 수 있으며, 상습적인 무임 승차자를 향후 무임승차 징후자로 판단 및 관리함으로써, 향후 부정 승차를 방지할 수 있다.

Description

무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법{System and Method for Detection of free-riding signs and Feature information extraction}
본 발명은 무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법에 관한 것으로, 특히 탑승자의 승차 및 하차 여부를 판단하는 계수기와, 요금을 태그하는 요금징수 단말기, 탑승자의 포즈 검지하는 검지기의 상호 피드백을 통해 무임승차 징후자를 판단하고, 무임승차 징후자의 특징 정보를 추출하는 시스템 및 방법에 관한 것이다.
트램, 버스와 같은 요금 자율지불식 차량에서는 승객 계수장치가 사용되고 있으며, 승객 계수장치는 단순히 승강장별 승하차 인원을 파악하여 승강장별 이용량 분석에 이용되고 있다.
트램은 차량 내의 요금징수 단말기에 자율 태그 방식으로 요금이 결제되고 있다. 따라서, 트램의 무임 승차율은 15%로 도시철도의 무임 승차율인 10%보다 매우 높은 실정이다.
대한민국 등록특허 제1,200,028호 (2017. 11. 05. 등록) 대한민국 공개특허 제2014-0114572호 (2014. 09. 29. 공개)
본 발명은 전술한 종래 기술의 문제를 해결하기 위한 것으로, 승차요금 단말기의 정보와, 계수기 및 검지기의 정보를 이용하여 탑승자 중 승차요금을 지불하지 않은 것으로 판단되는 무임승차 징후자를 판단하고, 무임승차 징후자의 특징을 포함하는 정보를 저장 및 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상술한 목적을 달성하기 위해 본 발명은 출입문의 개폐 여부를 감지하는 출입문 개폐기, 출입문 개폐기의 출입문 개방 신호에 따라, 탑승자의 머리를 추적하여 승차 및 하차를 확인하는 계수기, 탑승자의 단말기 태그에 따라 요금을 징수하는 요금징수 단말기, 출입문 개폐기의 출입문 개방 신호에 따라, 탑승자의 포즈를 추적하여 요금징수 단말기에 태그 여부를 확인하는 검지기, 계수기의 탑승자 승차 후 요금징수 단말기에 태그가 없을 경우, 검지기의 탑승자 포즈와 비교하여, 요금징수 단말기에 태그하지 않은 무임승차 징후자를 판단하고, 무임승차 징후자의 얼굴, 신장, 상의, 승하차 시간 등을 검출 및 저장하는 서버를 포함한다.
계수기 및 검지기는 깊이 정보를 기반으로 탑승자의 머리 위치 및 포즈를 추적하는 스테레오 카메라이다.
검지기는 촬영 정보로부터 탑승자의 관절 각각에 대한 정보를 취득하고, 이를 기반으로 움직임을 판단한다.
검지기는 탑승자의 코를 기준으로 얼굴을 추출하고, 양쪽 어깨와 골반의 위치로 상의를 추출한다.
탑승자 포즈는 탑승자의 손이 요금징수 단말기에 위치하는지 여부를 판단한다.
또한, 본 발명은 출입문 개폐기에서 출입문의 개폐 여부를 감지하는 출입문 개폐 단계, 출입문 개폐 단계의 출입문 개방 신호에 따라, 계수기에서 탑승자의 머리를 추적하여 승차 및 하차를 확인하는 계수 단계, 요금징수 단말기에서 탑승자의 단말기 태그에 따라 요금을 징수하는 요금징수 단계, 출입문 개폐 단계의 출입문 개방 신호에 따라, 검지기에서 탑승자의 포즈를 추적하여 요금징수 단말기에 태그 여부를 확인하는 검지 단계, 계수 단계의 탑승자 승차 후 요금징수 단계에서 요금 징수가 없을 경우, 검지 단계에서의 탑승자 포즈와 비교하여, 요금징수 단계를 거치지 않은 무임승차 징후자를 판단하고, 무임승차 징후자의 얼굴, 신장, 의류, 승하차 시간 등을 서버에서 검출 및 저장하는 단계를 포함한다.
계수 단계는 계수기에서 촬영되는 이미지의 배경을 모델링 하는 단계, 촬영되는 이미지를 이진화하고, 객체를 추출하는 단계, 탑승자의 머리 위치를 검출하는 단계, 탑승자의 머리를 추적하는 단계, 추적된 사용자의 머리 방향에 따라 탑승자의 승하차 여부를 판단하는 단계, 탑승자의 승하차 여부를 기반으로 계수 정보를 기록하는 단계를 포함한다.
검지 단계는 검지기에서 탑승자의 포즈를 검출하는 단계, 탑승자의 포즈를 추적하는 단계, 탑승자의 손이 요금징수 단말기에 위치하는지 여부를 판단하는 단계, 탑승자의 촬영 영역 이탈 여부를 판단하는 단계를 포함한다.
검출 및 저장하는 단계는 계수 단계에서 판단한 승차 여부와, 요금징수 단계에서의 요금징수 여부의 일치 여부를 비교 및 판단하고, 불일치할 경우, 검지 단계에서 탑승자의 손이 요금징수 단말기에 위치하지 않고 촬영 영역을 이탈하는 탑승자를 판단하는 무임승차 징후자 검지 단계와, 무임승차 징후자 판단 단계에서 판단된 무임승차 징후자의 얼굴, 신장, 의류, 승하차 시간을 포함하는 무임승차 징후자 특징 정보 추출 단계를 포함한다.
본 발명에 따르면, 요금 자율 지불식 차량에 설치된 요금징수 단말기와 더불어, 복수의 센서를 통해 무임으로 승차하는 탑승자를 검지하고, 이를 무임승차 징후자로 판단하여, 무임승차 징후자의 특징이 되는 정보를 추출할 수 있다.
따라서, 상습적인 무임 승차자를 향후 무임승차 징후자로 판단 및 관리함으로써, 향후 부정 승차를 방지할 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명에 따른 무임승차 징후자 검지 및 특징 정보 시스템의 개요도.
도 2는 본 발명에 따른 계수기에서 촬영한 이미지.
도 3은 본 발명에 따른 검지기에서 촬영한 이미지를 이용하여 신체 정보를 추출하는 도면.
도 4는 본 발명에 따른 검지기에서 촬영한 이미지를 이용하여 포즈를 추출하는 도면.
도 5는 본 발명에 따른 검지기에서 촬영한 이미지를 이용하여 골격을 추출하는 도면.
도 6 및 도 7은은 본 발명에 따른 서버에서 무임승차 징후자를 추적하는 비교도.
도 8은 본 발명에 따른 무임승차 징후자 검지 및 특징 정보 추출 방법의 순서도.
도 9는 본 발명에 따른 계수 단계의 순서도.
도 10은 본 발명에 따른 검지 단계의 순서도.
도 11은 본 발명에 따른 검출 및 저장하는 단계의 순서도.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
도 1은 본 발명에 따른 무임승차 징후자 검지 및 특징 정보 추출 시스템의 개요도이다.
도 1을 참조하면, 본 발명은 출입문을 개폐 및 검지하는 출입문 개폐기(100), 출입문 개폐기(100)의 출입문 개방 신호에 따라, 탑승자의 머리를 추적하여 승차 및 하차 여부를 확인하는 계수기(200), 탑승자의 단말기 태그에 따라 요금을 징수하는 요금징수 단말기(300), 출입문 개폐기(100)의 출입문 개방 신호에 따라, 탑승자의 포즈를 추적하여 요금징수 단말기(300)에 태그하는지 여부를 확인하는 검지기(400), 계수기(200)의 탑승자 승차 확인 후 요금징수 단말기(300)에 태그가 없을 경우, 검지기(400)의 탑승자 포즈와 비교하여 요금징수 단말기(300)에 태그하지 않은 무임승차 징후자를 판단하고, 무임승차 징후자의 얼굴, 신장, 의류, 승하차 시간 등을 검출 및 저장하는 서버(500)를 포함한다.
출입문 개폐기(100)는 출입문의 개폐 여부를 관리하거나 결정한다. 바람직하게 출입문 개폐기(100)는 레이저 거리계를 출입구 천장에 설치하며, 측정된 레이저 신호를 통해 측정된 거리가 미리 설정된 출입문까지의 거리와 비교하여, 변화가 감지되면 출입문의 개폐 여부를 검지하는 것이다.
도 2는 본 발명에 따른 계수기에서 촬영한 이미지이다.
도 2를 참조하면, 계수기(200)는 출입문 개폐기로부터 수신하는 출입문 개방 신호를 수신하고, 수신과 동시에 탑승자의 승차 및 하차 여부를 감지한다. 이러한 감지는 출입문 개폐기(100)로부터 출입문 개방 신호를 수신한 후, 출입문 폐쇄 신호를 수신할 때까지 수행한다. 즉, 출입문이 개방된 상태에서만 계수기(200)는 동작한다. 여기서, 탑승자의 승차 및 하차 여부를 판단하기 위해, 계수기(200)는 출입구의 상단에 위치하여, 카메라로 탑승자의 머리를 검출하고 추적하는 것이 바람직하다. 이러한 탑승자 검출 및 추적은 딥 러닝 기법인 CNN(Convolutional Neural Network)를 통해 머리, 모자 등을 이용하는 것이 바람직하다.
본 발명에서는 계수기(200)로 스테레오 카메라를 이용하였으며, 깊이(Depth) 정보를 바탕으로 머리를 검출한다. 즉, 스테레오 카메라가 설치된 천장에서의 기본 촬영 거리와, 발생하는 거리의 변화로 머리를 감지한다. 또한 탑승자의 승차 및 하차 계수시, 깊이 데이터로 승객의 신장 정보를 기록하며, 이를 기반으로 승차 및 하차 시간을 기록한다. 이러한, 승하차 시간은 향후 무임승차 징후자가 발생할 경우, 발생 시간을 추정하기 위해 사용되고, 승객의 신장 정보는 후술될 검지기(400)에서 무임승차 징후자의 얼굴 검출이 실패할 경우를 대비하여 사용된다.
요금징수 단말기(300)는 출입문 개폐기(100)의 주변에 위치하여, 승객이 요금 지불 카드를 태그 시, 청소년, 성인, 노약자 등의 인적 정보와, 승차 및 하차 위치, 시간 등을 기록하고, 요금을 징수한다.
도 3은 본 발명에 따른 검지기에서 촬영한 이미지를 이용하여 신체 정보를 추출하는 도면이고, 도 4는 본 발명에 따른 검지기에서 촬영한 이미지를 이용하여 포즈를 추출하는 도면이다.
도 3과 도 4를 참조하면, 검지기(400)는 탑승자 관절 부위 포인트를 추출하고, 자세를 추출하는 포즈 검출 기술을 이용한다. 본 발명에서는 관절 간의 비모수적 관계인 Part Affinity Fields(PAFs)를 이용하여 포인트를 검출하는 방법을 사용한다. 따라서, 이러한 포즈 검출 기술을 이용하여, 본 발명에서는 승객의 손이 요금징수 단말기가 위치한 영역 내에 일정 시간 이상 머물러 있는지 여부를 파악하고, 일정 시간 이상으로 머무르는 경우에만 요금을 지불한 것으로 판단한다. 또한, 추적 중인 탑승객이 요금징수 단말기(300)에 태그를 하지 않고, 검지기(400)의 감시 영역에서 벗어나는 경우에 이를 무임승차 징후자로 판단한다.
도 5는 본 발명에 따른 검지기에서 촬영한 이미지를 이용하여 골격을 추출하는 도면이다.
도 5를 참조하면, 컬러 이미지를 입력으로 취하며, 각 포인트에 대한 히트맵을 생성하고, 각 포인트 간의 연관성을 인코딩한다. 이와 같이 글로벌 컨텍스트를 인코딩하므로 인원 수에 상관없이 실시간으로 탑승자에 대한 탐지가 가능하다. 또한, 골격 히트맵으로부터 연관된 골격의 특징점을 연결한 후 랜더링을 통해 골격 이미지를 형성하고. 골격 추적을 바탕으로 무임승차 징후자를 판단할 수도 있다. 탑승객이 승차요금 징수기(300)에 태그를 하지 않고, 설정된 관심영역(ROI, Region of Interest)을 벗어날 경우, 이를 무임승차로 판단한다. 이를 위해 골격 이미지가 나타나는 화면에 관심영역이 되는 구역을 설정할 수 있으며, 설정된 구역만을 집중적으로 분석할 수 있다.
만약, 차량 내 혹은 출입구 주변의 혼잡도가 높을 경우와, 다수의 탑승객이 승차 및 하차할 경우에는, 탑승객의 포즈를 추적하는 것이 용이하지 않을 수 있다. 따라서, 이러한 경우에는 요금징수 단말기(300)에 태그를 한 탑승객이 무임승차 징후자로 오판단할 여지가 있다. 따라서, 이러한 오판단을 방지하기 위하여 계수기(200), 요금징수 단말기(300) 및 검지기(400)의 정보를 연동하여 더욱 정확한 무임승차 징후자의 검지를 할 필요가 있다.
도 6 및 도 7은은 본 발명에 따른 서버에서 무임승차 징후자를 추적하는 비교도이다.
도 6 및 도 7을 참조하면, 서버(500)는 계수기(200)에서 탑승자의 승차 시간을 기록하고, 요금징수 단말기(300)에서도 탑승자의 승차 시간을 기록한다. 또한, 기록들을 비교하여 계수기에서 기록한 탑승자의 수와, 요금징수 단말기(300)에서 기록한 요금징수 횟수를 비교한다.
예를 들어, 계수기(200)의 승차 기록이 총 10명으로 기록되었으나, 요금징수 단말기(300)의 태그 기록이 9명인 경우, 1명의 무임승차 징후자가 발생한 것을 알 수 있다. 계수기(200)에 기록된 승차 기록이 총 10명이고, 요금징수 단말기(300)의 태그 기록도 10명일 경우 무임승차는 없는 것으로 판단한다. 또한, 계수기(200)를 통해 기록된 승차 기록 시간과, 요금징수 단말기(300)의 태그 기록 시간을 비교하면 무임승차 징후자가 발생한 대략적인 시간도 추정할 수 있다.
만약, 계수기(200)의 승차 기록과 요금징수 단말기(300)의 태그 기록이 불일치할 경우, 서버(500)는 검지기(400)에서 촬영된 이미지와 비교하여, 동일한 시간대에 손이 일정 시간 이상 요금징수 단말기(500)에 머무르지 않은 탑승자를 검지하여 이를 무임승차 징후자로 판단한다. 즉, 탑승객의 손이 요금징수 단말기가 위치한 영역 내에 일정 시간 이상 머물러 있는지 여부에 따라 해당 탑승객은 요금을 지불한 것으로 판단한다. 만약, 요금징수 단말기(300)에 탑승객의 손이 머무르지 않고, 바로 감시 영역(관심 영역, ROI : Region Of Interest)를 벗어날 경우에는 즉각적으로 이를 무임승차 징후자로 판단한다.
다만, 요금징수 단말기(300)에 탑승객의 손이 머무르지 않더라도, 계수기(200)와 요금징수 단말기(300)의 탑승 기록이 일치할 경우에는 오검지로 판단하여, 무임승차 징후자로 판단하지 않는다.
서버(500)는 탑승자가 무임승차 징후자로 판단되면, 징후자의 특징 정보인 얼굴, 신장, 상의, 시간 등을 저장하고, 얼굴로부터 특징을 추출한다. 얼굴 특징은 딥러닝 기반의 CNN 네트워크를 통하여, 얼굴의 외각선, 텍스쳐, 비율, 세부적인 특징 등을 나타내는 256개의 실수형 특징 값을 이용한다. 즉, 특징이 되는 값을 추출한 이후에 얼굴 인식을 수행한다. 만약, 무임승차 징후자의 얼굴 이미지가 앞 사람의 신체, 모자, 가방 등에 의해 가려지거나 얼굴의 각도가 심하게 틀어진 경우에는 얼굴 인식이 불가능하므로, 얼굴 정보를 제외한 신장, 상의, 시간 정보만을 등록하여 관리한다.
다음은 무임승차 징후자 검지 및 특징 정보 추출 방법에 대해 도면을 참조하여 설명한다. 후술될 내용 중 전술된 본 발명에 따른 무임승차 징후자 검지 및 특징 정보 추출 시스템의 설명과 중복되는 내용은 생략하거나 간략히 설명한다.
도 8은 본 발명에 따른 무임승차 징후자 검지 및 특징 정보 추출 방법의 순서도이다.
도 8을 참조하면, 본 발명은 출입문 개폐기에서 출입문의 개폐 여부를 판단하는 출입문 개폐 단계(S1), 출입문 개폐 단계(S1)의 출입문 개방 신호에 따라 계수기(200)에서 탑승자의 머리를 추적하여 승차 및 하차를 확인하는 계수 단계(S2), 요금 징수 단말기(300)에서 탑승자의 단말기 태그에 따라 요금을 징수하는 요금징수 단계(S3), 출입문 개폐 단계(S1)의 출입문 개방 신호에 따라 검지기(400)에서 탑승자의 포즈를 추적하여 요금징수 단말기(300)에 태그 여부를 확인하는 검지 단계(S4), 계수 단계(S2)의 탑승자 승차 확인 후, 요금징수 단계(S3)에서 요금이 징수되지 않았을 경우 검지 단계(S4)에서의 탑승자 포즈와 비교하여, 요금징수 단계(S3)를 거치지 않은 무임승차 징후자를 판단하고, 무임승차 징후자의 얼굴, 신장, 의류, 승하차 시간 등의 정보를 서버(500)에서 검출 및 저장하는 단계(S5)를 포함한다.
출입문 개폐 단계(S1)는 출입문 개폐기(100)에서 출입문의 개폐 여부를 감지(관리)하거나 결정한다. 바람직하게 출입문 개폐 단계(S1)에서는 천장에서부터 측정된 레이저 신호를 통해, 출입문까지의 거리를 비교하여 거리의 변화가 감지될 경우 출입문이 개폐되었는지 여부를 판단한다.
도 9는 본 발명에 따른 계수 단계의 순서도이다.
도 9를 참조하면, 계수 단계(S2)는 출입문 개폐 단계(S1)로부터 수신하는 출입문 개방 신호를 수신하고, 수신과 동시에 탑승자의 승차 및 하차 여부를 계수기(200)에서 판단한다. 이러한 판단은 출입문 개폐 단계에서 검지된 출입문 개방 신호를 수신한 후, 출입문 폐쇄 신호를 수신할 때까지 수행하는 것으로, 출입문이 개방된 상태에서만 동작한다.
탑승자의 승차 및 하차 여부를 판단하기 위해, 계수기(200)는 출입구의 상단에 위치하여, 카메라로 탑승자의 머리를 검출하고 추적한다.
이를 위해, 계수 단계(S2)는 계수기에서 촬영되는 이미지의 배경을 모델링하는 단계(S2-1), 촬영되는 이미지를 이진화하고 대상이 되는 객체를 추출하는 단계(S2-2), 탑승자의 머리 위치를 검출하는 단계(S2-3), 탑승자의 머리를 추적하는 단계(S2-4), 탑승자의 승하차 여부를 판단하는 단계(S2-5), 계수기의 계수 정보를 기록하는 단계(S2-6)를 포함한다.
요금징수 단계(S3)는 요금징수 단말기(300)에서, 탑승객이 요금 지불 카드를 태그 시, 청소년, 성인, 노약자 등의 인적 정보와, 승차 및 하차 위치와 시간 등을 기록하고, 요금을 징수하는 단계이다.
도 10은 본 발명에 따른 검지 단계의 순서도이다.
도 10을 참조하면, 검지 단계(S4)는 검지기에서 탑승자의 포즈를 검출하는 단계(S4-1), 탑승자의 포즈를 추적하는 단계(S4-2), 탑승자의 손이 요금징수 단말기(300)에 위치하는지 여부를 판단하는 단계(S4-3), 탑승자가 촬영 영역을 이탈했는지 여부를 판단하는 단계(S4-4)를 포함한다.
도 11은 본 발명에 따른 검출 및 저장하는 단계(S5)의 순서도이다.
도 11을 참조하면, 검출 및 저장하는 단계(S5)는 계수 단계에서 판단한 승차 여부와, 요금징수 단계에서의 요금징수 여부가 일치하는지 여부를 비교 및 판단한다. 만약, 승차 여부와 요금징수 여부가 불일치할 경우 무임승차 징후자가 탑승한 것으로 판단한다. 따라서, 무임승차 징후자를 검지하기 위하여, 검지 단계에서 탑승자의 손이 요금징수 단말기에 위치하지 않고, 관심 영역(ROI)인 촬영 영역을 이탈하는 탑승자의 탑승 시간을 비교하여, 시간이 일치하는 탑승자를 무임승차 징후자로 판단하는 무임승차 징후자 판단 단계(S5-1), 무임승차 징후자 판단 단계(S5-1)에서 판단된 무임승차 징후자의 얼굴, 신장, 의류, 승하차 시간을 포함하는 정보를 저장하는 무임승차 징후자 특징 정보 추출 단계(S5-2)를 포함한다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.
100 : 출입문 개폐기 200 : 계수기
300 : 요금징수 단말기 400 : 검지기
500 : 서버

Claims (9)

  1. 출입문의 개폐 여부를 감지하는 출입문 개폐기와,
    상기 출입문 개폐기의 출입문 개방 신호에 따라, 탑승자의 머리를 추적하여 승차 및 하차를 확인하는 계수기,
    상기 탑승자의 단말기 태그에 따라 요금을 징수하는 요금징수 단말기,
    상기 출입문 개폐기의 출입문 개방 신호에 따라, 탑승자의 포즈를 추적하여 요금징수 단말기에 태그 여부를 확인하는 검지기, 및
    상기 계수기의 탑승자 승차 후 요금징수 단말기에 태그가 없을 경우, 상기 검지기에서 검지된 탑승자의 포즈에서 요금징수 단말기로 태그하는 행위가 포착되지 않는 탑승자를 무임승차 징후자로 판단하고, 무임승차 징후자의 얼굴, 신장, 상의, 승하차 시간 등을 검출 및 저장하는 서버를 포함하는 무임승차 징후자 검지 및 특징 정보 추출 시스템.
  2. 제1항에 있어서,
    상기 계수기 및 검지기는 깊이 정보를 기반으로 탑승자의 머리 위치 및 포즈를 추적하는 스테레오 카메라인 무임승차 징후자 검지 및 특징 정보 추출 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 검지기는 촬영 정보로부터 탑승자의 관절 각각에 대한 정보를 취득하고, 이를 기반으로 움직임을 판단하는 무임승차 징후자 검지 및 특징 정보 추출 시스템.
  4. 제3항에 있어서,
    상기 검지기는 탑승자의 코를 기준으로 얼굴을 추출하고,
    양쪽 어깨와 골반의 위치로 상의를 추출하는 무임승차 징후자 검지 및 특징 정보 추출 시스템.
  5. 제1항에 있어서,
    상기 탑승자 포즈는
    탑승자의 손이 요금징수 단말기에 위치하는지 여부를 판단하는 무임승차 징후자 검지 및 특징 정보 추출 시스템.
  6. 출입문 개폐기에서 출입문의 개폐 여부를 감지하는 출입문 개폐 단계와,
    상기 출입문 개폐 단계의 출입문 개방 신호에 따라, 계수기에서 탑승자의 머리를 추적하여 승차 및 하차를 확인하는 계수 단계,
    요금징수 단말기에서 탑승자의 단말기 태그에 따라 요금을 징수하는 요금징수 단계,
    상기 출입문 개폐 단계의 출입문 개방 신호에 따라, 검지기에서 탑승자의 포즈를 추적하여 요금징수 단말기에 태그 여부를 확인하는 검지 단계, 및
    상기 계수 단계의 탑승자 승차 후 요금징수 단계에서 요금 징수가 없으면, 상기 검지 단계에서의 탑승자 포즈와 비교하여, 요금징수 단계를 거치지 않은 무임승차 징후자를 판단하고, 무임승차 징후자의 얼굴, 신장, 의류, 승하차 시간 등을 서버에서 검출 및 저장하는 단계를 포함하는 무임승차 징후자 검지 및 특징 정보 추출 방법.
  7. 제 6항에 있어서,
    상기 출입문 개폐 단계의 출입문 개방 신호에 따라, 계수기에서 탑승자의 머리를 추적하여 승차 및 하차를 확인하는 계수 단계는,
    계수기에서 촬영되는 이미지의 배경을 모델링 하는 단계와,
    촬영되는 이미지를 이진화하고, 객체를 추출하는 단계,
    탑승자의 머리 위치를 검출하는 단계,
    탑승자의 머리를 추적하는 단계, 및
    추적된 사용자의 머리 방향에 따라 탑승자의 승하차 여부를 판단하는 단계를 탑승자의 승하차 여부를 기반으로 계수 정보를 기록하는 단계를 포함하는 무임승차 징후자 검지 및 특징 정보 추출 방법.
  8. 제 5항에 있어서,
    상기 출입문 개폐 단계의 출입문 개방 신호에 따라, 검지기에서 탑승자의 포즈를 추적하여 요금징수 단말기에 태그 여부를 확인하는 검지 단계는,
    검지기에서 탑승자의 포즈를 검출하는 단계와,
    탑승자의 포즈를 추적하는 단계,
    탑승자의 손이 요금징수 단말기에 위치하는지 여부를 판단하는 단계, 및
    탑승자의 촬영 영역 이탈 여부를 판단하는 단계를 포함하는 무임승차 징후자 검지 및 특징 정보 추출 방법.
  9. 제 8항에 있어서,
    상기 계수 단계의 탑승자 승차 후, 요금징수 단계에서 요금 징수가 없으면, 상기 검지 단계에서의 탑승자 포즈와 비교하여, 요금징수 단계를 거치지 않은 무임승차 징후자를 판단하고, 무임승차 징후자의 얼굴, 신장, 의류, 승하차 시간 등을 서버에서 검출 및 저장하는 단계는,
    상기 계수 단계에서 판단한 승차 여부와, 요금징수 단계에서의 요금징수 여부의 일치 여부를 비교 및 판단하고,
    불일치할 경우,
    검지 단계에서 탑승자의 손이 요금징수 단말기에 위치하지 않고 촬영 영역을 이탈하는 탑승자를 판단하는 무임승차 징후자 검지 단계와,
    상기 무임승차 징후자 판단 단계에서 판단된 무임승차 징후자의 얼굴, 신장, 의류, 승하차 시간을 포함하는 무임승차 징후자 특징 정보 추출 단계를 포함하는 무인 승차 징후자 검지 및 특징 정보 추출 방법.
KR1020180162209A 2018-12-14 2018-12-14 무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법 KR102160547B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180162209A KR102160547B1 (ko) 2018-12-14 2018-12-14 무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180162209A KR102160547B1 (ko) 2018-12-14 2018-12-14 무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법

Publications (2)

Publication Number Publication Date
KR20200074350A true KR20200074350A (ko) 2020-06-25
KR102160547B1 KR102160547B1 (ko) 2020-09-29

Family

ID=71400207

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180162209A KR102160547B1 (ko) 2018-12-14 2018-12-14 무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법

Country Status (1)

Country Link
KR (1) KR102160547B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060093622A (ko) * 2005-02-22 2006-08-25 삼성전자주식회사 대중교통 정보 안내 시스템 및 그 방법
KR100808543B1 (ko) * 2006-09-15 2008-02-29 한국과학기술연구원 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법
KR101200028B1 (ko) 2011-01-26 2012-11-09 한국철도기술연구원 초소형 ｒｆｉｄ 태그를 이용한 무임승차자 추적 시스템
KR20140114572A (ko) 2013-03-19 2014-09-29 한국철도공사 부정승차 관리시스템
KR101676441B1 (ko) * 2016-06-01 2016-11-15 이범수 출입 관리 시스템 및 출입 제어 방법
KR20170044841A (ko) * 2015-10-16 2017-04-26 노환기 무임승차권 부정사용 방지 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060093622A (ko) * 2005-02-22 2006-08-25 삼성전자주식회사 대중교통 정보 안내 시스템 및 그 방법
KR100808543B1 (ko) * 2006-09-15 2008-02-29 한국과학기술연구원 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법
KR101200028B1 (ko) 2011-01-26 2012-11-09 한국철도기술연구원 초소형 ｒｆｉｄ 태그를 이용한 무임승차자 추적 시스템
KR20140114572A (ko) 2013-03-19 2014-09-29 한국철도공사 부정승차 관리시스템
KR20170044841A (ko) * 2015-10-16 2017-04-26 노환기 무임승차권 부정사용 방지 장치 및 방법
KR101676441B1 (ko) * 2016-06-01 2016-11-15 이범수 출입 관리 시스템 및 출입 제어 방법

Also Published As

Publication number Publication date
KR102160547B1 (ko) 2020-09-29

Similar Documents

Publication Publication Date Title
KR100831122B1 (ko) 얼굴 인증 장치, 얼굴 인증 방법, 및 출입 관리 장치
Candamo et al. Understanding transit scenes: A survey on human behavior-recognition algorithms
CN102542797B (zh) 图像式的交通参数检测系统与方法
CN108961767A (zh) 基于四维实景交通仿真的高速公路稽查追逃费报警系统
JP6148065B2 (ja) 顔認証システム
CN106600774A (zh) 设有开门检测区域的人脸识别门禁控制方法和系统
KR102109647B1 (ko) 딥러닝을 이용한 대중교통수단의 승하차 계수 시스템 및 방법
CN111064925B (zh) 地铁乘客逃票行为检测方法和系统
CN111192391B (zh) 基于图像和/或视频的人行通道闸机控制方法和设备
CN102945603A (zh) 检测交通事件的方法及电子警察装置
CN105608431A (zh) 一种基于车辆数目与车流速度的高速公路拥堵检测方法
CN103632427B (zh) 一种道闸防砸方法及道闸控制系统
CN111814510B (zh) 一种遗留物主体检测方法及装置
CN108986472A (zh) 一种掉头车辆监控方法及装置
CN107644206A (zh) 一种道路异常行为动作检测装置
JP3218521B2 (ja) 画像センサによる移動体検知システム
KR101939350B1 (ko) 무임 승차 감지 방법 및 장치
KR102160547B1 (ko) 무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법
KR102167052B1 (ko) 무임 승객 정보 관리 시스템 및 그 방법
CN116168457A (zh) 一种地铁安检和售检票的安检票检一体化检验系统及方法
KR102109648B1 (ko) 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법
CN113611025A (zh) 一种新型轨道交通快速检人系统及方法
KR101950466B1 (ko) 부정 승차자 검출 시스템, 부정 승차자 검출 서버와 그 방법
KR102541686B1 (ko) 대중교통 이용자의 동선 추적 장치
Xu et al. Real time gesture (fall) recognition of traffic video based on multi-resolution human skeleton analysis

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant