KR20200074351A - 무임 승객 정보 관리 시스템 및 그 방법 - Google Patents
무임 승객 정보 관리 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR20200074351A KR20200074351A KR1020180162210A KR20180162210A KR20200074351A KR 20200074351 A KR20200074351 A KR 20200074351A KR 1020180162210 A KR1020180162210 A KR 1020180162210A KR 20180162210 A KR20180162210 A KR 20180162210A KR 20200074351 A KR20200074351 A KR 20200074351A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- passenger
- free
- module
- facial
- Prior art date
Links
- 238000007726 management method Methods 0.000 title claims description 61
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000001815 facial effect Effects 0.000 claims description 107
- 238000001514 detection method Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 17
- 238000013135 deep learning Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G06K9/46—
-
- G06K9/00221—
-
- G06K9/00268—
-
- G06K9/00281—
-
- G06K9/00288—
-
- G06Q50/40—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
본 발명은 무임 승객 정보 관리 시스템 및 그 방법에 대한 것으로서, 특히 영상을 통해 승객 얼굴을 검지하여 무임승차 정보를 생성하고 이를 기존의 무임승차 정보와 비교하여 무임 승객 정보를 관리하는 시스템 및 그 방법에 관한 것이다. 본 발명에 따른 무임 승객 정보 관리 시스템 및 그 방법은 영상에서 승객 얼굴을 검지한 후 이를 기존의 무임승차 정보과 비교하여 매칭도에 따라 무임 징후자 정보를 갱신하거나 새로운 무임 승객 정보를 생성함으로써 트램이나 버스의 무임 승객 정보를 효과적으로 관리할 수 있다.
Description
본 발명은 무임 승객 정보 관리 시스템 및 그 방법에 대한 것으로서, 특히 영상을 통해 승객 얼굴을 검지하여 무임승차 정보를 생성하고 이를 기존의 무임승차 정보와 비교하여 무임 승객 정보를 관리하는 시스템 및 그 방법에 관한 것이다.
트램이나 버스는 교통수단의 하나로서 하나 이상의 출입문을 통해 승객을 승하차 시킨다. 이러한 트램이나 버스는 지하철과는 상이하게 내부에 요금을 수납하는 요금수납 단말기가 설치된다. 따라서, 무임 승차하는 무임 승객이 존재하며, 특히 출입문이 여러개인 트램은 무임 승객이 많다. 하지만, 트램의 특성 상 다수개의 출입문을 통해 다수의 승객이 동시에 승하차하기 때문에 무임 승객을 단속하고 관리하는데 한계가 있다. 따라서, 효과적으로 무임 승객을 인식하고 무임 승객 정보를 관리할 수 있는 기술이 요구되고 있다.
본 발명의 목적은 트램이나 버스의 무임 승객 정보를 효과적으로 관리할 수 있는 시스템과 방법을 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명에 따른 무임 승객 정보 관리 시스템은, 출입문으로 승하차하는 승객을 감지하는 계수기와, 상기 계수기가 승객을 감지하면 승객의 영상을 획득하는 카메라, 및 상기 카메라에서 획득된 영상에서 승객 얼굴을 포함하는 무임 승객 정보를 획득하고 기 저장된 무임 승객 정보와 비교하여 매칭되는 횟수에 따라 무임승차 징후자와 무임 승차자로 구분하여 관리하는 무임승객 정보관리 서버를 포함한다.
상기 무임승객 정보관리 서버는, 상기 영상에 SSD(Single Shot MultiBox Detector)를 적용하여 승객 얼굴을 검출하는 얼굴 검출 모듈과, 상기 얼굴 검출 모듈에서 검출된 승객 얼굴에서 얼굴 특징을 획득하는 얼굴 특징 획득 모듈, 및 상기 얼굴 특징 획득 모듈에서 획득된 얼굴 특징과 기 지정된 얼굴 특징을 비교하여 얼굴을 인식하는 얼굴 인식 모듈을 포함한다.
상기 얼굴 특징 획득 모듈은, 상기 얼굴 검출 모듈에서 검출된 승객 얼굴에 회귀 앙상블 트리를 이용하여 68개의 랜드마크 특징점을 추출하는 얼굴 정규화 모듈과, 상기 얼굴 정규화 모듈에서 추출된 68개의 랜드마크 특징점을 기반으로, 딥러닝 기반의 CNN 네트워크를 통해 얼굴의 외각선, 텍스쳐, 비율, 및 세부적인 특징을 포함하는 승객 얼굴 특징을 나타내는 256개의 실수형 특징 값을 포함하는 얼굴 특징을 추출하는 얼굴 특징 추출 모듈을 포함한다.
상기 얼굴 인식 모듈은, 상기 얼굴 특징 추출 모듈에서 추출된 얼굴 특징을 얼굴 데이터베이스에 저장된 얼굴 특징과 매칭하는 얼굴 특징 매칭 모듈과, 상기 얼굴 특징 매칭 모듈에서 매칭된 얼굴 특징의 매칭도를 미리 설정된 임계치와 비교하는 임계치 적용 모듈, 상기 매칭도가 임계치 이상일 경우, 매칭도가 임계치 이상인 얼굴 특징에 대응되는 상기 얼굴 데이터베이스에 저장된 무임 징후자 정보에서 무임 승차 횟수를 증가시키고, 상기 매칭도가 임계치 미만일 경우, 매칭도가 임계치 미만인 얼굴 특징의 무임 승객 정보를 생성하여 상기 얼굴 데이터베이스에 저장하는 얼굴 정보 등록 모듈을 포함하며, 상기 무임 승객 정보는 승객의 얼굴 특징과 승객의 신장, 승객이 착용한 상의, 및 승객이 탑승한 시간을 포함한다.
상기 무임승객 정보관리 서버는 상기 승객을 감지하는 교통수단마다 설치되며, 상기 교통수단마다 설치된 무임승객 정보관리 서버와 연동되어 무임 승객 정보를 통합 관리하는 무임승차자 관리 서버를 더 포함할 수 있다.
또한, 본 발명에 따른 무임 승객 정보 관리 방법은, 계수기가 출입문으로 승하차하는 승객을 감지하면 카메라가 획득한 영상을 포함하는 무임 징후자 정보를 전송하는 단계와, 상기 카메라에서 획득된 영상에서 승객 얼굴을 포함하는 무임 승객 정보를 획득하고 기 저장된 무임 승객 정보와 비교하여 매칭되는 횟수에 따라 무임승차 징후자와 무임 승차자로 구분하여 관리하는 단계를 포함한다.
상기 카메라에서 획득된 영상에서 승객 얼굴을 포함하는 무임 승객 정보를 획득하고 기 저장된 무임 승객 정보와 비교하여 매칭되는 횟수에 따라 무임승차 징후자와 무임 승차자로 구분하여 관리하는 단계는, 상기 영상에 SSD(Single Shot MultiBox Detector)를 적용하여 얼굴 검출 모듈이 승객 얼굴을 검출하는 단계와, 상기 얼굴 검출 모듈에서 검출된 승객 얼굴에서 얼굴 특징 획득 모듈 이 얼굴 특징을 획득하는 단계, 및 상기 얼굴 특징 획득 모듈에서 획득된 얼굴 특징과 기 지정된 얼굴 특징을 비교하여 얼굴 인식 모듈이 얼굴을 인식하는 단계를 포함한다.
상기 얼굴 검출 모듈에서 검출된 승객 얼굴에서 얼굴 특징 획득 모듈 이 얼굴 특징을 획득하는 단계는, 상기 얼굴 검출 모듈에서 검출된 승객 얼굴에 얼굴 정규화 모듈이 회귀 앙상블 트리를 이용하여 68개의 랜드마크 특징점을 추출하는 단계와, 상기 얼굴 정규화 모듈에서 추출된 68개의 랜드마크 특징점을 기반으로, 얼굴 특징 추출 모듈이 딥러닝 기반의 CNN 네트워크를 통해 얼굴의 외각선, 텍스쳐, 비율, 및 세부적인 특징을 포함하는 승객 얼굴 특징을 나타내는 256개의 실수형 특징 값을 포함한다.
상기 얼굴 특징 획득 모듈에서 획득된 얼굴 특징과 기 지정된 얼굴 특징을 비교하여 얼굴 인식 모듈이 얼굴을 인식하는 단계는, 상기 얼굴 특징 추출 모듈에서 추출된 얼굴 특징을 얼굴 특징 매칭 모듈이 얼굴 데이터베이스에 저장된 얼굴 특징과 매칭하는 단계와, 상기 얼굴 특징 매칭 모듈에서 매칭된 얼굴 특징의 매칭도를 미리 설정된 임계치와 임계치 적용 모듈이 비교하는 단계, 상기 매칭도가 임계치 이상일 경우, 얼굴 정보 등록 모듈이 매칭도가 임계치 이상인 얼굴 특징에 대응되는 상기 얼굴 데이터베이스에 저장된 무임 징후자 정보에서 무임 승차 횟수를 증가시키고, 상기 매칭도가 임계치 미만일 경우, 매칭도가 임계치 미만인 얼굴 특징의 무임 승객 정보를 생성하여 상기 얼굴 데이터베이스에 저장하는 단계를 포함하며, 상기 무임 승객 정보는 승객의 얼굴 특징과 승객의 신장, 승객이 착용한 상의, 및 승객이 탑승한 시간을 포함한다.
상기 무임승객 정보관리 서버는 상기 승객을 감지하는 교통수단마다 설치되며, 상기 교통수단마다 설치된 무임승객 정보관리 서버와 무임승차자 관리 서버가 연동되어 무임 승객 정보를 통합 관리하는 단계를 더 포함할 수 있다.
본 발명에 따른 무임 승객 정보 관리 시스템 및 그 방법은 영상에서 승객 얼굴을 검지한 후 이를 기존의 무임승차 정보과 비교하여 매칭도에 따라 무임 징후자 정보를 갱신하거나 새로운 무임 승객 정보를 생성함으로써 트램이나 버스의 무임 승객 정보를 효과적으로 관리할 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명에 따른 무임 승객 정보 관리 시스템의 개념도이다.
도 2는 본 발명에 따른 무임 승객 정보 관리 시스템에서 얼굴인식기의 설치 위치를 도시한 도면이다.
도 3은 본 발명에 따른 무임승차 정보관리 서버의 블록도이다.
도 4는 본 발명에 따른 무임 승객 정보 관리 시스템(SSD)과 Haar, Hog, MMOD를 비교한 도면이다.
도 5는 gtav face database의 예시이다.
도 6은 본 발명에 따른 무임 승객 정보 관리의 얼굴 정규화 모듈을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 무임 승객 정보 관리 방법의 순서도이다.
도 2는 본 발명에 따른 무임 승객 정보 관리 시스템에서 얼굴인식기의 설치 위치를 도시한 도면이다.
도 3은 본 발명에 따른 무임승차 정보관리 서버의 블록도이다.
도 4는 본 발명에 따른 무임 승객 정보 관리 시스템(SSD)과 Haar, Hog, MMOD를 비교한 도면이다.
도 5는 gtav face database의 예시이다.
도 6은 본 발명에 따른 무임 승객 정보 관리의 얼굴 정규화 모듈을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 무임 승객 정보 관리 방법의 순서도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
이하에서는, 본 발명의 몇몇 실시예에 따른 무임 승객 정보 관리 시스템 및 그 방법을 설명하도록 한다.
도 1은 본 발명에 따른 무임 승객 정보 관리 시스템의 개념도이다.
본 발명에 따른 무임 승객 정보 관리 시스템은 도 1에 도시된 바와 같이, 출입문으로 승차 및 하차하는 승객을 계수하는 계수기(100)와, 계수기(100)에서 승차 및 하차하는 승객을 감지하면 해당 승객을 포함하는 영상을 획득하는 카메라(200), 카메라(200)에서 획득된 영상을 기반으로 승객 얼굴을 감지하여 무임승차 정보를 생성하고 관리하는 무임승차 정보관리 서버(300), 무임승차 정보관리 서버(300)와 접속된 무임승차자 관리 서버(500), 및 무임승차자 관리 서버(500)와 연결되며 스위칭 허브(400)를 통해 무임승차 정보관리 서버(300) 및 카메라(200)와 접속되는 관리자 단말기(600)를 포함한다. 여기서, 스위칭 허브(400)는 하나의 예시일 뿐이며 무임승차 정보관리 서버(300)와 무임승차자 관리 서버(500)는 스위칭 허브(400) 외의 구성으로도 서로 연결될 수 있다.
계수기(100)는 출입문 개방 시 승객의 승차 및 하차를 인식한다. 이를 위해서, 계수기(100)는 출입문 개방 시 출입문 개방 신호를 수신한 후 출입문 폐쇄 신호가 수신될 때까지 승객의 승차 및 하차를 인식할 수 있다. 또한, 계수기(100)는 카메라(200)를 이용하여 출입문의 상단에 위치되어 승객의 머리를 검출하고 추적할 수 있다. 또한, 승객 검출 및 추적은 딥 러닝 기법인 CNN(Convolutional Neural Network)를 통해 머리, 모자 등을 학습하는 방법을 이용할 수 있다. 이러한 계수기(100)는 스테레오 카메라를 포함할 수 있으며 깊이 정보를 바탕으로 승객의 머리를 검출할 수 있다. 즉, 스테레오 카메라가 설치된 천장의 높이와 스테레오 카메라로부터 검출된 머리까지의 거리 차이로 승객의 머리를 검출할 수 있다. 또한, 계수기(100)는 승객 머리 검출뿐만 아니라 승객의 신장도 검출할 수 있다. 물론, 계수기(100)가 승객을 검출하면, 해당 승객의 승차 및 하차 시간도 자동으로 획득할 수 있다.
도 2는 본 발명에 따른 무임 승객 정보 관리 시스템에서 얼굴인식기의 설치 위치를 도시한 도면이다.
카메라(200)는 계수기(100)가 작동하거나 출입문 개방 신호를 수신하면 출입문 방향의 영상을 획득한다. 또한, 이에 따라 카메라(200)는 출입문을 포함하는 승객 영상을 획득할 수 있다. 여기서, 트램이나 버스의 경우 승차하는 승객의 얼굴이 앞 사람이나 하차하는 다른 승객에 의해 가려지는 상황이 빈번하게 발생된다. 따라서, 도 2에 도시된 바와 같이, 카메라(200)를 트램이나 버스의 천장에 설치하여 얼굴을 인식하고자 하는 승객의 얼굴이 최대한 가려지지 않도록 한다.
도 3은 본 발명에 따른 무임승차 정보관리 서버의 블록도이다.
무임승차 정보관리 서버(300)는 카메라(200)에서 획득된 영상을 기반으로 트램이나 버스 등에 탑승한 승객의 얼굴을 인식하고 무임승차 정보를 생성 및 관리한다. 이를 위해서, 무임승차 정보관리 서버(300)는 도 3에 도시된 바와 같이, 영상에서 승객의 얼굴을 검출하는 얼굴 검출 모듈(310)과, 검출된 얼굴에서 얼굴 특징을 획득하는 얼굴 특징 획득 모듈(320), 및 획득된 얼굴 특징으로 승객 얼굴을 인식하는 얼굴 인식 모듈(330)을 포함한다.
도 4는 본 발명에 따른 무임 승객 정보 관리 시스템(SSD)과 Haar, Hog, MMOD를 비교한 도면이고, 도 5는 gtav face database의 예시이다.
얼굴 검출 모듈(310)은 영상에서 승객의 얼굴을 검출한다. 카메라(200)를 천장에 설치하는 경우 승객의 정면 얼굴이 획득되는 것이 아니므로 기존의 얼굴 검출 알고리즘을 적용하기는 어렵다. 따라서 본 발명은 실시간 딥러닝 객체 검출 기술인 SSD(Single Shot MultiBox Detector)를 적용한다. 도 4를 참조하면, 트램의 카메라(200) 설치 환경에서 기존 얼굴 알고리즘인 Haar, Hog, MMOD는 승객의 얼굴을 제대로 검출하지 못하는 반면, 본 발명에 따른 얼굴 검출 모듈(310)은 얼굴 검출이 가능하며 다른 알고리즘에 비해 정확히 얼굴 영역을 취득하는 것을 알 수 있다. 기존의 16비트 부동소수점 기 학습 모델인 res_300×300_ssd_iter_140000_fp16.caffmodel은 LMDM 데이터베이스로부터 학습되어 다각도 얼굴 검출에 강점이 있으나 폐색 상황에 대해서는 견고하지 않다. 따라서, 본 발명은 도 5에 도시된 다양한 각도의 얼굴이 포함된 gtav face database의 폐색 얼굴을 기반으로 SSD를 적용하여 얼굴 검출 모듈(310)을 학습시킨다. 한편, 얼굴 검출 모듈(310)은 무임 승객의 얼굴 이미지가 앞 사람이나 모자, 가방 등에 의해 가려지거나 얼굴의 각도가 심하게 틀어진 경우 얼굴인식이 불가능하므로, 이 경우 승객의 얼굴 정보를 제외한 신장, 상의, 시간 정보만 얼굴 데이터베이스(334)에 등록하여 관리한다.
얼굴 특징 획득 모듈(320)은 얼굴 검출 모듈(310)에서 검출된 승객 얼굴에서 얼굴 특징을 획득한다. 이를 위해서, 얼굴 특징 획득 모듈(320)은 얼굴 검출 모듈(310)에서 검출된 승객 얼굴을 정규화하는 얼굴 정규화 모듈(321)과, 얼굴 정규화 모듈(321)에서 정규화된 승객 얼굴에서 얼굴 특징을 추출하는 얼굴 특징 추출 모듈(322)을 포함한다.
도 6은 본 발명에 따른 무임 승객 정보 관리의 얼굴 정규화 모듈을 설명하기 위한 도면이다.
얼굴 정규화 모듈(321)은 도 6에 도시된 바와 같이, 얼굴 특징 획득 모듈(320)에서 획득된 승객 얼굴에서 회귀 앙상블 트리를 이용하여 68개의 랜드마크 특징점을 추출한다. 또한, 추출된 랜드마크 특징점을 이용하여 얼굴의 크기 및 각도를 정규화한다.
얼굴 특징 추출 모듈(322)은 얼굴 정규화 모듈(321)에서 정규화된 승객 얼굴에서 얼굴 인식을 위한 얼굴 특징을 추출한다. 여기서, 추출되는 얼굴 특징은 딥러닝 기반의 CNN 네트워크를 통해 얼굴의 외각선, 텍스쳐, 비율, 및 기타 세부적인 특징 등을 나타내는 256개의 실수형 특징 값을 포함한다.
얼굴 인식 모듈(330)은 얼굴 특징 추출 모듈(322)에서 추출된 얼굴 특징을 기반으로 승객 얼굴을 인식한다. 이는 얼굴 인식 모듈(330)이 얼굴 특징 매칭 모듈(331)과, 임계치 적용 모듈(332), 얼굴 정보 등록 모듈(333), 및 얼굴 데이터베이스(334)를 포함함에 따라 이루어진다. 여기서, 얼굴 인식 모듈(330)은 CASIA 데이터베이스의 493,582개의 얼굴을 통해 7개층 CNN 레이어로 학습된다.
얼굴 특징 매칭 모듈(331)은 얼굴 특징 추출 모듈(322)에서 추출된 얼굴 특징을 얼굴 데이터베이스(334)에 저장된 얼굴 특징과 매칭시킨다. 여기서, 얼굴 특징 매칭 모듈(331)이 매칭하는 얼굴 특징은 딥러닝 기반의 CNN 네트워크를 통해 얼굴의 외각선, 텍스쳐, 비율, 및 기타 세부적인 특징 등을 나타내는 256개의 실수형 특징 값을 포함한다.
임계치 적용 모듈(332)은 얼굴 특징 매칭 모듈(331)에서 매칭된 얼굴 특징에 임계치를 적용한다. 여기서, 임계치 적용 모듈(332)은 임계치 이상일 경우 얼굴 특징 추출 모듈(322)에서 추출된 얼굴 특징과 얼굴 데이터베이스(334)에 저장된 얼굴 특징이 동일한 것으로 판단하며, 임계치 미만일 경우 얼굴 특징 추출 모듈(322)에서 추출된 얼굴 특징과 얼굴 데이터베이스(334)에 저장된 얼굴 특징이 서로 상이한 것으로 판단한다.
얼굴 정보 등록 모듈(333)은 임계치 적용 모듈(332)에서 임계치 미만으로 얼굴 특징이 서로 상이한 것으로 판단된 승객을 얼굴 데이터베이스(334)에 신규 무임 승객으로 등록한다. 여기서, 등록되는 무임 승객 정보는 얼굴 특징과 승객의 신장, 승객이 착용한 상의, 승객이 탑승한 시간을 포함한다. 또한, 얼굴 데이터베이스(334)에 일치하는 얼굴 특징이 있는 경우 기존의 무임승차 징후자 정보에 추가하고 해당 무임승차 징후자의 무임 승차 횟수를 증가시킨다. 본 실시예는 승객이 무임승차 징후자 정보에 3회 미만 등록되면 무임 승차 징후자로 판단하고, 3회 이상 등록되면 무임 승차자로 판단한다. 여기서, 버스의 경우 차고지, 트램의 경우 출발역 또는 도착역에 있는 센터의 무임승차자 관리 서버(500)에 각 차량에서 발생한 무임 승차 정보를 누적 등록한다. 누적 등록된 무임 승차 정보 중 무임승차 징후자와 신규 무임 승차자에 대한 무임 승차 정보를 차량의 무임승객 정보관리 서버에 다시 전송한다.
얼굴 데이터베이스(334)는 얼굴 특징을 포함하는 무임 승객 정보를 포함한다. 또한, 무임 승객 정보는 전술된 바와 같이, 얼굴 특징과 승객의 신장, 승객이 착용한 상의, 승객이 탑승한 시간을 포함한다.
무임승차 정보관리 서버(300)는 트램이나 버스를 포함하는 교통수단에 설치된 무임승객 정보관리 서버와 연동되어 무임 승객 정보를 통합 관리한다. 이에 따라, 무임승차 정보관리 서버(300)는 교통수단을 이용한 승객의 숫자와, 무임승차 징후자 및 무임 승차자를 포함하는 무임 승객 정보를 관리할 수 있다.
관리자 단말기(600)는 교통수단에 설치된 무임승객 정보관리 서버(300)와, 차고자 또는 역마다 설치된 무임승차자 관리 서버(300)와 연결되어 무임 승객 정보를 열람 및 관리할 수 있다.
상술한 바와 같이, 본 발명은 영상에서 승객 얼굴을 검지한 후 이를 기존의 무임승차 정보과 비교하여 매칭도에 따라 무임 징후자 정보를 갱신하거나 새로운 무임 승객 정보를 생성함으로써 트램이나 버스의 무임 승객 정보를 효과적으로 관리할 수 있다.
다음은 본 발명에 따른 무임 승객 정보 관리 방법에 대해 도면을 참조하여 설명한다. 후술될 내용 중 전술된 본 발명에 따른 무임 승객 정보 관리 시스템의 설명과 중복되는 내용은 생략하거나 간략히 설명한다.
도 7은 본 발명에 따른 무임 승객 정보 관리 방법의 순서도이다.
본 발명에 따른 무임 승객 정보 관리 방법은 도 7에 도시된 바와 같이, 무임 징후자 정보를 전송하는 단계와, 얼굴을 인식하는 단계, 무임 징후자 정보를 관리하는 단계를 포함한다.
무임 징후자 정보를 전송하는 단계는 트램이나 버스 내에 설치된 카메라가 영상을 포함하는 무임 징후자 정보를 획득한 후 전송한다. 이는 계수기가 작동하거나 출입문이 개방되면 수행될 수 있다. 여기서, 무임 징후자 정보는 계수기에 의해 획득된 승객 신장과 승객 탑승 시각, 카메라에 의해 획득된 영상을 포함한다.
얼굴을 인식하는 단계는 무임 징후자 정보를 전송하는 단계에서 획득된 무임 징후자 정보를 기반으로 승객의 얼굴을 인식한다. 여기서, 얼굴을 인식하는 단계는, 영상에 SSD(Single Shot MultiBox Detector)를 적용하여 얼굴 검출 모듈이 승객 얼굴을 검출하고, 얼굴 검출 모듈에서 검출된 승객 얼굴에서 얼굴 특징 획득 모듈 이 얼굴 특징을 획득한다. 또한, 얼굴 특징 획득 모듈에서 획득된 얼굴 특징과 기 지정된 얼굴 특징을 비교하여 얼굴 인식 모듈이 얼굴을 인식한다.
여기서, 얼굴 특징을 획득하는 단계는, 얼굴 검출 모듈에서 검출된 승객 얼굴에 얼굴 정규화 모듈이 회귀 앙상블 트리를 이용하여 68개의 랜드마크 특징점을 추출한다. 또한, 얼굴 정규화 모듈에서 추출된 68개의 랜드마크 특징점을 기반으로, 얼굴 특징 추출 모듈이 딥러닝 기반의 CNN 네트워크를 통해 얼굴의 외각선, 텍스쳐, 비율, 및 세부적인 특징을 포함하는 승객 얼굴 특징을 나타내는 256개의 실수형 특징 값을 포함하는 얼굴 특징을 추출한다.
얼굴을 인식하는 단계는, 얼굴 특징 추출 모듈에서 추출된 얼굴 특징을 얼굴 특징 매칭 모듈이 얼굴 데이터베이스에 저장된 얼굴 특징과 매칭한다. 이후, 얼굴 특징 매칭 모듈에서 매칭된 얼굴 특징의 매칭도를 미리 설정된 임계치와 임계치 적용 모듈이 비교한다.
무임 징후자 정보를 관리하는 단계는 얼굴을 인식하는 단계에서, 매칭도가 임계치 이상일 경우, 얼굴 정보 등록 모듈이 매칭도가 임계치 이상인 얼굴 특징에 대응되는 얼굴 데이터베이스에 저장된 무임 징후자 정보에서 무임 승차 횟수를 증가시키고, 매칭도가 임계치 미만일 경우, 매칭도가 임계치 미만인 얼굴 특징의 무임 승객 정보를 생성하여 얼굴 데이터베이스에 저장한다.
한편, 본 발명은 교통수단마다 설치된 무임승객 정보관리 서버와 무임승차자 관리 서버가 연동되어 무임 승객 정보를 통합 관리하는 단계를 더 포함할 수 있다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.
100: 계수기
200: 카메라
300: 무임승차 정보관리 서버 310: 얼굴 검출 모듈
320: 얼굴 특징 획득 모듈 321: 얼굴 정규화 모듈
322: 얼굴 특징 추출 모듈 330: 얼굴 인식 모듈
331: 얼굴 특징 매칭 모듈 332: 임계치 적용 모듈
333: 얼굴 정보 등록 모듈 334: 얼굴 데이터베이스
400: 스위칭 허브 500: 무임승차자 관리 서버
600: 관리자 단말기
300: 무임승차 정보관리 서버 310: 얼굴 검출 모듈
320: 얼굴 특징 획득 모듈 321: 얼굴 정규화 모듈
322: 얼굴 특징 추출 모듈 330: 얼굴 인식 모듈
331: 얼굴 특징 매칭 모듈 332: 임계치 적용 모듈
333: 얼굴 정보 등록 모듈 334: 얼굴 데이터베이스
400: 스위칭 허브 500: 무임승차자 관리 서버
600: 관리자 단말기
Claims (10)
- 출입문으로 승하차하는 승객을 감지하는 계수기와,
상기 계수기가 승객을 감지하면 승객의 영상을 획득하는 카메라, 및
상기 카메라에서 획득된 영상에서 승객 얼굴을 포함하는 무임 승객 정보를 획득하고 기 저장된 무임 승객 정보와 비교하여 매칭되는 횟수에 따라 무임승차 징후자와 무임 승차자로 구분하여 관리하는 무임승객 정보관리 서버를 포함하는 무임 승객 정보 관리 시스템.
- 제1항에 있어서,
상기 무임승객 정보관리 서버는,
상기 영상에 SSD(Single Shot MultiBox Detector)를 적용하여 승객 얼굴을 검출하는 얼굴 검출 모듈과,
상기 얼굴 검출 모듈에서 검출된 승객 얼굴에서 얼굴 특징을 획득하는 얼굴 특징 획득 모듈, 및
상기 얼굴 특징 획득 모듈에서 획득된 얼굴 특징과 기 지정된 얼굴 특징을 비교하여 얼굴을 인식하는 얼굴 인식 모듈을 포함하는 무임 승객 정보 관리 시스템.
- 제2항에 있어서,
상기 얼굴 특징 획득 모듈은,
상기 얼굴 검출 모듈에서 검출된 승객 얼굴에 회귀 앙상블 트리를 이용하여 68개의 랜드마크 특징점을 추출하는 얼굴 정규화 모듈과,
상기 얼굴 정규화 모듈에서 추출된 68개의 랜드마크 특징점을 기반으로, 딥러닝 기반의 CNN 네트워크를 통해 얼굴의 외각선, 텍스쳐, 비율, 및 세부적인 특징을 포함하는 승객 얼굴 특징을 나타내는 256개의 실수형 특징 값을 포함하는 얼굴 특징을 추출하는 얼굴 특징 추출 모듈을 포함하는 무임 승객 정보 관리 시스템.
- 제3항에 있어서,
상기 얼굴 인식 모듈은,
상기 얼굴 특징 추출 모듈에서 추출된 얼굴 특징을 얼굴 데이터베이스에 저장된 얼굴 특징과 매칭하는 얼굴 특징 매칭 모듈과,
상기 얼굴 특징 매칭 모듈에서 매칭된 얼굴 특징의 매칭도를 미리 설정된 임계치와 비교하는 임계치 적용 모듈,
상기 매칭도가 임계치 이상일 경우, 매칭도가 임계치 이상인 얼굴 특징에 대응되는 상기 얼굴 데이터베이스에 저장된 무임 징후자 정보에서 무임 승차 횟수를 증가시키고, 상기 매칭도가 임계치 미만일 경우, 매칭도가 임계치 미만인 얼굴 특징의 무임 승객 정보를 생성하여 상기 얼굴 데이터베이스에 저장하는 얼굴 정보 등록 모듈을 포함하며,
상기 무임 승객 정보는 승객의 얼굴 특징과 승객의 신장, 승객이 착용한 상의, 및 승객이 탑승한 시간을 포함하는 무임 승객 정보 관리 시스템.
- 제4항에 있어서,
상기 무임승객 정보관리 서버는 상기 승객을 감지하는 교통수단마다 설치되며,
상기 교통수단마다 설치된 무임승객 정보관리 서버와 연동되어 무임 승객 정보를 통합 관리하는 무임승차자 관리 서버를 더 포함하는 무임 승객 정보 관리 시스템.
- 계수기가 출입문으로 승하차하는 승객을 감지하면 카메라가 획득한 영상을 포함하는 무임 징후자 정보를 전송하는 단계와,
상기 카메라에서 획득된 영상에서 승객 얼굴을 포함하는 무임 승객 정보를 획득하고 기 저장된 무임 승객 정보와 비교하여 매칭되는 횟수에 따라 무임승차 징후자와 무임 승차자로 구분하여 관리하는 단계를 포함하는 무임 승객 정보 관리 방법.
- 제6항에 있어서,
상기 카메라에서 획득된 영상에서 승객 얼굴을 포함하는 무임 승객 정보를 획득하고 기 저장된 무임 승객 정보와 비교하여 매칭되는 횟수에 따라 무임승차 징후자와 무임 승차자로 구분하여 관리하는 단계는,
상기 영상에 SSD(Single Shot MultiBox Detector)를 적용하여 얼굴 검출 모듈이 승객 얼굴을 검출하는 단계와,
상기 얼굴 검출 모듈에서 검출된 승객 얼굴에서 얼굴 특징 획득 모듈 이 얼굴 특징을 획득하는 단계, 및
상기 얼굴 특징 획득 모듈에서 획득된 얼굴 특징과 기 지정된 얼굴 특징을 비교하여 얼굴 인식 모듈이 얼굴을 인식하는 단계를 포함하는 무임 승객 정보 관리 방법.
- 제7항에 있어서,
상기 얼굴 검출 모듈에서 검출된 승객 얼굴에서 얼굴 특징 획득 모듈 이 얼굴 특징을 획득하는 단계는,
상기 얼굴 검출 모듈에서 검출된 승객 얼굴에 얼굴 정규화 모듈이 회귀 앙상블 트리를 이용하여 68개의 랜드마크 특징점을 추출하는 단계와,
상기 얼굴 정규화 모듈에서 추출된 68개의 랜드마크 특징점을 기반으로, 얼굴 특징 추출 모듈이 딥러닝 기반의 CNN 네트워크를 통해 얼굴의 외각선, 텍스쳐, 비율, 및 세부적인 특징을 포함하는 승객 얼굴 특징을 나타내는 256개의 실수형 특징 값을 포함하는 얼굴 특징을 추출하는 단계를 포함하는 무임 승객 정보 관리 방법.
- 제8항에 있어서,
상기 얼굴 특징 획득 모듈에서 획득된 얼굴 특징과 기 지정된 얼굴 특징을 비교하여 얼굴 인식 모듈이 얼굴을 인식하는 단계는,
상기 얼굴 특징 추출 모듈에서 추출된 얼굴 특징을 얼굴 특징 매칭 모듈이 얼굴 데이터베이스에 저장된 얼굴 특징과 매칭하는 단계와,
상기 얼굴 특징 매칭 모듈에서 매칭된 얼굴 특징의 매칭도를 미리 설정된 임계치와 임계치 적용 모듈이 비교하는 단계,
상기 매칭도가 임계치 이상일 경우, 얼굴 정보 등록 모듈이 매칭도가 임계치 이상인 얼굴 특징에 대응되는 상기 얼굴 데이터베이스에 저장된 무임 징후자 정보에서 무임 승차 횟수를 증가시키고, 상기 매칭도가 임계치 미만일 경우, 매칭도가 임계치 미만인 얼굴 특징의 무임 승객 정보를 생성하여 상기 얼굴 데이터베이스에 저장하는 단계를 포함하며,
상기 무임 승객 정보는 승객의 얼굴 특징과 승객의 신장, 승객이 착용한 상의, 및 승객이 탑승한 시간을 포함하는 무임 승객 정보 관리 방법.
- 제9항에 있어서,
상기 무임승객 정보관리 서버는 상기 승객을 감지하는 교통수단마다 설치되며,
상기 교통수단마다 설치된 무임승객 정보관리 서버와 무임승차자 관리 서버가 연동되어 무임 승객 정보를 통합 관리하는 단계를 더 포함하는 무임 승객 정보 관리 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180162210A KR102167052B1 (ko) | 2018-12-14 | 2018-12-14 | 무임 승객 정보 관리 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180162210A KR102167052B1 (ko) | 2018-12-14 | 2018-12-14 | 무임 승객 정보 관리 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200074351A true KR20200074351A (ko) | 2020-06-25 |
| KR102167052B1 KR102167052B1 (ko) | 2020-10-19 |
Family
ID=71400204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180162210A KR102167052B1 (ko) | 2018-12-14 | 2018-12-14 | 무임 승객 정보 관리 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102167052B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102255023B1 (ko) * | 2020-10-26 | 2021-05-24 | 천병열 | Ai를 적용한 스마트 차량 방역 방법 |
| KR102373781B1 (ko) * | 2021-01-18 | 2022-03-15 | 주식회사 광림엔지니어링 | 기차의 무임 탑승 방지 장치 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120048021A (ko) * | 2009-08-20 | 2012-05-14 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지 분석을 위한 방법 및 시스템 |
| KR101200028B1 (ko) | 2011-01-26 | 2012-11-09 | 한국철도기술연구원 | 초소형 ｒｆｉｄ 태그를 이용한 무임승차자 추적 시스템 |
| KR20140003820A (ko) * | 2012-06-29 | 2014-01-10 | 주식회사 라이프사이언스테크놀로지 | 의자에서 획득한 생체정보를 기반으로 한 사용자 인터페이스방법 |
| KR101863493B1 (ko) | 2017-03-09 | 2018-06-01 | 주식회사 큐브인 | 벽부형 승차권 발매기를 이용한 무임승차 방지 시스템 |
-
2018
- 2018-12-14 KR KR1020180162210A patent/KR102167052B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120048021A (ko) * | 2009-08-20 | 2012-05-14 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지 분석을 위한 방법 및 시스템 |
| KR101200028B1 (ko) | 2011-01-26 | 2012-11-09 | 한국철도기술연구원 | 초소형 ｒｆｉｄ 태그를 이용한 무임승차자 추적 시스템 |
| KR20140003820A (ko) * | 2012-06-29 | 2014-01-10 | 주식회사 라이프사이언스테크놀로지 | 의자에서 획득한 생체정보를 기반으로 한 사용자 인터페이스방법 |
| KR101863493B1 (ko) | 2017-03-09 | 2018-06-01 | 주식회사 큐브인 | 벽부형 승차권 발매기를 이용한 무임승차 방지 시스템 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102255023B1 (ko) * | 2020-10-26 | 2021-05-24 | 천병열 | Ai를 적용한 스마트 차량 방역 방법 |
| KR102373781B1 (ko) * | 2021-01-18 | 2022-03-15 | 주식회사 광림엔지니어링 | 기차의 무임 탑승 방지 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102167052B1 (ko) | 2020-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7973656B2 (en) | Suspicious activity detection apparatus and method, and program and recording medium | |
| WO2019153193A1 (zh) | 一种出租车运营监测方法、设备、存储介质和系统 | |
| US20230040513A1 (en) | Image processing system and method | |
| WO2020087743A1 (zh) | 非机动车交通违法监管方法、装置及电子设备 | |
| CN106384513B (zh) | 一种基于智能交通的套牌车捕捉系统及方法 | |
| CN105931467B (zh) | 一种跟踪目标的方法及装置 | |
| WO2021180060A1 (zh) | 一种通道闸机的控制方法、装置及系统 | |
| US9892325B2 (en) | Image management system | |
| US20070035622A1 (en) | Method and apparatus for video surveillance | |
| KR102109647B1 (ko) | 딥러닝을 이용한 대중교통수단의 승하차 계수 시스템 및 방법 | |
| CN111292459A (zh) | 一种应用于地铁的刷脸认证方法及装置 | |
| CN109979059A (zh) | 一种控制闸机的方法、装置、设备和存储介质 | |
| US8873804B2 (en) | Traffic monitoring device | |
| KR102167052B1 (ko) | 무임 승객 정보 관리 시스템 및 그 방법 | |
| CN113743260B (zh) | 一种地铁站台密集人流情况下的行人跟踪方法 | |
| CN109508659A (zh) | 一种用于人行横道的人脸识别系统及方法 | |
| CN108563985B (zh) | 识别扒窃的方法、监控中心、公共交通设备及存储介质 | |
| CN107170051A (zh) | 一种智能安全检票系统 | |
| CN109960993A (zh) | 车辆安全检测系统及方法、电子设备、存储介质 | |
| CN106327876B (zh) | 一种基于行车记录仪的套牌车捕捉系统及方法 | |
| WO2023124451A1 (zh) | 用于生成告警事件的方法、装置、设备和存储介质 | |
| KR102441669B1 (ko) | 알에프아이디(rfid) 및 영상 처리를 이용한 항만 차량출입통제 시스템 및 그 방법 | |
| CN117315601B (zh) | 基于遥感技术的车辆危险行为ai识别报警系统 | |
| Zaheen et al. | Exhaustive security system based on face recognition incorporated with number plate identification using optical character recognition | |
| KR102160547B1 (ko) | 무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |