KR102494860B1 - 스마트폰 내 차량 네비게이션 및 일정관리 어플리케이션과 연계한 주차정보제공 시스템 - Google Patents

Abstract

본 발명은 스마트폰 내 차량 네비게이션 및 일정관리 어플리케이션과 연계한 주차정보제공 시스템에 관한 것으로, 보다 구체적으로는 스마트폰에 기입한 일정 정보 및 차량 네비게이션 시스템과 연계하여, 일정에 기입되어있는 목적지 인근 주차장을 선정하고, 해당 주차장 내외부의 혼잡도 및 주차장 내 주차면으로부터 목적지까지의 도보 시간 등을 고려하여 사용자에게 목적지까지의 Door to Door 소요시간을 명확하게 안내하여 효율적인 동선 및 일정관리를 도모하는 스마트폰 내 차량 네비게이션 및 일정관리 어플리케이션과 연계한 주차정보제공 시스템에 관한 것이다.

Description

스마트폰 내 차량 네비게이션 및 일정관리 어플리케이션과 연계한 주차정보제공 시스템 {Parking Information System Linked to Vehicle Navigation and Calendar Applications in Smartphones}

본 발명은 스마트폰 내 차량 네비게이션 및 일정관리 어플리케이션과 연계한 주차정보제공 시스템에 관한 것으로, 보다 구체적으로는 사용자 혹은 운전자의 개인 일정을 파악하여, 해당 목적지 인근의 주차장 정보를 제공하고, 주차장 내외부와 도로 및 도보 혼잡도 등을 통해 목적지까지의 도착소요시간을 파악하여 이용자에게 보다 정확한 Door to Door 소요시간을 안내해주는 스마트폰 내 차량 네비게이션 및 일정관리 어플리케이션과 연계한 주차정보제공 시스템에 관한 것이다.

기존 주차(장) 정보 제공 시스템 및 그 방법들은 목적지(또는 현위치)를 기준으로 주차장의 위치(근접, 접근성등), 주차요금(할인정보포함), 주차장의 가용성(실시간 주차가능면수)등을 기준으로 사용자에게 주차장을 추천하는 방식을 취하고 있다. 아울러, 가장 보편적으로 사용되고 있는 LPR기반 주차관리 시스템은 대별 주차면의 점유여부를 확인하기 위하여 주차면 단위로 설치된 초음파센서, 루프센서 등을 사용하였으나, 근래에는 컴퓨터 비전 기술의 발달에 따라 CCTV등 카메라 영상을 활용한 개별 주차면 점유여부 확인 기술이 개발되었고 초기에는 주차면 단위로 설치된 스토퍼나 주차구획선을 검출 또는 인식하는 방식이었으나 최근에는 차량자체는 물론 차량의 위치, 차량 간의 간격 등도 검출 또는 인식하여 각종 비매너 주차행위가 있을 경우에도 정확하게 주차가능 주차면 수를 산출 할 수 있게 되었고, 이는 사용자(운전자 등)가 특정 주차면을 지정하여 예약하고 이용하는 서비스를 가능하게 하였다.

한편, 실생활에 있어서는 사용자(운전자)의 개인적 사유나 외부적 요인에 따라 당초 계획(일정, 행사, 약속 등)보다 일찍 도착하거나 빠듯하게 또는 늦게 도착하는 상황이 빈번하게 발생하게 된다.그러나 이와 같은 경우에도 기존 주차(장)정보 제공 시스템 및 그 방법은 당초 계획대비 늦음, 이름과 무관하게 주차장의 위치, 주차요금, 주차가능 면수 등을 기준으로 정보를 제공하며, 주차장의 입구 또는 차단기에서 주차가능 주차면에 이르는 거리, 동 구간의 혼잡도, 주차가능 주차면에서 목적지의 현관, ELV, 계단, 에스컬레이터 등에 이르는 거리 등에 대한 사항은 고려하지 않아 정작 주차장에 진입한 시간은 빠르지만 목적지에 도착한 시간은 늦어지는 경우도 발생하고 있다.

이에 본 발명은 스케줄러 등에 기입력되어 있는 사용자(운전자 등)의 일정정보(행사명, 시작시간, 종료시간, 장소, 참석자 등)를 활용하여 늦을 가능성이 크거나, 사용자가 주차구간, 도보구간의 정보를 고려하여 주차(장)정보를 제공하도록 설정한 경우, 운행구간의 거리, 운행구간의 혼잡도, 주차구간의 거리, 주차구간의 혼잡도, 도보구간의 거리(도보구간A), 도보구간의 혼잡도(도보구간B에서 ELV대기자 수, 가용 ELV 수 등)중 어느 하나 이상을 고려하여 사용자(운전자 등)에게 주차(장) 정보를 제공하는 시스템 및 그 방법을 제공하고자 한다.

본 발명은 사용자의 스마트폰 내에 등록되어있는 개인 일정 정보 및 주차장 및 인근지역의 혼잡도 정보 등을 활용하여 사용자에게 보다 더 정확한 목적지까지의 Door to Door 소요시간을 안내해주는 스마트폰 내 차량 네비게이션 및 일정관리 어플리케이션과 연계한 주차정보제공 시스템을 제공함을 그 목적으로 하고 있다.

본 과제를 해결하기 위한 본 발명에 따른 스마트폰 내 차량 네비게이션 및 일정관리 어플리케이션과 연계한 주차정보제공 시스템은 각각의 주차장에 설치되어 차단기(101)에서 주차가능 주차면(102)에 이르는 주차구간(103)을 포함하는 주차장 영상을 획득하는 하나 이상의 카메라(100); 상기 주차구간(103)의 총거리(201), 상기 카메라(100)가 획득한 영상에서 검출한 상기 주차구간(103)에 위치하는 주차되어 있지 않은 차량의 수(202), 상기 카메라(100)가 획득한 영상에서 검출한 상기 주차구간(103)에 위치하는 주차되어 있지 않은 차량의 속도(203)중 어느 하나 이상을 이용하여 주차소요시간(204)을 분석하는 주차구간 분석부(200);네비게이션이 산출한 목적지까지의 도착예정시간(301)과 기입력된 목적지에서의 일정시작시간(302)을 비교하여 지각시간(303)을 산출하는 지각시간 산출부(300);를 포함하여 구성되고 상기 지각시간 산출부(300)가 산출한 지각시간이 기설정된 시간(401) 이상인 경우, 네비게이션이 산출한 목적지까지의 이동소요시간(402)과 주차소요시간(204)을 포함하는 시간(403)에 따라 주차정보를 제공하며 상기 주차가능 주차면(102)에서 목적지 입구(404)까지의 도보거리와 그 거리를 도보로 이동하는데 소요되는 예상시간(405)을 산출하는 도보구간분석부(400);을 추가로 포함하고, 상기 카메라(100)는 주차면의 영상을 추가로 획득하고, 상기 카메라(100)가 획득한 영상에서 개별 주차면의 점유여부를 검출하는 점유여부검출부(500);를 추가로 포함하여 구성하며, 상기 지각시간산출부(300)는 네비게이션이 산출한 각 주차장까지의 도착예정시간(304)과 기입력된 목적지에서의 일정시작시간(302)을 비교하여 지각시간(303)을 산출하며, 상기 지각시간산출부(300)는 사용자가 일정관리프로그램에 입력한 해당 목적지에서의 일정시작시간(302)을 활용하는 것을 특징으로 하는 스마트폰 내 차량 네비게이션 및 일정관리 어플리케이션과 연계한 주차정보제공 시스템을 제공한다.

추가적으로, 상기의 시스템을 원활히 운영하기위한 추가적인 사항으로 상기 점유여부검출부(500)는 차량간의 거리(501), 차량과 주차가능 영역의 최외부 간의 거리(502) 중 어느 하나 이상을 추가로 검출하고, 그 거리가 기설정된 거리 이상인 경우에만 해당 주차면이 점유되지 않은 것으로 분류하며, 주차가능주차면(102)이 복수로 존재하는 경우 주차소요시간(204)이 최소인 주차가능주차면(102)을 기준으로 해당 주차장의 주차정보를 제공하는 것 외에도, 주차가능주차면(102)이 복수로 존재하는 경우 주차소요시간(204)과 도보이동시간(405)의 합이 최소인 주차가능 주차면(102)을 기준으로 해당 주차장의 주차정보를 제공하는 것을 특징으로 하는 스마트폰 내 차량 네비게이션 및 일정관리 어플리케이션과 연계한 주차정보제공 시스템을 제공한다.

본 발명은 다중객체인식, 다중객체추적 등 컴퓨터 비전 기술을 기반으로 한 주차관리시스템을 사용하는 주차장과의 연계를 통해, 주차장 내부 및 인근의 차도 및 도보 혼잡도를 측정하고, 스마트폰 내 등록된 개인일정을 활용하여 사용자의 명확한 목적지를 인식하여 보다 구체적인 목적지까지의 소요시간을 제공함으로써, 시스템 또는 서비스 이용자의 효율적인 동선 및 일정 관리를 도모할 수 있다.

도 1은 스마트폰 내 차량 네비게이션 및 일정관리 어플리케이션과 연계한 주차정보제공 시스템의 운용방법 예시

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1은 본 발명에 따른 스마트폰 내 차량 네비게이션 및 일정관리 어플리케이션과 연계한 주차정보제공 시스템의 운용방식을 도식으로 표현한 것으로, 크게는 주차장 추천/선정 단계, 주차면 추천/선정 단계, 소요시간 산출단계로 나뉜다.

주차장 선정 단계의 경우, 사용자의 스마트폰 내 일정관리 어플리케이션에 기입되어있는 사용자의 일정 관련 데이터를 일정 데이터 수신부에서 추출하는 단계로 시작된다. 일정 데이터 수신부에서는 일정시작시간 및 목적지를 자연어 처리(NLP)를 통해 추출한다. 상기 자연어 처리를 위해서는, LSTM(Long Short-Term Memory)RNN, RoBERTa(A Robustly Optimized BERT Pretraining Approach, 2019.07.), ERNIE(Enhanced Representation through Knowledge Integration, 2019.04.), SpanBert(Improving Pre-training by Representing and Predicting Spans, 2019.07.), XLNet(Generalized Autoregressive Pretraining for Language Understanding, 2019.06.), MASS(Masked Sequence to Sequence Pre-training for Language Generation, 2019.05.) 등 인공지능을 활용한 언어모델이 사용될 수 있으며, 영어와 다른 한국어 고유 특성을 고려하여 한국전자통신연구원(ETRI)에서 2019년 공개한 한국어 언어모델인 KorBERT 등도 활용할 수 있다. 일정 데이터 수신부에서 추출된 사용자 일정 목적지 및 일정 시작시간 데이터는, 각각 네비게이션 및 지각시간산출부로 전달된다.

상기 네비게이션에서는, 일정데이터 수신부에서 추출된 목적지 정보를 활용하여, 목적지 인근 주차장 정보를 검색하고, 해당 주차장들을 주차장 선정부로 전달한다. 이 때에, 목적지로부터 주차장까지의 거리 정보 또한 전달한다.

상기 주차장 선정부는 네비게이션으로부터 전달받은 주차장들을 후보군을 설정하고, 후보군 중 목적지와의 거리가 가장 가까운 주차장을 사용자에게 안내할 주차장으로 최종선정하여 네비게이션으로 전달한다. 다만, 해당 주차장이 만차일 경우, 차인근 주차장을 최종선정한다.

상기 주차면 추천/선정 단계의 구현을 위한 주차정보제공 시스템은, 해당 주차장의 입차차단기, 주차장 내 모든 주차면 및 주차장 인근 도보구간(인도 등)을 촬영할 수 있는 하나 이상의 카메라(100), 카메라의 영상을 분석하여 주차면 별 주차소요시간을 산출하는 주차구간분석부, 주차가능 주차면 별 목적지까지의 도보구간의 소요시간을 분석하는 도보구간분석부, 주차장 내 주차면들의 차량점유여부를 확인하는 점유여부 검출부로 구성된다.

상기 카메라(100)는 PTZ 카메라 및 현재 상용제품으로 널리 판매 중인 연산처리, 통신 등의 기능을 내장한 다기능 카메라 등이 사용될 수 있으며, 차량의 이동 및 주차상황을 촬영할 수 있는 차단기(101)에서 주차가능 주차면(102)에 이르는 주차구간(103) 및 주차장 인근 도보구간(인도 등)의 장소를 촬영한다.

상기 점유여부 검출부는 상기 카메라(100)에서 촬영된 주차장 내부 영상을 전달받아, 다중객체검출을 통해 사전에 구획된 주차면을 차량이 점유중인지 여부를 확인하며, 차량이 비점유중인, 주차가능 주차면을 주차구간분석부, 도보구간분석부 및 주차면 안내부에 전달한다. 상기 다중객체검출의 경우, R-CNN(Region-based Convolutional Neural Network), Fast R-CNN, Faster R-CNN, YOLO(You Only Look Once), SSD(Single Shot Multi-box Detector), Deep SORT(Simple Online and Real-Time Tracking), Hungarian(Kuhn-Munkres) 등의 알고리즘을 활용하여 구현될 수 있다. 상기 알고리즘 중 R-CNN 알고리즘은 2014년 CVPR을 통해 발표된 “Rich feature hierarchies for accurate object detection and semantic segmentation Tech report (v5)”을 통해, Fast R-CNN 알고리즘은 2015년 ICCV를 통해 발표된 “Fast R-CNN”을 통해, Faster R-CNN 알고리즘은 2015년 NIPS를 통해 발표된 “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”를 통해, YOLO v1, v2, v3 알고리즘은 각각 2016년 CVPR, 2017년 CVPR, 2018년 arXiv에 발표된 “YOLOv3: An Incremental Improvement” 등을 통해, SSD는 2016년 ECCV에 발표된 “SSD: Single Shot MultiBox Detector” 등을 통해, Deep SORT는 2017년 arXiv에 발표된 “Simple Online and Realtime Tracking with a Deep Association Metric” 등을 통해, Hungarian(Kuhn-Munkres)는 2018년 arXiv에 발표된 “A Distributed Version of the Hungarian Method for Multi-Robot Assignment” 등을 통해 공개된 바 있다.

상기 도보구간분석부는 상기 일정 데이터 수신부, 점유여부 검출부, 카메라로부터 각각 목적지 정보, 주차가능 주차면, 주차장 인근 도보구간 촬영영상을 전달받아, 각 주차가능 주차면 별 최인근 도보 출입구를 검출하여 해당 정보를 네비게이션으로 전달한다. 네비게이션에서 산출한 해당 도보출입구로부터 목적지까지의 도보구간 소요시간을 주차면에서부터 최인근 도보출입구까지의 소요시간과 합하여 주차가능 주차면 별 목적지까지의 도보구간 소요시간을 산출해내며, 해당 정보를 주차구간분석부에 전달한다.

상기 주차구간분석부는, 상기 점유여부 검출부, 카메라, 도보구간 분석부로부터 주차가능 주차면, 주차장 내부영상, 각 주차가능 주차면 별 도보구간 소요시간 정보를 전달받아, 다중객체검출(MOD) 및 다중객체추적(MOT)을 활용하여 실시간 비주차 차량들의 위치 및 속력을 산출하여 각 주차가능 주차면 별 주차소요시간을 산출한다. 상기 MOD는 상기 서술한 R-CNN, Fast R-CNN, Faster R-CNN, YOLO, SSD, Deep SORT, Hungarian 등의 알고리즘을 활용하여 구현될 수 있으며, 상기 MOT는 BOOSTING, MIL(Multiple Instance Learning), KCF(Kernelized Correlation Filter), Median Flow, TLD(Tracking-Learning-Detection) 등의 트래커를 활용하여 구현될 수 있다. 위 트래커 중 BOOSTING은 Helmut Grabner et al., " Real-time tracking via on-line boosting" (2006)를 통해, MIL Tracker는 Boris Babenko, "Robust Object Tracking with Online Multiple Instance Learning"(2010)를 통해, KCF Tracker (kernelized correlation filter)는 Joao F. Henriques et al., "High-Speed Tracking with Kernelized Correlation Filters"(2014)를 통해, Median Flow Tracker는 Zdenek Kalal et al., "Forward-Backward Error: Automatic Detection of Tracking Failures"(2010)를 통해, TLD Tracker(Tracking - Learning - Detection)는 Zdenek Kalal et al., "Tracking-Learning-Detection"(2010)를 통해, MOSSE(Minimum Output Sum of Squared Error) Tracker는 David S. Bolme et al., "Visual Object Tracking using Adaptive Correlation Filters"(2010)를 통해, CSRT Tracker는 Lukezic, A et al., "Correlation Filter Tracker with Channel and Spatial Reliablity"(2018)를 통해서 발표된 바 있다. 상기 주차소요시간을 산출하기 위한 교통모델로는 Follow-the-leader Model, OVM(Optimal Velocity Model), Generalized Force Model 등의 트래픽 모델들을 사용할 수 있으며, 상기 모델 중 Follow-the-leader Model은 1981년 Gazis, Herman and Rothery가 발표한 “Nonlinear follow-the-leader models of traffic flow”를 통해서, OVM은 1995년 Bando et al.이 발표한 “Dynamical model of traffic congestion and numerical simulation"을 통해서, Generalized Force Model은 1998년 Helbing and Tilch가 발표한 "Generalized force model of traffic dynamics"등을 통해서 공개된 바 있다. 상기 도보구간분석부에서 전달받은 주차면 별 목적지까지의 도보구간 소요시간과 산출된 주차면 별 주차소요 시간을 합하여, 주차면 별 그 시간이 최소가 되는 주차면을 최소소요시간 주차면으로 선정하며, 해당 정보를 주차면 안내부로, 주차면 별 주차소요시간 및 도보구간 소요시간의 합을 지각시간산출부로 전달한다.

상기 주차면안내부는 상기 점유여부 검출부 및 주차구간분석부로부터 각각 주차가능 주차면 및 최소 소요시간 주차면 정보를 전달받아 이를 사용자에게 시각적으로 제공한다. 사용자는 주차장 내부의 주차면 별로 구획되어진 평면도를 해당 안내부를 통해 안내받으며, 주차면 별로 해당 주차면이 점유중일 경우 적색, 해당 주차면이 현재 점유중이지 않지만 다른 사용자로부터 지정/예약된 주차면일 경우 황색, 현재 비점유중이며, 다른 사용자로부터 지정 혹은 예약되지 않은 주차면일 경우 녹색 그리고 해당 주차면이 사용자의 목적지까지의 최소소요시간 주차면으로 판정된 경우, 점멸중인 청색으로 표시된다. 사용자가 원하는 주차면을 클릭할 경우, 해당 정보를 점유여부 검출부에 전송하여, 사용자가 해당 주차면을 지정 혹은 예약하였음을 알리며, 사용자에게는 주차장 내부 추천경로를 제공한다.

상기 지각시간산출부는 주차구간분석부, 네비게이션, 주차면안내부로부터 각각 전달받은 주차면 별 주차소요시간 및 도보소요시간의 합, 최종선정 주차장까지의 소요시간, 최종선정주차면 정보를 전달받아, 최종선정주차면을 기준으로, 출발지로부터 목적지까지의 소요시간 및 도착예정시간을 산출하며, 이를 일정 데이터 수신부로부터 전달받은 일정 시작시간과의 비교하여 도착예정시간이 일정 시작시간보다 늦을 경우, 해당 지연 예정 시간을 사용자에게 제공한다.

100 : 카메라
200 : 분석부
300 : 지각시간산출부
400 : 도보구간 분석부
500 : 점유여부검출부

Claims (8)

1. 각각의 주차장에 설치되어 차단기(101)에서 주차가능 주차면(102)에 이르는 주차구간(103)을 포함하는 주차장 영상을 획득하는 하나 이상의 카메라(100);
   
   상기 주차구간(103)의 총거리(201), 상기 카메라(100)가 획득한 영상에서 검출한 상기주차구간(103)에 위치하는 주차되어 있지 않은 차량의 수(202), 상기 카메라(100)가 획득한 영상에서 검출한 상기 주차구간(103)에 위치하는 주차되어 있지 않은 차량의 속도(203)중 어느 하나 이상을 이용하여 주차소요시간(204)을 분석하는 주차구간 분석부(200);
   
   네비게이션이 산출한 목적지까지의 도착예정시간(301)과 기입력된 목적지에서의 일정시작시간(302)을 비교하여 지각시간(303)을 산출하는 지각시간 산출부(300);
   
   상기 주차가능 주차면(102)에서 목적지 입구(404)까지의 도보거리와 그 거리를 도보로 이동하는데 소요되는 예상시간(405)을 산출하는 도보구간 분석부(400);
   
   상기 카메라(100)는 주차면의 영상을 추가로 획득하고, 상기 카메라(100)가 획득한 영상에서 개별 주차면의 점유여부를 검출하는 점유여부검출부(500);를 포함하여 구성되고
   
   상기 지각시간 산출부(300)가 산출한 지각시간이 기설정된 시간(401) 이상인 경우, 네비게이션이 산출한 목적지까지의 이동소요시간(402)과 주차소요시간(204)을 포함하는 시간(403)에 따라 주차정보를 제공하고,
   
   상기 지각시간산출부(300)는 사용자가 일정관리프로그램에 입력한 해당 목적지에서의 일정시작시간(302)을 활용하며 네비게이션이 산출한 각 주차장까지의 도착예정 시간(304)과 기입력된 목적지에서의 일정시작시간(302)을 비교하여 지각시간(303)을 산출하며,
   
   상기 점유여부검출부(500)는 차량간의 거리(501), 차량과 주차가능 영역의 최외부 간의 거리(502) 중 어느 하나 이상을 추가로 검출하고, 그 거리가 기설정 된거리 이상인 경우에만 해당 주차면이 점유되지 않은 것으로 분류하며,
   
   주차가능주차면(102)이 복수로 존재하는 경우 주차소요시간(204)과 도보이동 시간(405)의 합이 최소인 주차가능 주차면(102)을 기준으로 해당 주차장의 주차 정보를 제공하는 것을 특징으로 하는 스마트폰 내 차량 네비게이션 및 일정관리 어플리케이션과 연계한 주차정보제공 시스템
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제

Images