KR102240638B1 - 영상내 차량 이미지 추정 경계 픽셀 데이터와 차량 모델 뷰포인트 분석을 이용한 주차 안내 방법 및 시스템 - Google Patents
영상내 차량 이미지 추정 경계 픽셀 데이터와 차량 모델 뷰포인트 분석을 이용한 주차 안내 방법 및 시스템 Download PDFInfo
- Publication number
- KR102240638B1 KR102240638B1 KR1020190138532A KR20190138532A KR102240638B1 KR 102240638 B1 KR102240638 B1 KR 102240638B1 KR 1020190138532 A KR1020190138532 A KR 1020190138532A KR 20190138532 A KR20190138532 A KR 20190138532A KR 102240638 B1 KR102240638 B1 KR 102240638B1
- Authority
- KR
- South Korea
- Prior art keywords
- parking
- information
- vehicle
- image
- boundary
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000004458 analytical method Methods 0.000 title abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 4
- 238000010295 mobile communication Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000000052 comparative effect Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 238000010191 image analysis Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/0031—Geometric image transformation in the plane of the image for topological mapping of a higher dimensional structure on a lower dimensional surface
-
- G06T3/06—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
- G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 CCTV, 드론, 영상관제시스템 등의 영상 제공 디바이스들로부터 획득된 영상속에서 차량으로 추정되는 픽셀들의 위치, 크기, 배치에 대한 경계 정보와 주차 폴리곤에서 추론되는 촬영된 영상의 뷰포인트에서의 예상된 차량 투영 이미지들의 경계 정보간의 겹침율 기반 분석과 촬영 디바이스 또는 시간에 따른 주차 추정 값들간의 보정처리를 통해 주차 가능 칸의 수량과 위치를 안내할 수 있는 주차 안내 방법 및 시스템에 대한 것이다.
Description
본 출원은 영상을 분석하여 인공지능으로 인식한 차량 위치 및 크기 정보와 주차장 구획정보 비교를 통한 주차 안내 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 하나 이상의 영상 제공 디바이스에서 촬영되는 주차장 전체 상황 영상을 취합 분석하여 주차장내 차량의 위치를 추정하고, 이를 주차장 구획 정보와 비교하여 주차 중인면과 주차 가능면에 대한 수량과 위치를 안내할 수 있는 방법 및 시스템에 관한 것이다.
대도심, 쇼핑몰, 관광지, 행사장과 같이 많은 사람들이 모이는 장소에서는 주차 가능한 여유 공간이 없는데도 불구하고 주차장에 진입하려는 차량들과 주차장에 진입한 후에도 여유 공간을 찾기 위해 각 주차구역을 일일이 순회하는 차량들로 인해 주차장 외부와 내부 혼잡이 더욱 가중되는 문제가 자주 발생하고 있다. 이와 같은 문제를 해결하기 위해 주차관제, 주차안내를 위한 다양한 시스템이 연구 개발 되고 있다.
이러한 주차 안내 시스템의 기본 기술은 각 주차면에 차량의 주차되어 있는지 여부를 자동으로 판별하는데 있는데, 이를 위해 지자기센서, 초음파센서, 카메라 영상 등을 이용하여 수집되는 정보를 이용하는 형태로 되어 있다. 그 중 실내 주차장의 경우 전원, 통신을 위한 배선에 유리하므로 해당 주차 안내 시스템들이 큰 어려움없이 도입 운영되고 있으나, 옥외 주차장을 대상으로 한 주차 안내 시스템의 경우 설치 운영의 어려움으로 인한 단위 비용 상승으로 도입 정도가 실내 주차장에 비해 현저하게 지체되고 있다.
옥외주차장의 경우 정보 수집 방식에 있어 센서방식보다 원거리 및 다수 감지 방식에 유리한 카메라 영상을 이용한 접근 방법 위주로 연구 개발되고 있는데, 크게 2가지 방법으로 나눌 수 있다. 그 중 첫번째 방식은 주차면별로 영상을 크롭핑(Cropping)하고, 각각의 크롭핑된 영상에 SIFT/SURF/HOG 등의 영상 필터와 히스토그램 또는 파형분석 기법을 이용하여 지정된 임계값 기준으로 참/거짓(true/false)을 판별하는 형태이다. 두번째 방식은 크롭핑된 영상의 주차여부에 대한 그라운드 트루쓰(Ground Truth) 정보를 사람이 지속적으로 제공함으로써 인공지능 모델을 훈련시키는 접근 방법을 이용하고 있다. 그러나, 해당 방법들은 전용 센서대비 정확도가 떨어지거나, 주차장별로 특성화되는 학습 알고리즘 훈련을 위한 지속적인 데이터 공급 과정의 어려움과 인공 지능 모델 학습에 관리 인력 및 시스템 리소스가 계속 사용됨으로 인해, 결국 효과 대비 과다한 비용 지출이 계속될 수 밖에 없어, 실용화가 늦어지고 있는 것이 현실이다.
관련특허 등록번호 10-1433583 ‘영상 인식 기반의 주차장의 빈 주차면 인식 장치 및 방법’ 또는 등록번호 10-1689704 ‘직진광과 영상인식을 이용한 주차여부 식별시스템 및 그 방법’의 경우, 타 주차면에 주차된 차량으로 인한 해당 주차면별 주차마커나 직진광 반사판의 가림 증상을 해제하기 위해서는 주차면 몇개로 구성되는 소그룹별로 일일이 카메라를 설치해야만 하는 제약사항이 있다.
관련특허 등록번호 10-1611258 ‘영상정합 기법을 이용한 원격 실시간 주차정보 시스템’, 등록번호 10-1521457 ‘영상방식을 이용한 지상주차장의 차량 위치 확인 시스템 및 그 제어방법’, 등록번호 10-1642602 ‘아날로그 또는 디지털 CCTV영상을 이용한 소프트웨어 방식의 주차 검지 시스템 및 방법’, 등록번호 10-1993378 ‘영상정보를 활용한 주차가능면 감지 및 안내 시스템 및 방법’, 공개번호 10-2019-0046616 ‘지능형 영상 분석을 이용한 주차장 관리 시스템 및 그 관리방법’은 운용 이전에 각 주차면별로 주차/공차 상태 일 때 각각 촬영된 영상과 현재 시점에 촬영된 영상을 영상필터, 정규화, 히스토그램 추출 등의 방법으로 유사도를 확인하여 주차 가능 여부를 판별하는 방식이다. 해당 방식의 경우 각 주차면별로 주차/공차 상태일 때의 영상을 일일이 사전에 확보하여 기준 영상 입력 작업을 수행해야 문제, 대상 주차면의 바닥이미지가 가려지는 문제, 인접 차량에 의해 바닥 이미지 모습이 주차/공차 일 때의 차이를 두기 어려워지는 문제, 마찬가지 상황에서 판별이미지 기준까지 달라지는 문제 등으로, 실제 현실 주차장에 적용에는 한계가 있다. 그 외에도 사전에 각 주차면별로 기준 영상 촬영 및 분석에 따른 기준값 도출 작업에 많은 시간이 소요되는 문제점 또한 존재한다.
관련특허 공개번호 10-2017-0054051 ‘영상 기반 주차 위치 확인 방법 및 그를 위한 차량’ , 등록번호 10-1983247 ‘영상복합 센서를 이용한 사물인터넷 주차인식 장치’, 등록번호 10-1836912 ‘입체어안카메라를 이용한 주차관리용 영상제공장치’, 등록번호 10-1851682 ‘인접 도로영상의 분석을 통한 주차장 혼잡정보 제공장치 및 제공방법’은 모든 주차장 출입 차량별로 카메라와 통신기능을 내장하거나, 통신/충전/센서 등이 모두 내장된 전용 장비를 개별 주차면별로 일일이 설치하거나 주차장 시스템과 개별 출입 차량간의 양방향 통신 시스템을 구성하는 방식 또는 주차장 출입구의 혼잡도로 혼잡도만을 간접 판단하는 접근방법을 이용하고 있다. 필요한 차량/장소마다 일일이 설치해야 하는 설치/운영상의 어려움과 단순 만차여부만을 알려주는 서비스 정보의 부족함으로 해당 방법 또한 현실에 적용하는데 어려움이 있다.
관련특허 공개번호 10-2019-0037770 ‘CCTV 주차장 영상정보를 이용한 실시간 주차칸 영상객체 인식 장치, 시스템 및 방법’은 주차칸별 빈 이미지와 주차된 이미지가 인접 타 차량에 의해 영향을 받아 정확도가 떨어질 수 밖에 없는 제약, 많은 비용을 필요로 하는 인공지능 학습용 시스템이 구비되어야 하는 제약, 상기 학습용 시스템을 위한 타 일반 주차장의 영상 정보 및 전처리를 거친 데이터셋 정보까지 지속적으로 제공되어야 하는 제약;으로 인해 해당 방법 또한 현실에 적용하는데 어려움이 있다.
본 발명은 상기 종래기술의 문제점을 해소하기 위한 것으로서 주차관제 또는 주차안내 시스템에 있어서 주차면 별로 또는 복수개의 주차면 소그룹 별로 주차 여부 판단을 위한 센서나 카메라를 설치하지 없고도 주차 안내 시스템을 구성하는 방법을 제공하는 것을 목적으로 한다.
본 발명은 개별 주차장별로 전체 주차장 모양, 각 주차면 배치 및 카메라 위치 및 수량이 다를 수 밖에 없는 현실로 인해 영상 분석 주차 안내 시스템 도입 시마다, 모든 주차면별로 크롭핑 영상을 생성하고 영상 필터 적용 임계값을 설정하는 작업 또는 각 주차장별 각 주차칸별로 끊임없는 최적화 작업들을 요구하지 않고도 주차 안내 시스템을 구성하는 방법을 제공하는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위하여 본 발명은 주차 안내 방법 및 시스템으로서 기존 접근법인 주차칸별 이미지 크롭핑을 통해 각 주차칸별 주차 여부에 대한 기준 이미지를 일일이 사전 생성하거나, 각 기준 이미지, 영상 필터 방식 또는 딥러닝 학습에 의한 주차칸 이미지를 비교 분석하여 감시 주차칸 이미지가 주차/공차 중 어느 쪽에 해당하는지 분류하는 접근 방법을 사용하지 않는다.
이를 위해 본 발명에서는 전체 영상에서 차량에 해당하는 경계(Boundary)를 자동으로 추정하는 접근 방법을 사용하여, 주차장이 바뀔때마다 요구되는 많은 사전 작업과 별도의 최적화 비용을 줄일 수 있는 접근 방법을 이용한다.
상기와 같은 과제를 해결하기 위하여 본 발명은 기존의 접근법인 전처리 작업을 통해 시스템 학습용 데이터 셋을 생성하고, 학습용 데이터 생성에 필요한 일반 주차장 및 특정 주차장의 영상 및 그라운드 트루쓰 데이터 생성 작업을 지속적으로 수행함으로써 각 주차칸에 대한 주차 여부 추론의 정확성을 점차 높여가는 접근 방법을 사용하지 않는다.
이를 위해 본 발명에서는 추론 기능만을 시스템의 필수 요소로 정의하고 학습 기능 및 이에 대한 전처리 기능, 타 주차장 데이터 및 이를 분석한 정보들을 수신하는 기능 등은 필수요소가 아닌 선택요소로 정의한다. 즉, 본 발명은 이러한 학습 과정 및 기능이 없이도 주차 여부를 추론할 수 있도록 한다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에 따르면, 하나 이상의 영상 제공 디바이스로부터 주차 구역의 영상 정보를 수신하는 영상 수신부; 수신된 영상 내에서 차량으로 추정되는 부분의 경계(boundary)를 추정하는 차량 경계 추정부; 추정된 차량 경계 정보 및 상기 수신된 영상 내에서 분석된 주차칸 배치 정보에 기초하여 주차칸들의 주차 여부를 추정하는 주차 추론부; 및 상기 주차 추론부에서 추정된 주차칸들의 주차 여부에 기초하여 상기 주차 구역의 주차 가능칸의 수량 및 위치 정보를 제공하는 서비스 제공부;를 포함하는 주차 안내 시스템이 제시될 수 있다.
구체적으로, 영상 제공 디바이스는 CCTV, 드론(Drone) 또는 영상관제시스템(VMS)을 포함할 수 있다. 차량 경계 추론부는 수신한 영상을 분석하여 영상 속의 차량 위치 및 형상에 대한 경계들을 추정할 수 있다. 주차 추론부는 추정된 차량 경계들을 각 주차 칸별 폴리곤(Polygon)에서 얻어지는 예상 투영 경계와 교차 비교하여 주차칸들의 주차 여부를 추정할 수 있다. 서비스 제공부는 주차 추론부의 정보를 근거로 주차 가능칸의 수량과 위치 정보를 제공할 수 있다.
또한, 상기 추정된 차량 경계 정보는, 차량이 영상 이미지에서 차지하는 위치 정보 및 크기 정보를 포함하는 박스형 정보; 및 차량 모양 및 배경 간의 경계선과 동일 또는 인접하게 생성되는 직선 또는 곡선 세그먼트로 구성되는 폐쇄 폴리라인(Closed Polyline) 형 정보중 적어도 하나를 포함할 수 있다. 상기 위치 정보는 차량의 수평 및 수직 위치 좌표를 포함할 수 있고, 상기 크기 정보는 차량의 가로 길이 및 세로 길이를 포함할 수 있다.
또한, 차량 경계 추정부는 관심 영역 풀링(Region of Interest Pooling) 또는 클래스 확률 맵(Class Probability Map) 기능을 포함하는 신경망 알고리즘 모델을 이용하여 상기 경계의 위치 및 범위의 비교 추정을 수행할 수 있다.
또한, 추정된 차량 경계 정보는 추정된 차량 경계의 정확도 값을 더 포함할 수 있다.
또한, 차량 경계 추정부는 하나의 차량에 대하여 추정된 정확도 값이 기준값 이상인 경계선이 하나보다 많은 경우에 해당 경계선들의 정보를 모두 제공하거나 또는 정확도 값이 가장 높은 경계선의 정보를 제공할 수 있다.
또한, 차량 경계 추정부는 수신된 영상을 다수의 영역들로 분할하고 각 영역별로 차량 경계를 추정하는 태스크를 병렬 처리할 수 있다.
또한, 영상 수신부는 LAN, WiFi, 3G/4G/5G 이동통신 네트워크, LoRA(Long Range), NB-IoT(NarrowBand-Internet of Things), Composite 인터페이스, S-Video 인터페이스, VGA 인터페이스, HDMI 인터페이스, DVI 인터페이스, DisplayPort 인터페이스 중 하나 이상의 방식을 이용하여 영상 정보를 수신할 수 있다. 서비스 제공부는 LAN, WiFi, 3G/4G/5G 이동통신 네트워크, LoRA, NB-IoT, Composite 인터페이스, S-Video 인터페이스, VGA 인터페이스, HDMI 인터페이스, DVI 인터페이스, DisplayPort 인터페이스 중 하나 이상의 방식을 이용하여 주차 안내 정보를 제공할 수 있다.
또한, 주차 추론부는, 3D 공간에서 각 주차칸에 차량이 주차되어 있을 경우, 3D 공간에서의 주차칸 및 주차 차량의 위치와 형상을 카메라 시점에서 촬영한 2D 영상 내로 투영가능한 변환 기능을 제공할 수 있으며, 상기 2D 영상 내의 차량 경계 정보를 이용하여 주차 차량이 투영될 형상 및 위치를 분석함으로써 주차칸들의 주차 여부를 추론할 수 있다.
또한, 주차 추론부는, 복수의 영상 제공 디바이스들로부터 주차 구역의 영상 정보가 제공되며 이들 영상 간 중복 영역 또는 중복 주차칸이 존재하는 경우에, 각 영상에 대하여 획득되는 상기 차량 경계 추정부 또는 상기 주차 추론부의 결과 값이 일치하지 않는 경우, 미리 설정된 조건에 따라 영상들에 대한 상호 가중치 또는 우선순위를 부여하는 기능; 및 동일한 영상 제공 디바이스로부터의 주차 구역의 영상 정보들에 대하여 획득되는 상기 차량 경계 추정부 또는 상기 주차 추론부의 결과 값이 일치하는 않는 경우, 미리 설정된 조건에 따라 영상들에 대한 상호 가중치 또는 우선순위를 부여하는 기능 중 적어도 하나를 수행할 수 있다.
또한, 주차 추론부는, 다수 영상 제공 장비의 영상간 중복 영역이 있는 상태에서 동일한 주차 칸에 연관된 촬영 영상으로부터 얻어진 차량 경계 추정부의 결과값이 상반될 경우 상호 가중치 또는 우선 순위를 주는 기능; 또는 하나의 영상 제공 장비로부터 얻어진 차량 경계 추정부 값이 시간대별로 편차가 있을 경우 추론값 가중치 또는 값 변화량 가중치를 부여할 수 있는 기능;을 포함할 수 있다.
또한, 서비스 제공부는, 모바일앱, 차량용 네비게이션 시스템, 인터넷 지도서비스, 주차장 입구종합안내판, 주차위치확인기, 주차공간표시등 중 적어도 하나를 포함하는 시스템에 대해 데이터 통신 또는 영상 제공의 방법으로 주차 구역의 주차 가능칸의 수량 및 위치 정보를 포함하는 주차 안내 정보를 제공할 수 있다.
또한, 주차 추론부는, 사용자에 의해 설정된 주차 폴리곤(Polygon) 정보; 또는 수신된 영상 내 인식된 주차 안내 라인에 따라 자동으로 추천되는 주차 폴리곤 정보를 이용할 수 있다.
본 발명의 일 실시예에 따르면, 하나 이상의 영상 제공 디바이스로부터 주차 구역의 영상 정보를 수신하는 단계; 수신된 영상 내에서 차량으로 추정되는 부분의 경계를 추정하는 단계; 추정된 차량 경계 정보 및 상기 수신된 영상 내에서 분석된 주차칸 배치 정보에 기초하여 주차칸들의 주차 여부를 추정하는 단계; 및 추정된 주차칸들의 주차 여부에 기초하여 상기 주차 구역의 주차 가능칸의 수량 및 위치 정보를 제공하는 단계;를 포함하는 주차 안내 방법이 제시될 수 있다.
본 발명의 일 실시예에 따르면, 주차칸 또는 소정 개수의 주차칸으로 된 주차칸 그룹별로 센서 및 관련 전력/통신 설비를 설치하지 않고도, 설치 주차장의 CCTV, 드론, VMS 등의 영상 정보만을 이용하여 주차 관제 및 주차 안내 서비스를 제공하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 영상내 차량의 위치와 차량 형상의 경계를 추정하는 방법을 이용함으로써, 각각의 주차장별로 각각의 주차칸별로 크롭핑된 이미지들을 생성하는 작업을 수행하고, 각 이미지별로 주차 여부에 대한 그라운드 트루쓰 데이터를 마련하고, 이를 결합한 데이터셋을 생성하고 이를 시스템의 학습 기능을 통해 학습시켜 추론의 정확도를 높이는 작업을 지속적으로 반복할 필요없어지는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 2개 이상의 영상 정보에 의해 중복으로 추론된 주차칸의 주차 여부 정보가 상호 배치될 경우에 대한 교차 및 우선순위 추정 기능을 제공함으로써, 수목환경, 대형 차량 등에 의해 해당 주차칸에 대한 시야가 확보가 안 된 상황에서도 서로 보완할 수 있는 위치에 있는 복수의 촬영 영상 정보 제공 장치의 정보간에 비교 판단이 가능하므로 주차 안내 방법 및 시스템의 신뢰도를 크게 높일 수 있는 효과를 도출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 주차 안내 시스템을 개략적으로 표시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 영상 후보 영역을 선정하는 단계를 포함한 차량 경계 추정 기능을 도시하는 도면이다.
도3은 본 발명의 일 실시예에 따른 관심 영역 선정 단계를 포함한 차량 경계 추정 기능을 도시하는 도면이다.
도4는 본 발명의 일 실시예에 따른 영역 제안을 위해 신경망을 이용하는 차량 경계 추정 기능을 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량 경계 추정부의 차량 경계의 박스형 추정 정보를 도시하는 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 차량 경계 추정부의 차량 경계의 폐쇄 폴리라인(Closed Polyline)형 추정 정보를 도시하는 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 임계값에 따라 차량 경계 추정 수량이 달라지는 경우를 도시하는 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따른 3차원 공간 좌표계간 변환(Transform) 처리의 주요 개념을 나타내는 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따른 주차 여부 추론 결과를 카메라 영상에 오버레이(Overlay)한 예시적인 도면이다.
도 10은 본 발명의 일 실시예에 따른 주차장 정보를 제공하는 예시적인 서비스 화면이다.
도 11은 본 발명의 일 실시예에 따른 선택된 주차장의 주차 구역의 주차 안내 정보가 제공된 예시적인 서비스 화면이다.
도 12는 본 발명의 일 실시예에 따른 주차 안내 방법을 나타내는 순서도이다.
도 2는 본 발명의 일 실시예에 따른 차량 영상 후보 영역을 선정하는 단계를 포함한 차량 경계 추정 기능을 도시하는 도면이다.
도3은 본 발명의 일 실시예에 따른 관심 영역 선정 단계를 포함한 차량 경계 추정 기능을 도시하는 도면이다.
도4는 본 발명의 일 실시예에 따른 영역 제안을 위해 신경망을 이용하는 차량 경계 추정 기능을 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량 경계 추정부의 차량 경계의 박스형 추정 정보를 도시하는 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 차량 경계 추정부의 차량 경계의 폐쇄 폴리라인(Closed Polyline)형 추정 정보를 도시하는 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 임계값에 따라 차량 경계 추정 수량이 달라지는 경우를 도시하는 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따른 3차원 공간 좌표계간 변환(Transform) 처리의 주요 개념을 나타내는 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따른 주차 여부 추론 결과를 카메라 영상에 오버레이(Overlay)한 예시적인 도면이다.
도 10은 본 발명의 일 실시예에 따른 주차장 정보를 제공하는 예시적인 서비스 화면이다.
도 11은 본 발명의 일 실시예에 따른 선택된 주차장의 주차 구역의 주차 안내 정보가 제공된 예시적인 서비스 화면이다.
도 12는 본 발명의 일 실시예에 따른 주차 안내 방법을 나타내는 순서도이다.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 다음 설명에서는 설명을 목적으로, 하나이상의 적용 양상들이 전반적인 이해를 돕기 위해 다수의 구체적인 세부 사항들과 함께 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치를, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 ‘실시예’, ‘예’, ‘양상’, ‘예시’ 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 ‘~부’, ‘컴포넌트’, ‘모듈’, ‘시스템’, ‘인터페이스’ 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한 ‘포함한다’ 및/또는 ‘포함하는’이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 인식하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용한다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적 용어를 포함해서 여기에 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명에 따른 주차 안내 방법 및 시스템에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 주차 안내 시스템을 개략적으로 표시한 도면이다. 주차 안내 시스템(100)은 영상 분석부(300), 서비스 제공부(400), 사용자 인터페이스 시스템(500)을 포함하여 구성될 수 있다. 또한, 영상 분석부(300)은 영상 수신부(311), 차량 경계 추정부(321), 주차 추론부(371)를 포함할 수 있다.
영상 분석부(300)은 영상 제공 디바이스(200)들로부터 영상을 수신하여 이를 신경망과 연산 프로세싱을 통하여 추론한 주차칸에 대한 주차여부 정보를 서비스 제공부(400)에게 전달하는 역할을 수행한다. 여기서, 영상 제공 디바이스(200)는 CCTV, 드론, VMS 등일 수 있으며, 또한 주차 구역을 촬영하여 영상 분석부(300)로 제공할 수 있는 기능을 구비한 임의의 디바이스일 수 있다.
영상 수신부(311)는 영상 제공 디바이스(200)들로부터 촬영 영상을 제공받는 기능을 제공한다. 이 때 촬영 영상을 제공받는 방법은 유무선 통신에 의한 방법 그리고/또는 영상 시그널에 의한 방법을 통해 이루어질 수 있다.
유무선 통신에 의한 방법은 물리적인 네트워크 인터페이스를 이용하여, RTSP, RTMP, HLS와 같이 규격화된 영상 프로토콜을 통해 제공받거나, 또는 해당 영상 제공 디바이스에서 제공하는 전용의 프로토콜을 통해 제공받을 수 있다. 네트워크 통신을 통해 영상을 받을 시, 효율적인 영상 트래픽 운영을 위해 영상 데이터는 H.264, H.265, Mjpeg과 같은 규격화된 영상 압축 코덱 방법 또는 해당 접근 방법을 변형한 다른 압축 방법을 통해 제공될 수 있다. 이러한 경우, 압축된 영상에서 픽셀 데이터를 획득하기 위해 영상 수신부(311)는 영상 디코딩 기능을 포함할 수 있다.
영상 시그널에 의한 방법은 HDMI/DVI/HD-SDI/DisplayPort/VGA/S-Video 인터페이스와 같은 영상 시그널 케이블을 이용할 수 있으며, 영상 시그널은 영상 수신부(311)의 입력 단자를 이용하여 직접 제공될 수 있다. 영상 제공 디바이스(200)와 케이블로 연결하는데 필요한 영상 입력 단자를 제공하기 위하여, 영상 수신부(311)는 해당 영상 단자를 가진 캡쳐카드와 같은 영상캡쳐모듈을 포함할 수 있다.
영상 분석부(300), 영상 수신부(311), 차량 경계 추정부(321), 주차 추론부(371)는 프로세스 또는 쓰레드(thread)를 다중으로 구성하는 방식을 통해 하나의 컴퓨터에서 병렬처리 방식으로 작업을 수행할 수 있다. 다중 작업을 위한 구성 방법은 여러가지 형태로 이루어질 수 있는데, 영상 분석부(300) 자체를 다중으로 구성하거나, 또는 영상 수신부(311) : 차량 경계 추정부(321) : 주차 추론부(371) 간의 관계를 1:1:1 또는 Na : Nb : Nc 또는 N : 1 : 1 또는 Na : Na : 1 와 같은 다양한 조합으로 구성할 수도 있다(여기서, Na, Nb, Nc는 2 이상의 자연수임).
구성부간의 통신 관계는 1:1, N:1, 1:N, N:N (여기서, N은 2 이상의 자연수임)과 같이 구성될 수 있으며, 다양한 통신 환경에서 디코딩 또는 영상 캡쳐된 로데이터(Raw Data) 또는 압축된 이미지 프레임(Image Frame) 또는 스트림데이터(StreamData)를 최단시간으로 전달하기 위해 Push/Pull, Pub/Sub, Hub/Spoke와 같은 메시지 큐잉(Message Queue) 방식의 통신 방법을 이용할 수 있다.
차량 경계 추정부(321)는 영상 수신부(311)로부터 전달받은 로데이터, 이미지 프레임 또는 스트림데이터에 대해 영상 속의 차량으로 추정되는 픽셀들의 경계를 추정하는 기능을 수행할 수 있다. 종래의 영상정보를 이용한 주차안내 시스템의 경우, 주차칸별 이미지에 대해 주차 여부를 판별하는 참/거짓(true/false) 기능을 수행하는데 한정되어 있다. 반면에 본 발명의 시스템은 영상 내에 차량이 차지하는 공간 즉 위치와 크기를 예측하는 기능과 해당 차량이 여러 개일 때도 마찬가지 기능을 수행할 수 있는 차별화된 특징을 가진다.
이와 같이 차량의 공간을 탐색하기 위해서는 여러가지 기능을 선택적으로 사용할 수 있으며, 그 중 하나는 해당 차량이 있을 만한 영상내의 모든 공간에 대해 순차적으로 탐색하는 기능이다. 해당 기능은 알고리즘 자체는 단순하나 영상의 해상도가 높아질수록 탐색대상 공간 수량이 기하급수적으로 증가하게 되므로 상대적으로 저해상도에서만 사용할 수 있는 제약이 있다.
다른 차량 공간 탐색 방식은 도 2에 도시된 바와 같이 영역을 제안하고 이를 평가하는 단계를 포함하는 기능을 사용할 수 있다. 도 2는 본 발명의 일 실시예에 따른 차량 영상 후보 영역을 선정하는 단계를 포함한 차량 경계 추정 기능을 도시하는 도면이다. 도 2에 따른 차량 경계 추정 기능은 단순한 기준(예컨대, 미리 지정된 후보 영역 크기)에 따라 영상의 후보 영역들을 구분하고, 각 후보 영역 중 유사도가 높은 영역끼리는 그룹화하여 하나의 후보 영역으로 통합함으로써 후보 영역의 수량을 줄이는 단계(322)를 수행할 수 있다. 그 다음에, 합성곱 신경망(CNN: Convolutional Neural Network) 연산을 통해 해당 후보들을 대상으로 최종 분석 대상 후보를 재설정하는 단계(323)를 수행할 수 있다. 선정된 최종 분석 대상 후보들에 대해서는 예컨대, SVM(Support Vector Machine) 등과 같이 영상 정보에 대해 가장 큰 차이를 만들어내는 카테고리 분류법을 찾는 연산(324)을 수행함으로써 영상의 공간 내에 차량의 존재 확률을 추정할 수 있다. 또한, 경계형 박스의 위치와 크기를 결정하는 4가지 변수값(2차원에서의 위치와 크기값) 중 차량의 존재 확률을 최적화할 수 있는 값을 제시하는 회귀분석 단계(325)를 수행할 수 있다. 예를 들어, 상기 4가지 변수값은 위치 정보로서 차량의 수평 및 수직 위치 좌표와 크기 정보로서 차량의 가로 길이 및 세로 길이일 수 있다.
추가적으로, 다른 차량 공간 탐색 방식으로서 도 3에 도시된 바와 같이 관심영역 선정 단계(Region of Interest Pooling)를 추가한 탐색 기능을 사용할 수 있다. 도3은 본 발명의 일 실시예에 따른 관심 영역 선정 단계를 포함한 차량 경계 추정 기능을 도시하는 도면이다.
도 2에서 제시된 차량 경계 추정 기능의 경우, 선정된 다수의 후보 영역에 대해 개별적으로 차량의 존재 확률과 경계를 최적화하는 데 많은 시간이 소요되는 단점이 있다. 반면, 도 3에서 제시된 차량 경계 추정 기능의 경우, 해당 시간 절감을 위해 이미지 프레임에 대해 관심영역 선정(333)을 통해 영상의 완전연결(Fully Connected) 신경망(334)을 실행할 수 있게 하는 합성곱 신경망(332) 연산을 수행할 수 있다. 이를 통해, 도 3의 차량 경계 추정 기능은 이러한 특징 분포와 후보 영역간을 매칭시켜서 이미지 특성을 구하고, 이를 이용하여 후보 영역의 차량 인식 확률값과 경계형 박스의 위치와 크기 최적 추정값을 얻어낼 수 있다.
추가적으로, 상기 차량 공간 탐지 기능 외에 도 4에 도시된 바와 같이 영역제안을 위해 신경망을 이용하는 방법을 이용할 수 있다. 도 4는 본 발명의 일 실시예에 따른 영역 제안을 위해 신경망을 이용하는 차량 경계 추정 기능을 도시하는 도면이다.
도 4에서 제시된 차량 경계 추정 기능의 경우, 영역을 선정하기 위해 도 2 또는 도 3의 후보영역선정 단계(322,331) 대신 합성곱 신경망(342)의 연산 결과를 이용하여 관심영역을 도출하는 영역 제안(Region Proposal) 방법을 이용할 수 있으며, 이 경우 관심영역 도출에 사용되는 시간을 대폭 단축할 수 있는 효과가 있다.
전술한 도 2, 도 3 또는 도 4의 방식으로 차량 경계와 차량일 확률을 추정하면 도 5에 도시된 바와 같은 결과를 얻을 수 있다. 도 5는 본 발명의 일 실시예에 따른 차량 경계 추정부의 차량 경계의 박스형 추정 정보를 도시하는 예시적인 도면이다.
추가적으로 상기 기능에 보완하여 후보 영역 내에 이미지 픽셀별로 차량 여부를 판단하는 신경망을 추가하여 박스형이 아닌 폐쇄 폴리라인형 차량 경계를 추정할 수 있다. 이 경우 도 6에 도시된 바와 같은 결과를 얻을 수 있다. 도 6은 본 발명의 일 실시예에 따른 차량 경계 추정부의 차량 경계의 폐쇄 폴리라인형 추정 정보를 도시하는 예시적인 도면이다.
추가적으로, 상기 차량 공간 탐지 방법 외에 또 다른 방법으로, 후보 영역이나 관심 영역 선정 과정을 제외하는 대신 이미지 프레임을 그물 형태로 분할하는 방식으로 차량 공간을 탐지하는 기능을 수행할 수 있다. 해당 기능은 이미지를 NxN의 그물형태로 나누고, 각 그물눈별로 다수 개의 경계 상자 후보 및 확률인 바운딩 박스 + 컨피던스(Bounding Box + Confidence) 정보들을 생성할 수 있다. 생성된 정보와 격자 분할에 따라 생성되는 차량 이미지 가능성 분포인 클래스 확률 맵(Class Probability Map) 정보를 통해 차량 경계와 차량일 확률을 추정할 수 있다. 해당 결과는 도 5에 도시된 것과 유사한 결과물을 얻을 수 있다.
차량 경계 추정부(321)의 경계 추정 결과의 각 추정 경계의 수량은 실제 차량별로 1개 일수도 있고, 그 이상일 수도 있다. 이와 관련하여, 도 7은 본 발명의 일 실시예에 따른 임계값(기준값)에 따라 차량 경계 추정 수량이 달라지는 경우를 도시하는 예시적인 도면이다. 도 7은 예시적일 일례로서,설정한 기준값(value)이 0.9 또는 0.8로 변경 적용됨에 따라 추정 경계 수량이 달라지는 예시를 보여주고 있다.
주차 추론부(371)은 차량 경계 추정부(321)의 결과값과 주차장 배치 정보를 이용하여 각 주차칸별 주차여부를 추론할 수 있다.
주차 추론부(371)은 3차원 공간 좌표계간 변환(Transfom)과 인터섹션-오버-유니언(Intersection over Union) 분석 기능, 동일 주차칸별 시간별 추정값 변화에 대한 보정 분석 기능, 동일 주차칸에 대한 다른 카메라 영상 소스간의 추정값 불일치에 대한 보정 분석 기능을 포함할 수 있다.
도 8은 본 발명의 일 실시예에 따른 3차원 공간 좌표계간 변환(Transform) 처리의 주요 개념을 나타내는 예시적인 도면이다.
차량의 위치와 크기는 실제 현실공간(Real Model World)(701)에서는 3차원 형태로 존재한다. 반면에, 옥외 주차 공간 정보(702)는 2D 형태의 정보라고 할 수 있다. 3차원 공간은 차량이 차지하는 공간에 대한 자신만의 정보와 자신만의 좌표계를 가진다. 해당 좌표계는 (x,y,z) 형태의 3차원 좌표계(701)가 된다.
주차 추론부(371)에서 옥외 주차 공간 정보(702)를 도출하는 기능은 해당 주차장의 주차 구획 측량 또는 공사 도면 정보를 이용하는 방법, 영상 제공 디바이스(200)의 영상에서 보이는 주차 구획 라인을 참조로 영상 위에 오버레이(Overlay) 하고 이를 공간 변환 행렬식(704)을 이용하여 도출하는 방법 등을 이용할 수 있다.
상기 영상 위에 오버레이하는 과정에서 수동으로 선을 그리는 형태를 이용할 수도 있고, 또는 주차 구획 라인의 컬러필터 또는 신경망을 이용한 자동화된 인식방법을 이용할 수도 있다.
주차 추론부(371)은 상기 공간(701)에 카메라를 설치한 모델(703)을 구성할 수 있다. 주차 추론부(371)는 3차원의 좌표값으로 표시되는 카메라의 설치 위치와 롤(roll), 피치(pitch), 요(yaw)로 표현되는 카메라 방향 및 줌(Zoom) 값으로 표현되는 확대비율에 따라 차량 피사체의 모습(711)을 포함한 카메라 영상(713)을 추론할 수 있다.
상기 추론 연산 알고리즘을 나타내는 공간 변환 행렬식(704)에서 각 수치값에서 뜻하는 바는 다음과 같다.
n : 카메라에서 가장 가까운 3차원 공간 절두체 면까지의 거리
f : 카메라에서 가장 먼 3차원 공간 절두체 면까지의 거리
Width = 카메라에서 가장 가까운 절두체 면의 너비
Height = 카메라에서 가장 가까운 절두체 면의 높이
상기 추론한 카메라 영상(713)과 피사체의 모습(711)을 통해 해당 주차칸의 차량 이미지에 대한 그라운드 트루쓰 역할을 할 수 있는 박스형 또는 폐쇄 폴리라인형 경계 픽셀 기준 정보(712)를 추출할 수 있다.
주차 추론부(371)은 차량 경계 추정부(321)에서 얻은 경계 추정 정보와 상기 차량 경계 픽셀 기준 정보(712)를 비교하여 해당 공간의 겹침 수준을 기준으로 매칭 여부를 판단할 수 있다.
실제 카메라가 촬영한 영상(721) 위에 차량 경계 추정 정보(733)와 차량 경계 픽셀 정보(712)를 마킹한 정보(732)를 표시한 이미지를 나타내면 일례(731)과 같다.
상기 매칭 여부는 IOU(Intersection Over Union) 개념인 IOU∪와 해당 개념을 확장한 개념인 IOUA와 IOUB를 종합적으로 사용하여 이루어질 수 있다.
- IOU∪ = ( X ∩ Y ) / ( X ∪ Y )
- IOUX = ( X ∩ Y ) / X
- IOUY = ( X ∩ Y ) / Y
상기 개념에서 X는 차량 경계 픽셀 기준 정보(712) 영역을 나타내며, Y는 차량 경계 추정 정보(733)을 나타낸다.
상기 종합적 사용 개념은 다음과 같다.
Occupiedi = functioni(a × IOU∪ + b × IOUX + c × IOUY)
상기 알고리즘에서 보장 변수인 a, b, c는 최적화를 통해 도출될 수 있으며, func()는 임계치(threshold) 기준에 따라 참/거짓(true/false)으로 결과를 제공한다.
이후 다수 카메라간 겹침 영역에 따른 보정 처리와 시간 경과에 따른 추정치 변화에 따른 보정 처리를 수행할 수 있다.
Occupiedt = functionT( fucntionS(Occupied1, Occupied2, ..., OccupiedN))
상기 알고리즘에서 fucntionS는 카메라간 겹침 영역에 불일치에 대한 보정 함수로서 동일한 주차칸에 연관된 영상으로 부터 얻어진 결과값이 상반된 경우 이를 가중치 또는 우선 순위 개념을 이용하여 보정하는 기능을 수행할 수 있다.
상기 fucntionS 알고리즘은 2개 이상의 영상에서 중복으로 관찰되는 주차칸에 대한 보정 기능을 수행할 수 있으므로, 해당 기능을 통해 하나의 영상에 대하여도 겹침 영역을 가지는 다수의 분할 영역으로 구분하여 객체 경계 추정이나 주차 여부 추론을 하는데 사용될 수 있다.
functionT는 동일 카메라에서 시간대별 프레임 이미지에서 얻어지는 추정값이 편차가 있을 경우 가중치 또는 변화량 가중치를 부여하여 보정 처리를 수행하는 기능이다.
상기 알고리즘에 따른 주차여부 추론 결과는 최종 데이터라 할 수 있으며, 이러한 최종 데이터를 옥외 주차 공간 정보(702)에 마킹한 일례가 (741)의 이미지이다. 이미지(741)의 예에서 추론 결과에 따라 4개의 주차칸 중 1개의 주차칸에 차량이 주차되어 있음이 표시될 수 있다.
만약 최종 데이터를 영상 제공 디바이스(200)에서 제공하는 영상 위에 오버레이 처리하면 도 9에 도시된 바와 같을 수 있다. 도 9는 본 발명의 일 실시예에 따른 주차 여부 추론 결과를 카메라 영상에 오버레이한 예시적인 도면이다.
서비스 제공부(400)은 주차장에 대한 주차 안내 정보를 사용자 인터페이스 시스템(500) 또는 외부 기관, 외부 기업 시스템와 같은 외부 시스템(600)에 제공하는 기능을 제공할 수 있다.
상기 주차 안내 정보는 각 주차간의 점유/여유 여부, 주차라인별 점유/여유 수량 정보, 전체 주차장의 만차 여부, 여유 수량 정보, 주차 여유 수량 변화 추이, 주차 여유 수량 예측 중 일부 또는 전체를 포함할 수 있다.
예시적으로, 모바일 앱, 차량용 네비게이션, 인터넷 지도 서비스, 주차장 입구 종합 안내판, 주차 위치 확인기, 주차공간 표시등과 같은 주차 또는 교통 관련 단말 또는 서비스 시스템은 서비스 제공부(400)를 통해 전술한 주차 안내 정보를 제공받을 수 있다.
도 10은 본 발명의 일 실시예에 따른 주차장 정보를 제공하는 예시적인 서비스 화면이다. 도 10에 도시된 바와 같이, 주차 안내 시스템(100)은 외부 시스템(600)의 지리 정보 시스템(GIS)과 연계하여 사용자가 찾고자 하는 주차장 정보를 안내할 수 있다.
도 11은 본 발명의 일 실시예에 따른 선택된 주차장의 주차 구역의 주차 안내 정보가 제공된 예시적인 서비스 화면이다. 도 11에 도시된 바와 같이, 특정 주차장이 선택된 경우, 주차 안내 시스템(100)은 해당 주차장에 대한 주차 안내 정보를 제공할 수 있다.
도 12는 본 발명의 일 실시예에 따른 주차 안내 방법을 나타내는 순서도이다.
상기 주차 안내 방법은, 하나 이상의 영상 제공 디바이스로부터 주차 구역의 영상 정보를 수신하는 단계(1010); 수신된 영상 내에서 차량으로 추정되는 부분의 경계를 추정하는 단계(1020); 추정된 차량 경계 정보 및 상기 수신된 영상 내에서 분석된 주차칸 배치 정보에 기초하여 주차칸들의 주차 여부를 추정하는 단계(1030); 및 추정된 주차칸들의 주차 여부에 기초하여 상기 주차 구역의 주차 가능칸의 수량 및 위치 정보를 제공하는 단계(1040)를 포함할 수 있다.
임의의 제시된 프로세스들에 있는 단계들의 임의의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 발명의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 예시적인 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.
본 명세서 사용되는 용어 "부", "컴포넌트", "머신", "모듈", "시스템" 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭할 수 있다. 예를 들어, 모듈은 프로세서상에서 실행되는 처리과정, 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 모듈일 수 있다. 하나 이상의 모듈은 프로세서 및/또는 실행 스레드 내에 상주할 수 있고, 일 모듈은 하나의 컴퓨터 내에 로컬화될 수 있고, 또는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 모듈들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
100: 주차 제공 시스템
200: 영상 제공 디바이스
300: 영상 분석부
311: 영상 수신부
321: 차량 경계 추정부
371: 주차 추론부
400: 서비스 제공부
500: 사용자 인터페이스 시스템
600: 외부 시스템
200: 영상 제공 디바이스
300: 영상 분석부
311: 영상 수신부
321: 차량 경계 추정부
371: 주차 추론부
400: 서비스 제공부
500: 사용자 인터페이스 시스템
600: 외부 시스템
Claims (12)
- 주차 안내 시스템으로서,
하나 이상의 영상 제공 디바이스로부터 주차 구역의 영상 정보를 수신하는 영상 수신부;
수신된 영상 내에서 차량으로 추정되는 부분의 경계(boundary)를 추정하는 차량 경계 추정부;
추정된 차량 경계 정보 및 상기 수신된 영상 내에서 분석된 주차칸 배치 정보에 기초하여 주차칸들의 주차 여부를 추정하는 주차 추론부; 및
상기 주차 추론부에서 추정된 주차칸들의 주차 여부에 기초하여 상기 주차 구역의 주차 가능칸의 수량 및 위치 정보를 제공하는 서비스 제공부
를 포함하며,
상기 추정된 차량 경계 정보는,
차량이 영상 이미지에서 차지하는 위치 정보 및 크기 정보를 포함하는 박스형 정보; 및
차량 모양 및 배경 간의 경계선과 동일 또는 인접하게 생성되는 직선 또는 곡선 세그먼트로 구성되는 폐쇄 폴리라인(Closed Polyline)형 정보
중 적어도 하나를 포함하며,
상기 위치 정보는 차량의 수평 및 수직 위치 좌표를 포함하며, 상기 크기 정보는 차량의 가로 길이 및 세로 길이를 포함하고,
상기 추정된 차량 경계 정보는 추정된 차량 경계의 정확도 값을 더 포함하는,
주차 안내 시스템. - 삭제
- 제 1 항에 있어서,
상기 차량 경계 추정부는 관심 영역 풀링(Region of Interest Pooling) 또는 클래스 확률 맵(Class Probability Map) 기능을 포함하는 신경망 알고리즘 모델을 이용하여 상기 경계의 위치 및 범위의 비교 추정을 수행하는,
주차 안내 시스템. - 삭제
- 제 1 항에 있어서,
상기 차량 경계 추정부는 하나의 차량에 대하여 추정된 정확도 값이 기준값 이상인 경계선이 하나보다 많은 경우에 해당 경계선들의 정보를 모두 제공하거나 또는 정확도 값이 가장 높은 경계선의 정보를 제공하는,
주차 안내 시스템. - 제 1 항에 있어서,
상기 차량 경계 추정부는 수신된 영상을 다수의 영역들로 분할하고 각 영역별로 차량 경계를 추정하는 태스크를 병렬 처리하는,
주차 안내 시스템. - 제 1 항에 있어서,
상기 영상 수신부는 LAN, WiFi, 3G/4G/5G 이동통신 네트워크, LoRA(Long Range), NB-IoT(NarrowBand-Internet of Things), Composite 인터페이스, S-Video 인터페이스, VGA 인터페이스, HDMI 인터페이스, DVI 인터페이스, DisplayPort 인터페이스 중 하나 이상의 방식을 이용하여 영상 정보를 수신하며,
상기 서비스 제공부는 LAN, WiFi, 3G/4G/5G 이동통신 네트워크, LoRA(Long Range), NB-IoT(NarrowBand-Internet of Things), Composite 인터페이스, S-Video 인터페이스, VGA 인터페이스, HDMI 인터페이스, DVI 인터페이스, DisplayPort 인터페이스 중 하나 이상의 방식을 이용하여 주차 안내 정보를 제공하는,
주차 안내 시스템. - 제 1 항에 있어서,
상기 주차 추론부는,
3D 공간에서 각 주차칸에 차량이 주차되어 있을 경우, 3D 공간에서의 주차칸 및 주차 차량의 위치와 형상을 카메라 시점에서 촬영한 2D 영상 내로 투영가능한 변환 기능을 제공하며,
상기 2D 영상 내의 차량 경계 정보를 이용하여 주차 차량이 투영될 형상 및 위치를 분석함으로써 주차칸들의 주차 여부를 추론하는,
주차 안내 시스템. - 제 1 항에 있어서,
상기 주차 추론부는,
복수의 영상 제공 디바이스들로부터 주차 구역의 영상 정보가 제공되며 이들 영상 간 중복 영역 또는 중복 주차칸이 존재하는 경우에, 각 영상에 대하여 획득되는 상기 차량 경계 추정부 또는 상기 주차 추론부의 결과 값이 일치하지 않는 경우, 미리 설정된 조건에 따라 영상들에 대한 상호 가중치 또는 우선순위를 부여하는 기능; 및
동일한 영상 제공 디바이스로부터의 주차 구역의 영상 정보들에 대하여 획득되는 상기 차량 경계 추정부 또는 상기 주차 추론부의 결과 값이 일치하는 않는 경우, 미리 설정된 조건에 따라 영상들에 대한 상호 가중치 또는 우선순위를 부여하는 기능
중 적어도 하나를 수행하는,
주차 안내 시스템. - 제 1 항에 있어서,
상기 서비스 제공부는,
모바일앱, 차량용 네비게이션 시스템, 인터넷 지도서비스, 주차장 입구종합안내판, 주차위치확인기, 주차공간표시등 중 적어도 하나를 포함하는 시스템에 대해 데이터 통신 또는 영상 제공의 방법으로 상기 주차 구역의 주차 가능칸의 수량 및 위치 정보를 포함하는 주차 안내 정보를 제공하는,
주차 안내 시스템. - 제 1 항에 있어서,
상기 주차 추론부는,
사용자에 의해 설정된 주차 폴리곤(Polygon) 정보; 또는
수신된 영상 내 인식된 주차 안내 라인에 따라 자동으로 추천되는 주차 폴리곤 정보를 추가적으로 이용하는,
주차 안내 시스템. - 주차 안내 방법으로서,
하나 이상의 영상 제공 디바이스로부터 주차 구역의 영상 정보를 수신하는 단계;
수신된 영상 내에서 차량으로 추정되는 부분의 경계를 추정하는 단계;
추정된 차량 경계 정보 및 상기 수신된 영상 내에서 분석된 주차칸 배치 정보에 기초하여 주차칸들의 주차 여부를 추정하는 단계; 및
추정된 주차칸들의 주차 여부에 기초하여 상기 주차 구역의 주차 가능칸의 수량 및 위치 정보를 제공하는 단계
를 포함하며,
상기 추정된 차량 경계 정보는,
차량이 영상 이미지에서 차지하는 위치 정보 및 크기 정보를 포함하는 박스형 정보; 및
차량 모양 및 배경 간의 경계선과 동일 또는 인접하게 생성되는 직선 또는 곡선 세그먼트로 구성되는 폐쇄 폴리라인형 정보
중 적어도 하나를 포함하며,
상기 위치 정보는 차량의 수평 및 수직 위치 좌표를 포함하며, 상기 크기 정보는 차량의 가로 길이 및 세로 길이를 포함하고,
상기 추정된 차량 경계 정보는 추정된 차량 경계의 정확도 값을 더 포함하는,
주차 안내 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190138532A KR102240638B1 (ko) | 2019-11-01 | 2019-11-01 | 영상내 차량 이미지 추정 경계 픽셀 데이터와 차량 모델 뷰포인트 분석을 이용한 주차 안내 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190138532A KR102240638B1 (ko) | 2019-11-01 | 2019-11-01 | 영상내 차량 이미지 추정 경계 픽셀 데이터와 차량 모델 뷰포인트 분석을 이용한 주차 안내 방법 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102240638B1 true KR102240638B1 (ko) | 2021-04-15 |
Family
ID=75440941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190138532A KR102240638B1 (ko) | 2019-11-01 | 2019-11-01 | 영상내 차량 이미지 추정 경계 픽셀 데이터와 차량 모델 뷰포인트 분석을 이용한 주차 안내 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102240638B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023075107A1 (ko) * | 2021-11-01 | 2023-05-04 | 주식회사 베스텔라랩 | 주차 인식 방법, 주차 인식 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 |
| WO2023075015A1 (ko) * | 2021-10-27 | 2023-05-04 | (주)제이엔디 | 지능형 영상 분석 기반 스마트 주차 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100201739B1 (ko) * | 1995-05-18 | 1999-06-15 | 타테이시 요시오 | 물체 관측 방법 및 그 방법을 이용한 물체 관측장치와,이 장치를 이용한 교통흐름 계측장치 및 주차장 관측장치 |
| KR20070052853A (ko) * | 2005-11-18 | 2007-05-23 | 주식회사 인프라밸리 | 주차 공간의 관리 방법 및 그 시스템 |
| KR101970442B1 (ko) * | 2018-12-04 | 2019-04-19 | 주식회사 넥스파시스템 | Fast R-CNN 기반 차량검출을 이용한 불법 주정차 단속 시스템 |
| JP2019091169A (ja) * | 2017-11-13 | 2019-06-13 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
-
2019
- 2019-11-01 KR KR1020190138532A patent/KR102240638B1/ko active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100201739B1 (ko) * | 1995-05-18 | 1999-06-15 | 타테이시 요시오 | 물체 관측 방법 및 그 방법을 이용한 물체 관측장치와,이 장치를 이용한 교통흐름 계측장치 및 주차장 관측장치 |
| KR20070052853A (ko) * | 2005-11-18 | 2007-05-23 | 주식회사 인프라밸리 | 주차 공간의 관리 방법 및 그 시스템 |
| JP2019091169A (ja) * | 2017-11-13 | 2019-06-13 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
| KR101970442B1 (ko) * | 2018-12-04 | 2019-04-19 | 주식회사 넥스파시스템 | Fast R-CNN 기반 차량검출을 이용한 불법 주정차 단속 시스템 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023075015A1 (ko) * | 2021-10-27 | 2023-05-04 | (주)제이엔디 | 지능형 영상 분석 기반 스마트 주차 시스템 |
| WO2023075107A1 (ko) * | 2021-11-01 | 2023-05-04 | 주식회사 베스텔라랩 | 주차 인식 방법, 주차 인식 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9129524B2 (en) | Method of determining parking lot occupancy from digital camera images | |
| KR102197946B1 (ko) | 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법 | |
| CN104303193B (zh) | 基于聚类的目标分类 | |
| CN102110376B (zh) | 基于计算机视觉的路边停车位检测装置 | |
| KR102652023B1 (ko) | 실시간 교통 정보 제공 방법 및 장치 | |
| US9672434B2 (en) | Video-based system and method for parking occupancy detection | |
| US9363483B2 (en) | Method for available parking distance estimation via vehicle side detection | |
| CN110400352B (zh) | 利用特征识别的摄像机校准 | |
| WO2019191142A1 (en) | Smart area monitoring with artificial intelligence | |
| US20150334267A1 (en) | Color Correction Device, Method, and Program | |
| US20150350608A1 (en) | System and method for activity monitoring using video data | |
| WO2013186662A1 (en) | Multi-cue object detection and analysis | |
| WO2012139228A1 (en) | Video-based detection of multiple object types under varying poses | |
| US10970823B2 (en) | System and method for detecting motion anomalies in video | |
| KR20140095333A (ko) | 영상에서 객체 추적 방법 및 장치 | |
| KR101515166B1 (ko) | 객체인식 기반의 주차장 이벤트 검지 시스템 | |
| KR102240638B1 (ko) | 영상내 차량 이미지 추정 경계 픽셀 데이터와 차량 모델 뷰포인트 분석을 이용한 주차 안내 방법 및 시스템 | |
| KR102387357B1 (ko) | 바운딩 박스를 시공간상으로 매칭하여 영상 내 객체를 검출하는 방법 및 장치 | |
| US20230394829A1 (en) | Methods, systems, and computer-readable storage mediums for detecting a state of a signal light | |
| KR20220032681A (ko) | 노상 주차장의 주차 관리 방법 | |
| JP2021531598A (ja) | 映像ストリームからの物体検出において用いるためのシステム及び方法 | |
| Sun et al. | Automated human use mapping of social infrastructure by deep learning methods applied to smart city camera systems | |
| WO2022045877A1 (en) | A system and method for identifying occupancy of parking lots | |
| US11727580B2 (en) | Method and system for gathering information of an object moving in an area of interest | |
| CN105574499B (zh) | 一种基于soc的人数检测统计方法及系统 |