KR20210153421A - 영상 인식 기술을 이용한 주차 관리 시스템 및 장치 - Google Patents

영상 인식 기술을 이용한 주차 관리 시스템 및 장치 Download PDF

Info

Publication number
KR20210153421A
KR20210153421A KR1020200070442A KR20200070442A KR20210153421A KR 20210153421 A KR20210153421 A KR 20210153421A KR 1020200070442 A KR1020200070442 A KR 1020200070442A KR 20200070442 A KR20200070442 A KR 20200070442A KR 20210153421 A KR20210153421 A KR 20210153421A
Authority
KR
South Korea
Prior art keywords
parking
regions
candidate regions
object candidate
vehicle
Prior art date
Application number
KR1020200070442A
Other languages
English (en)
Other versions
KR102414984B1 (ko
Inventor
유성호
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020200070442A priority Critical patent/KR102414984B1/ko
Publication of KR20210153421A publication Critical patent/KR20210153421A/ko
Application granted granted Critical
Publication of KR102414984B1 publication Critical patent/KR102414984B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/00771—
    • G06K9/6217—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

실시예는 영상 인식 기술을 이용한 주차 관리 시스템 및 장치에 관한 것이다.
일 측에 따른 주차 관리 서비스를 제공하는 방법은 사용자의 주차 공간 예약 요청에 반응하여, 사용자의 위치 정보를 수신하여, 인근의 주차장을 검색하는 단계, 주차장에 대응하는 영상 정보를 수신하여, mask R-CNN 기반 학습 모델에 입력함으로써, 영상 정보에서 개별 자동차 영역들을 추출하는 단계, 개별 자동차 영역들에 기초하여, 주차장 내 주차 가능 공간을 식별하는 단계, 및 식별된 상기 주차 가능 공간에 관한 정보를 사용자에게 제공하는 단계를 포함한다.

Description

영상 인식 기술을 이용한 주차 관리 시스템 및 장치{PARKING MANAGEMENT SYSTEM AND APPARTUS USING IMAGE RECOGNITION}
영상 인식 기술을 이용한 주차 관리 시스템 및 장치에 관한 발명이다.
주차 관리 시스템은 주차장 내 주차 가능 공간을 파악하여, 주차장 예약, 주차 비용 결제 등의 서비스를 제공하는 시스템이다. 사용자에게 편리한 주차 관련 서비스 제공을 위해 주차 가능 공간을 신속하고 정확하게 파악하는 기술이 필수적이다. 주차 공간 파악을 위한 기술로, 주차 공간에 센서 등의 감지기를 부착하여 해당 공간이 차량에 의해 점유 중인지 여부를 파악하는 기술이 이용되고 있으나, 주차 공간 수가 증가할수록 요구되는 감지기의 수가 비례하여 증가하기 때문에 비용이 증가하는 문제점이 있다.
최근 사물 인터넷(Internet of things; IoT) 기술 및 영상에서 객체를 검출하는 기술을 이용하여, 주차장 내 설치된 CCTV 등 카메라로부터 주차장 영상을 수신하고, 주차장 영상에서 차량을 검출함으로써 주차 공간에 관한 정보를 제공하는 기술이 개발되고 있다. 다만, 영상을 이용한 차량 검출 방법은 시시각각 변화하는 조명에 따라 성능이 민감하며, 영상에서 객체를 검출하는 알고리즘은 보통 계산량이 많아 실시간 처리를 요구하는 환경에 적합하지 않은 문제점이 있다. 따라서, 보다 신속하고 정확한 주차 관리 서비스 제공을 위해 이러한 문제점을 개선한 차량 검출 알고리즘이 요구되고 있다.
실시예는 사용자 위치에 근접한 주차장을 검색하고, 검색된 주차장에 대응하는 이미지에서 차량 객체들을 개별적으로 인식하여, 주차장 내 주차 가능 공간을 식별함으로써, 사용자에게 주차 공간 예약 등의 주차 관리 서비스를 제공할 수 있다.
실시예는 주차장에 진입하는 차량의 번호판을 인공신경망을 포함하는 학습 모델을 이용하여 인식하고, 인식된 번호와 사용자의 예약 정보에 기초하여, 차량의 출입을 통제하는 제어 신호를 생성하여 주차 관리 기기에 전송하는 기술을 제공할 수 있다.
실시예는 자동차가 포함된 이미지에서 자동차 영역을 검출하고, 개별적인 자동차 영역을 인식하도록 학습된 mask R-CNN 기반 학습 모델을 이용하여, 주차장에 대응하는 이미지에서 차량 객체들을 각각 분리된 객체로 인식함으로써, 주차 관리 서비스를 제공할 수 있다.
일 측에 따른 주차 관리 서비스를 제공하는 방법은 사용자의 주차 공간 예약 요청에 반응하여, 사용자의 위치 정보를 수신하는 단계; 상기 위치 정보에 기초하여, 적어도 하나의 주차장을 검색하는 단계; 상기 주차장에 대응하는 영상 정보를 수신하는 단계; 상기 영상 정보에 대응하는 특징 맵에서 복수의 앵커 박스들을 이용하여, 객체 후보 영역들을 검출하는 단계; 검출된 상기 객체 후보 영역들에서 자동차 영역들을 검출하는 단계; 검출된 상기 객체 후보 영역들에 기초하여, 상기 영상 정보에 포함된 픽셀 단위로 상기 객체 후보 영역들에 대응하는 클래스들에 속하는지 여부에 관한 마스크를 생성하는 단계; 상기 검출된 자동차 영역들 및 상기 마스크에 기초하여, 상기 자동차 영역들을 개별 자동차 영역들로 분리하여 인식하는 단계; 상기 개별 자동차 영역들에 기초하여, 상기 주차장 내 주차 가능 공간을 식별하는 단계; 및 식별된 상기 주차 가능 공간에 관한 정보를 사용자에게 제공하는 단계를 포함한다.
상기 식별된 상기 주차 가능 공간에 관한 정보를 사용자에게 제공하는 단계는 상기 사용자로부터 상기 주차 가능 공간에 대응하는 예약 정보를 수신하는 단계; 및 상기 예약 정보에 기초하여, 상기 주차장 내 주차 관리 기기에 제어 신호를 송신하는 단계를 포함할 수 있다.
상기 주차장 내 주차 관리 기기에 제어 신호를 송신하는 단계는 상기 주차장에 진입하는 차량을 포함하는 영상 정보를 수신하는 단계; 상기 영상 정보를 기초로 상기 차량의 번호를 인식하는 단계; 및 상기 인식된 차량의 번호를 상기 예약 정보와 비교하여, 상기 주차 관리 기기에 상기 차량의 출입을 제어하는 신호를 송신하는 단계를 포함할 수 있다.
상기 주차장 내 주차 관리 기기에 제어 신호를 송신하는 단계는 상기 주차 가능 공간에 대응하는 센서에 예약된 주차 영역임을 지시하는 신호를 생성하도록 제어하는 신호를 송신하는 단계를 포함할 수 있다.
상기 복수의 앵커 박스들은 앵커 박스의 높이 및 앵커 박스의 너비 중 적어도 하나가 서로 다르고, 상기 특징 맵 내 특정 크기의 윈도우에 대응될 수 있다.
상기 객체 후보 영역들을 검출하는 단계는 상기 특징 맵에 특정 크기의 커널을 적용하여, 상기 특징 맵 내 상기 커널이 적용되는 윈도우에 대응하는 복수의 앵커 박스들을 생성하는 단계; 상기 복수의 앵커 박스들 각각에 대하여, 객체 위치 정보 및 객체 인식 확률을 획득하는 단계; 및 상기 복수의 앵커 박스들 각각에 대하여 획득된 상기 객체 위치 정보 및 상기 객체 인식 확률에 기초하여, 상기 객체 후보 영역들을 검출하는 단계를 포함할 수 있다.
상기 자동차 영역들을 검출하는 단계는 상기 객체 후보 영역들에 대응하는 상기 특징 맵 내 영역들을 특정 크기의 빈(bin)으로 분할하고, 상기 빈에 대하여 양선형 보간법(bilinear interpolation)에 기반한 연산을 수행함으로써, 상기 객체 후보 영역들에 대응하는 특징 벡터를 획득하는 단계; 상기 특징 벡터를 전결합층에 인가하여, 상기 객체 후보 영역들을 인공 신경망에 인가하여 분류(classification) 및 바운딩 박스 회귀(bounding box regression)를 수행함으로써, 상기 객체 후보 영역들 중 상기 자동차 영역들을 검출하는 단계를 포함할 수 있다.
상기 자동차 영역들을 검출하는 단계는 상기 객체 후보 영역들에서 자동차 객체로 분류되는 영역을 추출함으로써, 상기 자동차 영역들을 검출하는 단계; 및 상기 객체 후보 영역들의 위치 정보를 보정함으로써, 상기 객체 후보 영역들 중 상기 자동차 영역들을 검출하는 단계를 포함할 수 있다.
상기 마스크를 생성하는 단계는 상기 검출된 자동차 영역들에 기초하여, 상기 영상 정보에 포함된 픽셀 단위로 상기 자동차 영역들에 대응하는 클래스들에 속하는지 여부에 관한 마스크를 생성하는 단계를 포함할 수 있다.
상기 마스크를 생성하는 단계는 상기 객체 후보 영역들에 대응하는 상기 특징 맵 내 영역들을 특정 크기의 빈(bin)으로 분할하고, 상기 빈에 대하여 양선형 보간법(bilinear interpolation)에 기반한 연산을 수행함으로써, 상기 객체 후보 영역들에 대응하는 특징 벡터를 획득하는 단계; 및 상기 특징 벡터를 합성곱 신경망에 인가함으로써, 상기 영상 정보에 포함된 픽셀 단위로 상기 객체 후보 영역들에 대응하는 클래스들에 속하는지 여부에 관한 마스크를 생성하는 단계를 포함할 수 있다.
상기 주차장에 대응하는 영상 정보를 수신하는 단계는 상기 영상 정보를 특징 추출에 관한 인공 신경망에 인가함으로써, 상기 영상 정보에 대응하는 특징 맵을 추출하는 단계를 더 포함할 수 있다.
일 측에 따른 주차 관리 서비스를 제공하는 방법은 사용자의 주차 공간 예약 요청에 반응하여, 사용자의 위치 정보를 수신하는 단계; 상기 위치 정보에 기초하여, 적어도 하나의 주차장을 검색하는 단계; 상기 주차장에 대응하는 영상 정보를 수신하는 단계; 상기 영상 정보를 mask R-CNN 기반 학습 모델에 입력함으로써, 상기 영상 정보에서 개별 자동차 영역들을 추출하는 단계; 상기 개별 자동차 영역들에 기초하여, 상기 주차장 내 주차 가능 공간을 식별하는 단계; 및 식별된 상기 주차 가능 공간에 관한 정보를 사용자에게 제공하는 단계를 포함한다.
상기 mask R-CNN 기반 학습 모델은 입력 영상에서 객체 영역을 추출하는 인공 신경망 모델, 상기 객체 영역에 관한 객체 위치 정보 및 객체 분류 정보를 출력하는 인공 신경망 모델 및 상기 객체 영역에 대하여 픽셀 단위로 이진 마스크를 출력하는 인공 신경망 모델을 포함할 수 있다.
상기 영상 정보를 mask R-CNN 기반 학습 모델에 입력함으로써, 상기 영상 정보에서 개별 자동차 영역들을 추출하는 단계는 상기 영상 정보에 대응하는 특징 맵을 RPN(regional proposal network)에 입력하여, 객체 후보 영역들을 검출하는 단계; 상기 객체 후보 영역들을 RoIAlign 층에 인가함으로써, 상기 객체 후보 영역들에 대응하는 특징 벡터를 획득하는 단계; 상기 특징 벡터를 전결합층에 인가함으로써, 상기 객체 후보 영역들에서 자동차 영역들을 검출하는 단계; 상기 특징 벡터에 기초하여, 상기 영상 정보에 포함된 픽셀 단위로 상기 객체 후보 영역들에 대응하는 클래스들에 속하는지 여부에 관한 마스크를 생성하는 단계; 및 상기 자동차 영역들 및 상기 마스크에 기초하여, 상기 자동차 영역들을 개별 자동차 영역들로 분리하여 인식하는 단계를 포함할 수 있다.
상기 영상 정보에 대응하는 특징 맵을 RPN(regional proposal network)에 입력하여, 객체 후보 영역들을 검출하는 단계는 상기 특징 맵에 특정 크기의 커널을 적용하여, 상기 특징 맵 내 상기 커널이 적용되는 윈도우에 대응하는 복수의 앵커 박스들을 생성하는 단계; 상기 복수의 앵커 박스들 각각에 대하여, 객체 위치 정보 및 객체 인식 확률을 획득하는 단계; 및 상기 복수의 앵커 박스들 각각에 대하여 획득된 상기 객체 위치 정보 및 상기 객체 인식 확률에 기초하여, 상기 객체 후보 영역들을 검출하는 단계를 포함할 수 있다.
상기 복수의 앵커 박스들은 앵커 박스의 높이 및 앵커 박스의 너비 중 적어도 하나가 서로 다르고, 상기 특징 맵 내 상기 윈도우에 대응될 수 있다.
상기 mask R-CNN 기반 학습 모델은 상기 객체 분류에 관한 손실 함수, 상기 객체 영역에 관한 손실 함수, 상기 이진 마스크에 관한 손실 함수에 기초하여, 자동차 이미지 및 상기 자동차 이미지 내 자동차 영역을 학습 데이터로 하여 학습된 학습 모델을 포함할 수 있다.
상기 RPN은 상기 특징 맵 내 특정 크기의 윈도우에 대응되는 복수의 앵커 박스들 각각에 대하여, 객체 영역인지 여부에 관한 이진 라벨 및 실제 바운딩 박스와의 IoU(intersection-over-union) 계산에 따른 긍정 라벨(positive label)을 지정한 학습 데이터에 기초하여 학습된 학습 모델을 포함할 수 있다.
일 측에 따른 주차 관리 시스템은 사용자의 주차 공간 예약 요청에 반응하여, 사용자의 위치 정보를 수신하고, 상기 위치 정보에 기초하여, 적어도 하나의 주차장을 검색하고, 상기 주차장에 대응하는 영상 정보를 수신하고, 상기 영상 정보에 대응하는 특징 맵에서 복수의 앵커 박스들을 이용하여, 객체 후보 영역들을 검출하고, 검출된 상기 객체 후보 영역들에서 자동차 영역들을 검출하고, 검출된 상기 객체 후보 영역들에 기초하여, 상기 영상 정보에 포함된 픽셀 단위로 상기 객체 후보 영역들에 대응하는 클래스들에 속하는지 여부에 관한 마스크를 생성하고, 상기 검출된 자동차 영역들 및 상기 마스크에 기초하여, 상기 자동차 영역들을 개별 자동차 영역들로 분리하여 인식하고, 상기 개별 자동차 영역들에 기초하여, 상기 주차장 내 주차 가능 공간을 식별하고, 식별된 상기 주차 가능 공간에 관한 정보를 사용자에게 제공하는 적어도 하나의 프로세서를 포함할 수 있다.
상기 프로세서는 상기 식별된 상기 주차 가능 공간에 관한 정보를 사용자에게 제공함에 있어서, 상기 사용자로부터 상기 주차 가능 공간에 대응하는 예약 정보를 수신하고, 상기 예약 정보에 기초하여, 상기 주차장 내 주차 관리 기기에 제어 신호를 송신할 수 있다,
상기 프로세서는 상기 주차장 내 주차 관리 기기에 제어 신호를 송신함에 있어서, 상기 주차장에 진입하는 차량을 포함하는 영상 정보를 수신하고, 상기 영상 정보를 차량 번호를 인식하는 영상 인식에 관한 인공 신경망에 인가함으로써, 상기 차량의 번호를 인식하고, 상기 인식된 차량의 번호를 상기 예약 정보와 비교하여, 상기 주차 관리 기기에 상기 차량의 출입을 제어하는 신호를 송신할 수 있다.
상기 복수의 앵커 박스들은 앵커 박스의 높이 및 앵커 박스의 너비 중 적어도 하나가 서로 다르고, 상기 특징 맵 내 특정 크기의 윈도우에 대응될 수 있다.
상기 프로세서는 상기 객체 후보 영역들을 검출함에 있어서, 상기 특징 맵에 특정 크기의 커널을 적용하여, 상기 특징 맵 내 상기 커널이 적용되는 윈도우에 대응하는 복수의 앵커 박스들을 생성하고, 상기 복수의 앵커 박스들 각각에 대하여, 객체 위치 정보 및 객체 인식 확률을 획득하고, 상기 복수의 앵커 박스들 각각에 대하여 획득된 상기 객체 위치 정보 및 상기 객체 인식 확률에 기초하여, 상기 객체 후보 영역들을 검출할 수 있다.
상기 프로세서는 상기 자동차 영역들을 검출함에 있어서, 상기 객체 후보 영역들에 대응하는 상기 특징 맵 내 영역들을 특정 크기의 빈(bin)으로 분할하고, 상기 빈에 대하여 양선형 보간법(bilinear interpolation)에 기반한 연산을 수행함으로써, 상기 객체 후보 영역들에 대응하는 특징 벡터를 획득하고, 상기 특징 벡터를 전결합층에 인가하여, 상기 객체 후보 영역들을 인공 신경망에 인가하여 분류(classification) 및 바운딩 박스 회귀(bounding box regression)를 수행함으로써, 상기 객체 후보 영역들 중 상기 자동차 영역들을 검출할 수 있다.
일 측에 따른 주차 관리 시스템은 사용자의 주차 공간 예약 요청에 반응하여, 사용자의 위치 정보를 수신하고, 상기 위치 정보에 기초하여, 적어도 하나의 주차장을 검색하고, 상기 주차장에 대응하는 영상 정보를 수신하고, 상기 영상 정보를 mask R-CNN 기반 학습 모델에 입력함으로써, 상기 영상 정보에서 개별 자동차 영역들을 추출하고, 상기 개별 자동차 영역들에 기초하여, 상기 주차장 내 주차 가능 공간을 식별하며, 식별된 상기 주차 가능 공간에 관한 정보를 사용자에게 제공하는 적어도 하나의 프로세서; 및 상기 mask R-CNN 기반 학습 모델을 저장하는 메모리를 포함한다.
도 1은 일실시예에 따른 주차 관리 시스템의 개요를 도시한 도면.
도 2는 일실시예에 따른 검출된 개별 자동차 영역 및 주차 가능 공간이 표시된 사용자 인터페이스를 도시한 도면.
도 3a 내지 도 3d는 일실시예에 따른 주차 관리 기기들의 예시를 도시한 도면들.
도 4는 일실시예에 따른 주차 가능 공간 탐색 방법을 설명하기 위한 도면.
도 5는 일실시예에 따른 차량 검출 알고리즘의 순서도를 도시한 도면.
도 6은 일실시예에 따른 RPN(regional proposal network)의 구조를 도시한 도면.
도 7은 일실시예에 따른 영상 정보에서 검출된 객체 후보 영역들을 도시한 도면.
도 8은 일실시예에 따른 개별 자동차 영역들을 분리하여 인식하는 방법을 설명하기 위한 도면.
도 9은 일실시예에 따른 mask R-CNN 프레임워크를 도시한 도면.
도 10은 일실시예에 따른 IoU(intersection-over-union)를 설명하기 위한 도면.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
도 1은 일실시예에 따른 주차 관리 시스템의 개요를 도시한 도면이다.
도 1을 참조하면, 일실시예에 따른 주차 관리 시스템(100)은 크게 예약 관리 모듈(110), 주차 가능 공간 탐색 모듈(120) 및 주차 관리 기기 제어 모듈(130)로 구성될 수 있다. 도 1에 도시된 시스템을 구성하는 모듈은 설명의 편의를 위하여, 기능 별로 구분하여 도시한 것으로, 일실시예에 따른 주차 관리 시스템의 구성을 한정하는 것은 아니며, 이하에서 설명하는 주차 관리 시스템의 동작은 하나 또는 복수의 프로세서에 의해 수행될 수 있다.
일실시예에 따른 예약 관리 모듈(110)은 사용자로부터 예약 요청을 수신하고, 주차 가능 공간 탐색 모듈에 의해 탐색된 인근 주차장 내 주차 가능 공간에 관한 정보를 사용자에게 제공하고, 사용자로부터 주차 가능 공간에 대한 예약 정보를 수신하는 기능을 수행할 수 있다. 일실시예에 따른 예약 관리 모듈(110)은 사용자 단말에 사용자 인터페이스를 제공하여, 사용자 인터페이스를 통해 예약 요청 수신, 주차 가능 공간에 관한 정보 제공, 주차 가능 공간에 대한 예약 정보 수신 등의 기능을 수행할 수 있다. 예를 들어, 일실시예에 따른 주차 관리 시스템은 사용자의 단말에 설치된 주차 관리 어플리케이션을 통해 주차 관리 서비스를 제공할 수 있으며, 주차 관리 어플리케이션 내 사용자 인터페이스를 통해 사용자로부터 예약 요청 및 위치 정보 등을 수신할 수 있다.
일실시예에 따른 주차 관리 시스템은 주차장에 대응하는 영상 정보에 차량 검출 알고리즘을 적용하여 식별된 주차 가능 공간에 관한 정보를 사용자에게 제공할 수 있다. 일실시예에 따른 주차 가능 공간에 관한 정보는 주차 가능 공간의 위치에 관한 정보, 주차 가능 공간의 개수에 관한 정보 등을 포함할 수 있다. 예를 들어, 도 2를 참조하면, 검출된 개별 자동차 영역 및 주차 가능 공간이 표시된 주차장에 대응하는 이미지가 사용자 인터페이스를 통해 사용자에게 제공될 수 있다. 일실시예에 따른 주차장에 대응하는 이미지는 주차장 내 CCTV 등 카메라로부터 수신된 주차장에 대응하는 영상 정보를 활용할 수 있으며, 주차장에 대응하는 영상 정보에 기초하여 생성될 수 있다. 또한, 실시예에 따라 주차장에 대응하는 영상 정보와 함께 주차장 내 주차 영역 위치에 관한 정보를 포함하는 주차장 맵(map)에 관한 정보를 수신하여 주차장에 대응하는 이미지가 생성될 수도 있다. 일실시예에 따를 때, 수신된 주차장 맵에 관한 정보에는 주차장 내 주차 영역에 관한 위치 정보, 주차 영역의 주차 제한에 관한 정보(예를 들어, 장애인 주차 영역, 여성 전용 주차 영역, 경차 전용 주차 영역 등), 주차장 출입구에 관한 위치 정보 등이 포함될 수 있다. 일실시예에 따른 주차 관리 시스템은 수신된 주차장 맵에 관한 정보에 기초하여, 식별된 주차 가능 공간의 주차 제한에 관한 정보를 사용자에게 제공할 수도 있다. 예를 들어, 식별된 주차 가능 공간이 장애인 전용 주차 영역인지 여부, 여성 전용 주차 영역인지 여부, 경차 전용 주차 영역인지 여부 등의 정보가 제공될 수 있다. 일실시예에 따른 주차 제한에 관한 정보는 주차장 이미지가 표시된 사용자 인터페이스를 통해, 주차 영역에 대응하여 색상, 텍스트, 기호, 아이콘 등으로 표시될 수 있다.
일실시예에 따른 사용자 인터페이스를 통해 사용자는 예약하고자 하는 주차 가능 공간을 선택하고, 선택된 주차 가능 공간에 대응하여 예약 시간, 예약 차량 등에 관한 정보를 포함한 예약 정보를 입력할 수 있으며, 입력된 예약 정보는 주차 관리 시스템에 수신되어 주차 관리 서비스 제공을 위해 이용될 수 있다.
다시 도 1을 참조하면, 일실시예에 따른 주차 가능 공간 탐색 모듈(120)은 사용자로부터 수신된 예약 요청에 반응하여, 사용자의 위치 정보를 수신하고, 사용자의 위치에 기초하여 주차장을 검색하고, 검색된 주차장 내 주차 가능 공간을 식별하는 기능을 수행할 수 있다.
보다 구체적으로, 일실시예에 따른 주차 관리 시스템은 사용자 인터페이스를 통해 수신된 사용자의 예약 요청에 따라, 사용자의 위치 정보를 수신할 수 있다. 다시 말해, 사용자 인터페이스가 표시되는 사용자의 단말로부터 GPS 등을 통해 위치 정보를 수신할 수 있다. 일실시예에 따른 주차 관리 시스템은 수신된 사용자의 위치 정보에 기초하여, 경로 탐색 알고리즘을 이용하여, 인근 주차장을 검색할 수 있다. 경로 탐색 알고리즘은 다익스트라(Dijkstra) 알고리즘, 플로이드-워셜(Floyd-Warshall) 알고리즘, 벨만-포드(Bellman-ford) 알고리즘 등 최단 경로 알고리즘을 포함할 수 있다. 즉, 일실시예에 따른 주차 관리 시스템은 사용자의 위치 정보 및 주차장들의 위치 정보에 기초하여, 최단 경로 알고리즘에 따라 사용자 위치에서 가까운 적어도 하나의 주차장을 검색할 수 있다. 일실시예에 따른 주차 관리 시스템은 검색된 주차장에 대응하는 영상 정보를 수신하여, 수신된 영상 정보에서 차량 검출 알고리즘을 이용하여 차량을 검출하는 기능을 수행할 수 있다. 일실시예에 따른 특정 주차장에 대응하는 영상 정보는 해당 주차장 내 설치된 CCTV 등 카메라를 통해 촬영한 영상 정보로, 일실시예에 따른 주차 관리 시스템은 IoT를 이용하여, 주차장 내 카메라로부터 영상 정보를 수신할 수 있다.
일실시예에 따른 차량 검출 알고리즘은 영상에서 객체를 인식하는 영상 인식 기술에 기반한 알고리즘으로, 예를 들어 mask R-CNN을 이용하여 차량을 검출하는 알고리즘에 해당할 수 있다. 보다 구체적으로, 일실시예에 따른 차량 검출 알고리즘은 영상 정보에 대응하는 특징 맵(feature map)에서 복수의 앵커 박스들을 이용하여, 객체 후보 영역들을 검출하는 단계, 검출된 객체 후보 영역들에서 자동차 영역들을 검출하는 단계, 검출된 객체 후보 영역들에 기초하여, 영상 정보에 포함된 픽셀 단위로 자동차 영역들에 속하는지 여부에 관한 마스크를 생성하는 단계, 검출된 자동차 영역들 및 마스크에 기초하여, 자동차 영역들을 개별 자동차 영역들로 분리하여 인식하는 단계를 포함할 수 있다.
일실시예에 따른 주차 관리 시스템은 차량 검출 알고리즘을 통해 주차장의 영상 정보에서 개별 자동차 영역들을 검출할 수 있고, 검출된 개별 자동차 영역들에 기초하여 주차장 내 주차 가능 공간을 식별할 수 있다. 실시예에서, 개별 자동차 영역들을 검출하는 것은 영상 정보에서 주차된 차량들을 차량들마다 구분되는 자동차 객체로 인식하고, 영상 내 인식된 자동차 객체의 위치 정보를 검출하는 것을 의미할 수 있다. 즉, 영상 정보에서 검출된 개별 자동차 영역들에 기초하여, 주차장 내 주차 공간에서 검출된 개별 자동차 영역에 해당하여 주차가 불가능한 공간과 개별 자동차 영역에 해당하지 않아 주차가 가능한 주차 가능 공간이 식별될 수 있다. 일실시예에 따른 주차 가능 공간 탐색 방법은 이하의 도 4에서 상술한다.
일실시예에 따른 주차 관리 시스템은 사용자 인터페이스 등을 통하여, 사용자로부터 주차 가능 공간에 대응하는 예약 정보를 수신할 수 있다. 즉, 일실시예에 따른 주차 관리 기기 제어 모듈(130)은 주차 가능 공간에 대응하는 사용자의 예약 정보에 기초하여, 주차장 내 주차 관리 기기에 제어 신호를 송신하는 모듈에 해당할 수 있다. 일실시예에 따른 주차 관리 기기는 주차장 입구 게이트, 주차 공간 개폐기, 주차 공간마다 설치된 라이트 센서, 무인 정산기, 주차장 전광판, 차량 번호 인식기, CCTV 등 주차장 내 주차 관련 기능을 수행하는 기기를 포함할 수 있다. 주차 관리 기기의 예시로, 주차장 입구 게이트는 도 3a를, 주차 공간 개폐기는 도 3b를, 주차 공간마다 설치된 라이트 센서는 도 3c를 , 무인 정산기는 도 3d를 참조할 수 있다. 일실시예에 따른 주차장 내 주차 관리 기기들 및 주차 관리 시스템은 IoT 네트워크를 통해 통신할 수 있다.
일실시예에 따른 주차 관리 시스템은 주차장 입구, 주차장 입구 게이트 등에 설치된 카메라를 통해 주차장에 진입하는 차량을 포함하는 영상 정보를 수신할 수 있다. 수신된 영상 정보에서 영상 인식을 통해 차량 번호를 인식하고, 인식된 차량 번호를 해당 주차장 내 주차 가능 공간에 대응하는 예약 정보와 비교함으로써, 차량 출입을 제어하는 신호, 다시 말해 주차장 입구 게이트의 개폐를 제어하는 신호를 송신할 수 있다. 예를 들어, 인식된 차량 번호가 해당 주차장 내 주차 가능 공간에 대응하는 예약 정보에 포함된 경우, 주차장 입구 게이트를 열기 위한 제어 신호를 송신할 수 있고, 인식된 차량 번호가 예약 정보에 포함되지 않은 경우, 주차장 입구 게이트를 닫기 위한 제어 신호를 송신할 수 있다.
일실시예에 따를 때, 주차 관리 시스템은 주차 공간 근처에 설치된 카메라를 통해 주차 공간에 진입하는 차량을 포함하는 영상 정보를 수신할 수 있다. 수신된 영상 정보에서 영상 인식을 통해 차량 번호를 인식하고, 인식된 차량 번호를 해당 주차 공간에 대응하는 예약 정보와 비교함으로써, 차량 출입을 제어하는 신호, 다시 말해 주차 공간 개폐기의 개폐를 제어하는 신호를 송신할 수 있다. 예를 들어, 인식된 차량 번호가 해당 주차 공간 대응하는 예약 정보에 포함된 경우, 주차 공간 개폐기를 열기 위한 제어 신호를 송신할 수 있고, 인식된 차량 번호가 예약 정보에 포함되지 않은 경우, 주차 공간 개폐기를 닫기 위한 제어 신호를 송신할 수 있다.
일실시예에 따른 차량 번호 인식은 R-CNN 및 OCR 등 복수의 영상 인식 기술을 적용하여 수행될 수 있다. 보다 구체적으로, 차량 번호 인식 알고리즘은 자동차 번호판을 포함한 영상을 수신하고, 수신된 영상을 흑백(grayscale)으로 변경하는 단계를 포함할 수 있다. 촬영 당시의 상황(예를 들어, 어두운 밤인 상황, 전조등에 의하여 너무 밝은 상황 등)을 고려하여 어두운 배경을 밝게 강조하는 TopHat, 밝은 배경을 어둡게 강조하는 BlackHat 등을 수행하여 영상을 처리하는 단계를 포함할 수 있다. 흑백으로 변경된 영상에서 색상에 따른 경계를 생성하고 (thresholding), 분류기를 이용하여 색상에 따라 영상을 분할하여 클래스 별로 그룹화하는 분류(classification)를 수행하는 단계를 포함할 수 있다. 분류 결과에 따라 한글 및 숫자를 포함하는 클래스를 인식하고, 해당 클래스에 대하여 OCR(optical character reader) 기술을 이용하여 차량 번호를 인식하는 단계를 포함할 수 있다. 일실시예에 따를 때, 한글 및 숫자를 포함하는 클래스에 대하여 OCR 기술을 적용하기에 앞서, 촬영 각도에 따라 영상을 회전시키는 단계를 포함할 수 있다. 인식된 차량 번호는 해당 차량이 해당 주차장 또는 주차 공간에 예약된 차량인지 여부의 확인에 이용될 수 있다.
즉, 일실시예에 따른 주차 관리 시스템은 주차장에 진입하는 차량을 포함하는 영상 정보를 수신하고, 영상 정보를 차량 번호를 인식하는 영상 인식에 관한 인공 신경망에 인가함으로써, 차량의 번호를 인식하여, 해당 주차장 내 주차 가능 공간에 대응하는 예약 정보와 비교함으로써, 주차 관리 기기에 차량의 출입을 제어하는 신호를 송신할 수 있다. 일실시예에 따른 영상 인식에 관한 인공 신경망은 RNN 기반 인공 신경망 및 OCR에 관한 인공 신경망을 포함할 수 있다.
일실시예에 따를 때, 주차 관리 시스템은 예약 정보에 따른 주차 공간에 대응하는 센서에 예약된 주차 공간임을 지시하는 신호를 생성하도록 제어하는 신호를 송신할 수 있다. 예를 들어, 도 3c를 참조하면, 수신된 예약 정보에 따를 때, 주차 공간(301)은 예약된 주차 공간에 해당하고, 주차 공간(302)은 예약되지 않은 주차 공간에 해당하는 경우, 주차 관리 시스템은 주차 공간(301)에 대응하는 센서(311)에 예약된 주차 공간임을 지시하는 신호를 생성하도록 제어 신호를 송신할 수 있다. 일실시예에 따른 제어 신호에 의해 예약된 주차 공간(301)에 대응하는 센서(311)는 수신된 제어 신호에 반응하여, 예약되지 않은 주차 공간(302)에 대응하는 센서(312)와 구분되는 빛을 방출함으로써 예약된 주차 공간임을 지시하는 신호를 생성할 수 있다.
일실시예에 따른 주차 관리 시스템은 사용자의 정산 요청에 반응하여, 무인 정산기에 차량 출고 시간까지의 시간을 계산하여 주차 요금이 정산되도록 하는 제어 신호를 송신할 수 있다. 또한, 일실시예에 따른 주차 관리 시스템은 사용자 인터페이스 등을 통하여, 예약된 주차 공간에 주차가 되고 있는지 확인하는 기능을 제공할 수 있다.
도 4는 일실시예에 따른 주차 가능 공간 탐색 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 일실시예에 따른 주차 가능 공간 탐색 방법은 위치 정보를 수신하는 단계(410), 주차장을 검색하는 단계(420), 주차 가능 공간을 식별하는 단계(430) 및 주차 가능 공간에 관한 정보를 제공하는 단계(440)를 포함할 수 있다.
일실시예에 따른 주차장을 검색하는 단계(420)는 상술한 바와 같이 최단 경로 알고리즘을 이용하여, 사용자 위치와 가까이에 있는 적어도 하나의 주차장을 검색하는 단계를 포함할 수 있다. 일실시예에 따를 때, 주차 관리 시스템은 주차장을 검색함에 있어서, 최단 경로 및 교통 정보를 고려하여, 사용자 위치와 가까운 적어도 하나의 주차장을 검색할 수 있다. 즉, 주차장과 사용자 위치 사이의 거리 뿐만 아니라, 사용자의 위치에서 주차장으로 이동하는 경로에 포함된 도로의 교통 상황을 고려하여 적어도 하나의 주차장을 검색할 수 있다. 일실시예에 따른 교통 정보는 최단 경로 알고리즘에 따라 검색된 경로 내 특정 도로의 실시간 차량 집중도, 빅데이터를 통한 과거 월/주/시간 별 차량 집중도 통계 결과를 포함할 수 있다. 최단 경로 알고리즘에 의한 최단 경로가 교통 정보를 고려할 때 교통량으로 인해 도착 시간이 지연되는 경로로 예상되면, 다음 최단 경로에 따른 주차장이 검색될 수 있다. 또한, 일실시예에 따른 단계(420)는 주차장까지의 경로 및 교통 정보를 동시에 고려하여, 사용자의 위치에서 주차장까지 이동하는 데에 소요되는 시간이 최소인 주차장을 검색하는 단계를 포함할 수 있다.
일실시예에 따른 주차 가능 공간을 식별하는 단계(430)는 차량 검출 알고리즘을 이용하여, 주차장에 대응하는 영상 정보에서 주차 가능 공간을 식별하는 단계에 해당할 수 있다. 일실시예에 따른 차량 검출 알고리즘은 영상 정보에서 개별적인 객체를 인식하는 기술을 이용하여, 주차장에 대응하는 영상 정보에서 개별 자동차 영역을 검출하는 알고리즘으로, 예를 들어 mask R-CNN에 기반한 알고리즘을 포함할 수 있다. 일실시예에 다른 차량 검출 알고리즘에 관하여 이하의 도 5내지 도 10에서 상술한다.
일실시예에 따른 주차 관리 시스템은 차량 검출 알고리즘에 의해 검출된 개별 자동차 영역들에 기초하여, 주차장 내 주차 공간에서 검출된 개별 자동차 영역에 해당하지 않는 주차 공간을 주차 가능 공간으로 식별할 수 있다. 일실시예에 따른 주차 공간 식별은 주차장 내 주차 영역들 및 검출된 개별 자동차 영역들을 대응시켜, 주차 영역들 중 개별 자동차 영역들 중 어느 하나와 대응되지 않는 주차 영역을 주차 가능 공간을 식별하는 것을 의미할 수 있다.
일실시예에 따를 때, 주차 가능 공간을 식별하는 방법으로, 수신된 주차장 맵 및/또는 주차장에 대응하는 영상 정보에, 검출된 개별 자동차 영역들에 관한 정보를 적용하여, 주차 가능 공간을 식별하는 방법이 있을 수 있다. 상술한 바와 같이 주차장 맵에는 주차장 내 주차 영역에 관한 위치 정보, 주차 영역 중 장애인 주차 영역에 관한 위치 정보 등이 포함될 수 있다. 일실시예에 따른 주차 관리 시스템은 수신된 주차장 맵에 기초하여, 주차장 내 주차 영역들의 위치를 획득할 수 있고, 획득된 주차 영역들 및 검출된 개별 자동차 영역들을 대응시켜 주차 영역들 중 주차가 가능한 주차 영역을 식별할 수 있다. 일실시예에 따를 때, 영상 정보에서 검출된 개별 자동차 영역들과 주차장 내 주차 영역들을 대응시키기 위하여, 주차장 내에서 카메라가 설치된 위치, 화각(field of view; FOV) 등이 고려될 수 있다. 즉 일실시예에 따른 주차 관리 시스템은 주차장으로부터 카메라 설치 위치, 화각 등을 포함하는 카메라 정보를 수신하여, 수신된 카메라 정보에 기초하여, 주차 가능 공간을 식별할 수 있다.
일실시예에 따를 때, 주차 가능 공간을 식별하는 방법으로, 주차장에 대응하는 영상에서 주차 라인을 인식하여, 주차 라인 정보 및 검출된 개별 자동차 영역들에 관한 정보에 기초하여, 주차 가능 공간을 식별하는 방법이 있을 수 있다. 일실시예에 따른 주차 관리 시스템은 영상 정보에서 영상 인식 기술을 이용하여, 주차 라인을 인식함으로써, 주차 영역에 관한 정보를 획득할 수 있다. 일실시예에 따를 때, 주차 관리 시스템은 주차장에 대응하는 주차장 맵을 수신하고, 영상 정보에서 획득된 주차 라인 정보 및 개별 자동차 영역들에 관한 정보를 수신된 주차장 맵에 적용하여, 주차장 내 주차 영역들 중 주차 가능 공간을 식별할 수 있다.
도 5는 일실시예에 따른 차량 검출 알고리즘의 순서도를 도시한 도면이다.
도 5를 참조하면, 일실시예에 따른 차량 검출 알고리즘은 객체 후보 영역들을 검출하는 단계(510), 객체 후보 영역들에서 자동차 영역들을 검출하는 단계(520), 객체 후보 영역들에 기초하여, 영상 정보에 포함된 픽셀 단위로 마스크를 생성하는 단계(530), 및 검출된 자동차 영역들 및 마스크에 기초하여, 자동차 영역들을 개별 자동차 영역들로 분리하여 인식하는 단계(540)를 포함할 수 있다.
일실시예에 따른 객체 후보 영역들을 검출하는 단계(510)는 주차장에 대응하는 영상 정보에서 특징 맵을 추출하고, 추출된 영상 정보에 대응하는 특징 맵에서 복수의 앵커 박스들(anchor boxes)을 이용하여, 객체 후보 영역들을 검출하는 단계를 포함할 수 있다. 일실시예에 따른 복수의 앵커 박스들은 특징 맵 내 특정 크기의 윈도우에 대응되며, 특정 크기는 커널 사이즈를 포함할 수 있다.
도 6을 참조하면, 특징 맵 내 3×3 크기의 윈도우의 중심을 기준으로 하는 k개의 앵커 박스들이 생성될 수 있다. 다시 말해, 복수의 앵커 박스들은 슬라이딩 윈도우 방법에 의해 특징 맵이 스캔되는 윈도우마다 생성될 수 있다. 일실시예에 따른 특정 크기의 윈도우에 대응되는 복수의 앵커 박스들은 앵커 박스의 높이 및 앵커 박스의 너비 중 적어도 하나가 서로 다른 특징을 가질 수 있다. 다시 말해, 특정 크기의 윈도우에 대응되는 앵커 박스들은 넓이가 서로 다르거나, 너비 및 높이의 비가 서로 다르거나, 넓이와 너비 및 높이의 비가 서로 다를 수 있다. 예를 들어, 특징 맵 내 윈도우에 대응되는 복수의 앵커 박스들은 각각 1282, 2562, 5122 픽셀들을 포함하는 넓이 및 1:1, 1:2, 2:1의 너비 및 높이 비를 갖는 9개의 앵커 박스들에 해당될 수 있다.
다시 도 5를 참조하면, 일실시예에 따른 객체 후보 영역들을 검출하는 단계(510)는 특징 맵에 특정 크기의 커널을 적용하여, 상기 특징 맵 내 상기 커널이 적용되는 윈도우에 대응하는 복수의 앵커 박스들을 생성하는 단계, 복수의 앵커 박스들 각각에 대하여, 객체 위치 정보 및 객체 인식 확률을 획득하는 단계 및 복수의 앵커 박스들 각각에 대하여 획득된 객체 위치 정보 및 객체 인식 확률에 기초하여, 객체 후보 영역들을 검출하는 단계를 포함할 수 있다.
일실시예에 따른 객체 후보 영역들은 mask R-CNN에 따른 RoI(region of interest)에 대응될 수 있다. 즉, 영상 정보에 대응하는 특징 맵에서 복수의 앵커 박스들을 이용하여, 객체 후보 영역들을 검출하는 단계는 특징 맵을 RPN(regional proposal network)에 입력하여, RoI를 검출하는 단계에 대응될 수 있다.
도 6은 일실시예에 따른 RPN의 구조를 도시한 도면이다. 도 6을 참조하면, 영상 정보에서 합성곱 신경망에 따라 제1 특징 맵(conv feature map)을 추출하고, 제1 특징 맵을 신경망 층(intermediate layer)에 인가하여, 3×3 합성곱(convolution) 연산을 256 채널만큼 수행함으로써, 제2 특징 맵(256-d)을 획득할 수 있다. 제2 특징 맵(256-d)을 1×1 컨볼루션을 이용하여 연산하는 FCN(fully convolution network)인 신경망 층(cls layer)에 인가함으로써, 분류를 수행하고, 다른 1×1 컨볼루션을 이용하여 연산하는 FCN인 신경망 층(reg layer)에 인가함으로써, 바운딩 박스 회귀(bounding box regression)을 수행할 수 있다. 분류를 수행한 결과 및 바운딩 박스 회귀를 수행한 결과를 이용하여, RoI를 획득할 수 있다.
도 6을 참조하면, 일실시예에 따를 때, 분류에 관한 신경망 층(cls layer)의 결과 획득된 특징 맵(2k scores)은 복수의 앵커 박스들 각각에 대한 객체 인식 확률에 대응될 수 있고, 바운딩 박스 회귀에 관한 신경망 층(reg layer)의 결과 획득된 특징 맵(4k coordinates)은 복수의 앵커 박스들 각각에 대한 객체 위치 정보에 대응될 수 있다. 즉, 복수의 앵커 박스들 각각에 대한 객체 인식 확률 및 객체 위치 정보에 기초하여, 객체 후보 영역들이 검출될 수 있다.
도 7은 영상 정보 내 복수의 앵커 박스들 각각에 대한 객체 인식 확률 및 객체 위치 정보에 기초하여, 검출된 객체 후보 영역들을 도시한 도면이다. 도 7을 참조하면, 앵커 박스에 대한 객체 인식 확률 및 객체 위치 정보를 획득하여, 객체로 예상되는 영역이 객체 후보 영역으로 검출될 수 있다. 크기가 서로 다른 복수의 앵커 박스들을 이용함으로써, 다른 크기의 객체 영역을 검출할 수 있으며, 겹쳐 있는 객체들을 검출할 수 있다.
다시 도 5를 참조하면, 일실시예에 따른 객체 후보 영역들에서 자동차 영역들을 검출하는 단계(520)는 객체 후보 영역들에서 자동차 객체로 분류되는 영역들을 추출하고, 객체 후보 영역들의 위치 정보를 보정하여 검출된 객체 위치 정보를 보다 정확하게 획득하는 단계를 포함할 수 있다. 객체 후보 영역들에서 자동차 객체로 분류되는 영역들을 추출하는 단계는 분류(classification)에 관한 인공 신경망에서 수행될 수 있으며, 객체 후보 영역들의 위치 정보를 보정하는 단계는 바운딩 박스 회귀(bounding box regression)에 관한 인공 신경망에서 수행될 수 있다. 보다 구체적으로, 자동차 영역들을 검출하는 단계(520)는 객체 후보 영역들에 대응하는 특징 맵 내 영역들을 특정 크기의 빈(bin)으로 분할하고, 빈에 대하여 양선형 보간법(bilinear interpolation)에 기반한 연산을 수행함으로써, 객체 후보 영역들에 대응하는 특징 벡터를 획득하는 단계, 특징 벡터를 전결합층(fully connected layer; fc)에 인가하여, 상기 객체 후보 영역들을 인공 신경망에 인가하여 분류(classification) 및 바운딩 박스 회귀(bounding box regression)를 수행함으로써, 객체 후보 영역들 중 자동차 영역들을 검출하는 단계를 포함할 수 있다.
일실시예에 따른 마스크를 생성하는 단계(530)는 단계(510)에서 검출된 객체 후보 영역들에 대응하는 특징 벡터를 합성곱 신경망에 인가함으로써, 상기 영상 정보에 포함된 픽셀 단위로 상기 객체 후보 영역들에 대응하는 클래스들에 속하는지 여부에 관한 마스크를 생성하는 단계를 포함할 수 있다. 일실시예에 따른 마스크는 각 객체 후보 영역들이 객체 분류에 관한 클래스에 속하는지 여부에 관한 이진 마스크로, 객체 후보 영역들 각각에 대응하여, 객체 후보 영역들에 대응하는 클래스들마다 이진 마스크가 생성될 수 있다. 예를 들어, 이진 마스크가 m×m 해상도(resolution)를 갖고, 객체 후보 영역들에 대응하는 클래스들의 개수가 K개인 경우, 객체 후보 영역들 각각에 대응하여, Km2 차원의 출력이 생성될 수 있다. 신경망의 학습 과정에서, 입력 데이터의 실제 클래스가 k인 경우, 마스크 생성에 관한 손실 함수는 클래스 k에 대응하는 이진 마스크에만 의존하므로, 클래스들 간 경쟁없이 각 클래스에 대한 마스크가 생성될 수 있다.
일실시예에 따른 마스크를 생성하는 단계(530)는 단계(520)에서 검출된 자동차 영역들에 기초하여, 영상 정보에 포함된 픽셀 단위로 자동차 영역들에 대응하는 클래스들에 속하는지 여부에 관한 마스크를 생성하는 단계를 포함할 수 있다. 즉, 일실시예에 따른 마스크를 생성하는 단계는 객체 후보 영역들을 인공 신경망에 인가하여 분류(classification) 및 바운딩 박스 회귀(bounding box regression)를 수행하여 검출된 자동차 영역들에 대응하여 생성될 수 있다. 이 경우, 일실시예에 따른 마스크는 각 자동차 영역들이 객체 분류에 관한 클래스에 속하는지 여부에 관한 이진 마스크로, 자동차 영역들 각각에 대응하여, 자동차 영역들 각각에 대응하는 클래스들마다 이진 마스크가 생성될 수 있다.
일실시예에 따른 검출된 자동차 영역들 및 마스크에 기초하여, 자동차 영역들을 개별 자동차 영역들로 분리하여 인식하는 단계는 검출된 복수의 자동차 영역들을 서로 다른 객체로 분리하여 인식하는 인스턴스 세그먼테이션(instance segmentation) 단계에 해당할 수 있다. 다시 말해, 검출된 자동차 영역들은 자동차라는 동일한 클래스로 분류된 객체들의 영역들로, 동일한 클래스의 객체들을 서로 다른 객체로 인식하여, 각 자동차 영역을 서로 구분하여 인식하는 단계에 해당할 수 있다.
도 8을 참조하면, 일실시예에 따른 개별 자동차 영역들을 분리하여 인식하기 위하여, 검출된 객체 후보 영역들(RoI)에서 자동차 객체로 분류되는 영역을 추출하는 분류(classification) 단계, 객체 후보 영역들의 위치 정보를 보정하는 바운딩 박스 회귀(bounding box regression) 단계 및 개체 후보 영역들에 대한 이진 마스크를 생성하는 마스크(mask) 단계가 병렬적으로 수행될 수 있다. 즉, 객체 후보 영역들에서 특징 벡터를 추출하고, 추출된 특징 벡터에 대하여 병렬적으로 분류, 바운딩 박스 회귀 및 마스크 생성을 수행함으로써, 개별 자동차 영역들을 분리하여 인식할 수 있다. 일실시예에 따를 때, 추출된 특징 벡터는 객체 후보 영역들에 대응하는 특징 맵 내 영역들을 특정 크기의 빈(bin)으로 분할하고, 빈에 대하여 양선형 보간법(bilinear interpolation)에 기반한 연산을 수행함으로써, 획득된 객체 후보 영역들에 대응하는 특징 벡터에 해당할 수 있다. 즉, 특징 벡터는 mask R-CNN에 따른 RoIAlign 방법에 의해 추출된 특징 벡터로, mask R-CNN 기반 학습 모델의 RoIAlign 층에 객체 후보 영역인 RoI를 인가함으로써, 추출된 특징 벡터에 해당할 수 있다. 상술한 바와 같이, 마스크 생성은 객체 후보 영역들 중 바운딩 박스 회귀 및 분류에 의해 검츨된 자동차 영역에 대응하여 수행될 수 있다.
일실시예에 따른 차량 검출 알고리즘을 이용하여, 주차장 영상에서 주차된 차량들을 서로 다른 자동차 객체로 인식하고, 영상 내에서 각 자동차 객체가 위치한 영역을 획득함으로써, 주차장 내 주차 가능한 빈 공간을 식별할 수 있다.
도 9은 일실시예에 따른 mask R-CNN 프레임워크를 도시한 도면이다.
일실시예에 따른 차량 검출 알고리즘은 mask R-CNN에 기반한 알고리즘에 해당할 수 있다. 즉, 일실시예에 따른 차량 알고리즘에 따라 주차장 영상 정보에서 자동차 영역들을 검출하고, 개별 자동차 영역들로 분리하여 인식하는 단계는 주차장 영상 정보를 mask R-CNN 기반 학습 모델에 입력함으로써, 영상 정보에서 개별 자동차 영역들을 추출하는 단계에 대응될 수 있다.
도 6을 참조하면, 영상 정보를 mask R-CNN 기반 학습 모델에 입력함으로써, 영상 정보에서 개별 자동차 영역들을 추출하는 단계는 영상 정보에 대응하는 특징 맵을 RPN(regional proposal network)에 입력하여, 객체 후보 영역들 RoI를 검출하는 단계, 객체 후보 영역들을 RoIAlign 층에 인가함으로써, 객체 후보 영역들에 대응하는 특징 벡터를 획득하는 단계, 특징 벡터를 전결합층에 인가함으로써, 상기 객체 후보 영역들에서 자동차 영역들을 검출하는 단계, 특징 벡터에 기초하여, 영상 정보에 포함된 픽셀 단위로 상기 객체 후보 영역들에 대응하는 클래스들에 속하는지 여부에 관한 마스크를 생성하는 단계 및 자동차 영역들 및 마스크에 기초하여, 자동차 영역들을 개별 자동차 영역들을 개별 자동차 영역들로 분리하여 인식하는 단계를 포함할 수 있다.
일실시예에 따른 mask R-CNN 기반 학습 모델은 자동차 이미지 및 자동차 이미지 내 자동차 영역을 학습 데이터로 하여, 분류에 관한 손실 함수(Lcls), 객체 영역에 관한 손실 함수(Lbox), 마스크에 관한 손실 함수(Lmask)에 기초하여, 학습될 수 있다. 즉, 각 샘플링 된 RoI에 대한 다중 작업 손실(multi-task loss)을 L = Lcls + Lbox + Lmask로 정의될 수 있다. Lcls 및 Lbox는 Fast R-CNN에 따른 Lcls 및 Lbox와 동일하게 정의될 수 있으며, Lmask는 픽셀 별로 시그모이드(sigmoid)를 적용한 평균 이진 크로스 엔트로피 손실(average binary cross-entropy loss)로 정의될 수 있다.
일실시예에 따른 mask R-CNN 기반 학습 모델 내 RPN은 특징 맵 내 특정 크기의 윈도우에 대응되는 복수의 앵커 박스들 각각에 대하여, 객체 영역인지 여부에 관한 이진 라벨 및 실제 바운딩 박스와의 IoU(intersection-over-union) 계산에 따른 긍정 라벨(positive label)을 지정한 학습 데이터에 기초하여 학습될 수 있다. 도 10을 참조하면, 실제 바운딩 박스(1010)와 앵커 박스(1020)의 IoU는 실제 바운딩 박스(1010)와 앵커 박스(1020)의 겹쳐지는 영역의 넓이를 실제 바운딩 박스(1010)와 앵커 박스(1020)의 전체 영역의 넓이로 나눈 값에 해당한다. 일실시예에 따를 때, 앵커 박스와 실제 바운딩 박스와의 IoU(intersection-over-union)가 일정 기준 값 이상인 경우 긍정 라벨(positive label)이, 그렇지 않은 경우 부정 라벨(negative label)이 지정될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (25)

  1. 사용자의 주차 공간 예약 요청에 반응하여, 사용자의 위치 정보를 수신하는 단계;
    상기 위치 정보에 기초하여, 적어도 하나의 주차장을 검색하는 단계;
    상기 주차장에 대응하는 영상 정보를 수신하는 단계;
    상기 영상 정보에 대응하는 특징 맵에서 복수의 앵커 박스들을 이용하여, 객체 후보 영역들을 검출하는 단계;
    검출된 상기 객체 후보 영역들에서 자동차 영역들을 검출하는 단계;
    검출된 상기 객체 후보 영역들에 기초하여, 상기 영상 정보에 포함된 픽셀 단위로 상기 객체 후보 영역들에 대응하는 클래스들에 속하는지 여부에 관한 마스크를 생성하는 단계;
    상기 검출된 자동차 영역들 및 상기 마스크에 기초하여, 상기 자동차 영역들을 개별 자동차 영역들로 분리하여 인식하는 단계;
    상기 개별 자동차 영역들에 기초하여, 상기 주차장 내 주차 가능 공간을 식별하는 단계; 및
    식별된 상기 주차 가능 공간에 관한 정보를 사용자에게 제공하는 단계
    를 포함하는,
    주차 관리 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 식별된 상기 주차 가능 공간에 관한 정보를 사용자에게 제공하는 단계는
    상기 사용자로부터 상기 주차 가능 공간에 대응하는 예약 정보를 수신하는 단계; 및
    상기 예약 정보에 기초하여, 상기 주차장 내 주차 관리 기기에 제어 신호를 송신하는 단계
    를 더 포함하는,
    주차 관리 서비스 제공 방법.
  3. 제2항에 있어서,
    상기 주차장 내 주차 관리 기기에 제어 신호를 송신하는 단계는
    상기 주차장에 진입하는 차량을 포함하는 영상 정보를 수신하는 단계;
    상기 영상 정보를 기초로 차량의 번호를 인식하는 단계; 및
    상기 인식된 차량의 번호를 상기 예약 정보와 비교하여, 상기 주차 관리 기기에 상기 차량의 출입을 제어하는 신호를 송신하는 단계
    를 포함하는,
    주차 관리 서비스 제공 방법.
  4. 제2항에 있어서,
    상기 주차장 내 주차 관리 기기에 제어 신호를 송신하는 단계는
    상기 주차 가능 공간에 대응하는 센서에 예약된 주차 영역임을 지시하는 신호를 생성하도록 제어하는 신호를 송신하는 단계
    를 포함하는,
    주차 관리 서비스 제공 방법.
  5. 제1항에 있어서,
    상기 복수의 앵커 박스들은
    앵커 박스의 높이 및 앵커 박스의 너비 중 적어도 하나가 서로 다르고,
    상기 특징 맵 내 특정 크기의 윈도우에 대응되는,
    주차 관리 서비스 제공 방법.
  6. 제1항에 있어서,
    상기 객체 후보 영역들을 검출하는 단계는
    상기 특징 맵에 특정 크기의 커널을 적용하여, 상기 특징 맵 내 상기 커널이 적용되는 윈도우에 대응하는 복수의 앵커 박스들을 생성하는 단계;
    상기 복수의 앵커 박스들 각각에 대하여, 객체 위치 정보 및 객체 인식 확률을 획득하는 단계; 및
    상기 복수의 앵커 박스들 각각에 대하여 획득된 상기 객체 위치 정보 및 상기 객체 인식 확률에 기초하여, 상기 객체 후보 영역들을 검출하는 단계
    를 포함하는,
    주차 관리 서비스 제공 방법.
  7. 제1항에 있어서,
    상기 자동차 영역들을 검출하는 단계는
    상기 객체 후보 영역들에 대응하는 상기 특징 맵 내 영역들을 특정 크기의 빈(bin)으로 분할하고, 상기 빈에 대하여 양선형 보간법(bilinear interpolation)에 기반한 연산을 수행함으로써, 상기 객체 후보 영역들에 대응하는 특징 벡터를 획득하는 단계; 및
    상기 특징 벡터를 전결합층에 인가하여, 상기 객체 후보 영역들을 인공 신경망에 인가하여 분류(classification) 및 바운딩 박스 회귀(bounding box regression)를 수행함으로써, 상기 객체 후보 영역들 중 상기 자동차 영역들을 검출하는 단계
    를 포함하는,
    주차 관리 서비스 제공 방법.
  8. 제1항에 있어서,
    상기 자동차 영역들을 검출하는 단계는
    상기 객체 후보 영역들에서 자동차 객체로 분류되는 영역을 추출함으로써, 상기 자동차 영역들을 검출하는 단계; 및
    상기 객체 후보 영역들의 위치 정보를 보정함으로써, 상기 객체 후보 영역들 중 상기 자동차 영역들을 검출하는 단계
    를 포함하는,
    주차 관리 서비스 제공 방법.
  9. 제1항에 있어서,
    상기 마스크를 생성하는 단계는
    상기 검출된 자동차 영역들에 기초하여, 상기 영상 정보에 포함된 픽셀 단위로 상기 자동차 영역들에 대응하는 클래스들에 속하는지 여부에 관한 마스크를 생성하는 단계
    를 포함하는,
    주차 관리 서비스 제공 방법.
  10. 제1항에 있어서,
    상기 마스크를 생성하는 단계는
    상기 객체 후보 영역들에 대응하는 상기 특징 맵 내 영역들을 특정 크기의 빈(bin)으로 분할하고, 상기 빈에 대하여 양선형 보간법(bilinear interpolation)에 기반한 연산을 수행함으로써, 상기 객체 후보 영역들에 대응하는 특징 벡터를 획득하는 단계; 및
    상기 특징 벡터를 합성곱 신경망에 인가함으로써, 상기 영상 정보에 포함된 픽셀 단위로 상기 객체 후보 영역들에 대응하는 클래스들에 속하는지 여부에 관한 마스크를 생성하는 단계
    를 포함하는,
    주차 관리 서비스 제공 방법.
  11. 제1항에 있어서,
    상기 주차장에 대응하는 영상 정보를 수신하는 단계는
    상기 영상 정보를 특징 추출에 관한 인공 신경망에 인가함으로써, 상기 영상 정보에 대응하는 특징 맵을 추출하는 단계
    를 더 포함하는,
    주차 관리 서비스 제공 방법.
  12. 사용자의 주차 공간 예약 요청에 반응하여, 사용자의 위치 정보를 수신하는 단계;
    상기 위치 정보에 기초하여, 적어도 하나의 주차장을 검색하는 단계;
    상기 주차장에 대응하는 영상 정보를 수신하는 단계;
    상기 영상 정보를 mask R-CNN 기반 학습 모델에 입력함으로써, 상기 영상 정보에서 개별 자동차 영역들을 추출하는 단계;
    상기 개별 자동차 영역들에 기초하여, 상기 주차장 내 주차 가능 공간을 식별하는 단계; 및
    식별된 상기 주차 가능 공간에 관한 정보를 사용자에게 제공하는 단계
    를 포함하는,
    주차 관리 서비스 제공 방법.
  13. 제12항에 있어서,
    상기 mask R-CNN 기반 학습 모델은
    입력 영상에서 객체 영역을 추출하는 인공 신경망 모델, 상기 객체 영역에 관한 객체 위치 정보 및 객체 분류 정보를 출력하는 인공 신경망 모델 및 상기 객체 영역에 대하여 픽셀 단위로 이진 마스크를 출력하는 인공 신경망 모델을 포함하는,
    주차 관리 서비스 제공 방법.
  14. 제12항에 있어서,
    상기 영상 정보를 mask R-CNN 기반 학습 모델에 입력함으로써, 상기 영상 정보에서 개별 자동차 영역들을 추출하는 단계는
    상기 영상 정보에 대응하는 특징 맵을 RPN(regional proposal network)에 입력하여, 객체 후보 영역들을 검출하는 단계;
    상기 객체 후보 영역들을 RoIAlign 층에 인가함으로써, 상기 객체 후보 영역들에 대응하는 특징 벡터를 획득하는 단계;
    상기 특징 벡터를 전결합층에 인가함으로써, 상기 객체 후보 영역들에서 자동차 영역들을 검출하는 단계;
    상기 특징 벡터에 기초하여, 상기 영상 정보에 포함된 픽셀 단위로 상기 객체 후보 영역들에 대응하는 클래스들에 속하는지 여부에 관한 마스크를 생성하는 단계; 및
    상기 자동차 영역들 및 상기 마스크에 기초하여, 상기 자동차 영역들을 개별 자동차 영역들로 분리하여 인식하는 단계
    를 포함하는,
    주차 관리 서비스 제공 방법.
  15. 제14항에 있어서,
    상기 영상 정보에 대응하는 특징 맵을 RPN(regional proposal network)에 입력하여, 객체 후보 영역들을 검출하는 단계는
    상기 특징 맵에 특정 크기의 커널을 적용하여, 상기 특징 맵 내 상기 커널이 적용되는 윈도우에 대응하는 복수의 앵커 박스들을 생성하는 단계;
    상기 복수의 앵커 박스들 각각에 대하여, 객체 위치 정보 및 객체 인식 확률을 획득하는 단계; 및
    상기 복수의 앵커 박스들 각각에 대하여 획득된 상기 객체 위치 정보 및 상기 객체 인식 확률에 기초하여, 상기 객체 후보 영역들을 검출하는 단계
    를 포함하고,
    상기 복수의 앵커 박스들은
    앵커 박스의 높이 및 앵커 박스의 너비 중 적어도 하나가 서로 다르고,
    상기 특징 맵 내 상기 윈도우에 대응되는,
    주차 관리 서비스 제공 방법.
  16. 제13항에 있어서,
    상기 mask R-CNN 기반 학습 모델은
    상기 객체 분류에 관한 손실 함수, 상기 객체 영역에 관한 손실 함수, 상기 이진 마스크에 관한 손실 함수에 기초하여, 자동차 이미지 및 상기 자동차 이미지 내 자동차 영역을 학습 데이터로 하여 학습된,
    주차 관리 서비스 제공 방법.
  17. 제14항에 있어서,
    상기 RPN은
    상기 특징 맵 내 특정 크기의 윈도우에 대응되는 복수의 앵커 박스들 각각에 대하여, 객체 영역인지 여부에 관한 이진 라벨 및 실제 바운딩 박스와의 IoU(intersection-over-union) 계산에 따른 긍정 라벨(positive label)을 지정한 학습 데이터에 기초하여 학습된,
    주차 관리 서비스 제공 방법.
  18. 하드웨어와 결합되어 제1항 내지 제17항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  19. 사용자의 주차 공간 예약 요청에 반응하여, 사용자의 위치 정보를 수신하고, 상기 위치 정보에 기초하여, 적어도 하나의 주차장을 검색하고,
    상기 주차장에 대응하는 영상 정보를 수신하고,
    상기 영상 정보에 대응하는 특징 맵에서 복수의 앵커 박스들을 이용하여, 객체 후보 영역들을 검출하고,
    검출된 상기 객체 후보 영역들에서 자동차 영역들을 검출하고,
    검출된 상기 객체 후보 영역들에 기초하여, 상기 영상 정보에 포함된 픽셀 단위로 상기 객체 후보 영역들에 대응하는 클래스들에 속하는지 여부에 관한 마스크를 생성하고,
    상기 검출된 자동차 영역들 및 상기 마스크에 기초하여, 상기 자동차 영역들을 개별 자동차 영역들로 분리하여 인식하고,
    상기 개별 자동차 영역들에 기초하여, 상기 주차장 내 주차 가능 공간을 식별하고,
    식별된 상기 주차 가능 공간에 관한 정보를 사용자에게 제공하는
    적어도 하나의 프로세서
    를 포함하는,
    주차 관리 시스템.
  20. 제19항에 있어서,
    상기 프로세서는
    상기 식별된 상기 주차 가능 공간에 관한 정보를 사용자에게 제공함에 있어서,
    상기 사용자로부터 상기 주차 가능 공간에 대응하는 예약 정보를 수신하고,
    상기 예약 정보에 기초하여, 상기 주차장 내 주차 관리 기기에 제어 신호를 송신하는,
    주차 관리 시스템.
  21. 제20항에 있어서,
    상기 프로세서는
    상기 주차장 내 주차 관리 기기에 제어 신호를 송신함에 있어서,
    상기 주차장에 진입하는 차량을 포함하는 영상 정보를 수신하고,
    상기 영상 정보를 차량 번호를 인식하는 영상 인식에 관한 인공 신경망에 인가함으로써, 상기 차량의 번호를 인식하고,
    상기 인식된 차량의 번호를 상기 예약 정보와 비교하여, 상기 주차 관리 기기에 상기 차량의 출입을 제어하는 신호를 송신하는,
    주차 관리 시스템.
  22. 제19항에 있어서,
    상기 복수의 앵커 박스들은
    앵커 박스의 높이 및 앵커 박스의 너비 중 적어도 하나가 서로 다르고,
    상기 특징 맵 내 특정 크기의 윈도우에 대응되는,
    주차 관리 시스템.
  23. 제19항에 있어서,
    상기 프로세서는
    상기 객체 후보 영역들을 검출함에 있어서,
    상기 특징 맵에 특정 크기의 커널을 적용하여, 상기 특징 맵 내 상기 커널이 적용되는 윈도우에 대응하는 복수의 앵커 박스들을 생성하고,
    상기 복수의 앵커 박스들 각각에 대하여, 객체 위치 정보 및 객체 인식 확률을 획득하고,
    상기 복수의 앵커 박스들 각각에 대하여 획득된 상기 객체 위치 정보 및 상기 객체 인식 확률에 기초하여, 상기 객체 후보 영역들을 검출하는,
    주차 관리 시스템.
  24. 제19항에 있어서,
    상기 프로세서는
    상기 자동차 영역들을 검출함에 있어서,
    상기 객체 후보 영역들에 대응하는 상기 특징 맵 내 영역들을 특정 크기의 빈(bin)으로 분할하고, 상기 빈에 대하여 양선형 보간법(bilinear interpolation)에 기반한 연산을 수행함으로써, 상기 객체 후보 영역들에 대응하는 특징 벡터를 획득하고,
    상기 특징 벡터를 전결합층에 인가하여, 상기 객체 후보 영역들을 인공 신경망에 인가하여 분류(classification) 및 바운딩 박스 회귀(bounding box regression)를 수행함으로써, 상기 객체 후보 영역들 중 상기 자동차 영역들을 검출하는,
    주차 관리 시스템.
  25. 사용자의 주차 공간 예약 요청에 반응하여, 사용자의 위치 정보를 수신하고, 상기 위치 정보에 기초하여, 적어도 하나의 주차장을 검색하고, 상기 주차장에 대응하는 영상 정보를 수신하고, 상기 영상 정보를 mask R-CNN 기반 학습 모델에 입력함으로써, 상기 영상 정보에서 개별 자동차 영역들을 추출하고, 상기 개별 자동차 영역들에 기초하여, 상기 주차장 내 주차 가능 공간을 식별하며, 식별된 상기 주차 가능 공간에 관한 정보를 사용자에게 제공하는 적어도 하나의 프로세서; 및
    상기 mask R-CNN 기반 학습 모델을 저장하는 메모리
    를 포함하는,
    주차 관리 시스템.

KR1020200070442A 2020-06-10 2020-06-10 영상 인식 기술을 이용한 주차 관리 시스템 및 장치 KR102414984B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200070442A KR102414984B1 (ko) 2020-06-10 2020-06-10 영상 인식 기술을 이용한 주차 관리 시스템 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200070442A KR102414984B1 (ko) 2020-06-10 2020-06-10 영상 인식 기술을 이용한 주차 관리 시스템 및 장치

Publications (2)

Publication Number Publication Date
KR20210153421A true KR20210153421A (ko) 2021-12-17
KR102414984B1 KR102414984B1 (ko) 2022-06-29

Family

ID=79033498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200070442A KR102414984B1 (ko) 2020-06-10 2020-06-10 영상 인식 기술을 이용한 주차 관리 시스템 및 장치

Country Status (1)

Country Link
KR (1) KR102414984B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115095204A (zh) * 2022-06-21 2022-09-23 深圳市中科利亨车库设备股份有限公司 一种动态划分车位的停车场管理方法及终端
KR102511356B1 (ko) * 2022-11-24 2023-03-20 김병준 엣지 ai 기반의 차량 주차 예약 및 안내 서비스 제공 장치 및 방법
CN117274952A (zh) * 2023-09-26 2023-12-22 镁佳(北京)科技有限公司 一种车位检测方法、装置、计算机设备及存储介质
KR20240057107A (ko) 2022-10-24 2024-05-02 주식회사 아이닉스 딥러닝 기반 차량 인식을 통한 주차 관제 시스템 및 그 관제 방법
WO2024101928A1 (ko) * 2022-11-09 2024-05-16 김병준 에지 ai 기술 기반의 객체 식별에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치 및 전자 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101808669B1 (ko) * 2017-04-25 2018-01-18 주식회사 투지시스템 주차장 운영시스템
KR20190026116A (ko) * 2017-09-04 2019-03-13 삼성전자주식회사 객체 인식 방법 및 장치
JP2020038461A (ja) * 2018-09-03 2020-03-12 日本信号株式会社 駐車管理システム
KR102095685B1 (ko) * 2019-12-02 2020-04-01 주식회사 넥스파시스템 차량 식별 방법 및 장치
KR20200049451A (ko) * 2018-10-16 2020-05-08 삼성전자주식회사 콘볼루션 신경망 시스템 및 그것의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101808669B1 (ko) * 2017-04-25 2018-01-18 주식회사 투지시스템 주차장 운영시스템
KR20190026116A (ko) * 2017-09-04 2019-03-13 삼성전자주식회사 객체 인식 방법 및 장치
JP2020038461A (ja) * 2018-09-03 2020-03-12 日本信号株式会社 駐車管理システム
KR20200049451A (ko) * 2018-10-16 2020-05-08 삼성전자주식회사 콘볼루션 신경망 시스템 및 그것의 동작 방법
KR102095685B1 (ko) * 2019-12-02 2020-04-01 주식회사 넥스파시스템 차량 식별 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김대진 외2명, 전·후처리를 이용한 딥러닝 기반의 주차여부인식, 디지털콘텐츠학회논문지, 2019. 10. 20. Vol. 20, No.10, pp. 2087-2096 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115095204A (zh) * 2022-06-21 2022-09-23 深圳市中科利亨车库设备股份有限公司 一种动态划分车位的停车场管理方法及终端
KR20240057107A (ko) 2022-10-24 2024-05-02 주식회사 아이닉스 딥러닝 기반 차량 인식을 통한 주차 관제 시스템 및 그 관제 방법
WO2024101928A1 (ko) * 2022-11-09 2024-05-16 김병준 에지 ai 기술 기반의 객체 식별에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치 및 전자 시스템
KR102511356B1 (ko) * 2022-11-24 2023-03-20 김병준 엣지 ai 기반의 차량 주차 예약 및 안내 서비스 제공 장치 및 방법
CN117274952A (zh) * 2023-09-26 2023-12-22 镁佳(北京)科技有限公司 一种车位检测方法、装置、计算机设备及存储介质
CN117274952B (zh) * 2023-09-26 2024-05-28 镁佳(北京)科技有限公司 一种车位检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
KR102414984B1 (ko) 2022-06-29

Similar Documents

Publication Publication Date Title
KR102414984B1 (ko) 영상 인식 기술을 이용한 주차 관리 시스템 및 장치
Panahi et al. Accurate detection and recognition of dirty vehicle plate numbers for high-speed applications
KR102499398B1 (ko) 차선 검출 방법 및 장치
CN112233097B (zh) 基于空时域多维融合的道路场景他车检测系统和方法
US9082038B2 (en) Dram c adjustment of automatic license plate recognition processing based on vehicle class information
JP5815910B2 (ja) マルチキュー・オブジェクトの検出および分析のための方法、システム、製品、およびコンピュータ・プログラム（マルチキュー・オブジェクトの検出および分析）
US8379928B2 (en) Obstacle detection procedure for motor vehicle
US20210089794A1 (en) Vehicle system and method for detecting objects and object distance
Ling et al. Identifying parking spaces & detecting occupancy using vision-based IoT devices
WO2020048265A1 (zh) 多级目标分类及交通标志检测方法和装置、设备、介质
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
KR102089298B1 (ko) 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
KR20170070715A (ko) 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
Yousef et al. SIFT based automatic number plate recognition
Aneesh et al. Real-time traffic light detection and recognition based on deep retinanet for self driving cars
CN115690714A (zh) 一种基于区域聚焦的多尺度道路目标检测方法
Pilli et al. Detecting the Vehicle's Number Plate in the Video Using Deep Learning Performance.
KR20200145174A (ko) 번호판 인식 방법 및 시스템
Jain et al. Vehicle license plate recognition
KR20220144579A (ko) 진출입 차량 검지장치 및 진출입 차량 검지 방법
EP3392797B1 (en) Device for determining vehicle navigation information
US11645838B2 (en) Object detection system, object detection method, and program
Gu et al. Traffic Sign Recognition with invariance to lighting in dual-focal active camera system
Agarwal et al. The Enhancement in Road Safety using Different Image Detection and Recognition Techniques:-A State of Art
Pugalenthy et al. Malaysian vehicle license plate recognition using deep learning and computer vision

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant