KR102099397B1 - 노상 주차 관리 장치 및 그 방법 - Google Patents

노상 주차 관리 장치 및 그 방법 Download PDF

Info

Publication number
KR102099397B1
KR102099397B1 KR1020190140791A KR20190140791A KR102099397B1 KR 102099397 B1 KR102099397 B1 KR 102099397B1 KR 1020190140791 A KR1020190140791 A KR 1020190140791A KR 20190140791 A KR20190140791 A KR 20190140791A KR 102099397 B1 KR102099397 B1 KR 102099397B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
license plate
parking
plate image
Prior art date
Application number
KR1020190140791A
Other languages
English (en)
Inventor
김은규
Original Assignee
주식회사 알고씽
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알고씽 filed Critical 주식회사 알고씽
Priority to KR1020190140791A priority Critical patent/KR102099397B1/ko
Application granted granted Critical
Publication of KR102099397B1 publication Critical patent/KR102099397B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/149—Traffic control systems for road vehicles indicating individual free spaces in parking areas coupled to means for restricting the access to the parking space, e.g. authorization, access barriers, indicative lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/147—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is within an open public zone, e.g. city centre
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/148—Management of a network of parking areas
    • G06K2209/15—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

노상 주차 관리 방법 및 그 장치가 제공 된다. 본 발명의 일 실시예에 주차 관리 장치는 노상 주차 구역에 레이다 신호를 송출하고, 상기 노상 주차 구역을 점유하고 있는 차량으로부터 반사된 레이다 신호를 수신하는 레이다 센서, 상기 차량을 촬영하여 획득된 이미지를 전송하는 카메라, 노상 주차 구역으로부터 상기 차량이 이동하도록 경고신호를 출력하는 경고 모듈, 사물인터넷 전용망과 연동하여 신호 송수신을 처리하는 통신부 및 상기 카메라에서 수신한 상기 이미지를 분석하여 상기 차량의 번호판 이미지를 생성하며, 상기 번호판 이미지의 그림자를 제거하고 상기 번호판 이미지의 밝기를 정규화 하여 상기 차량의 번호 정보를 추출한 후, 상기 번호 정보를 상기 사물인터넷 전용망을 통하여 외부 서버로 송출하고, 상기 외부 서버로부터 상기 번호 정보에 대한 조회 결과를 수신하여, 상기 차량이 상기 노상 주차 구역을 허가되지 않은 상태로 점유하고 있는 경우 상기 경고 모듈을 동작시키는 제어부를 포함한다.

Description

노상 주차 관리 장치 및 그 방법{ APPARATUS AND METHOD FOR MANAGING ON-STREET PARKING AREAS USING BOLLARDS }
본 발명은 노상에 주차된 차량을 관리하는 장치 및 그 방법에 관한 것이다. 보다 자세하게는, 복합 센서를 이용하여 노상에 주차된 차량을 관리하는 장치 및 그 방법에 관한 것이다.
대부분의 노상 주차장은 관리인력에 의해 운영되고 있다. 따라서, 관리인력의 부재가 발생하는 경우 노상 주차장에 대한 관리가 어려운 실정이다. 또한 노상 주차장은 도로에 근접해 있어 사고의 위험에 항상 노출되어 있어 노상 주차장의 관리 인력의 법적 책임 문제가 빈번히 발생한다.
한편, 인도와 차도 사이에 위치한 볼라드(bollard)는 자동차의 인도 진입을 위해 많은 개수가 설치되어 있으나, 보행자 보호를 위한 기능 외에 다른 특별한 기능이 없다는 한계가 존재한다.
본 발명의 실시예들은 노상 주차창 경계에 설치된 볼라드를 이용하여 노상 주차장을 관리하는 장치 및 그 방법을 제공한다.
본 발명의 일 실시예에 따른 주차 관리 장치는 노상 주차 구역에 레이다 신호를 송출하고, 상기 노상 주차 구역을 점유하고 있는 차량으로부터 반사된 레이다 신호를 수신하는 레이다 센서, 상기 노상 주차 구역을 촬영하여 획득된 이미지를 전송하는 카메라, 노상 주차 구역으로부터 상기 차량이 이동하도록 경고신호를 출력하는 경고 모듈, 사물인터넷 전용망과 연동하여 신호 송수신을 처리하는 통신부 및 상기 카메라에서 수신한 상기 이미지를 분석하여 상기 차량의 번호판 이미지를 생성하며, 상기 번호판 이미지의 그림자를 제거하고 상기 번호판 이미지의 밝기를 정규화 하여 상기 차량의 번호 정보를 추출한 후, 상기 번호 정보를 상기 사물인터넷 전용망을 통하여 외부 서버로 송출하고, 상기 외부 서버로부터 상기 번호 정보에 대한 조회 결과를 수신하여, 상기 차량이 상기 노상 주차 구역을 허가되지 않은 상태로 점유하고 있는 경우 상기 경고 모듈을 동작시키는 제어부를 포함할 수 있다.
일 실시예에서 상기 레이다 센서는, 상기 차량으로부터 반사된 레이다 신호를 이용하여 생성된 상기 차량의 유무, 이동 방향 및 위치 정보를 전송할 수 있다.
일 실시예에서 상기 제어부는, 상기 레이다 센서에서 수신한 차량의 DOA 정보를 이용하여 상기 카메라로부터 획득한 상기 노상 주차 구역의 이미지로부터 상기 차량이 위치한 ROI 영역 이미지룰 추출할 수 있다.
일 실시예에서 상기 제어부는, ROI 영역 이미지를 미리 학습된 컨볼루션 신경망(CNN)에 입력하여 상기 차량의 번호판 이미지를 추출할 수 있다.
일 실시예에서 상기 제어부는, 상기 번호판 이미지의 그림자를 제거하며, 상기 번호판 이미지의 밝기를 정규화 하여 반사된 빛을 제거하여 상기 차량의 번호 정보를 획득할 수 있다.
일 실시예에서 상기 제어부는, 상기 번호판 이미지 데이터를 푸리에 변환하여 주파수 영역 데이터로 변환하고 저역통과필터(Low Pass Filter)와 고역통과필터(High Pass Filter)를 통과시킨 후 역푸리에 변환하여 이미지 데이터로 원복하는 동형 필터링(Homomorphic Filtering)을 통해 그림자를 제거 할 수 있다.
일 실시예에서 상기 제어부는, 상기 동형 필터링과 병행하여 상기 번호판 이미지의 R,G,B 데이터를 로그 색도 평면으로 변환한 후 변환된 데이터의 엔트로피가 최소화 되는 조명방향(Illuminant Direction)으로 변환을 통해 조명방향에 영향을 받지 않은 불변영상(Invariant Image)을 추출 할 수 있으며, 추출된 불변영상을 통해 그림자 영역을 추정하고 그림자 영역의 밝기 값과 비그림자 영역의 밝기 값의 히스토그램 매칭을 통해 그림자를 제거할 수 있다.
일 실시예에서 상기 제어부는, 상기 레이다 센서에서 수신한 차량의 유무에 대한 정보와 상기 카메라에서 수신한 차량의 유무에 대한 정보가 상이한 경우, 상기 외부 서버로 오류 정보를 송신하고 대기 모드로 전환할 수 있다.
도 1은 본 발명의 일 실시예에 따른 주차 관리 시스템도이다.
도 2는 본 발명의 일 실시예에 따른 주차 관리 시스템을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 주차 관리 장치의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 주차 관리 장치의 동작을 설명하기 위한 하드웨어 구성도이다.
도 5는 본 발명의 일 실시예에 따라 차량의 번호판 이미지를 획득하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 레이다 센서를 이용해 차량의 위치 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 레이다 신호 파형의 일 예이다.
도 8은 본 발명의 일 실시예에 따른 레이다 영상에서 획득한 이미지의 일 예이다.
도 9 내지 도 12는 본 발명의 일 실시예에 따라 번호판 이미지에서 차량의 번호 정보를 획득하는 방법을 설명하기 위한 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 볼라드를 이용한 주차 관리 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 볼라드를 이용한 주차 관리 시스템은 주차 관리 장치(100a, 100b, 100b), 관리 서버(200) 및 사물인터넷 전용망(10)을 포함하고, 몇몇 실시예에서 사용자 단말(30), 관공서 서버(40), 주차 운영 관리 서버(50) 및 관리 서버(200)와 통신하기 위한 네트워크(20)를 더 포함할 수 있다.
일 실시예에서 주차 관리 장치(100a, 100b, 100b)는 인도와 차도 사이에 설치된 볼라드(bollard)일 수 있고, 보다 상세하게는 차도의 노상 주차장에 설치된 볼라드 일 수 있다. 이 경우, 노상 주차장에 확보되어 있는 하나 이상의 주차 구역에는 적어도 하나의 주차 관리 장치가 설치될 수 있다. 물론 하나의 주차 관리 장치가 하나 이상의 주차 구역을 관리할 수도 있다.
일 실시예에서 주차 관리 장치(100a, 100b, 100b)는 하나 이상의 노상 주차 구역을 향하여 레이다 신호를 송출하고 반사된 레이다 신호를 수신하여 노상 주차 구역을 소정의 객체가 점유하고 있는지 판단할 수 있다. 주차 관리 장치(100a, 100b, 100b)는 반사된 레이다 신호를 수신하여 노상 주차 구역을 소정의 객체가 점유하고 있다고 판단하면, 객체에 대해 촬영한 이미지 프레임을 연속적으로 수신하여 분석 후 고유 정보를 추출할 수 있으며 이들 프레임 중 객체를 식별할 수 있는 고유한 정보가 포함된 이미지를 제1 이미지로 생성할 수 있다. 예를 들어 객체가 자동차인 경우 제1 이미지는 객체의 번호판 이미지를 포함할 수 있다. 주차 관리 장치(100a, 100b, 100b)는 제1 이미지의 문자 인식을 통하여 객체의 번호판으로부터 번호정보(차량 번호)를 추출하여 관리 서버(200)로 전송할 수 있다.
일 실시예에서 주차 관리 장치(100a, 100b, 100b)는 번호판 배경 색상과 번호판의 글씨 색상을 기초로 번호 정보 추출 방법을 지정할 수 있다. 예를 들어 2006년 이전 차량 번호판의 경우 녹색 배경에 흰색 글씨이므로 번호판 내 색상 대비가 작으며, 2006년 이후 차량 번호판의 경우 흰색 배경에 검정색 글씨이므로 번호판 내 색상 대비가 크다. 따라서, 본 발명의 일 실시예에 따른 관리 서버(200)는 번호판 내 색상 대비 정보에 따라 상이한 번호 정보 추출 방법을 이용해 차량 번호를 추출할 수 있다. 보다 상세한 설명은 이후 도 9 내지 도 12에서 후술한다.
일 실시예에서 주차 관리 장치(100a, 100b, 100b)는 객체의 고유한 정보를 수신한 관리 서버(200)는 별도의 네트워크 망을 이용하여 관공서 서버(40)로 객체의 고유한 정보를 전송할 수 있다. 이후, 관리 서버(200)는 관공서 서버(40)로부터 객체의 고유한 정보 조회결과를 수신할 수 있다. 전술한 관공서 서버(40)는 지자체 서버일 수 있고, 일 실시예에서 관공서 서버(40)는 차량 번호의 조회가 가능한 번호조회 서버를 포함할 수 있다. 또한, 일 실시예에서 관공서 서버(40)는 노상 주차 구역에 주차된 비허가 차량을 단속하기 위한 차량단속 서버를 포함할 수 있다.
일 실시예에서 주차 관리 장치(100a, 100b, 100b)는 수신한 객체의 고유한 정보 조회결과로부터 노상 주차 구역의 점유가 허가되어 있는 객체인지 판단하고, 노상 주차 구역의 점유가 허가되어 있지 않은 객체를 향하여 노상 주차 구역을 벗어나도록 유도하는 경고신호를 출력할 수 있다. 여기서 노상 주차 구역을 허가되지 않은 상태로 점유하고 있는 객체라 함은, 예를 들어, 거주자 우선 노상 주차 구역을 점유하고 있는 비거주자의 차량 또는 거주자의 미등록 차량을 포함하는 노상 구역의 주차가 허가되지 않은 모든 차량을 포함할 수 있다.
선택적 실시예로, 주차 관리 장치(100a, 100b, 100b)는 차량으로써의 객체가 아니더라도, 다른 객체가 노상 주차 구역을 점유하고 있는 경우, 다른 객체를 향하여 노상 주차 구역을 벗어나도록 유도하는 경고신호를 출력할 수 있다. 예를 들어, 다른 객체가 짐을 싣고 있는 카트라고 가정하면, 주차 관리 장치(100a, 100b, 100b)는 노상 주차 구역을 향하여 레이다 신호를 송출하고 반사된 레이다 신호를 수신하여 노상 주차 구역을 소정의 객체(짐을 싣고 있는 카트)가 점유하고 있는지 판단할 수 있다. 주차 관리 장치(100a, 100b, 100b)는 제1 이미지를 통하여 객체의 고유 정보를 추출할 수 없는 경우, 노상 주차 구역을 다른 객체(짐을 싣고 있는 카트)가 점유하고 있다고 판단하고, 다른 객체(짐을 싣고 있는 카트)를 향하여 노상 주차 구역을 벗어나도록 유도하는 경고신호를 출력할 수 있다.
일 실시예에서 주차 관리 장치(100a, 100b, 100b)는 노상 주차 구역을 허가되지 않은 상태로 점유하고 있는 객체를 향하여 노상 주차 구역을 벗어나도록 유도하는 경고신호를 출력한 후, 일정 시간이 경과하였으나, 여전히 객체가 노상 주차 구역을 허가되지 않은 상태로 점유하고 있는 경우, 객체에 대해 촬영한 제2 이미지를 생성 할 수 있다. 여기서 제2 이미지는 객체가 노상 주차 구역을 점유하고 있는 상태를 촬영한 이미지로써, 예를 들어, 비허가 차량이 노상 주차 구역 내에 주차해 놓은 상태, 및/또는 일반 차량이 노상 주차 구역의 주차선을 통과하여 주차해 놓은 상태를 촬영한 이미지를 포함할 수 있다.
일 실시예에서 주차 관리 장치(100a, 100b, 100b)는 제1 이미지 및 제2 이미지와 함께 촬영시각 촬영장소 등 단속정보를 사물인터넷 전용망(400)을 통하여 관리 서버(200)로 전송하고, 상기 단속정보는 관리 서버(200)에서 관공서 서버(40)로 전달될 수 있으며, 이후, 관공서 서버(40)로부터 처리결과를 수신할 수 있다. 여기서 처리결과라 함은, 주차위반 신고 결과로써, 노상 주차 구역을 허가되지 않은 상태로 점유하고 있는 객체가 범칙금 부과 및 견인의 대상이 되었음을 처리한 결과일 수 있다.
일 실시예에서 관공서 서버(40)는 주차 관리 장치(100a, 100b, 100b)를 관리하는 관리 서버(200) 요청에 의해 조회결과 또는 처리결과를 관리 서버(200)로 전송해 줄 수 있는 번호조회 서버(미도시) 및/또는 차량단속 서버(미도시)를 포함할 수 있다.
일 실시예에서 번호 조회 서버의 조회결과는 관리 서버(200)를 통해 주차 관리 장치(100a, 100b, 100b)로 전송될 수 있다. 예를 들어, 고유 정보(번호정보)로부터 허가 차량인지 비허가 차량인지 여부를 나타내는 결과를 포함할 수 있다. 일 실시예에서 차량단속 서버의 단속 처리결과는 관리 서버(200)를 통해 주차 관리 장치(100a, 100b, 100b)로 전송될 수 있다. 상기 처리결과 정보는 예를 들어 주차된 차량이 노상 주차 구역을 점유하여 범칙금 부과 및 견인의 대상이 되었음을 나타내는 결과 정보를 포함할 수 있다.
일 실시예에서 주차 운영 관리 서버(50)는 노상 주차 구역에 대한 예약 주차 서비스를 제공할 수 있고, 노상 주차 구역의 자동 결제 서비스 제공 서비스를 제공할 수도 있다. 이 경우, 주차 운영 관리 서버(50)는 네트워크(20)를 통해 주차와 관련된 정보를 사용자 단말(30)로 송신할 수 있다.
일 실시예에서 관리 서버(200)는 주차 관리 장치(100a, 100b, 100b)의 주차 관리 및 동작상태를 모니터링 할 수 있다. 관리 서버(200)는 주차 관리 장치(100a, 100b, 100b)와 등록된 보안정보를 통하여 통신하며, 주차 관리 장치(100a, 100b, 100b)로부터 주기적으로 상태 보고 신호를 수신하여 데이터베이스화할 수 있다. 또한, 관리 서버(200)는 주차 관리 장치(100a, 100b, 100b)로부터 주기적인 상태 보고 신호 수신을 통해 주차 관리 장치(100a, 100b, 100b)의 이상 유무를 파악할 수 있고 보안 정보 갱신을 실시할 수 있다.
일 실시예에서 주차 관리 장치(100a, 100b, 100b)로부터 주기적으로 상태 보고가 이루어 지지 않을 경우, 관리 서버(200)는 후속조치로 관리인원을 파견하여 주차 관리 장치(100a, 100b, 100b)의 점검을 실시하도록 할 수 있다. 또한 주차 관리 장치(100a, 100b, 100b)가 감시기능을 수행하는 도중 레이다 센서(도 3의 101) 및 카메라(도 3의 102)의 이상을 감지하는 경우, 관리 서버(200)에 상태를 보고하고, 이러한 상태 보고 신호를 수신한 관리 서버(200)가 주차 관리 장치(100a, 100b, 100b)에 이상이 발생하였음을 판단할 수 있다.
사물인터넷 전용망(400)은 주차 관리 장치(100a, 100b, 100b)와 관리 서버(200)간 통신 역할을 수행할 수 있다. 사물인터넷(IoT: internet of things)이란 인간과 사물 및 서비스의 세가지 분산된 환경 요소에 대해 인간의 명시적 개입 없이 상호 협력적으로 센싱, 네트워킹, 정보 처리 등 지능적 관계를 형성하는 사물 공간 연결망을 포함할 수 있다. 사물인터넷의 주요 구성 요소인 사물은 유무선 네트워크에서의 가전 기기뿐만 아니라, 인간, 차량, 교량, 각종 전자장비, 문화재, 자연환경을 구성하는 물리적 사물 등이 포함되며, 사물은 물론, 현실과 가상세계의 모든 정보와 상호작용하는 개념으로 진화하고 있다. 사물 인터넷은 별도의 중앙제어장치를 구비하지 않고 사물들이 상호간 통신을 수행하여 서비스를 제공하도록 구성될 수 있다.
네트워크(20)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(20)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
도 2는 본 발명의 일 실시예에 따른 주차 관리 시스템을 설명하기 위한 도면이다.
서비스 제공자(60)는 주차 관리 장치를 포함하는 주차 관리 서비스의 인프라를 제공할 수 있다. 또한, 서비스 제공자(60)는 주차 관리 서비스의 인프라 제공에 대한 대가로 지차체(70)로부터 서비스 요금을 획득할 수 있다. 일 실시예에서 서비스 제공자(60)는 영상 분석 기능을 더 구비한 주차 관리 장치를 제공할 수 있다. 일 실시예에서 주차 관리 서비스는 노상 주차 구역에 대한 실시간 정보 제공, 주차 예약 및 요금 결제 서비스, 노상 주차 구역 제공자에 대한 수익 분배 서비스를 포함할 수 있다.
관공서와 같은 지자체(70)는 노상 주차 구역을 관리하기 위해 서비스 제공자(60)와 노상 주차 구역에 대한 관리 서비스 약정을 체결할 수 있다. 지자체(70)는 주차 구역 관리 서비스를 이용하여 허가된 차량에 대하여 노상 주차면을 공유할 수 있다. 이를 통해 지자체(70)는 지자체가 보유한 노상 주차장을 효율적으로 관리할 수 있다.
또한, 지자체(70)는 노상 주차 구역에 대한 인력 비용을 감소시킬 수 있으며, 무인 상시 운영을 통해 노상 주차 구역에 대한 운영 효율을 증대시킬 수 있다. 또한, 일 실시예에 따른 차량 인식을 통해 불법주차를 예방하고 공유차 및 전기차 등 인센티브 제공 차량에 대한 과금 체계 시스템을 용이하게 도입할 수 있다. 뿐만 아니라, 지차제(70)는 노상 주차 구역을 이용하는 주차면 이용자(80)에게 인센티브 또는 패널티를 부여하여 혼잡 시간대에 과중한 요금을 부과하는 등 도심 교통 혼잡 해소를 위한 정책적 수단을 마련할 수 있다.
주차면 이용자(80)는 노상 주차 구역을 이용하는 차량의 소유주로, 주차 관리 서비스에 회원가입을 하고 주차 관리 서비스를 이용할 수 있다. 이 경우, 주차면 이용자(80)는 지자체(70)에 일정 주차 요금을 지불할 수 있고, 허가된 차량에 한하여 노상 주차 구역에 주차를 할 수 있다. 일 실시예에서 주차면 이용자(80)는 사용자 단말에 설치된 어플리케이션을 통해 노상 주차 구역에 대한 정보 제공 및 예약을 수행할 수 있으며, 주차 구역에서 출차시 자동으로 결제를 수행할 수 있고, 주차된 차량에 대한 실시간 카메라 정보를 제공받을 수도 있다.
도 3은 본 발명의 일 실시예에 따른 주차 관리 장치의 예시도이다. 도 3는 도 1의 시스템 중 주차 관리 장치(100a, 100b, 100b)의 외관을 설명하기 위하여 도시한 도면이고, 도 3 참조하면, 주차 관리 장치(100)는 카메라(101), 레이다 센서 및 LED를 포함하는 경고모듈(102), 스피커(103)를 포함할 수 있다. 보다 상세하게 도 4를 참조하여 주차 관리 장치의 구성 및 동작을 설명한다.
도 4는 도 3의 주차 관리 장치(100)의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
일 실시예에서 주차 관리 장치(100)는 충전 회로(131), 태양광 패널(132), 전원 관리부(133) 및 배터리(134)를 포함하는 전원부(130), 통신부(110)를 더 포함할 수 있다.
일 실시예에서 레이다 센서(150)는 노상 주차 구역을 향하여 레이다 신호를 송출하고, 노상 주차 구역을 점유하고 있는 객체로부터 반사된 레이다 신호를 수신할 수 있다. 이때 소리나 전파가 발신자와 수신자 사이에 상대운동이 있을 때 수신자의 수신 주파수가 송신 주파수와 다르게 관측되는 도플러 효과를 사용하여 객체의 위치와 이동속도를 탐지할 수 있다. 보다 상세한 설명은 도 7에서 후술한다.
일 실시예에서 카메라(160)는 노상 주차 구역을 점유하고 있는 객체를 연속적으로 촬영하여 이미지 프레임을 송신할 수 있다. 이러한 카메라(160)는 이미지 센서를 탑재한 가시광 카메라를 포함할 수 있다.
일 실시예에서, 제어부(120)는 주기적으로 레이다 신호를 송출하고 반사신호를 수신하도록 레이다 센서(150)의 동작을 제어할 수 있다. 또한 제어부(120)는 평상 시에 카메라(160)의 동작을 오프시키고 있다가, 레이다 센서(150)가 수신한 반사신호로부터 노상 주차 구역을 객체가 점유하고 있다고 판단한 경우 카메라(160)의 동작을 온 시켜 객체를 연속적으로 촬영하게 하고 이때 수신된 이미지 프레임을 통하여 객체를 판독하고 객체를 추적(tracking)하며 객체의 고유 정보(차량 번호)를 추출하여 제1 이미지 및/또는 제2 이미지를 생성하기 위하여 제어할 수 있다. 이와 같은 카메라(160) 동작 온/오프 제어로 전력의 낭비를 줄일 수 있다.
일 실시예에서 제어부(120)는 레이다 센서(150)의 반사 신호 판단 결과, 노상 주차 구역을 객체가 점유하고 있다고 판단한 경우, 카메라(160)의 동작을 온 시키는 제어 신호를 출력하고, 이를 수신한 카메라(160)는 촬영된 이미지 프레임을 제어부(120)로 송신할 수 있다. 여기서 제어부(120)는 영상 처리 및 영상 분석 기술이 탑재되어 있을 수 있고, 수신된 이미지 프레임에서 객체를 판독하고, 객체를 추적(tracking)하여 객체의 고유 정보(차량 번호)를 추출할 수 있는 제1 이미지를 생성 할 수 있다.
또한, 일 실시예에서 제어부(120)는 제1 이미지를 분석하여 객체가 노상 주차 구역을 점유하고 있는지 여부를 판단하고, 객체가 노상 주차 구역을 점유하고 있는 경우 제1 이미지로부터 객체의 고유 번호를 추출할 수 있다. 예를 들어 객체가 차량인 경우 제어부(120)는 제1 이미지로부터 번호판을 인식하여 번호정보를 추출할 수 있다.
본 실시예에서 제어부(120)는 제1 이미지의 이미지 이진화를 수행할 수 있다. 이미지 이진화를 통해 보다 선명하고 부드러운 번호판 이미지를 획득할 수 있다. 이후, 제어부(120)는 번호판의 그림자 제거를 수행하여 번호정보를 정확하게 추출할 수 있다. 이 경우, 일 실시예에 따른 제어부(120)는 번호판 내 색상 대비 정도에 따라 상이한 그림자 제거 방법을 수행할 수 있다. 보다 상세한 설명은 이후 도 9 내지 도 12에서 후술한다.
이후, 제어부(120)는 추출한 번호정보와 함께 조회 요청 신호를 사물인터넷 전용망과 연결된 통신부(110)를 통하여 번호조회 서버로 송신하고, 번호조회 서버로부터 조회결과 신호를 수신할 수 있다. 전술한 번호조회 서버는 관공서 서버일 수 있다.
일 실시예에서 제어부(120)는 번호조회 서버로부터 조회결과 신호로부터 객체가 노상 주차 구역을 허가되지 않은 상태로 점유하고 있는지를 나타내는 상태인지 여부를 판단할 수 있다. 제어부(120)는 상태 판단결과로부터 경고모듈을 동작시킬 수 있다.
경고모듈은 제어부(120)에 의해 동작을 수행하며, 스피커(170)를 통하여 경고 방송을 송출할 수 있다. 여기서 경고 방송은 노상 주차 구역으로부터 객체를 이동시키라는 안내 멘트 또는 이를 유도하는 경고음을 포함할 수 있다. 또한 경고모듈은 LED(180)를 통하여 경고정보를 디스플레이 할 수 있다. 여기서 경고정보는 상태 정보를 표시하여, 일반인 이라면 누구나 상태 정보를 보고, 노상 주차 구역을 객체가 점유하고 있다고 판단할 수 있도록 하는 정보 예를 들어, 문자, 그림 등을 포함할 수 있다.
제어부(120)는 경고모듈 동작 후 소정 시간이 경과하였음에도 불구하고, 레이다 센서(150)의 반사신호로부터 객체가 노상 주차 구역을 허가되지 않은 상태로 점유하고 있다고 판단하면, 제2 이미지를 생성하기 위해 카메라(160)를 제어할 수 있다. 여기서 제어부(120)는 제2 이미지를 생성하고 차량단속 서버로 전송하겠음을 경고하도록 경고모듈의 스피커(170) 및/또는 LED(180)를 제어할 수 있다. 일 실시예에서 상기 차량단속 서버는 번호조회 서버와 동일한 관공서 서버일 수 있고, 번호조회 서버와 별도로 구비된 견인 서비스 제공 업체의 서버일 수도 있다.
제어부(120)는 이전에 생성된 제1 이미지 및 이번에 생성된 제2 이미지, 추출된 번호정보와 각각의 이미지가 촬영된 시각과 촬영된 장소 정보와 함께 주차위반 단속 처리요청 신호를 차량단속 서버로 전송하고, 차량단속 서버로부터 처리결과 신호를 수신할 수 있다. 처리결과 신호가 수신되면 제어부(120)는 경고모듈에 포함된 스피커(170)를 통한 경고방송을 종료하고, LED(180)를 통하여 노상 주차 구역을 허가되지 않은 상태로 점유하고 있는 객체에 대하여 범칙금 부과 및 견인의 대상으로 처리되었음을 나타내는 정보를 표시할 수 있다.
전원부(130)는 주차 관리 장치(100)에 포함된 각 구성요소에 전원을 공급할 수 있다. 주차 관리 장치(100)가 실내에 위치해 있는 경우 케이블 홀(미도시)에 전원 케이블이 연결되어 전원을 공급받을 수 있다.
선택적 실시예로, 주차 관리 장치(100)가 실외에 위치해 있는 경우 전원부(130)는 태양광 패널(132), 충전 회로(131), 배터리(134) 및 전원 관리부(133)를 포함할 수 있다.
일 실시예에서 태양광 패널(132)은 태양광을 흡수하여 전기 에너지를 출력할 수 있고, 충전 회로(131)는 태양광 패널(132)에서 출력된 전기 에너지를 정류하고 승압 및 강압하여 배터리(134)를 충전시킬 수 있다. 전원 관리부(133)는 배터리(134)에 저장되어 있는 전기 에너지를 제어부(120)의 허용 전압으로 승압 및 강압하여 제어부(120)에 공급할 수 있다.
일 실시예에서 전원 관리부(133)는 또한 배터리(134)의 방전 여부를 확인하고, 충전 시기를 조절할 수 있으며, 태양광으로 배터리(134)의 충전이 불충분한 경우 케이블 홀(미도시)에 연결된 전원 케이블을 통하여 주차 관리 장치(100)에 전원을 공급함과 동시에 배터리(134)를 충전시킬 수 있다.
개폐구/잠금부(미도시)는 주차 관리 장치(100)에 이상이 발생했을 경우 파견된 관리원에 의해 조작될 수 있고, 안테나(미도시)는 사물인터넷 전용망와 연결된 통신부(110)를 통하여 관리 서버와 데이터를 송수신하도록 할 수 있다.
본 실시예에서, 제어부(120)는 관리 서버에 상태 보고 신호를 전송할 수 있다. 여기서 상태 보고 신호는 주차 관리 장치(100)가 동작할 때마다 발생한 신호를 관리 서버(200)로 전송하는 피드백 신호를 포함할 수 있다. 전술한 상태 보고 신호는 예를 들어, 레이다 센서(150) 동작 신호, 카메라(160) 동작 개시 신호, 제1 이미지 생성 신호, 경고모듈 동작 신호 등을 포함할 수 있다.
일 실시예에서 피드백 신호는 신호의 종류, 신호의 발생 시간, 주차 관리 장치(100)의 고유번호 등을 포함할 수 있다. 관리 서버는 주차 관리 장치(100)로부터 전송되는 피드백 신호를 수신하여 해당 주차 관리 장치(100)에 대한 데이터베이스를 구축할 수 있다. 이 데이터베이스는 추후 발생하는 주차 관리 장치(100)의 이상상황 발생 시 히스토리 자료로 사용할 수 있다. 또한 상태 보고 신호는 주차 관리 장치(100)가 정상적으로 동작하는 경우 관리 서버로부터 동작 신호를 수신한 제어부(120)가 관리 서버로 전송하는 응답 신호를 포함할 수 있다.
일 실시예에서 통신부(110)는 사물인터넷 전용망 및 주차 관리 장치(100)의 연동을 담당하는 통신모듈일 수 있다. 통신부(110)는 사물인터넷 전용망과 통신하여 자체 인증을 거치고, 자체 인증이 확인된 경우 제어부(120)가 송수신하는 신호는 통신부(110) 및 사물인터넷 전용망을 통하여 관리 서버(200)에 송신되거나 관리 서버로부터 수신될 수 있다.
도 5는 본 발명의 일 실시예에 따른 주차 관리 장치의 노상 주차 관리 방법을 설명하기 위한 도면이다.
일 실시예에서 하나의 노상 주차 구역은 적어도 하나의 주차 관리 장치(100a, 100b, 100c)에 의해 관리될 수 있다.
일 실시예에서 주차 관리 장치(100a, 100c) 각각이 하나의 노상 주차 구역을 관리하는 경우, 주차 관리 장치(100a, 100c) 각각은 노상 주차 구역에 주차된 차량의 전면부 번호판 이미지(240) 또는 후면부 번호판 이미지(210) 중 하나를 획득할 수 있다. 다른 실시예에서 주차 관리 장치(100b)가 두 개의 노상 주차 구역을 관리하는 경우, 주차 관리 장치(100b)는 두 개의 노상 주차 구역에 주차된 두 대의 차량에 대한 전면부 번호판 이미지(220) 및 후면부 번호판 이미지(230)를 획득할 수 있다.
일 실시예에서 객체가 노상 주차 구역을 허가되지 않은 상태로 점유하고 있는 경우, 주차 관리 장치(100a, 100b, 100b)는 경고모듈에 포함된 스피커(170)를 통하여 경고방송을 송출하고 LED를 통하여 경고정보를 디스플레이 하여 객체가 노상 주차 구역을 벗어나도록 유도할 수 있다.
일 실시예에서 객체가 노상 주차 구역을 허가되지 않은 상태로 점유하고 있는 경우, 주차 관리 장치(100a, 100b, 100b)는 경고모듈에 포함된 스피커를 통하여 경고방송을 송출하고 LED를 통하여 경고정보를 디스플레이 하여 객체가 노상 주차 구역을 벗어나도록 유도할 수 있다.
도 6은 본 발명의 일 실시예에 따라 레이다 센서를 이용해 차량의 위치 정보를 획득하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 주차 관리 장치의 레이다 센서부는 모노펄스 레이다(Monopulse Radar)를 이용하여 차량의 이동 방향 및 위치(DOA, Direction Of Arrival)를 판단할 수 있다. 또한 일 실시예에 따른 주차 관리 장치는 레이다 센서부에 의해 차량이 검출된 경우, 움직이는 차량을 왜곡 없이 촬영하기 위해 글로벌 셔터 카메라를 이용할 수 있다.
일 실시예에 따른 주차 관리 장치의 레이다 센서는 도 6의 (a) 와 그래프 (b)를 통해 차량의 이동 방향 및 위치를 획득할 수 있다. 보다 상세하게 후술되는 수식 1을 이용하여 차량의 DOA를 획득할 수 있다. 이 경우, θ는 방위각(azimuth),
Figure 112019113754869-pat00001
는 전파의 파장, d는 안테나 간의 거리,
Figure 112019113754869-pat00002
φ 는 위상차이다.
[수식 1]
Figure 112019113754869-pat00003
도 7은 본 발명의 일 실시예에 따른 레이다 신호 파형의 일 예이다.
일 실시예에서 레이다 센서는 노상 주차 구역을 향하여 레이다 신호를 송출하고, 노상 주차 구역을 점유하고 있는 객체로부터 반사된 레이다 신호를 수신할 수 있다. 이때 소리나 전파가 발신자와 수신자 사이에 상대운동이 있을 때 수신자의 수신 주파수가 송신 주파수와 다르게 관측되는 도플러 효과를 사용하여 객체의 위치와 이동속도를 탐지할 수 있다.
보다 상세하게 레이다 센서는 이하 수식 2에 따른 주파수의 레이다 신호를 이용할 수 있다.
[수식 2]
Figure 112019113754869-pat00004
또한 도 7에 도시된 그래프를 참조하면 본 실시예에서 레이다 센서는 송수신파형으로 4각형의 펄스변조파를 이용한 펄스 레이다와 펄스 변조되지 않은 사인파를 송수신하는 연속파 (CW ; continuous wave) 레이다를 활용할 수 있다. 또한 무변조인 사인파를 이용한 CW 레이다에서는 거리측정이 되지 않는데, 이런 CW 레이다에 거리측정능력을 갖게 하기 위해서 송신 신호에 주파수변조(FM ; frequency modulation)를 추가한 주파수변조 연속파 (FM-CW)레이다를 활용할 수 있다.
도 8은 본 발명의 일 실시예에 따른 주차 관리 장치의 레이다 센서부가 객체를 검출한 일 예시도이다.
전술한 바, 일 실시예에서 레이다 센서는 노상 주차 구역을 향하여 레이다 신호를 송출하고, 노상 주차 구역을 점유하고 있는 객체로부터 반사된 레이다 신호를 수신할 수 있다. 이 경우, 레이다 센서부는 모노펄스 레이다(Monopulse Radar)를 이용하여 차량의 이동 방향 및 위치(DOA, Direction Of Arrival)을 판단할 수 있다.
이 때, 소리나 전파가 발신자와 수신자 사이에 상대운동이 있을 때 수신자의 수신 주파수가 송신 주파수와 다르게 관측되는 도플러 효과를 사용하여 객체의 위치와 이동속도를 탐지할 수 있다.
도 9 내지 도 12은 본 발명의 일 실시예에 따라 번호판 이미지에서 차량의 번호 정보를 획득하는 방법을 설명하기 위한 도면이다.
일 실시예에서 주차 관리 장치가 차량의 전면부 번호판 이미지에서 차량의 번호 정보를 추출하는 방법과 차량의 후면부 번호판 이미지에서 차량의 번호 정보를 추출하는 방법은 상이할 수 있다. 차량의 후면부의 경우 트렁크의 손잡이에 의해 그림자 발생이 빈번하기 때문이다.
따라서 주차 관리 장치는 차량의 후면부 번호판에 대하여 도 9 내지 도 12를 통해 후술되는 동형 필터링을 이용하여 그림자를 제거할 수 있고, 엔트로피 최소화 및 양방향 필터링을 이용하여 번호판 이미지의 그림자 제거를 수행할 수 있다. 반면, 본 실시예에서 주차 관리 장치는 차량의 전면부 번호판에 대하여는 동형 필터링을 이용한 그림자 제거를 수행하지 않고, 엔트로피 최소화 및 양방향 필터링을 이용한 번호판 이미지의 그림자 제거만 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 주차 관리 장치는 번호판의 배경색과 차량 번호의 색상에 따라 상이한 방법을 이용하여 차량 번호를 추출할 수 있다. 예를 들어 한국의 경우 2006년 이전의 구형 번호판의 배경색은 녹색이고 차량 번호는 흰색이므로 차량 번호판 내 대비(contrast)가 임계값 보다 작다. 이 경우 주차 관리 장치는 엔트로피 최소화 및 양방향 필터링을 이용하여 번호판의 그림자 제거를 수행할 수 있다. 반면 2006년 이후의 신형 번호판의 배경색은 흰색이고 차량 번호는 검정색이므로 차량 번호판 내 대비가 임계값 보다 크다. 따라서 주차 관리 장치는 동형 필터링을 이용하여 번호판의 그림자 제거를 수행할 수 있다. 번호판의 노이즈 제거 방법 및 번호판의 그림자 제거 방법에 대하여는 이하 상세히 후술한다.
일 실시예에서 주차 관리 장치는, 레이다 센서에서 수신한 차량의 DOA 정보를 이용하여 상기 카메라로부터 획득한 상기 노상 주차 구역의 이미지로부터 상기 차량이 위치한 ROI 영역 이미지룰 추출할 수 있다. 이후, 주차 관리 장치는 ROI 영역 이미지를 미리 학습된 컨볼루션 신경망(CNN)에 입력하여 상기 차량의 번호판 이미지를 추출할 수 있다.
도 9은 일 실시예에서 번호판 이미지에 대하여 차량 번호 정보를 추출하는 방법을 설명하기 위한 도면이다.
(a)를 참조할 때, 일 실시예에서 번호판 이미지에 대하여 이진화를 수행한 후 주차 관리 장치는 번호판 이미지의 기울기를 조절하여 수평을 맞출 수 있다.
또는, 다른 실시예에서 주차 관리 장치는 번호판 이미지의 이진화를 수행하기 전, (b)에 도시된 바와 같이 번호판 이미지의 기울기를 조절할 수 있다. 이 경우, 주차 관리 장치는 (c)와 같이 번호판 이미지에서 문자 영역을 추출할 수 있다.
일 실시예에서 주차 관리 장치는 (c) 이미지에 대한 이진화를 수행하여 (d)를 획득할 수 있고, (a) 이미지에서 문자 영역을 추출하여 (d)를 획득할 수도 있다. 전술한 (d) 이미지를 획득하기 위한 두 가지 방법은 순차적으로 수행될 수 있고, 병렬적으로 수행될 수도 있으며, 두 가지 방법 중 한가지 방법만 선택적으로 수행될 수도 있음에 유의한다.
도 10은 일 실시예에 따라 번호판 이미지의 노이즈를 제거하는 방법을 설명하기 위한 도면이다.
일 실시예에서 주차 관리 장치는 번호판 이미지의 노이즈를 제거하기 위해 이미지 합성을 수행할 수 있다. 보다 상세하게 원본 번호판 이미지와 필터 처리한 번호판 이미지를 합성할 수 있다. 이 경우 차량 번호 영역을 추출하기 위하여, 필터 처리한 번호판 이미지를 획득할 수 있고, 전술한 필터 처리한 번호판 이미지에 대한 흑백 변환을 수행할 수 있다. 그 결과, 마스크와 역마스크가 획득될 수 있다. 이후 주차 관리 장치는 이미지 비트 연산을 수행하여 차량 번호 영역을 추출할 수 있다.
도 10에 도시된 (a)는 원본 번호판 이미지의 일 예이고, (b)는 필터 처리한 번호판 이미지의 일 예이며, (c)는 (a)와 (b)를 합성한 결과이고, (d)는 최종적으로 추출된 차량 번호 영역이다.
이하 도 11 내지 12를 참조하여 번호판의 그림자 영역을 제거하는 방법에 대하여 상세히 설명한다.
도 11의 (a)에 도시된 것과 같이 번호판 이미지에 그림자 영역이 존재하는 경우, 차량 번호의 인식률이 떨어진다는 한계가 존재한다. 특히, 차량 후면부에서 획득한 번호판의 경우 트렁크 손잡이 등 그림자가 빈번하게 발생하기 때문에 그림자 제거를 수행할 필요가 있다.
일 실시예에서 주차 관리 장치는, 후술되는 동형 필터링과 병행하여 번호판 이미지의 R,G,B 데이터를 로그 색도 평면으로 변환한 후 변환된 데이터의 엔트로피가 최소화 되는 조명방향(Illuminant Direction)으로 변환을 수행한 수 있다. 이후 주차 관리 장치는 전술한 변환을 통해 조명방향에 영향을 받지 않은 불변 영상(Invariant Image)을 추출 할 수 있으며, 추출된 불변 영상을 통해 그림자 영역을 추정하고 그림자 영역의 밝기 값과 비그림자 영역의 밝기 값의 히스토그램 매칭을 통해 그림자를 제거할 수 있다.
보다 상세하게 본 실시예에서 주차 관리 장치는 영상에서 획득된 이미지를 이용하여 (a)와 같은 조명-불변(illumination-invariant) 이미지를 획득할 수 있다. 이후, (a)의 엣지 성분을 추출하여 (b)를 획득할 수 있다. 이 경우 경계를 추출하기 위한 민감도를 설명하여 (b)에 도시된 것과 같은 하나 이상의 엣지 성분과 관련된 이미지를 추출할 수 있다. 예를 들어 (b)는 낮은 민감도를 기초로 차량 번호와 관련된 엣지 성분을 포함하는 번호판 이미지일 수 있고, 높은 민감도를 기초로 차량 번호 및 그림자와 관련된 엣지 성분을 포함하는 번호판 이미지일 수도 있다.
이후, (a) 와 (b)를 비교하여 그림자 영역을 제거할 수 있고, 최종적으로 (c)와 같은 차량 번호 정보만을 포함하는 번호판 이미지를 획득할 수 있다.
도 12는 일 실시예에 따라 주차 관리 장치가 번호판 이미지의 빛을 제거하는 방법에 대하여 설명한다.
카메라를 통해 획득된 번호판 이미지는 촬영 환경에 따라 번호판이 빛에 노출되는 방향과 세기가 매우 다양하게 나타날 수 있다. 따라서 본 발명의 몇몇 실시예에 따른 주차 관리 장치는 번호판 이미지에 노출되는 빛에 대하여 정규화를 수행할 수 있다. 정규화를 수행하는 방법은 통상의 기술자가 선택할 수 있는 다양한 필터를 이용하여 수행될 수 있으나, 일 실시예에 따른 주차 관리 장치는 동형 필터링(Homomorphic filter)을 통해 번호판 이미지의 빛을 제거할 수 있다. 이후 임계값 이하의 픽셀 데이터를 제거함으로써 차량의 번호 정보를 획득할 수 있다.
일 실시예에서 주차 관리 장치는 상기 번호판 이미지 데이터를 푸리에 변환하여 주파수 영역 데이터로 변환하고 저역통과필터(Low Pass Filter)와 고역통과필터(High Pass Filter)를 통과시킨 후 역푸리에 변환하여 이미지 데이터로 원복하는 동형 필터링(Homomorphic Filtering)을 통해 그림자를 제거 할 수 있다.
보다 상세하게, 하나의 이미지는 illumination element와 reflectance element의 곱으로 표현할 수 있다. illumination element는 이미지에 노출된 조명과 관련된 값이고(low frequency), reflectance element는 이미지에 존재하는 객체들의 엣지(edge)와 관련된 값일 수 있다(high frequency). 이 경우, illumination element와 reflectance element의 곱으로 표현된 이미지에 로그를 취함으로써 곱셈을 덧셈연산으로 변환할 수 있다. 이후, 획득된 덧셈 연산에 고역 통과 필터를 적용한 후, exp 연산을 통해　로그를 제거하면 조명이 제거된 이미지를 얻을 수 있다. 주차 관리 장치는 고역 통과 필터를 이용한 필터링을 수행하여 이미지에 대하여 FFT를 수행해 주파수 영역으로 변환할 수 있고, iFFT를 수행하여 주파수 영역으로 변환된 데이터를 이미지로 변환할 수 있다.
예를 들어, 도 12의 (a)와 같은 번호판 이미지가 획득된 경우, 동형 필터링을 수행하여 (a) 이미지의 빛을 제거한 (b)를 획득할 수 있다. 적절한 임계값을 설정하여 차량 번호 정보를 획득할 수 있다. 예를 들어, (b) 이미지에서 5 픽셀 반경의 경계선을 추출하여 (c)이미지를 획득할 수 있다. 또한, (c)이미지에서 120 픽셀 미만의 영역을 제거하여 (d)이미지를 획득할 수 있다. 다만 전술한 픽셀의 임계값은 예시에 불과하며 본 발명의 몇몇 실시예에 따른 동형 필터링을 이용하여 그림자 제거 방법에 이에 한정되는 것은 아님에 유의한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (6)

  1. 노상 주차 구역에 레이다 신호를 송출하고, 상기 노상 주차 구역을 점유하고 있는 차량으로부터 반사된 레이다 신호를 수신하는 레이다 센서;
    상기 노상 주차 구역을 촬영하여 획득된 이미지를 전송하는 카메라;
    노상 주차 구역으로부터 상기 차량이 이동하도록 경고신호를 출력하는 경고 모듈;
    사물인터넷 전용망과 연동하여 신호 송수신을 처리하는 통신부; 및
    상기 카메라에서 수신한 상기 이미지를 분석하여 상기 차량의 번호판 이미지를 생성하며, 상기 번호판 이미지의 그림자를 제거하고 상기 번호판 이미지의 밝기를 정규화 하여 상기 차량의 번호 정보를 추출한 후, 상기 번호 정보를 상기 사물인터넷 전용망을 통하여 외부 서버로 송출하고, 상기 외부 서버로부터 상기 번호 정보에 대한 조회 결과를 수신하여, 상기 차량이 상기 노상 주차 구역을 허가되지 않은 상태로 점유하고 있는 경우 상기 경고 모듈을 동작시키는 제어부;를 포함하고
    상기 제어부는, 차량 번호판 내 대비가 임계값보다 작은 경우 상기 번호판 이미지에 대하여 엔트로피가 최소화 되는 조명 방향으로의 변환을 수행하여 불변 이미지(Invariant Image)를 획득하고 상기 불변 이미지를 이용하여 상기 번호판 이미지의 그림자를 제거하며, 차량 번호판 내 대비가 임계값보다 큰 경우 상기 번호판 이미지를 주파수 영역 데이터로 변환하고 동형 필터링(Homomorphic Filtering)을 이용하여 상기 번호판 이미지의 그림자를 제거하는,
    주차 관리 장치.
  2. 제1 항에 있어서,
    상기 레이다 센서는,
    상기 차량으로부터 반사된 레이다 신호를 이용하여 생성된 상기 차량의 유무, 이동 방향 및 위치 정보를 전송하는,
    주차 관리 장치.
  3. 제2 항에 있어서,
    상기 제어부는,
    상기 레이다 센서에서 수신한 차량의 DOA 정보를 이용하여, 상기 카메라에서 수신한 상기 이미지로부터 상기 차량이 위치한 ROI (Region of Interest) 영역 이미지를 추출하는,
    주차 관리 장치.
  4. 제3 항에 있어서,
    상기 제어부는,
    상기 ROI 영역 이미지를 신경망에 입력하여 상기 차량의 번호판 이미지를 생성하고, 상기 번호판 이미지의 그림자를 제거하고, 상기 번호판 이미지의 밝기를 정규화 하여 반사된 빛을 제거함으로써 상기 차량의 번호 정보를 획득하는,
    주차 관리 장치.
  5. 제4 항에 있어서,
    상기 제어부는,
    상기 번호판 이미지를 주파수 영역 데이터로 변환하고, 동형 필터링(Homomorphic Filtering)을 이용하여 상기 번호판 이미지의 그림자를 제거하는,
    주차 관리 장치.
  6. 제4 항에 있어서,
    상기 제어부는,
    상기 번호판 이미지에 대하여 엔트로피가 최소화 되는 조명 방향으로의 변환을 수행하여 불변 이미지(Invariant Image)를 획득하고, 상기 불변 이미지를 이용하여 상기 번호판 이미지의 그림자를 제거하는,
    주차 관리 장치.
KR1020190140791A 2019-11-06 2019-11-06 노상 주차 관리 장치 및 그 방법 KR102099397B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190140791A KR102099397B1 (ko) 2019-11-06 2019-11-06 노상 주차 관리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190140791A KR102099397B1 (ko) 2019-11-06 2019-11-06 노상 주차 관리 장치 및 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200041081A Division KR20210054965A (ko) 2020-04-03 2020-04-03 노상 주차 관리 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102099397B1 true KR102099397B1 (ko) 2020-04-09

Family

ID=70276052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190140791A KR102099397B1 (ko) 2019-11-06 2019-11-06 노상 주차 관리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102099397B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102168253B1 (ko) 2020-04-27 2020-10-23 (주)에스앤씨랩 주차 관리 방법 및 시스템
KR102310567B1 (ko) * 2021-03-23 2021-10-08 아마노코리아 주식회사 주차장 내 차량을 감지하는 방법 및 그를 이용한 서버

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006175231A (ja) * 2004-12-21 2006-07-06 Siemens Ag 画像内の不均一性の補正方法および画像化装置
KR101774735B1 (ko) * 2017-06-12 2017-09-06 주식회사 넥스파시스템 차량번호판 주변 그림자 영역 개선 및 차량번호 인식 방법
KR101845280B1 (ko) * 2016-12-13 2018-04-04 홍익대학교 산학협력단 그림자 신호를 제거하는 차량번호 인식 시스템 및 방법
KR20190100131A (ko) * 2019-08-19 2019-08-28 김은규 레이다를 활용한 장애인 전용 주차구역 감시 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006175231A (ja) * 2004-12-21 2006-07-06 Siemens Ag 画像内の不均一性の補正方法および画像化装置
KR101845280B1 (ko) * 2016-12-13 2018-04-04 홍익대학교 산학협력단 그림자 신호를 제거하는 차량번호 인식 시스템 및 방법
KR101774735B1 (ko) * 2017-06-12 2017-09-06 주식회사 넥스파시스템 차량번호판 주변 그림자 영역 개선 및 차량번호 인식 방법
KR20190100131A (ko) * 2019-08-19 2019-08-28 김은규 레이다를 활용한 장애인 전용 주차구역 감시 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102168253B1 (ko) 2020-04-27 2020-10-23 (주)에스앤씨랩 주차 관리 방법 및 시스템
KR102310567B1 (ko) * 2021-03-23 2021-10-08 아마노코리아 주식회사 주차장 내 차량을 감지하는 방법 및 그를 이용한 서버

Similar Documents

Publication Publication Date Title
CN109686109B (zh) 一种基于人工智能的停车场安全监控管理系统及方法
US11080995B2 (en) Roadway sensing systems
US20180096595A1 (en) Traffic Control Systems and Methods
KR102155753B1 (ko) 양방향 통행정보 수집 시스템 및 그 방법
US11244171B2 (en) Video-based system for automated detection of double parking violations
del Postigo et al. Vacant parking area estimation through background subtraction and transience map analysis
US8666117B2 (en) Video-based system and method for detecting exclusion zone infractions
KR101951534B1 (ko) 교통 cctv 단속 시스템을 위한 통합 단속 방법 및 장치
KR101756849B1 (ko) 노상 무인정산 주차관제 시스템
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
KR102099397B1 (ko) 노상 주차 관리 장치 및 그 방법
CN106205190A (zh) 使用雷达和摄像机管理路边停车位的方法及系统
KR100812397B1 (ko) 버스를 이용한 버스전용차로 위반차량의 단속방법
CN105390021A (zh) 车位状态的检测方法及装置
WO2014160027A1 (en) Roadway sensing systems
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
KR20210054965A (ko) 노상 주차 관리 장치 및 그 방법
KR102274469B1 (ko) 레이다를 활용한 장애인 전용 주차구역 감시 장치 및 방법
Dhuri et al. Real-time parking lot occupancy detection system with vgg16 deep neural network using decentralized processing for public, private parking facilities
KR100974116B1 (ko) 번호인식이 되지 않는 불법주정차 차량의 단속, 방범, 과속단속 시스템 및 단속서버
KR102436142B1 (ko) 단속 카메라로 촬영된 위반 사실을 이용한 확률적 예측 서비스 제공 방법 및 이를 위한 장치
KR102039404B1 (ko) 영상 감시 시스템 및 그 방법
KR20190100131A (ko) 레이다를 활용한 장애인 전용 주차구역 감시 장치 및 방법
KR102465124B1 (ko) 노상 주차장에 이용되는 주차요금 정산 시스템
KR101611258B1 (ko) 영상정합 기법을 이용한 원격 실시간 주차정보 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant