KR102601464B1 - 딥 러닝을 이용한 주차 관리 방법 및 시스템 - Google Patents

딥 러닝을 이용한 주차 관리 방법 및 시스템 Download PDF

Info

Publication number
KR102601464B1
KR102601464B1 KR1020210123201A KR20210123201A KR102601464B1 KR 102601464 B1 KR102601464 B1 KR 102601464B1 KR 1020210123201 A KR1020210123201 A KR 1020210123201A KR 20210123201 A KR20210123201 A KR 20210123201A KR 102601464 B1 KR102601464 B1 KR 102601464B1
Authority
KR
South Korea
Prior art keywords
vehicle
parking
deep learning
information
recognition
Prior art date
Application number
KR1020210123201A
Other languages
English (en)
Other versions
KR20230040417A (ko
Inventor
김태훈
Original Assignee
주식회사 딥비전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥비전 filed Critical 주식회사 딥비전
Priority to KR1020210123201A priority Critical patent/KR102601464B1/ko
Publication of KR20230040417A publication Critical patent/KR20230040417A/ko
Application granted granted Critical
Publication of KR102601464B1 publication Critical patent/KR102601464B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에 따른 딥 러닝을 이용한 주차 관리 시스템은, 주차장의 제1위치에 설치된 제1촬상장치, 상기 주차장의 제2위치에 설치된 제2촬상장치, 및 상기 제1촬상장치로부터의 영상정보를 입력받아 차량을 인식하고, 차량이 인식되면 입차차량으로 판단하여 주차현황정보를 갱신하고, 상기 제2촬상장치로부터의 영상정보를 제공받아 차량을 인식하고, 차량이 인식되면 출차차량으로 판단하여 상기 주차현황정보를 갱신하며, 차량의 인식에 대해 실패하면, 외부로 상기 영상정보와 차량 재인식 요청정보를 제공하고, 외부로부터 차량 재인식결과정보가 제공되면 상기 차량 재인식결과정보에 따라 상기 주차현황정보를 갱신하는 영상처리장치 및 딥러닝 데이터 저장소,를 포함하는 주차 관리 장치; 영상정보를 제공받아 고성능 딥러닝을 통해 차량 재인식하는 고성능 인식서버; 및 상기 주차 관리 장치와 통신하여 상기 주차 관리 장치가 제공하는 영상정보와 차량 재인식 요청정보를 제공받아 상기 고성능 딥러닝 인식서버로 제공하고, 상기 고성능 딥러닝 인식서버가 반환하는 차량 재인식결과정보를 상기 주차 관리 장치로 반환하는 녹화 서버;를 포함하며, 상기 주차 관리 장치에 의해 수행되는 차량의 인식과정은 딥러닝 데이터 저장소에 저장된 딥러닝 데이터에 따라 딥 러닝됨을 특징으로 한다.

Description

딥 러닝을 이용한 주차 관리 방법 및 시스템{Parking management method and system using deep learning}
본 발명은 주차 관리 기술에 관한 것으로, 더욱 상세하게는 딥 러닝을 이용하여 소수의 카메라로도 입차 및 출차하는 차량을 효과적으로 인식하여 주차 관리를 이행할 수 있게 하는 딥 러닝을 이용한 주차 관리 방법 및 시스템에 관한 것이다.
주차관리란 주차장 입구부터 출구까지 주차에 관련된 제반 사항을 관리하는 것을 의미한다. 종래에는 주차 관리원이 빈 주차 영역이 있는지 확인하고, 빈 주차 영역에 주차를 유도하는 등 차량의 출입과 출차를 일일이 관리하는 방법이 주로 사용되고, 기기를 이용하여 자동으로 주차 공간을 관리하는 방법은 일부 사용되고 있다.
종래의 자동화 주차관리 시스템을 살펴보면, 먼저, 초음파 센서 방식을 이용한 주차관리방식이 있다. 이 방식은 모든 주차영역에 초음파 센서를 설치하여 차량의 유무를 확인하는 방법이다. 주차면이 100개일 경우, 100개의 초음파 센서를 설치해야만 하는 것이다. 즉, 초음파 센서 1개가 1개의 주차면을 확인하여 관리하는 방법이다.
이러한 초음파 센서 방식은 각 주차면마다 초음파 센서를 설치해야 하므로 설치 비용이 증가하고, 많은 장비의 사용으로 인해 시스템의 고장 확률이 증가하여 효율적 관리가 어려우며 유지 보수 비용이 증가하는 단점이 있다. 또한, 주차 공간 변경에 따른 효율적 대처가 어렵다. 운전자의 입장에서는, 주차 공간에 많은 장비가 설치되어 있어, 주차 공간에 대한 불쾌감이 증가할 수 있다. 또한, 주차 요원 및 관리자에게 시각적으로 주차 공간의 상태를 제공하기 어렵다.
다음으로, RFID(Radio Frequency IDentification) 방식을 이용한 주차관리방식이 있다. RFID 방식은 상술한 초음파 센서 방식과 유사하지만 주파수 대역에 따라 인식할 수 있는 거리가 길다는 장점이 있다. 따라서 초음파 센서 방식에 비해, 하나의 RFID 리더기당 여러 주차면을 관리할 수 있다.
이러한, RFID 방식은 RFID로 인식하기 위해 차량에 반드시 RFID 태그를 부착하여야 한다. RFID 태그가 부착되지 않은 차량에 대해서는 인식할 수 있는 방법이 없어 주차 공간 점유 상태의 유무를 확인할 수 없다. 또한 주차공간 변경에 따른 효율적 대처가 불가능하고, 주차 요원 및 관리자에게 시각적으로 주차 공간의 상태(즉, 점유 유무)를 제공하기 어렵다.
이에 종래에는 주차관리를 위해 구비되는 장비의 수를 혁신적으로 감소시키면서도 주차현황의 안내는 물론이고 주차관리를 제공할 수 있는 기술의 개발이 절실하게 요망되었다.
대한민국 특허공개 제1020210108833호 대한민국 특허등록 제1013072340000호 대한민국 특허공개 제1020210032720호
본 발명은 딥 러닝을 이용하여 소수의 카메라로도 입차 및 출차하는 차량을 효과적으로 인식하여 주차 관리를 이행할 수 있게 하는 딥 러닝을 이용한 주차 관리 방법 및 시스템을 제공하는 것을 그 목적으로 한다.
또한 본 발명의 다른 목적은 딥 러닝을 이용하여 소수의 카메라로도 입차 및 출차하는 차량을 효과적으로 인식하여 주차 관리를 이행함과 아울러 주차현황을 안내하여 주차관리원은 물론이고 주차장 이용자도 주차 현황을 직관적이고 빠르게 이해할 수 있게 하는 딥 러닝을 이용한 주차 관리 방법 및 시스템을 제공하는 것이다.
이를 위해, 본 발명의 일측면에 따르면, 주차장에 설치된 주차 관리 장치가, 주차장 중 미리 정해진 제1위치에 설치된 제1촬상장치로부터의 영상정보를 입력받아 차량을 인식하고, 차량이 인식되면 입차차량으로 판단하여 주차현황정보를 갱신하는 단계; 및 상기 주차장중 미리 정해진 제2위치에 설치된 제2촬상장치로부터의 영상정보를 제공받아 차량을 인식하고, 차량이 인식되면 출차차량으로 판단하여 상기 주차현황정보를 갱신하는 단계;를 포함하며,
상기 차량의 인식과정은 딥 러닝 데이터에 따라 딥 러닝됨을 특징으로 하는 딥 러닝을 이용한 주차 관리 방법을 제공한다.
본 발명의 다른 측면에 따르면, 주차장의 제1위치에 설치된 제1촬상장치; 상기 주차장의 제2위치에 설치된 제2촬상장치; 및 상기 제1촬상장치로부터의 영상정보를 입력받아 차량을 인식하고, 차량이 인식되면 입차차량으로 판단하여 주차현황정보를 갱신하고, 상기 제2촬상장치로부터의 영상정보를 제공받아 차량을 인식하고, 차량이 인식되면 출차차량으로 판단하여 상기 주차현황정보를 갱신하는 영상처리장치 및 딥러닝 데이터 저장소;를 포함하며, 상기 차량의 인식과정은 딥러닝 데이터 저장소에 저장된 딥러닝 데이터에 따라 딥 러닝됨을 특징으로 하는 딥 러닝을 이용한 주차 관리 장치를 제공한다.
본 발명의 또 다른 측면에 따르면, 주차장의 제1위치에 설치된 제1촬상장치, 상기 주차장의 제2위치에 설치된 제2촬상장치, 및 상기 제1촬상장치로부터의 영상정보를 입력받아 차량을 인식하고, 차량이 인식되면 입차차량으로 판단하여 주차현황정보를 갱신하고, 상기 제2촬상장치로부터의 영상정보를 제공받아 차량을 인식하고, 차량이 인식되면 출차차량으로 판단하여 상기 주차현황정보를 갱신하며, 차량의 인식에 대해 실패하면, 외부로 상기 영상정보와 차량 재인식 요청정보를 제공하고, 외부로부터 차량 재인식결과정보가 제공되면 상기 차량 재인식결과정보에 따라 상기 주차현황정보를 갱신하는 영상처리장치 및 딥러닝 데이터 저장소,를 포함하는 주차 관리 장치;
영상정보를 제공받아 고성능 딥러닝을 통해 차량 재인식하는 고성능 인식서버; 및
상기 주차 관리 장치와 통신하여 상기 주차 관리 장치가 제공하는 영상정보와 차량 재인식 요청정보를 제공받아 상기 고성능 딥러닝 인식서버로 제공하고, 상기 고성능 딥러닝 인식서버가 반환하는 차량 재인식결과정보를 상기 주차 관리 장치로 반환하는 녹화 서버;를 포함하며,
상기 주차 관리 장치에 의해 수행되는 차량의 인식과정은 딥러닝 데이터 저장소에 저장된 딥러닝 데이터에 따라 딥 러닝됨을 특징으로 하는 딥 러닝을 이용한 주차 관리 시스템을 제공한다.
또한, 상기 주차 관리 장치가, 차량의 인식에 대해 실패하면, 외부의 고성능 딥러닝 인식서버로 상기 영상정보와 차량 재인식 요청정보를 제공하는 단계; 및
상기 고성능 딥러닝 인식서버로부터 차량 재인식결과정보가 제공되면 상기 차량 재인식결과정보에 따라 상기 주차현황정보를 갱신하는 단계;를 더 포함할 수 있다.
또한, 상기 딥 러닝은 차량의 검지와 차량번호판의 차량번호 인식을 위해 생성된 학습 및 테스트용 메타 데이터인 딥 러닝 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하는 것임을 특징으로 한다.
또한, 상기 주차 관리 장치가, 상기 영상정보로부터 인식한 차량의 움직임을 추적하고, 그에 따른 차량 움직임 추적정보를 생성하여 저장하는 단계;를 더 포함할 수 있다.
또한, 상기 주차 관리 장치가, 상기 주차현황정보를 출력장치를 통해 출력하는 단계;를 더 포함하며, 상기 주차현황정보에는 주차차량의 수와 주차가능댓수를 포함함을 특징으로 한다.
또한, 상기 영상처리장치가, 차량의 인식에 대해 실패하면, 외부의 고성능 딥러닝 인식서버로 상기 영상정보와 차량 재인식 요청정보를 제공하고, 상기 고성능 딥러닝 인식서버로부터 차량 재인식결과정보가 제공되면 상기 차량 재인식결과정보에 따라 상기 주차현황정보를 갱신함을 특징으로 한다.
본 발명은 딥 러닝을 이용하여 소수의 카메라로도 입차 및 출차하는 차량을 효과적으로 인식하여 주차 관리를 이행할 수 있게 하는 효과를 제공한다.
또한 본 발명은 딥 러닝을 이용하여 소수의 카메라로도 입차 및 출차하는 차량을 효과적으로 인식하여 주차 관리를 이행함과 아울러 주차현황을 안내하여 주차관리원은 물론이고 주차장 이용자도 주차 현황을 직관적이고 빠르게 이해할 수 있게 하는 효과를 제공한다.
도 1은 본 발명의 바람직한 실시예에 따른 딥 러닝을 이용한 주차 관리 시스템의 구성도.
도 2는 본 발명의 바람직한 실시예에 따라 촬상장치를 구성한 예를 도시한 도면.
도 3은 본 발명의 바람직한 실시예에 따른 딥 러닝을 이용한 주차 관리 방법의 절차도.
본 발명은 딥 러닝을 이용하여 소수의 카메라로도 입차 및 출차하는 차량을 효과적으로 인식하여 주차 관리를 이행할 수 있게 한다.
또한 본 발명은 딥 러닝을 이용하여 소수의 카메라로도 입차 및 출차하는 차량을 효과적으로 인식하여 주차 관리를 이행함과 아울러 주차현황을 안내하여 주차관리원은 물론이고 주차장 이용자도 주차 현황을 직관적이고 빠르게 이해할 수 있게 한다.
상기한 본 발명의 바람직한 실시예에 따르는 딥 러닝을 이용한 주차 관리 방법 및 장치를 도면을 참조하여 상세히 설명한다.
<딥 러닝을 이용한 주차 관리 시스템의 구성>
도 1는 본 발명의 바람직한 실시예에 따른 딥 러닝을 이용한 주차 관리 시스템의 구성을 도시한 것이다. 상기 도 2를 참조하면, 상기 딥 러닝을 이용한 주차 관리 시스템은 주차 관리 장치(100)와, 녹화서버(150), 고성능 딥러닝 인식서버(16)로 구성된다. 상기 주차 관리 장치(100)는 본 발명의 바람직한 실시예에 따라 입차 그리고 출차 위치에 설치된 카메라장치들(102a,102b)을 통해 입차 그리고 출차, 주차장의 감시영역을 촬상하고, 그 촬상에 따른 영상정보에서 차량을 인식하고 그에 따라 인식된 차량을 입차 또는 주차 또는 출차차량으로 판별하여 주차관리를 이행함과 아울러, 주차장을 촬상한 영상정보 및 주차 관리 정보를 녹화서버(150)에 제공하여 기록한다.
상기 녹화서버(150)는 상기 주차 관리 장치(100)로부터 제공되는 영상정보 및 주차 관리 정보를 기록하며, 상기 주차 관리 장치(100)로부터 재인식요청정보와 영상정보가 제공되면 이를 고성능 딥러닝 인식서버(160)에 제공한다.
상기 고성능 딥러닝 인식서버(160)는 재인식요청정보와 영상정보가 제공되면, 해당 영상정보에서 차량번호판을 인식하고, 그에 따른 결과를 녹화서버(150)를 통해 주차 관리 장치(100)로 반환한다. 이와 같이 본 발명은 고성능 딥러닝 인식서버(160)를 통해 주차 관리 장치(100)에 의해 인식되지 않았던 차량에 대해서도 인식할 수 있게 하여, 효과적인 주차관리를 가능하게 할 수 있다.
상기 주차 관리 장치(100)는 촬상장치(102)와 임베디드 보드(104)와 통신모듈(110)과 주차현황정보 출력장치(112)로 구성된다.
상기 촬상장치(102)는 도 2에 도시한 바와 같이 주차장의 감시영역으로 입장하는 입차위치에 설치된 입차용 광각 카메라 장치(102a)와 주차장의 감시영역에서 퇴장하는 출차위치에 설치된 출차용 광각 카메라 장치(102b)로 구성된다. 상기의 예에서는 입차위치와 출차위치에 각각 카메라 장치가 설치된 예를 예시하였으나, 하나의 광각 카메라로 감시영역 전체가 촬상가능한 협소한 주차장의 경우에는 하나의 카메라 장치만 설치될 수도 있다.
상기 임베디드 보드(104)는 영상처리장치(106)와 딥러닝 데이터 저장소(108)로 구성되며, 입차용 광각 카메라 장치(102a)와 출차용 광각 카메라 장치(102b)로부터 영상정보를 제공받아 입차차량과 출차차량을 인식함과 아울러 입차차량과 출차차량의 인식결과에 따라 주차현황정보를 갱신하여 주차현황정보를 출력하며, 상기 영상정보와 입차차량 및 출차차량 인식결과정보와 주차현황정보를 통신모듈(110)을 통해 녹화서버(150)로 제공하여 기록한다.
또한 상기 임베디드 보드(104)는 차량인식에 실패하면 재인식요청정보와 영상정보를 결합하여 상기 녹화서버(150)를 통해 고성능 딥러닝 인식서버(160)에 제공하고, 상기 고성능 딥러닝 인식서버(160)로부터 재인식결과를 제공하면 그에 따라 주차현황정보를 갱신한다.
또한 상기 영상처리장치(106)는 상기 광각 카메라 장치(102)를 통해 전방인식 카메라(102a)와 후방인식 카메라(102b)가 제공하는 영상정보를 제공받아 상기 촬상에 따라 생성된 영상정보를 SSR(single scale retinex), MSR(multi scale retinex), 이방성 필터링(BILATERAL FILTER)을 통해 개선한다. 상기 MSR은 SSR과 같은 저역통과필터를 사용하며, SSR의 가중합으로 출력이 주어지고 SSR에 비해 후광효과(Halo artifact)를 감소시킬 수 있다. 상기 이방성 필터링은 상기 SSR과 MSR의 색상변화와 후광효과를 해소한다. 상기한 영상정보의 개선은 심층학습이 적용되어 저해상도의 영상정보를 효과적으로 개선할 수 있다.
상기 영상처리장치(106)는 상기한 바와 같이 개선된 영상정보로부터 차량을 검지하고, 검지한 차량들의 차량번호판을 인식하며, 차량번호 인식정보와 상기 영상정보를 결합하여 상기 통신모듈(110)을 통해 상기 녹화서버(150)로 제공한다. 또한, 상기 검지한 차량들의 차량번호판을 통해 차량번호가 인식되지 않으면, 상기 영상처리장치(106)는 차량번호 재인식요청정보와 상기 영상정보를 결합하여 상기 녹화서버(150)로 제공한다.
상기의 차량 및 앞면 또는 뒷면 차량번호의 인식과정에 대해 좀더 설명한다. 상기 차량 및 차량번호의 인식시에는 객체 검출 및 인식을 이행한다.
상기한 객체 검출과 인식을 위해서 상기 영상처리장치(106)는 객체의 위치와 크기를 포함하는 경계를 예측하는 방식을 사용할 수 있다.
그리고 슬라이딩 윈도우 방식에 따라, 슬라이딩 ROI 이미지가 객체 클래스 예측 함수에 전달하고 다양한 크기의 객체를 피라미드로 생성하여 검출할 수도 있다.
그리고, HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식에 따라, 피라미드 슬라이딩 윈도우를 실행하여 각 윈도우에서 객체 분류를 위해 HOG FEATURE를 계산한 후에 SVM을 이용하여 객체를 인식할 수도 있다.
그리고, 딥러닝 기법을 적용할 수 있으며, CNN(convolutional neural network)은 정확도 높은 객체 추출이 가능하며 R-CNN(REGIONS WITH CNN)은 객체 분류에 필요한 ROI 수를 줄일 수 있고, 선택적 검색을 위해 질감, 강도, 컬러 등의 로컬 정보를 사용한다. FAST RCNN은 SPP-NET(spatial pyramid pooling) 기반으로 계산되며 전체 이미지에 대해 한번 CNN을 계산한다.
그리고, YOLO(YOU ONLY LOOK ONCE)를 적용할 수 있으며, 상기 YOLO는 각 이미지를 S*S 그리드의 정확성을 반영, 리드에 N 개체가 예측되며 대부분은 낮은 신뢰도를 가진다. 신뢰도를 높이기 위해 주변의 그리드를 합칠 수 있고, 임계값을 설정해 불필요한 부분은 제거할 수 있다.
상기 YOLO는 여타의 실시간 비전 기술과 비교할 때에 속도가 빠르며 이미지 전체를 한번에 바라보는 방식으로 클래스를 분별할 수 있게 한다.
상기한 영상처리장치(106)에 구비되는 소프트웨어로는 학습 및 테스트용 메타 파일을 생성하는 메타 파일 프로그램, 저품위 영상 또는 반사판에 의해 오염된 영상에 대해 개선을 이행하는 영상 개선 소프트웨어, 차량들의 차량번호판들을 인식하는 LPR(License Plate Recognition) 소프트웨어, 전기 및 신규 번호판을 인식하는 전기 및 신규 번호판 인식 소프트웨어, 고속처리를 위한 고속화 소프트웨어, 임베디드 기반 딥러닝 소프트웨어가 포함될 수 있다.
그리고 상기 딥러닝 데이터 저장소(108)에는 상기 영상처리장치(106)의 영상정보 학습을 위한 메타 파일이 저장된다. 상기 메타 파일은 파일정보, 클래스(class) 정보, 좌표정보, 크기정보 등으로 구성된다. 이러한 메타 파일은 메타 파일 제작 프로그램을 통해 생성될 수 있다.
이러한 임베디드 보드(104)는 빠른 처리속도를 제공함은 물론이며 고성능의 서버급 컴퓨터가 아니어도 딥 러닝 데이터의 처리 및 영상 처리를 가능하게 하며, 시스템 설치의 어려움 및 양산과 유지보수에 대한 고비용에 대한 문제를 해소한다.
상기 주차현황정보 출력장치(112)는 해당 주차장의 주차현황정보를 영상처리장치(106)로부터 제공받아 출력하여 주차장의 관리자는 물론이고 이용자도 주차현황을 빠르고 쉽게 이해할 수 있게 한다.
상기 통신모듈(110)은 주차 관리 장치(100)의 영상처리장치(106)와 녹화서버(150)사이의 통신을 담당한다.
<딥 러닝을 이용한 주차 관리 방법의 구성>
이제 상기한 바와 같이 구성되는 딥 러닝을 이용한 주차 관리 시스템에 적용가능한 딥 러닝을 이용한 주차 관리 방법을 도 3의 흐름도를 참조하여 상세히 설명한다.
상기 도 3을 참조하면, 주차 관리 장치(100)의 영상처리장치(106)는 미도시된 사용자 인터페이스를 통해 관리자가 주차관리 또는 학습 중 어느 하나의 동작모드로의 동작을 요청하는지를 체크한다(200단계).
상기 학습의 동작모드로의 동작이 요청되면, 상기 주차 관리 장치(100)는 객체 검출 및 인식율을 위한 딥러닝을 이행한다(202단계). 상기한 딥러닝은 차량 검지 및 차량번호 인식방식에 대한 것으로, CNN(convolutional neural network), R-CNN(REGIONS WITH CNN), FAST RCNN 중 어느 하나 또는 그 이상이 선택될 수 있다. 상기한 차량 검지 및 차량번호 인식은 슬라이딩 윈도우 방식 또는 HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식이 채용될 수 있다. 또한 상기한 딥러닝은 차량의 검지와 차량번호판의 차량번호 인식을 위해 생성된 학습 및 테스트용 메타 데이터인 딥 러닝 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하여 수행된다.
그리고 상기 주차관리의 동작모드로의 동작이 요청되면, 상기 주차 관리 장치(100)는 입차위치에서 촬상된 영상정보를 획득하고, 획득된 영상정보에 대해 딥 러닝된 차량검지 및 차량번호 인식방식에 따라 차량검지 및 차량번호 인식을 이행한다(206단계). 상기 입차위치에서 촬상된 영상정보로부터 차량이 인식되면, 상기 주차 관리 장치(100)는 인식된 차량을 입차차량으로 차량 ID를 부여함과 아울러 차량 ID에 대응되는 주차차량정보를 생성하여 주차차량으로 기록한다(208단계). 상기 주차량정보는 입차시각, 차량 ID 등으로 구성될 수 있다.
이후 상기 주차 관리 장치(100)는 주차현황정보에 상기 주차차량정보를 저장함과 아울러 주차현황정보에 기록된 주차차량의 수를 증가하고 주차가능대수를 감소시킴과 아울러, 상기 주차현황정보를 표시하여 주차장 관리자 및 이용자들에게 안내한다.
이후 상기 주차 관리 장치(100)는 입차위치에서의 영상정보를 토대로 해당 차량의 움직임을 추적하고, 그 추적정보도 저장하여, 주차장내의 주차 관리상태의 관리는 물론이고 분쟁 발생시의 근거정보로 사용될 수 있게 한다(212단계).
또한 상기 주차 관리 장치(100)는 출차위치에서 촬상된 영상정보를 획득하고, 획득된 영상정보에 대해 딥 러닝된 차량검지 및 차량번호 인식방식에 따라 차량검지 및 차량번호 인식을 이행하고, 상기 영상정보로부터 차량이 인식되면, 그 인식된 차량이 차량 ID가 부여된 차량인지를 체크한다(216단계).
상기 차량 ID가 부여된 차량인 경우에 상기 주차 관리 장치(100)는 차량 ID에 대응되는 주차차량정보를 출차차량으로 변경함과 아울러 출차시각 및 주차료정보 등을 부가하여 저장한다(218단계).
이후 상기 주차 관리 장치(100)는 주차현황정보에 기록된 주차차량의 수를 감소시키고 주차가능대수를 증가시킴과 아울러, 상기 주차현황정보를 표시하여 주차장 관리자 및 이용자들에게 안내한다.
이후 상기 주차 관리 장치(100)는 출차위치에서의 영상정보를 토대로 해당 차량의 움직임을 추적하고, 그 추적정보도 저장하여, 주차장내의 주차 관리상태의 관리는 물론이고 분쟁 발생시의 근거정보로 사용될 수 있게 한다(222단계).
상기의 실시예에서는 입차시에 인식된 차량에 대해서만 출차 처리하는 과정에 대해서만 예시하였으나, 입차 또는 출차시에 인식되지 않은 차량에 대해서는 고성능 딥러닝 서버를 통해 재인식을 이행하여 인식실패에 따라 주차관리가 정상적으로 이루어지지 않던 문제를 해소할 수 있다.
또한 상기의 실시예에서는 입차시 인식되지 않은 차량에 대해서는 출차처리를 하지 않는 것으로만 예시하였으나, 관리자 호출 등의 예외처리 기능을 추가할 수도 있으며 이는 본 발명에 의해 당업자에게 자명하다.
또한 상기의 실시예에서는 입차 또는 출차시의 차단바의 구동 및, 주차요금의 정산 등에 대해서는 기재하지 않았으나 입차 또는 출차차량의 인식시에 차단바를 구동하거나 주차요금의 정산과정을 수행하는 기능을 추가할 수도 있으며, 이는 본 발명에 의해 당업자에게 자명하다.
이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능 하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
100 : 주차 관리 장치
102 : 촬상장치
104 : 임베디드 보드
106 : 영상처리장치
108 : 딥러닝 데이터 저장소
150 : 녹화서버
160 : 고성능 딥러닝 인식서버

Claims (9)

  1. 딥 러닝을 이용한 주차 관리 방법에 있어서,
    주차장에 설치된 주차 관리 장치가, 주차장 중 미리 정해진 입차위치에 설치된 제1촬상장치로부터의 영상정보를 입력받아 영상처리하여 차량을 인식하고, 차량이 인식되면 입차차량으로 판단하여 주차현황정보를 갱신하는 단계; 및
    상기 입차차량으로 판단된 차량에 대해 미리 정해진 입차위치에 설치된 제1촬상장치로부터의 영상정보를 토대로 움직임을 추적하고, 그에 따른 입차차량에 대한 추적정보를 저장하는 단계;
    상기 주차장중 미리 정해진 출차위치에 설치된 제2촬상장치로부터의 영상정보를 입력받아 영상처리하여 차량을 인식하고, 차량이 인식되면 출차차량으로 판단하여 상기 주차현황정보를 갱신하는 단계; 및
    상기 출차차량으로 판단된 차량에 대해 미리 정해진 출차위치에 설치된 제2촬상장치로부터의 영상정보를 토대로 움직임을 추적하고, 그에 따른 출차차량에 대한 추적정보를 저장하는 단계;를 포함하며,
    상기 영상처리는 영상정보의 개선과 차량인식으로 구성되며,
    상기 영상정보의 개선은 SSR(single scale retinex)의 가중합으로 주어지는 MSR(multi scale retinex) 및 이방성 필터링(BILATERAL FILTER)을 통해 이행되며, 상기 영상정보의 개선은 심층학습이 적용되고,
    상기 차량인식은 차량의 검지와 차량번호판의 차량번호 인식을 위해 생성된 학습 및 테스트용 메타 데이터인 딥 러닝 데이터를 토대로 학습된 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN), FAST RCNN 및 YOLO(YOU ONLY LOOK ONCE) 중 하나 이상을 통해 이행됨을 특징으로 하는 딥 러닝을 이용한 주차 관리 방법.
  2. 제1항에 있어서,
    상기 주차 관리 장치가,
    차량의 인식에 대해 실패하면, 외부의 딥러닝 인식서버로 상기 영상정보와 차량 재인식 요청정보를 제공하는 단계; 및
    상기 딥러닝 인식서버로부터 차량 재인식결과정보가 제공되면 상기 차량 재인식결과정보에 따라 상기 주차현황정보를 갱신하는 단계;를 더 포함함을 특징으로 하는 딥 러닝을 이용한 주차 관리 방법.
  3. 삭제
  4. 삭제
  5. 제1항 또는 제2항에 있어서,
    상기 주차 관리 장치가,
    상기 주차현황정보를 출력장치를 통해 출력하는 단계;를 더 포함하며,
    상기 주차현황정보에는 주차차량의 수와 주차가능댓수를 포함함을 특징으로 하는 딥 러닝을 이용한 주차 관리 방법.
  6. 딥 러닝을 이용한 주차 관리 시스템에 있어서,
    주차장 중 미리 정해진 입차위치에 설치된 제1촬상장치, 상기 주차장 중 미리 정해진 출차위치에 설치된 제2촬상장치, 및 상기 제1촬상장치로부터의 영상정보를 입력받아 영상처리하여 차량을 인식하고, 차량이 인식되면 입차차량으로 판단하여 주차현황정보를 갱신하고,
    상기 입차차량으로 판단된 차량에 대해 미리 정해진 입차위치에 설치된 제1촬상장치로부터의 영상정보를 토대로 움직임을 추적하고, 그에 따른 입차차량에 대한 추적정보를 저장하고,
    상기 제2촬상장치로부터의 영상정보를 입력받아 영상처리하여 차량을 인식하고, 차량이 인식되면 출차차량으로 판단하여 상기 주차현황정보를 갱신하고,
    상기 출차차량으로 판단된 차량에 대해 미리 정해진 출차위치에 설치된 제2촬상장치로부터의 영상정보를 토대로 움직임을 추적하고, 그에 따른 출차차량에 대한 추적정보를 저장하고,
    상기 차량의 인식에 대해 실패하면, 외부로 상기 영상정보와 차량 재인식 요청정보를 제공하고, 외부로부터 차량 재인식결과정보가 제공되면 상기 차량 재인식결과정보에 따라 상기 주차현황정보를 갱신하는 영상처리장치 및 딥러닝 데이터 저장소를 포함하는 주차 관리 장치;
    영상정보를 제공받아 딥러닝을 통해 차량 재인식하는 딥러닝 인식서버; 및
    상기 주차 관리 장치와 통신하여 상기 주차 관리 장치가 제공하는 영상정보와 차량 재인식 요청정보를 제공받아 상기 딥러닝 인식서버로 제공하고, 상기 딥러닝 인식서버가 반환하는 차량 재인식결과정보를 상기 주차 관리 장치로 반환하는 녹화 서버;를 포함하며,
    상기 주차 관리 장치에 의해 수행되는 상기 영상처리는 영상정보의 개선과 차량인식으로 구성되며,
    상기 영상정보의 개선은 SSR(single scale retinex)의 가중합으로 주어지는 MSR(multi scale retinex) 및 이방성 필터링(BILATERAL FILTER)을 통해 이행되며, 상기 영상정보의 개선은 심층학습이 적용되고,
    상기 차량인식은 차량의 검지와 차량번호판의 차량번호 인식을 위해 생성된 학습 및 테스트용 메타 데이터인 딥 러닝 데이터를 토대로 학습된 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN), FAST RCNN 및 YOLO(YOU ONLY LOOK ONCE) 중 하나 이상을 통해 이행됨을 특징으로 하는 딥 러닝을 이용한 주차 관리 시스템.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 주차 관리 장치가, 상기 주차현황정보를 제공받아 표시하여 출력하는 출력장치;를 더 구비하며,
    상기 영상처리장치가,
    상기 주차현황정보를 상기 출력장치를 통해 출력하며,
    상기 주차현황정보에는 주차차량의 수와 주차가능댓수를 포함함을 특징으로 하는 딥 러닝을 이용한 주차 관리 시스템.
KR1020210123201A 2021-09-15 2021-09-15 딥 러닝을 이용한 주차 관리 방법 및 시스템 KR102601464B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210123201A KR102601464B1 (ko) 2021-09-15 2021-09-15 딥 러닝을 이용한 주차 관리 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210123201A KR102601464B1 (ko) 2021-09-15 2021-09-15 딥 러닝을 이용한 주차 관리 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20230040417A KR20230040417A (ko) 2023-03-23
KR102601464B1 true KR102601464B1 (ko) 2023-11-14

Family

ID=85799106

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210123201A KR102601464B1 (ko) 2021-09-15 2021-09-15 딥 러닝을 이용한 주차 관리 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102601464B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101730465B1 (ko) * 2016-12-19 2017-04-27 주식회사 디아이랩 차량의 부가정보를 활용한 차량 인식 방법 및 시스템

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101307234B1 (ko) 2012-07-10 2013-09-11 (주)에스디시스템 객체인식 기반의 주차관리 시스템
KR20190134018A (ko) * 2018-05-24 2019-12-04 (주)이지정보기술 딥러닝 기반 영상 처리 기술이 탑재된 지능형 cctv를 활용한 주차 관제 방법 및 시스템
KR102296516B1 (ko) 2019-09-17 2021-09-01 강경민 주차관리 시스템 및 그의 제어 방법
KR102289181B1 (ko) * 2019-12-31 2021-08-13 (주) 티아이에스 정보통신 영상 기반 주차 관리 시스템, 장치 및 방법
KR102289182B1 (ko) * 2019-12-31 2021-08-13 (주) 티아이에스 정보통신 영상 기반 주차 관리 시스템, 장치 및 방법
KR20210108833A (ko) 2020-02-26 2021-09-03 사이클롭스 주식회사 영상인식 기술을 활용한 지능형 주차관리 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101730465B1 (ko) * 2016-12-19 2017-04-27 주식회사 디아이랩 차량의 부가정보를 활용한 차량 인식 방법 및 시스템

Also Published As

Publication number Publication date
KR20230040417A (ko) 2023-03-23

Similar Documents

Publication Publication Date Title
US9363483B2 (en) Method for available parking distance estimation via vehicle side detection
US10176443B2 (en) Method and system for dispatching of vehicles in a public transportation network
US9317752B2 (en) Method for detecting large size and passenger vehicles from fixed cameras
US9679203B2 (en) Traffic violation detection
US9275547B2 (en) Prediction of free parking spaces in a parking area
US8682036B2 (en) System and method for street-parking-vehicle identification through license plate capturing
US9471889B2 (en) Video tracking based method for automatic sequencing of vehicles in drive-thru applications
US8744132B2 (en) Video-based method for detecting parking boundary violations
US20150222859A1 (en) Vehicle detection method and system including irrelevant window elimination and/or window score degradation
KR102289181B1 (ko) 영상 기반 주차 관리 시스템, 장치 및 방법
CN113055823B (zh) 一种基于路侧停车管理共享单车的方法及装置
CN112633255B (zh) 目标检测方法、装置及设备
JP6833354B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN111079621B (zh) 检测对象的方法、装置、电子设备和存储介质
CN114067295A (zh) 一种车辆装载率的确定方法、装置及车辆管理系统
KR102289182B1 (ko) 영상 기반 주차 관리 시스템, 장치 및 방법
CN111259868A (zh) 基于卷积神经网络的逆行车辆检测方法、系统及介质
CN109523793A (zh) 智能识别车辆信息的方法、装置和系统
KR102306789B1 (ko) 교행 다차로에서의 이상차량 인식방법 및 장치
CN112733598A (zh) 车辆违法判别方法、装置、计算机设备和存储介质
KR102601464B1 (ko) 딥 러닝을 이용한 주차 관리 방법 및 시스템
US20180046767A1 (en) Method and system for patient intake in a healthcare network
CN112687044A (zh) 滞留人员的管理方法、系统、介质及设备
KR102369824B1 (ko) 교행 다차로를 위한 차량번호 인식방법 및 장치
CN112686136B (zh) 一种对象检测方法、装置及系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant