KR20200138581A - 딥러닝 인공지능 기반의 자율주행 주차관리 로봇 및 이를 포함하는 관제 시스템 - Google Patents

딥러닝 인공지능 기반의 자율주행 주차관리 로봇 및 이를 포함하는 관제 시스템 Download PDF

Info

Publication number
KR20200138581A
KR20200138581A KR1020190064837A KR20190064837A KR20200138581A KR 20200138581 A KR20200138581 A KR 20200138581A KR 1020190064837 A KR1020190064837 A KR 1020190064837A KR 20190064837 A KR20190064837 A KR 20190064837A KR 20200138581 A KR20200138581 A KR 20200138581A
Authority
KR
South Korea
Prior art keywords
license plate
robot
image
parking lot
parking management
Prior art date
Application number
KR1020190064837A
Other languages
English (en)
Inventor
이왕헌
오지만
도정찬
Original Assignee
한세대학교 산학협력단
(주)컴앤에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한세대학교 산학협력단, (주)컴앤에스 filed Critical 한세대학교 산학협력단
Priority to KR1020190064837A priority Critical patent/KR20200138581A/ko
Publication of KR20200138581A publication Critical patent/KR20200138581A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G06K2209/15—

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 딥러닝 인공지능 기반의 자율주행 주차관리 로봇 및 이를 포함하는 관제 시스템을 개시한다. 본 발명의 일 측면에 따른 휠(wheel)를 구비하여 주차장 내의 이동이 가능한 딥러닝 인공지능 기반의 자율주행 주차관리 로봇은, 주차장 내의 차량 및 상황 감시를 위한 영상을 촬영하는 영상 촬영부; 상기 촬영된 차량의 영상에서 번호판을 인식하는 번호판 인식부; 및 주차장 내의 이동 중 장애물을 인식하고 회피하는 충돌 회피부;를 포함한다.

Description

딥러닝 인공지능 기반의 자율주행 주차관리 로봇 및 이를 포함하는 관제 시스템{Deep Learning Artificial intelligence based autonomous driving parking management robot and its control system}
본 발명은 딥러닝 인공지능 기반의 자율주행 주차관리 로봇 및 이를 포함하는 관제 시스템에 관한 것으로, 더욱 상세하게는 주차장 내의 차량 및 상황 감시 관리 기능을 위한 딥러닝 인공지능 기반의 자율주행 주차관리 로봇 및 이를 포함하는 관제 시스템에 관한 것이다.
최근 임금 상승과 고령화로 인건비 부담이 커짐에 따라 24시간 상주 관리 인력이 필요한 주차장에서는 이러한 문제점을 해소하기 위해 무인화가 이루어지고 있다. 하지만, 현재의 무인 주차장은 출입구를 지나가는 차량의 번호판을 인식하여 요금만 정산하는 방식으로, 주차장 내에서 발생하는 차량 간 충돌 및 사고를 파악하기 어려운 문제가 있다. 한편, 주차장 내에는 다수의 카메라가 고정식으로 설치되어 있어 사건 및/또는 사고가 발생한 경우 증거자료로 활용이 가능하지만, 이는 고정식이기 때문에 카메라의 각도에서 벗어나는 사각지대에서 사건 및/또는 사고가 발생하는 경우에는 대응 및/또는 정보를 수집할 수 없는 문제점이 발생한다.
한국등록특허 제10-1902369호(2018.10.01 공고)
본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로서, 자율주행이 가능한 로봇을 이용해 주차장 내의 차량 및 상황 감시 관리를 하여 보다 효율적으로 주차장을 관리할 수 있는 딥러닝 인공지능 기반의 자율주행 주차관리 로봇 및 이를 포함하는 관제 시스템을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 일 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 휠(wheel)를 구비하여 주차장 내의 이동이 가능한 딥러닝 인공지능 기반의 자율주행 주차관리 로봇은, 주차장 내의 차량 및 상황 감시를 위한 영상을 촬영하는 영상 촬영부; 상기 촬영된 차량의 영상에서 번호판을 인식하는 번호판 인식부; 및 주차장 내의 이동 중 장애물을 인식하고 회피하는 충돌 회피부;를 포함한다.
상기 번호판 인식부는, 상기 촬영된 차량의 영상에서 번호판 영역을 분할하여 전처리하고, 상기 전처리된 영상에서 번호판 후보 영역을 추출하고 필터링하여 번호판을 검출하고, 상기 검출된 번호판에서 문자를 분할하며, 상기 분할된 문자를 기초로 차량의 번호판을 인식하는 것을 특징으로 한다.
로봇의 휠(wheel)의 크기, 회전수와 휠(wheel) 사이의 거리로 로봇이 움직인 거리와 회전 각도를 산출하여 현재 위치의 좌표를 계산하되, 관성센서를 이용하여 로봇의 휠(wheel)의 회전 데이터 및 속도 데이터를 구해 상기 계산된 로봇의 현재 위치 좌표의 오차를 개선하는 것을 특징으로 하는 로봇 위치 인식부;를 더 포함할 수 있다.
상기 충돌 회피부는, LIDAR 센서를 활용하여 장애물을 감지하고 충돌을 회피하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 다른 측면에 따른 주차장 내의 차량 및 상황 감시를 위한 영상을 촬영하는 영상 촬영부; 상기 촬영된 차량의 영상에서 번호판을 인식하는 번호판 인식부; 및 주차장 내의 이동 중 장애물을 인식하고 회피하는 충돌 회피부;를 포함하고, 휠(wheel)를 구비하여 주차장의 미리 설정된 구역을 미리 설정된 주기에 따라 자율 이동하여 차량 및 상황을 감시하는 하나 이상의 자율주행 주차관리 로봇; 상기 자율주행 주차관리 로봇으로부터 주차장 내의 영상 정보를 수신하고, 상기 수신한 영상 정보에 기초하여 주차장을 실시간으로 관제하는 중앙 관제 서버;를 포함한다.
본 발명의 일 측면에 따르면, 자율이동 로봇을 이용해 주차장 내의 차량 및 상황을 감시함으로써 인건비의 부담을 감소시킬 수 있는 효과가 있다.
또한, 자율이동 로봇을 이용함에 따라 사각지대의 상황 감시가 가능해져 보다 효율적으로 주차장을 관리할 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용들과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 주차장의 관제 시스템의 구성도,
도 2는 본 발명의 일 실시예에 따른 자율주행 주차관리 로봇의 일 예,
도 3은 본 발명의 일 실시예에 따른 자율주행 주차관리 로봇의 기능 블록도,
도 4는 본 발명의 일 실시예에 따른 영상의 전처리 과정의 일 예,
도 5는 본 발명의 일 실시예에 따른 번호판 후보 영역 검출과 필터링의 일 예,
도 6은 본 발명의 일 실시예에 따른 번호판 검출의 일 예,
도 7은 본 발명의 일 실시예에 따른 번호판 영상 이진화와 문자 분할 결과의 일 예,
도 8은 본 발명의 일 실시예에 따른 번호판 인식 결과의 일 예,
도 9는 본 발명의 일 실시예에 따른 문자 인식을 수행하는 컨벌루션 신경망(CNN) 모델의 구조의 일 예,
도 10은 본 발명의 일 실시예에 따른 GAN을 이용한 번호판 영상 개선의 일 예이다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “…부” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 주차장의 관제 시스템의 구성도, 도 2는 본 발명의 일 실시예에 따른 자율주행 주차관리 로봇의 일 예이다.
도 1을 참조하면, 본 실시예에 따른 관제 시스템은, 자율주행 주차관리 로봇(100) 및 중앙 관제 서버(200)를 포함한다.
자율주행 주차관리 로봇(100)은 주차장 내의 미리 설정된 구역을 이동하면서 영상을 촬영하여 주차장 내의 차량 및/또는 상황을 감시한다. 이때, 자율주행 주차관리 로봇(100)은 취득한 영상 정보(차량의 영상 정보 및 사람의 영상 정보)를 통신부(미도시)를 통해 후술하는 관제 센터의 중앙 관제 서버(200)로 전송할 수 있다. 이때, 자율주행 주차관리 로봇(100)과 중앙 관제 서버(200)는 와이파이(Wi-Fi)와 같은 근거리 통신을 통해 네트워크로 연결되어 정보를 송수신할 수 있다. 하지만, 이에 한하지 않으며 정보를 송수신할 수 있는 다양한 네트워크가 적용될 수 있다. 예컨대, 자율주행 주차관리 로봇(100)과 중앙 관제 서버(200)는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등과 같은 기술을 포함하는 근거리 통신 및/또는 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 등과 같은 기술을 포함하는 원거리 통신을 이용해 네트워크를 형성하여 정보를 송수신할 수도 있다.
본 실시예에 따른 자율주행 주차관리 로봇(100)은, 오픈 소스인 ROS(Robot Operating System)를 탑재하여 상술한 ROS에 의해 제어될 수 있으며, RGB-D 시각센서와 관성센서(IMU) 및 라이더(LIDAR) 센서가 내장되어 자율주행 및 장애물을 회피할 수 있다.
자율주행 주차관리 로봇(100)은 하나 이상이 주차장 내에 구비될 수 있으며, 주차장 내의 미리 설정된 구역을 자율 이동하면서 정기 순찰하여 차량의 번호판 정보 및/또는 거동이 수상한 인물의 얼굴 영상 정보를 취득하여 관제센터의 중앙 관제 서버(200)로 전송할 수 있다. 한편, 정보를 수신한 중앙 관제 서버(200)는 수신한 정보에 기초하여 관계기관(예컨데, 경찰서 등)에 자동으로 통보하거나 관리자에게 통보하여 현장에 출동하도록 할 수도 있다.
한편, 본 실시예에 따른 자율주행 주차관리 로봇(100)은 도 2에 도시된 바와 같이 구현될 수 있다.
도 2에 도시된 바와 같이, 자율주행 주차관리 로봇(100)은 사람 형상으로 구현될 수 있으며, 휠(wheel)을 구비하여 보다 원활한 이동을 수행할 수 있다.
또한, 자율주행 주차관리 로봇(100)은 주차장 내의 차량 및/또는 상황을 감시하기 위해 영상을 촬영하는 카메라가 구비될 수 있다. 이때, 카메라는 전방을 감시하고 촬영하기 위한 전방 감시 카메라 및 상술한 전방 감시 카메라와 90도 각의 위치에 구비되는 차량 번호 인식용 카메라를 포함할 수 있다. 이처럼, 카메라를 전방 감시 카메라와 차량 번호 인식용 카메라로 복수개를 구비하는 이유는, 자율주행 주차관리 로봇(100)이 주차장을 이동하면서 방향을 전환하지 않고 차량의 영상을 촬영하면서 전방을 감시할 수 있도록 하기 위함이다. 또한, 자율주행 주차관리 로봇(100)은 주행 여부를 나타내는 주행 작업 표시등을 구비할 수 있으며, 주차장을 이동중인 경우엔 녹색, 정지중인 경우엔 적색 그리고, 촬영중인 경우엔 주황색 등과 같이 색을 통해 주행 및/또는 작업 여부를 표시할 수 있다.
또한, 자율주행 주차관리 로봇(100)은 디스플레이부를 구비하여 배터리의 잔여량 여부 및 방전여부 등을 표시할 수 있으며, 다양한 알림 정보를 표시할 수 있다.
한편, 본 실시예에는 도시하지 않았지만, 자율주행 주차관리 로봇(100)은 내부의 전원(배터리)를 충전하기 위한 도킹부를 더 구비할 수도 있다.
자율주행 주차관리 로봇(100)의 기능과 관련한 보다 상세한 설명은 도 3을 통해 후술하기로 한다.
중앙 관제 서버(200)는 관제 센터 내에 구비되어, 자율주행 주차관리 로봇(100)으로부터 주차장 내에서 취득한 영상 정보를 수신하고, 수신한 영상 정보에 기초하여 주차장을 실시간으로 관제할 수 있다.
중앙 관제 서버(200)는 딥러닝 기반으로 동작하며, Qt 기반의 GUI 프로그램이 적용되어 사용자의 편리성과 주차장으로부터 전송된 차량의 번호판 정보 및 주차장 내 장애물 정보 등의 저장 및 관리의 편리성이 증대될 수 있다.
한편, 상술한 바에 따른 관제 시스템은 관리자 단말(300)을 더 포함할 수 있다.
관리자 단말(300)은 관리자로부터 입력되는 명령에 기초하여 자율주행 주차관리 로봇(100)을 원격으로 제어할 수도 있다. 관리자 단말(300)은 GUI 프로그램을 통해 상술한 자율주행 주차관리 로봇(100)을 원격에서 제어할 수도 있다. 관리자 단말(300)은 타 단말 및 서버와 연결 가능한 컴퓨터 및/또는 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예컨대, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 자율주행 주차관리 로봇의 기능 블록도, 도 4는 본 발명의 일 실시예에 따른 영상의 전처리 과정의 일 예, 도 5는 본 발명의 일 실시예에 따른 번호판 후보 영역 검출과 필터링의 일 예, 도 6은 본 발명의 일 실시예에 따른 번호판 검출의 일 예, 도 7은 본 발명의 일 실시예에 따른 번호판 영상 이진화와 문자 분할 결과의 일 예, 도 8은 본 발명의 일 실시예에 따른 번호판 인식 결과의 일 예, 도 9는 본 발명의 일 실시예에 따른 문자 인식을 수행하는 컨벌루션 신경망(CNN) 모델의 구조의 일 예, 도 10은 본 발명의 일 실시예에 따른 GAN을 이용한 번호판 영상 개선의 일 예이다.
본 실시예를 설명함에 있어서, 차량의 번호 인식은 오픈 소스인 OpenCV(Open source Computer Vision)와 딥러닝 알고리즘을 이용한다. OpenCV는 주로 실시간 컴퓨터 비전을 목적으로 한 프로그래밍 라이브러리로, 실시간 이미지 프로세싱에 중점을 둔 라이브러리이다. 또한, 딥러닝 알고리즘은 머신러닝 방법 중 하나로, 인간의 뇌에서 영감을 받은 인공신경망(artificial neural network)을 이용해 대량의 데이터와 기술을 활용한다. 상술한 OpenCV 및 딥러닝 알고리즘은 공지된 기술로 상세한 설명은 생략하기로 한다.
도 3을 참조하면, 본 실시예에 따른 자율주행 주차관리 로봇(100)은 영상 촬영부(310), 번호판 인식부(320) 및 충돌 회피부(330)를 더 포함한다.
영상 촬영부(310)는 주차장 내의 차량 및 상황 감시를 위한 영상을 촬영한다. 영상 촬영부(310)는 RGB-D 3차원 카메라일 수 있다.
번호판 인식부(320)는 촬영된 차량의 영상에서 번호판을 인식한다. 보다 구체적으로, 번호판 인식부(320)는 번호판 인식 알고리즘을 통해 촬영된 차량의 영상에서 번호판을 인식할 수 있다. 이때, 번호판 영역 검출 성능은 전체 번호판 인식 성능에 큰 영향을 미치게 되므로, 검출된 번호판 영상은 Support Vector Machine(SVM)과 K-NN(K-Nearest Neighbor)와 같은 기계학습 알고리즘을 이용하여 번호판 정보를 인식하는 것이 바람직하다.
한편, 본 실시예에 따른 번호판 인식 알고리즘은 촬영된 차량의 영상을 전처리하는 단계, 번호판 영역을 검출하는 단계, 문자를 분할하는 단계 및 번호판을 인식하는 단계의 총 4 단계의 과정이 수행될 수 있다.
먼저, 번호판 인식부(320)는 촬영된 차량의 영상에서 번호판 영역을 분할하여 전처리한다. 전처리 단계를 통해 번호판 후보 영역들을 구하여 결과적으로는 번호판 영역의 분할이 가능해질 수 있다. 번호판 영역 취득 방법으로는 지역 특징을 이용한 방법, 허프 변환, 모폴로지 연산 등이 있으며, 본 실시예에서는 모폴로지 연산을 이용하여 번호판 후보 영역들을 구하는 것으로 가정한다. 입력 영상으로부터 모폴로지 영상 취득 과정은 도 4와 같으며 도 4 (a)의 입력 영상은 먼저 흑백 영상으로 변환한다. 잡음 제거를 위해 블러링 처리를 하고, 소벨 에지 영상을 얻는다. 하지만 에지 강도에 따라 영상이 바뀌므로 오츠 이진화 처리로 이진 영상을 취득하고, 마지막으로 모폴로지 연산으로 결과 영상 도 4 (f)를 구하여 번호판 검출 준비를 마친다.
다음으로, 번호판 인식부(320)는 전처리된 영상에서 번호판 후보 영역을 추출하고 필터링하여 번호판을 검출한다. 전처리 결과인 모폴로지 영상에 OpenCV에서 제공하는 FindContour() 함수를 사용하면 모폴로지의 윤곽선을 얻을 수 있으며 이 윤곽선들을 둘러싼 회전 사각형은 번호판 후보 영역이 된다. 번호판 후보 영역과 필터링은 도 5와 같으며 후보 영역들을 원본 영상에 표시한 결과는 도 5 (a)이다. 또한, 번호판 후보 영역을 회전 정도, 종횡비, 크기 등을 기준으로 필터링 처리를 하여 도 5 (b)의 필터링 결과를 구할 수 있다. 하지만, 도 5 (b)처럼 필터링으로 취득한 번호판 영상은 회전, 조명, 크기 등으로 왜곡된다(도 6 (a) 참조). 왜곡된 영상은 보정하기 전까지는 정상적으로 번호판을 인식할 수 없어 이러한 문제를 해결하기 위해 번호판 영상을 Perspective Transform으로 영상 왜곡을 보정한다(도 6 (d) 참조). 도 6 (b)는 도 6 (a)의 왜곡된 번호판을 펼친 결과로 선명한 번호판 영상을 얻을 수 있다. 도 6 (b)와 (c)는 Perspective Transform에 필요한 번호판의 꼭짓점 좌표들을 구하기 위해 FloodFill 알고리즘을 사용하기 위해 만든 Seed Point와 처리(FloodFill)한 결과이다.
다음으로, 번호판 인식부(320)는 검출된 번호판에서 문자를 분할한다. 본 실시예에서는 인식할 번호판 영상을 번호판 검출 단계의 Perspective Transform으로 취득하였으며 번호판 내 문자를 인식하기 위해 영상 이진화가 필요하다. 번호판 전처리에서 사용하였던 오츠 알고리즘으로 이진화 처리를 하였으며 그 결과인 번호판 이진 영상은 도 7 (a)이다. 하지만 이 영상 내에 존재하는 각 문자를 인식하기 위해서는 문자 하나하나의 영역을 구하는 문자 분할이 요구된다. 이는 이전의 전처리 단계에서 모폴로지 영상으로부터 번호판 후보 영역을 검출하였을 때와 마찬가지로 OpenCV에서 제공하는 FindContour() 함수를 사용한다. 해당 함수를 통해 모든 문자의 윤곽선을 구하면 이 윤곽선을 둘러싼 사각 영역들이 문자 영상이 되며 도 7 (b)와 같다.
다음으로, 번호판 인식부(320)는 분할된 문자를 기초로 차량의 번호판을 인식할 수 있다. 상술한 바에 따른 영상 전처리부터 문자 분할까지 마치면, 마지막으로 각 문자 영상에 대해 K-NN 알고리즘으로 문자를 판단하여 전체 번호판 내용을 인식한다(도 8 참조). 한편, 번호판 인식부(320)는 번호판 인식을 수행함에 있어서, 문자 인식에 최적화된 신경망 모델인 컨벌루션 신경망(CNN) 모델(도 9 참조)을 이용하여 문자 인식의 성능 정확도를 향상시킬 수 있다.
한편, 차량 번호판 영상 중 번호판 내부의 글자 자체가 손상되거나 도 10 (a)와 같이 저해상도 영상의 경우에는 번호판 인식 성능이 매우 떨어지게 된다. 이때, GAN(Generative Adversarial Network) 신경망 모델을 사용하면 저해상도 번호판 영상을 도 10 (b)와 같이 개선할 수 있다.
또한, 번호판 영역을 분할함에 있어서, 다중 물체나 배경 분할에 사용되는 FCN (Fully Convolution Network) 신경망을 딥러닝 알고리즘으로 사용하여 자동차 번호판 영역 분할 성능을 향상시킬 수도 있다.
충돌 회피부(330)는 주차장 내의 이동 중 장애물을 감지하고 충돌을 회피한다. 충돌 회피부(330)는 라이더(LIDAR) 센서일 수 있다.
본 실시예를 설명함에 있어서, 번호판 인식 기능은 자율주행 주차관리 로봇(100)에 포함되는 것으로 설명하지만 이에 한하지 않으며, 상술한 기능은 중앙 관제 서버(200)에 포함되어 수행되어도 무방하다.
또한, 본 실시예에 따른 자율주행 주차관리 로봇(100)은 로봇 위치 인식부(340)를 더 포함한다.
로봇 위치 인식부(340)는 로봇의 휠(wheel)의 크기, 회전수와 휠(wheel) 사이의 거리로 로봇이 움직인 거리와 회전 각도를 산출하여 현재 위치의 좌표를 계산한다. 한편, 로봇 위치 인식부(340)는 로봇의 휠(wheel)의 크기, 회전수와 휠(wheel) 사이의 거리로 로봇이 움직인 거리와 회전 각도를 산출하여 현재 위치의 좌표를 계산하되, 관성센서를 이용하여 로봇의 휠(wheel)의 회전 데이터 및 속도 데이터를 구해 계산된 로봇의 현재 위치 좌표의 오차를 개선할 수도 있다. 예컨데, 로봇의 바퀴 간 거리를 D, 반지름을 r로 하고, 시간 Te 동안 이동 시에 좌우 모터 회전량(핸재 엔코더 값 ElC, ErC, 이동 전 엔코더 값 ElP, ErP)으로 구한 바퀴 회전 속도(vl, vr)는 아래의 수학식 1, 2와 같이 구할 수 있다.
Figure pat00001
Figure pat00002
상술한 수학식 1, 2를 통해 좌우 바퀴의 이동 속도(Vl, Vr)를 아래의 수학식 3, 4오아 같이 구하고, 로봇의 선속도(Linear Velocity : vk)와 각속도(Angular Velocity : wk)를 아래의 수학식 5, 6과 같이 구한다.
Figure pat00003
Figure pat00004
Figure pat00005
Figure pat00006
상술한 값들을 이용하여 아래의 수학식 7 내지 10까지의 계산으로 로봇의 이동 후 위치(x(k+1), y(k+1)) 및 방향(θ(k+1))을 구할 수 있다.
Figure pat00007
Figure pat00008
Figure pat00009
Figure pat00010
본 발명의 실시예에 따른 방법들은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는, 본 발명을 위한 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 아니 된다. 또한, 본 명세서의 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서의 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 앱 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니다.
100 : 자율주행 주차관리 로봇
200 : 중앙 관제 서버
300 : 관리자 단말
310 : 영상 촬영부
320 : 번호판 인식부
330 : 충돌 회피부
340 : 로봇 위치 인식부

Claims (5)

  1. 휠(wheel)를 구비하여 주차장 내의 이동이 가능한 딥러닝 인공지능 기반의 자율주행 주차관리 로봇에 있어서,
    주차장 내의 차량 및 상황 감시를 위한 영상을 촬영하는 영상 촬영부;
    상기 촬영된 차량의 영상에서 번호판을 인식하는 번호판 인식부; 및
    주차장 내의 이동 중 장애물을 인식하고 회피하는 충돌 회피부;를 포함하는 딥러닝 인공지능 기반의 자율주행 주차관리 로봇.
  2. 제 1 항에 있어서,
    상기 번호판 인식부는,
    상기 촬영된 차량의 영상에서 번호판 영역을 분할하여 전처리하고, 상기 전처리된 영상에서 번호판 후보 영역을 추출하고 필터링하여 번호판을 검출하고, 상기 검출된 번호판에서 문자를 분할하며, 상기 분할된 문자를 기초로 차량의 번호판을 인식하는 것을 특징으로 하는 딥러닝 인공지능 기반의 자율주행 주차관리 로봇.
  3. 제 1 항에 있어서,
    로봇의 휠(wheel)의 크기, 회전수와 휠(wheel) 사이의 거리로 로봇이 움직인 거리와 회전 각도를 산출하여 현재 위치의 좌표를 계산하되, 관성센서를 이용하여 로봇의 휠(wheel)의 회전 데이터 및 속도 데이터를 구해 상기 계산된 로봇의 현재 위치 좌표의 오차를 개선하는 것을 특징으로 하는 로봇 위치 인식부;를 더 포함하는 것을 특징으로 하는 딥러닝 인공지능 기반의 자율주행 주차관리 로봇.
  4. 제 1 항에 있어서,
    상기 충돌 회피부는,
    LIDAR 센서를 활용하여 장애물을 감지하고 충돌을 회피하는 것을 특징으로 하는 딥러닝 인공지능 기반의 자율주행 주차관리 로봇.
  5. 주차장 내의 차량 및 상황 감시를 위한 영상을 촬영하는 영상 촬영부; 상기 촬영된 차량의 영상에서 번호판을 인식하는 번호판 인식부; 및 주차장 내의 이동 중 장애물을 인식하고 회피하는 충돌 회피부;를 포함하고, 휠(wheel)를 구비하여 주차장의 미리 설정된 구역을 미리 설정된 주기에 따라 자율 이동하여 차량 및 상황을 감시하는 하나 이상의 자율주행 주차관리 로봇;
    상기 자율주행 주차관리 로봇으로부터 주차장 내의 영상 정보를 수신하고, 상기 수신한 영상 정보에 기초하여 주차장을 실시간으로 관제하는 중앙 관제 서버;를 포함하는 관제 시스템.

KR1020190064837A 2019-05-31 2019-05-31 딥러닝 인공지능 기반의 자율주행 주차관리 로봇 및 이를 포함하는 관제 시스템 KR20200138581A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190064837A KR20200138581A (ko) 2019-05-31 2019-05-31 딥러닝 인공지능 기반의 자율주행 주차관리 로봇 및 이를 포함하는 관제 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190064837A KR20200138581A (ko) 2019-05-31 2019-05-31 딥러닝 인공지능 기반의 자율주행 주차관리 로봇 및 이를 포함하는 관제 시스템

Publications (1)

Publication Number Publication Date
KR20200138581A true KR20200138581A (ko) 2020-12-10

Family

ID=73790511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190064837A KR20200138581A (ko) 2019-05-31 2019-05-31 딥러닝 인공지능 기반의 자율주행 주차관리 로봇 및 이를 포함하는 관제 시스템

Country Status (1)

Country Link
KR (1) KR20200138581A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269184A (zh) * 2021-05-24 2021-08-17 南京优博一创智能科技有限公司 一种使用4线激光测距仪测量车辆姿态的算法与系统
KR102445972B1 (ko) 2022-02-24 2022-09-22 주식회사 파로스 차량 충돌 방지 방법 및 주차 관제 시스템
KR20230038884A (ko) 2021-09-13 2023-03-21 주식회사 디코 차량 번호 자동인식 시스템 및 그 방법
CN115938156A (zh) * 2023-01-10 2023-04-07 诺丁汉大学卓越灯塔计划(宁波)创新研究院 停车场泊车信息统计机器人
KR20240036368A (ko) 2022-09-13 2024-03-20 주식회사 파로스 차량 충돌 방지 방법 및 주차 관제 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101902369B1 (ko) 2017-03-23 2018-10-01 금오공과대학교 산학협력단 주차관리 로봇 및 이를 이용한 주차관리 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101902369B1 (ko) 2017-03-23 2018-10-01 금오공과대학교 산학협력단 주차관리 로봇 및 이를 이용한 주차관리 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269184A (zh) * 2021-05-24 2021-08-17 南京优博一创智能科技有限公司 一种使用4线激光测距仪测量车辆姿态的算法与系统
CN113269184B (zh) * 2021-05-24 2024-02-20 南京优博一创智能科技有限公司 一种使用4线激光测距仪测量车辆姿态的方法与系统
KR20230038884A (ko) 2021-09-13 2023-03-21 주식회사 디코 차량 번호 자동인식 시스템 및 그 방법
KR102445972B1 (ko) 2022-02-24 2022-09-22 주식회사 파로스 차량 충돌 방지 방법 및 주차 관제 시스템
KR20240036368A (ko) 2022-09-13 2024-03-20 주식회사 파로스 차량 충돌 방지 방법 및 주차 관제 시스템
CN115938156A (zh) * 2023-01-10 2023-04-07 诺丁汉大学卓越灯塔计划(宁波)创新研究院 停车场泊车信息统计机器人

Similar Documents

Publication Publication Date Title
KR20200138581A (ko) 딥러닝 인공지능 기반의 자율주행 주차관리 로봇 및 이를 포함하는 관제 시스템
Kim et al. Remote proximity monitoring between mobile construction resources using camera-mounted UAVs
US10210397B2 (en) System and method for detecting, tracking, and classifiying objects
KR101645722B1 (ko) 자동추적 기능을 갖는 무인항공기 및 그 제어방법
US20200143179A1 (en) Infrastructure-free nlos obstacle detection for autonomous cars
CN105825185B (zh) 车辆防碰撞预警方法及装置
CN110730966B (zh) 用于行人检测的系统和方法
KR101769601B1 (ko) 자동추적 기능을 갖는 무인항공기
US20170061229A1 (en) Method and system for object tracking
US9367748B1 (en) System and method for autonomous lock-on target tracking
US11379995B2 (en) System and method for 3D object detection and tracking with monocular surveillance cameras
Kitt et al. Moving on to dynamic environments: Visual odometry using feature classification
US20220253634A1 (en) Event-based vehicle pose estimation using monochromatic imaging
Farag et al. An advanced vehicle detection and tracking scheme for self-driving cars
JP2018078514A (ja) 撮像装置及び自動制御システム
KR20200023707A (ko) 이동 로봇
Yun et al. Speed-bump detection for autonomous vehicles by lidar and camera
CA3149005A1 (en) Device, method and system for identifying objects in warped images from a fisheye camera
CN114730192A (zh) 物体移动系统
KR20130015984A (ko) 차선 인식 장치 및 그 방법
Armingol et al. Environmental perception for intelligent vehicles
Chen et al. Android-based patrol robot featuring automatic license plate recognition
Dawdi et al. Locating victims in hot environments using combined thermal and optical imaging
US20230334675A1 (en) Object tracking integration method and integrating apparatus
CN111145392B (zh) 一种用于智慧安防的移动式综合布控一体机及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application