KR20210004529A - 딥러닝을 기반으로 차량번호를 인식할 수 있는 cctv - Google Patents

딥러닝을 기반으로 차량번호를 인식할 수 있는 cctv Download PDF

Info

Publication number
KR20210004529A
KR20210004529A KR1020190081086A KR20190081086A KR20210004529A KR 20210004529 A KR20210004529 A KR 20210004529A KR 1020190081086 A KR1020190081086 A KR 1020190081086A KR 20190081086 A KR20190081086 A KR 20190081086A KR 20210004529 A KR20210004529 A KR 20210004529A
Authority
KR
South Korea
Prior art keywords
image
vehicle
images
group
deep learning
Prior art date
Application number
KR1020190081086A
Other languages
English (en)
Other versions
KR102220643B1 (ko
Inventor
김용운
Original Assignee
김용운
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김용운 filed Critical 김용운
Priority to KR1020190081086A priority Critical patent/KR102220643B1/ko
Publication of KR20210004529A publication Critical patent/KR20210004529A/ko
Application granted granted Critical
Publication of KR102220643B1 publication Critical patent/KR102220643B1/ko

Links

Images

Classifications

    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G06K2209/15—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV가 개시된다. 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV는 차량을 촬영하여 차량 영상을 생성하는 영상 촬영부; 상기 차량 영상을 분석하여 상기 차량의 차량번호를 결정하는 영상 분석부; 및 상기 차량 영상과 상기 차량 번호를 관제 센터 서버로 전송하는 통신부를 포함하되, 상기 영상 분석부는, 복수의 차량 번호판 이미지들에서 추출된 샘플 문자 이미지들을 저장하는 데이터 저장부; 및 상기 차량 영상에서 상기 차량의 번호판을 구성하는 개별 문자 이미지들을 생성하고, 상기 샘플 문지 이미지들을 통해 학습된 딥러닝 알고리즘을 통해 상기 개별 문자 이미지들로부터 상기 차량번호를 결정하는 데이터 처리부를 포함할 수 있다.

Description

딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV{CCTV for recognizing car number based on deep learning}
본 발명은 차량번호를 인식할 수 있는 CCTV에 관련된 것으로, 보다 상세하게는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV에 관한 것이다.
현대인의 이동수단으로 사용되는 각종 차량 및 오토바이 등에는 관련 법규에 따라 번호판을 반드시 부착하여 운행하도록 의무화 되었다. 이러한 차량의 번호판은 단순히 차량을 식별하기 위함뿐 아니라 블랙박스나 CCTV에 찍힌 차량의 번호판을 식별하여 수사자료에 참조되거나 자동주차와 같이 차량의 번호판을 인식할 때 등 다양하게 활용되고 있다.
그러나, 종래의 차량 번호판을 인식하기 위해서는 전문적인 인식 장치 등을 별도로 구비하여야 하고, 기존의 장비와는 손쉽게 호환이 되지 않아 경제적인 문제점이 있었다. 따라서, 전문적인 인식 장치 보다 선명한 해상도로 차량의 번호판을 인식할 수 있으며, 기존의 장비의 업 그레이드 없이도 편리하게 호환이 가능한 차량 인식률 증대 장치 및 방법의 개발이 시급한 실정이다.
한국등록특허 제10-1931804호
본 발명은 자체적으로 딥러닝 알고리즘을 탑재한 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV를 제공한다.
또한, 본 발명은 딥러닝 알고리즘에 의한 차량번호 인식의 정확성을 향상시킬 수 있는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV를 제공한다.
본 발명에 따른 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV는 차량을 촬영하여 차량 영상을 생성하는 영상 촬영부; 상기 차량 영상을 분석하여 상기 차량의 차량번호를 결정하는 영상 분석부; 및 상기 차량 영상과 상기 차량 번호를 관제 센터 서버로 전송하는 통신부를 포함하되, 상기 영상 분석부는, 복수의 차량 번호판 이미지들에서 추출된 샘플 문자 이미지들을 저장하는 데이터 저장부; 및 상기 차량 영상에서 상기 차량의 번호판을 구성하는 개별 문자 이미지들을 생성하고, 상기 샘플 문지 이미지들을 통해 학습된 딥러닝 알고리즘을 통해 상기 개별 문자 이미지들로부터 상기 차량번호를 결정하는 데이터 처리부를 포함할 수 있다.
또한, 상기 데이터 처리부는, 상기 개별 문자 이미지들은 기 설정된 사이즈로 생성하고, 상기 개별 문자 이미지들 각각으로부터 기준 픽셀을 추출하고, 상기 기준 픽셀로부터 기 설정된 방향으로 이동하며 단위 픽셀별로 부분 영상을 추출하고, 상기 부분 영상을 상기 딥러닝 알고리즘에 적용할 수 있다.
또한, 상기 데이터 처리부는 상기 기준 픽셀로부터 제1방향으로 이동하며 상기 단위 픽셀별로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고, 상기 기준 픽셀로부터 상기 제1방향과 상이한 제2방향으로 이동하며, 상기 단위 픽셀별로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성하고, 상기 제1그룹의 부분 영상들과 상기 제2그룹의 부분 영상들을 상기 딥러닝 알고리즘에 적용할 수 있다.
또한, 상기 데이터 처리부는 상기 기준 픽셀로부터 m×m(m은 자연수)의 상기 단위 픽셀로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고, 상기 기준 픽셀로부터 n×n(n은 자연수, m≠n)의 상기 단위 픽셀로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성하고, 상기 제1그룹의 부분 영상들과 상기 제2그룹의 부분 영상들을 상기 딥러닝 알고리즘에 적용할 수 있다.
또한, 상기 데이터 처리부는 제1기준 픽셀과, 상기 제1기준 픽셀과 위치가 상이한 제2기준 픽셀을 상기 기준 픽셀로 추출하고, 상기 제1기준 픽셀로부터 제1방향으로 이동하며 상기 단위 픽셀별로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고, 상기 제2기준 픽셀로부터 상기 제1방향과 상이한 제2방향으로 이동하며, 상기 단위 픽셀별로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성하고, 상기 제1그룹의 부분 영상들과 상기 제2그룹의 부분 영상들을 상기 딥러닝 알고리즘에 적용할 수 있다.
본 발명에 따르면, CCTV의 일 구성으로 샘플 문자 이미지들을 저장하는 데이터 저장부와 상기 샘플 문자 이미지들을 통해 학습이 가능한 딥러닝 알고리즘을 탑재한 데이터 처리부를 포함하므로, CCTV 내에서 차량번호 인식이 가능하다.
또한, 본 발명에 따르면, 딥러닝 알고리즘의 기계적 학습에 사용되는 샘플 문자 이미지들이 관제 센터 서버로부터 전송되므로, 반복적 기계적 학습을 통한 차량번호 인식의 정확성이 향상될 수 있다.
도 1은 본 발명의 실시 예에 따른 CCTV와 관제 센터 서버를 나타내는 도면이다.
도 2는 도 1의 영상 분석부를 나타내는 도면이다.
도 3은 CCTV에서 관제 센터 서버로 전송되는 데이터들을 나타내는 도면이다.
도 4는 기존 차량의 번호판들을 촬영한 샘플 이미지들을 나타내는 사진이다.
도 5는 본 발명의 실시 예에 따라 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.
도 6은 샘플 문자 이미지로부터 추출된 부분 영상들 중 일부를 나타내는 도면이다.
도 7은 본 발명의 제1실시 예에 따른 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.
도 8은 본 발명의 제2실시 예에 따른 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.
도 9는 본 발명의 제3실시 예에 따른 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명할 것이다. 그러나 본 발명의 기술적 사상은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 오히려, 여기서 소개되는 실시 예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.
또한, 본 명세서의 다양한 실시 예 들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 따라서, 어느 한 실시 예에 제 1 구성요소로 언급된 것이 다른 실시 예에서는 제 2 구성요소로 언급될 수도 있다. 여기에 설명되고 예시되는 각 실시 예는 그것의 상보적인 실시 예도 포함한다. 또한, 본 명세서에서 '및/또는'은 전후에 나열한 구성요소들 중 적어도 하나를 포함하는 의미로 사용되었다.
명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 구성요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 구성요소 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하는 것으로 이해되어서는 안 된다. 또한, 본 명세서에서 "연결"은 복수의 구성 요소를 간접적으로 연결하는 것, 및 직접적으로 연결하는 것을 모두 포함하는 의미로 사용된다.
또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.
도 1은 본 발명의 실시 예에 따른 CCTV와 관제 센터 서버를 나타내는 도면이고, 도 2는 도 1의 영상 분석부를 나타내는 도면이고, 도 3은 CCTV에서 관제 센터 서버로 전송되는 데이터들을 나타내는 도면이다.
도 1 내지 도 3을 참조하며, 본 발명에 따른 CCTV(100)는 딥러닝을 기반으로 차량 영상으로부터 차량번호를 인식한다. CCTV(100)는 차량이 다니는 도로 또는 주차장 등에 설치될 수 있다. CCTV(100)는 영상 촬영부(110), 영상 분석부(120), 그리고 통신부(130)를 포함한다.
영상 촬영부(110)는 차량을 촬영할 수 있는 카메라로, 차량 영상을 생성한다. 생성된 차량 영상은 영상 분석부(120)에 제공된다. 차량 영상은 도 2의 (A)와 같이 영상 이미지로 제공될 수 있다. 영상 촬영부(110)는 주야간에 차량 번호 인식이 용이하도록 Full HD 카메라가 사용될 수 있다.
영상 분석부(120)는 영상 촬영부(110)에서 전송된 차량 영상을 분석하여 차량번호를 결정한다. 영상 분석부(120)는 데이터 저장부(121)와 데이터 처리부를 포함한다.
데이터 저장부(121)는 복수의 차량 번호판 이미지들에서 추출된 샘플 문자 이미지들을 저장한다. 도 4는 기존 차량의 번호판들을 촬영한 샘플 이미지들로, 상기 차량 번호판 이미지들에서 개별 문자들이 추출되며, 추출된 문자들은 샘플 문자 이미지로 저장된다.
데이터 처리부(122)는 영상 촬영부(110)에서 전송된 차량 영상으로부터 차량 번호판의 외곽선을 식별하여 도 2의 (B)와 같이 차량 번호판 영상을 생성하고, 차량 번호판 영상으로부터 차량 번호판을 구성하는 개별 문자를 검출하고, 검출된 문자별로 개별 문자 이미지를 생성한다. 그리고 개별 문자 이미지들에 딥러닝 알고리즘을 적용하여 개별 문자 이미지에 포함된 문자를 결정한다. 그리고 이들 문자들을 결합하여 도 2의 (C)와 같이 차량 번호를 최종 결정한다.
상기 딥러닝 알고리즘은 데이터 저장부(121)에 저장된 샘플 문자 이미지들을 통해 학습하고, 샘플 문자 이미지들에 포함되는 문자들을 결정한다.
도 5는 본 발명의 실시 예에 따라 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이고, 도 6은 샘플 문자 이미지로부터 추출된 부분 영상들 중 일부를 나타내는 도면이다.
도 5 및 도 6을 참조하면, 샘플 문자 이미지(10)는 기 설정된 사이즈의 사각 이미지로, a X b(a, b는 자연수)의 픽셀(P)로 구성될 수 있다. 데이터 처리부(122)는 샘플 문자 이미지(10)에서 기준 픽셀(P1 내지 P4)을 추출할 수 있다. 실시 예에 의하면, 데이터 처리부(122)는 샘플 문자 이미지(10)의 꼭지점에 위치하는 4개의 픽셀(P1 내지 P4)을 기준 픽셀로 추출할 수 있다.
데이터 처리부(122)는 기준 픽셀(P1 내지 P4)로부터 기 설정된 방향(d1)으로 이동하며, 단위 픽셀별(UP1, UP2, ···)로 부분 영상(M1, M2, M3, ···)을 추출하고, 추출된 부분 영상(M1, M2, M3, ···)들을 분석하여 샘플 문자 이미지(10)에 포함된 문자를 결정할 수 있다. 구체적으로, 부분 영상(M1, M2, M3, ···)에 포함된 화상의 경계선을 추출하고, 부분 영상(M1, M2, M3, ···)들의 위치 정보와 화상의 경계선들을 조합하여 상기 문자를 최종 결정할 수 있다. 상기 화상의 경계선은 밝기 정보를 통해 부분 영상(M1, M2, M3, ···)으로부터 추출할 수 있다.
도 7은 본 발명의 제1실시 예에 따른 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.
도 7을 참조하면, 데이터 처리부(122)는 기준 픽셀(P1)로부터 제1방향(d1)으로 이동하며 단위 픽셀 단위(UP1, UP2, ···)로 순차적으로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성할 수 있다. 그리고 데이터 처리부(122)는 기준 픽셀(P2)로부터 제2방향(d2)으로 이동하며 단위 픽셀(NP1, NP2, ···) 단위로 순차적으로 제2그룹의 부분 영상들을 추출할 수 있다. 여기서 상기 제2방향(d2)은 상기 제1방향(d1)과 상이한 방향으로, 일 예에 의하면, 제1방향(d1)은 수평 방향일 수 있고, 제2방향(d2)은 수직 방향일 수 있다. 단위 픽셀(UP1, UP2, ···)은 적어도 하나 이상의 픽셀(P)을 포함하며, m×n(m, n은 자연수) 픽셀로 구성될 수 있다. 제1방향(d1)으로 획득되는 단위 픽셀(UP1, UP2, ···)과 제2방향(d2)으로 획득되는 단위 픽셀(NP1, NP2, ···)에 포함된 픽셀(P)들의 수는 같거나 다를 수 있다.
제1그룹의 부분 영상들은 기준 픽셀(P1)로부터 수평 방향(d1)으로 이동하면서 순차적으로 단위 픽셀(UP1, UP2, ···) 단위로 얻은 영상이고, 제2그룹의 부분 영상들은 기준 픽셀(P1)로부터 수직 방향(d2)으로 이동하면서 순차적으로 단위 픽셀(NP1, NP2, ···) 단위로 얻은 영상이다. 데이터 처리부(122)는 제1그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제1후보 문자를 결정한다. 그리고 데이터 처리부(122)는 제2그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 제2그룹의 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제2후보 문자를 결정한다. 데이터 처리부(122)는 제1후보 문자와 제2후보 문자가 일치하는 경우, 이를 최종 문자로 결정한다.
이처럼, 본 발명의 제1실시 예에서는 서로 상이한 방향(d1, d2)으로 단위 픽셀(UP1, UP2, ···)별로 부분 영상을 추출하고, 각각의 단위 픽셀(UP1, UP2, ···)에서 제1방향(d1)과 제2방향(d2)으로 화상의 경계선을 추출하여 해당 샘플 문자 이미지(10)의 문자를 최종 결정하므로, 문자 인식의 정확도를 향상시킬 수 있다.
도 8은 본 발명의 제2실시 예에 따른 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.
도 8을 참조하면, 데이터 처리부(122)는 기준 픽셀(P1)로부터 기 설정된 방향(d1)으로 이동하며 m×m(m은 자연수)의 픽셀을 단위 픽셀(UP1, UP2, ···)로 하여 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성할 수 있다. 그리고 데이터 처리부(122)는 기준 픽셀(P1)로부터 기 설정된 방향(d1)으로 이동하며 n×n(n은 자연수, m≠n)의 픽셀을 단위 픽셀(NP1, NP2, ···)로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성할 수 있다. 여기서 제1그룹의 부분 영상과 제2그룹의 부분 영상은 기준 픽셀(P1)로부터 동일한 방향(d1)으로 이동하며 생성될 수 있다. 일 예에 의하면, 제1그룹의 부분 영상들은 2×2의 단위 픽셀(UP1, UP2, ···)로 생성될 수 있고, 제2그룹의 부분 영상들은 4×4의 단위 픽셀(NP1, NP2, ···)로 생성될 수 있다.
데이터 처리부(122)는 제1그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제1후보 문자를 결정한다. 그리고 데이터 처리부(122)는 제2그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 제2그룹의 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제2후보 문자를 결정한다. 데이터 처리부는 제1후보 문자와 제2후보 문자가 일치하는 경우, 이를 최종 문자로 결정한다
이처럼, 본 발명의 제2실시 예에서는 서로 상이한 크기의 단위 픽셀(UP1, UP2, ···) (NP1, NP2, ···)을 갖는 부분 영상들을 추출하고, 각각의 부분 영상에서 화상의 경계선을 추출하여 해당 샘플 문자 이미지의 문자를 최종 결정하므로, 문자 인식의 정확도를 향상시킬 수 있다.
도 9는 본 발명의 제3실시 예에 따른 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.
도 9를 참조하면, 데이터 처리부(122)는 기준 픽셀(P1, P4)을 달리하여 부분 영상을 추출할 수 있다. 구체적으로 데이터 처리부(122)는 샘플 문자 이미지(10)에서 제1기준 픽셀(P1)과 제2기준 픽셀(P4)을 기준 픽셀로 추출할 수 있다. 제2기준 픽셀(P4)은 제1기준 픽셀(P1)과 위치가 상이하다. 일 예에 의하면, 제1기준 픽셀(P1)은 샘플 문자 이미지(10)의 일 꼭지점에 위치하는 픽셀일 수 있고, 제2기준 픽셀(P4)은 샘플 문자 이미자(10)의 다른 꼭지점에 위치하는 픽셀일 수 있다. 데이터 처리부(122)는 제1기준 픽셀(P1)로부터 제1방향(d1)으로 이동하며 단위 픽셀(UP1, UP2, ···)별로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고, 제2기준 픽셀(P4)로부터 제2방향(d2)으로 이동하며 단위 픽셀(NP1, NP2, ···)별로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성할 수 있다. 여기서 제2방향(d2)은 제1방향(d1)과 상이한 방향이며, 일 예에 의하면 제1방향(d1)은 수평 방향, 제2방향(d2)은 수직 방향일 수 있다. 그리고 제1그룹의 부분 영상들과 제2그룹의 부분 영상들은 단위 픽셀(UP1, UP2, ···) (NP1, NP2, ···)들의 크기가 동일할 수 있다. 이와 달리, 제1그룹의 부분 영상들과 제2그룹의 부분 영상들은 단위 픽셀(UP1, UP2, ···) (NP1, NP2, ···)들의 크기가 상이할 수 있다.
데이터 처리부(122)는 제1그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제1후보 문자를 결정한다. 그리고 데이터 처리부(122)는 제2그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 제2그룹의 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제2후보 문자를 결정한다. 데이터 처리부(122)는 제1후보 문자와 제2후보 문자가 일치하는 경우, 이를 최종 문자로 결정한다
이처럼, 본 발명의 제3실시 예에서는 위치가 다른 두 개의 기준 픽셀(P1, P4)로부터 이동 방향(d1, d2)을 달리하며 부분 영상들을 추출하고, 각각의 부분 영상에서 화상의 경계선을 추출하여 해당 샘플 문자 이미지의 문자를 최종 결정하므로, 문자 인식의 정확도를 향상시킬 수 있다.
상기 딥러닝 알고리즘은 상기 실시 예들에 설명한 문자 결정 방법을 통해 기계적으로 학습된다.
한편, 데이터 처리부(122)는 상술한 딥러닝 알고리즘 중 어느 하나의 실시 예를 개별 문자 이미지들에 적용하여 개별 문자 이미지에 포함된 문자를 결정한다. 이하, 도 7 내지 9를 참조하여, 데이터 처리부(122)가 개별 문자 이미지에 포함된 문자를 결정하는 방법에 대해 설명한다.
먼저 도 7을 참조하면, 데이터 처리부(122)는 기 설정된 사이즈를 갖는 개별 문자 이미지(20)로부터 기준 픽셀(P1)을 추출하고, 기준 픽셀(P1)로부터 제1방향(d1)으로 이동하며 단위 픽셀(UP1, UP2, ···) 단위로 순차적으로 부분 영상을 추출하여 제1그룹의 부분 영상을 생성한다. 그리고 제1방향(d1)과 상이한 제2방향(d2)으로 이동하며, 단위 픽셀(NP1, NP2, ···) 단위로 순차적으로 부분 영상을 추출하여 제2그룹의 부분 영상을 생성한다. 일 예에 의하면, 기준 픽셀(P1)은 개별 문자 이미지(20)의 일 꼭지점에 위치하는 픽셀이며, 제1방향(d1)은 수평 방향일 수 있고, 제2방향(d2)은 수직 방향일 수 있다. 그리고 상기 단위 픽셀(UP1, UP2, ···) (NP1, NP2, ···)은 m×n(m, n은 자연수)일 수 있다. 데이터 처리부(122)는 제1그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제1후보 문자를 결정한다. 그리고 제2그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 제2그룹의 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제2후보 문자를 결정한다. 제1후보 문자와 제2후보 문자를 상술한 제1실시 예에 따른 샘플 문자 이미지(10)의 학습 결과와 비교하여 최종 문자를 결정한다.
도 8을 참조하면, 데이터 처리부(122)는 기 설정된 사이즈를 갖는 개별 문자 이미지(20)로부터 기준 픽셀(P1)을 추출하고, 기준 픽셀로(P1)부터 일 방향(d1)으로 이동하며 m×m(m은 자연수)의 단위 픽셀(UP1, UP2, ···)로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성할 수 있다. 그리고 기준 픽셀(P1)로부터 동일한 방향(d1)으로 이동하며 n×n(n은 자연수, m≠n)의 단위 픽셀(NP1, NP2, ···)로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성할 수 있다. 일 예에 의하면, 제1그룹의 부분 영상들은 2×2의 픽셀 단위(UP1, UP2, ···)로 생성될 수 있고, 제2그룹의 부분 영상들은 4×4의 픽셀 단위(NP1, NP2, ···)로 생성될 수 있다.
데이터 처리부(122)는 제1그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제1후보 문자를 결정한다. 그리고 제2그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 제2그룹의 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제2후보 문자를 결정한다. 제1후보 문자와 제2후보 문자를 상술한 제2실시 예에 따른 샘플 문자 이미지(10)의 학습 결과와 비교하여 최종 문자를 결정한다.
도 9를 참조하면, 데이터 처리부(122)는 개별 문자 이미지(20)로부터 서로 다른 지점에 위치하는 제1기준 픽셀(P1)과 제2기준 픽셀(P4)을 추출하고, 제1기준 픽셀(P1)로부터 제1방향(d1)으로 이동하며 단위 픽셀(UP1, UP2, ···)별로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고, 제2기준 픽셀(P4)로부터 제2방향(d2)으로 이동하며 단위 픽셀(NP1, NP2, ···)별로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성할 수 있다. 여기서 제2방향(d2)은 제1방향(d1)과 상이한 방향이며, 일 예에 의하면 제1방향(d1)은 수평 방향, 제2방향(d2)은 수직 방향일 수 있다. 제1그룹의 부분 영상들과 제2그룹의 부분 영상들은 단위 픽셀(UP1, UP2, ···) (NP1, NP2, ···)에 포함된 픽셀(P)의 수가 동일하거나 다를 수 있다.
데이터 처리부(122)는 제1그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제1후보 문자를 결정한다. 그리고 제2그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 제2그룹의 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제2후보 문자를 결정한다. 제1후보 문자와 제2후보 문자를 상술한 제3실시 예에 따른 샘플 문자 이미지(10)의 학습 결과와 비교하여 최종 문자를 결정한다.
다시 도 1 및 도 2를 참조하면, 통신부(130)는 영상 분석부(120)로부터 차량 영상, 차량 번호판 영상, 그리고 차량 번호를 전달받고 이들을 관제 센터 서버(200)에 전송한다.
관제 센터 서버(200)는 상기 통신부(130)를 통해 전달된 데이터를 저장하고, 자체 딥러닝 알고리즘을 통해 상기 통신부(130)를 통해 전달된 차량 번호판 영상으로부터 차량 번호를 추출하고, 추출된 차량 번호와 상기 통신부(130)에서 전송된 차량 번호를 비교하여 상기 데이터 처리부(122)에서 실행되는 딥러닝 알고리즘의 정확성을 검증한다.
관제 센터 서버(200)는 상기 데이터 저장부(121)에 저장된 샘플 문자 이미지들뿐만 아니라, 복수의 CCTV 각각으로부터 전송된 차량 번호판 영상들에서 추출된 샘플 문자 이미지들을 모두 저장하고 있으므로, 기계적 학습을 위한 샘플 데이터가 데이터 저장부(121)에 저장된 샘플 데이터보다 많다. 때문에, 관제 센터 서버(200)는 데이터 처리부(122)보다 차량 번호 인식에 있어 높은 정확성을 가진다.
관제 센터 서버(200)는 자체 딥러닝 알고리즘에 의해 추출된 차량 번호가 상기 통신부(130)에서 전송된 차량 번호가 일치하지 않을 경우, 자체 딥러닝 알고리즘의 구동에서 해당 차량 번호의 추출에 사용된 샘플 문자 이미지들을 분류하고, 분류된 샘플 문자 이미지들을 CCTV에 전송한다.
관제 센터 서버(200)로부터 전송된 샘플 문자 이미지들은 통신부(130)를 통해 수신되어 데이터 저장부(121)에 저장된다. 데이터 처리부(122)는 데이터 저장부(121)에 저장된 기존 샘플 문자 이미지들과 관제 센터 서버(200)로부터 전송된 샘플 문자 이미지들을 포함하여 기계적 학습을 반복한다. 이에 의해, 데이터 처리부(122)는 상기 차량 번호판 영상에 대해 관제 센터 서버(200)에서 추출된 차량 번호와 동일한 차량 번호를 추출할 수 있다.
이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.
100: CCTV
110: 영상 촬영부
120: 영상 분석부
130: 통신부
200: 관제 센터 서버

Claims (5)

  1. 차량을 촬영하여 차량 영상을 생성하는 영상 촬영부;
    상기 차량 영상을 분석하여 상기 차량의 차량번호를 결정하는 영상 분석부; 및
    상기 차량 영상과 상기 차량 번호를 관제 센터 서버로 전송하는 통신부를 포함하되,
    상기 영상 분석부는,
    복수의 차량 번호판 이미지들에서 추출된 샘플 문자 이미지들을 저장하는 데이터 저장부; 및
    상기 차량 영상에서 상기 차량의 번호판을 구성하는 개별 문자 이미지들을 생성하고, 상기 샘플 문지 이미지들을 통해 학습된 딥러닝 알고리즘을 통해 상기 개별 문자 이미지들로부터 상기 차량번호를 결정하는 데이터 처리부를 포함하는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV.
  2. 제 1 항에 있어서,
    상기 데이터 처리부는,
    상기 개별 문자 이미지들은 기 설정된 사이즈로 생성하고,
    상기 개별 문자 이미지들 각각으로부터 기준 픽셀을 추출하고,
    상기 기준 픽셀로부터 기 설정된 방향으로 이동하며 단위 픽셀별로 부분 영상을 추출하고,
    상기 부분 영상을 상기 딥러닝 알고리즘에 적용하는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV.
  3. 제 2 항에 있어서,
    상기 데이터 처리부는
    상기 기준 픽셀로부터 제1방향으로 이동하며 상기 단위 픽셀별로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고,
    상기 기준 픽셀로부터 상기 제1방향과 상이한 제2방향으로 이동하며, 상기 단위 픽셀별로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성하고,
    상기 제1그룹의 부분 영상들과 상기 제2그룹의 부분 영상들을 상기 딥러닝 알고리즘에 적용하는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV.
  4. 제 2 항에 있어서,
    상기 데이터 처리부는
    상기 기준 픽셀로부터 m×m(m은 자연수)의 상기 단위 픽셀로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고,
    상기 기준 픽셀로부터 n×n(n은 자연수, m≠n)의 상기 단위 픽셀로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성하고,
    상기 제1그룹의 부분 영상들과 상기 제2그룹의 부분 영상들을 상기 딥러닝 알고리즘에 적용하는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV.
  5. 제 2 항에 있어서,
    상기 데이터 처리부는
    제1기준 픽셀과, 상기 제1기준 픽셀과 위치가 상이한 제2기준 픽셀을 상기 기준 픽셀로 추출하고,
    상기 제1기준 픽셀로부터 제1방향으로 이동하며 상기 단위 픽셀별로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고,
    상기 제2기준 픽셀로부터 상기 제1방향과 상이한 제2방향으로 이동하며, 상기 단위 픽셀별로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성하고,
    상기 제1그룹의 부분 영상들과 상기 제2그룹의 부분 영상들을 상기 딥러닝 알고리즘에 적용하는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV.
KR1020190081086A 2019-07-05 2019-07-05 딥러닝을 기반으로 차량번호를 인식할 수 있는 cctv KR102220643B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190081086A KR102220643B1 (ko) 2019-07-05 2019-07-05 딥러닝을 기반으로 차량번호를 인식할 수 있는 cctv

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190081086A KR102220643B1 (ko) 2019-07-05 2019-07-05 딥러닝을 기반으로 차량번호를 인식할 수 있는 cctv

Publications (2)

Publication Number Publication Date
KR20210004529A true KR20210004529A (ko) 2021-01-13
KR102220643B1 KR102220643B1 (ko) 2021-02-26

Family

ID=74142865

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190081086A KR102220643B1 (ko) 2019-07-05 2019-07-05 딥러닝을 기반으로 차량번호를 인식할 수 있는 cctv

Country Status (1)

Country Link
KR (1) KR102220643B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230164382A (ko) 2022-05-25 2023-12-04 주식회사 딥비전 교행 다차로에서의 주행차량 속성 인식방법 및 장치
KR102612656B1 (ko) * 2023-07-06 2023-12-12 주식회사 아이티코어스 순차적 검출방법을 이용한 차량번호 인식방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756848B1 (ko) * 2016-11-01 2017-07-12 주식회사한맥아이피에스 불법 주정차 관리 시스템
KR101931804B1 (ko) 2018-03-26 2018-12-21 장경익 차량 번호판의 인식률 증대 장치 및 방법
KR101986592B1 (ko) * 2019-04-22 2019-06-10 주식회사 펜타게이트 앵커박스 및 cnn 특징 맵을 이용한 차량 번호 인식 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756848B1 (ko) * 2016-11-01 2017-07-12 주식회사한맥아이피에스 불법 주정차 관리 시스템
KR101931804B1 (ko) 2018-03-26 2018-12-21 장경익 차량 번호판의 인식률 증대 장치 및 방법
KR101986592B1 (ko) * 2019-04-22 2019-06-10 주식회사 펜타게이트 앵커박스 및 cnn 특징 맵을 이용한 차량 번호 인식 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230164382A (ko) 2022-05-25 2023-12-04 주식회사 딥비전 교행 다차로에서의 주행차량 속성 인식방법 및 장치
KR102612656B1 (ko) * 2023-07-06 2023-12-12 주식회사 아이티코어스 순차적 검출방법을 이용한 차량번호 인식방법

Also Published As

Publication number Publication date
KR102220643B1 (ko) 2021-02-26

Similar Documents

Publication Publication Date Title
US10108860B2 (en) Systems and methods for generating composite images of long documents using mobile video data
US9363483B2 (en) Method for available parking distance estimation via vehicle side detection
CN101339697B (zh) 车辆闯红灯的检测系统及方法
CN103358993A (zh) 用于识别车辆停车位线标记的系统和方法
CN110580808B (zh) 一种信息处理方法、装置、电子设备及智能交通系统
Yousef et al. SIFT based automatic number plate recognition
KR101738129B1 (ko) 단일 카메라를 이용한 원거리 영상에서의 차량 번호판 인식 장치 및 그 방법
CN108293092A (zh) 基于强度变化的参数调整
KR102220643B1 (ko) 딥러닝을 기반으로 차량번호를 인식할 수 있는 cctv
Liu et al. Detect image splicing with artificial blurred boundary
KR100948382B1 (ko) 방범 서비스 방법 및 시스템
KR101809490B1 (ko) 고해상도 영상 기반의 차량 진출입관리추적장치
Arulmozhi et al. Image refinement using skew angle detection and correction for Indian license plates
US20120250105A1 (en) Method Of Analyzing Digital Document Images
KR20160040036A (ko) 다수의 ip카메라를 이용한 차량번호판 인식장치 및 인식방법
KR102338912B1 (ko) 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법
WO2019085929A1 (zh) 图像处理方法及其装置、安全驾驶方法
Ali et al. License plate recognition system
US10417518B2 (en) Vehicle camera system
KR101717140B1 (ko) 단일카메라를 이용한 다차로상의 차량검지 및 차량번호인식 시스템 및 방법
KR20120032223A (ko) 차량 내 운전자 인증 장치 및 그 방법
KR101696519B1 (ko) 에지에 바운더리 코드를 포함하는 차량 번호판, 번호판의 에지에 제공되는 바운더리 코드를 이용한 차량 번호 인식 장치, 시스템, 및 그 방법
KR101370011B1 (ko) 영상 안정화 및 복원방법을 이용한 주행형 자동 단속 시스템 및 단속방법
US20220292833A1 (en) Method and monitoring camera for handling video streams
KR101653385B1 (ko) 태블릿pc를 활용한 이동형 불법 주정차 자동 단속 시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant