KR20220090212A - 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법 - Google Patents

기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20220090212A
KR20220090212A KR1020200181193A KR20200181193A KR20220090212A KR 20220090212 A KR20220090212 A KR 20220090212A KR 1020200181193 A KR1020200181193 A KR 1020200181193A KR 20200181193 A KR20200181193 A KR 20200181193A KR 20220090212 A KR20220090212 A KR 20220090212A
Authority
KR
South Korea
Prior art keywords
license plate
plate image
coordinates
vertices
machine learning
Prior art date
Application number
KR1020200181193A
Other languages
English (en)
Other versions
KR102482472B1 (ko
Inventor
전경구
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020200181193A priority Critical patent/KR102482472B1/ko
Publication of KR20220090212A publication Critical patent/KR20220090212A/ko
Application granted granted Critical
Publication of KR102482472B1 publication Critical patent/KR102482472B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법이 개시된다. 본 발명은 기계학습 기반의 꼭짓점 추출 모델을 이용하여 기울어진 차량 번호판 이미지로부터 4개의 꼭짓점들의 좌표를 추출한 후 추출된 4개의 꼭짓점들의 좌표를 기초로 상기 기울어진 차량 번호판 이미지를 직사각형 형상으로 변환할 수 있는 전자 장치 및 그 동작 방법을 제시함으로써, 기울어진 차량 번호판 이미지에 대한 차량 번호 인식률이 향상될 수 있도록 지원할 수 있다.

Description

기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법{ELECTRONIC DEVICE THAT CAN RECTANGULARIZE AN INCLINED LICENSE PLATE IMAGE THROUGH MACHINE LEARNING-BASED VERTEX EXTRACTION AND THE OPERATING METHOD THEREOF}
본 발명은 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법에 대한 것이다.
최근, 자동 주차 시스템의 도입이 활발하게 이루어지면서, 차량 번호판으로부터 차량 번호를 인식하는 기술의 중요성이 증가하고 있다.
차량 번호 인식 기술은 카메라를 통해 차량 번호판 이미지를 촬영한 후 촬영된 이미지로부터 이미지 프로세싱을 수행하여 차량 번호를 인식하는 방식이 사용되는데, 차량 번호판 이미지가 기울어진 형태로 촬영되면, 기울어진 형태로 촬영된 이미지로부터는 차량 번호를 제대로 인식하기가 어려운 문제가 존재한다.
이와 관련해서, 도 2의 도면부호 210에 도시된 그림과 같이, 차량 번호판 이미지가 기울어진 상태로 존재하는 경우, 차량 번호 인식의 정확도를 높이기 위해서는 기울어진 이미지를 직사각형화시켜 기울어지지 않은 형태로 보정할 필요가 존재한다.
이러한 기울어진 이미지를 직사각형화시키기 위한 방식으로는 기울어진 이미지를 직사각형 형상으로 투영 변환(perspective transformation)시키는 방식이 활용될 수 있다.
이미지를 투영 변환하기 위해서는 투영 변환을 위한 호모그래피 행렬(homography matrix)을 계산할 필요가 있는데, 호모그래피 행렬을 계산하기 위해서는 변환 전 이미지와 변환 후 이미지 간의 적어도 4개의 대응점의 좌표를 알아야한다.
이와 관련해서, 기울어진 차량 번호판 이미지를 직사각형화시키기 위한 방법으로, 기울어진 차량 번호판 이미지를 구성하는 4개의 꼭짓점들의 좌표를 확인하고, 소정의 직사각형을 구성하는 4개의 꼭짓점들의 좌표를 지정한 후, 각 꼭짓점들을 서로 대응시켜 호모그래피 행렬을 생성함으로써, 상기 기울어진 차량 번호판 이미지를 직사각형의 형상으로 투영 변환시키는 방법을 고려할 수 있다.
다만, 이러한 방법을 사용하기 위해서는 기울어진 차량 번호판 이미지로부터 4개의 꼭짓점들을 추출하는 방법이 고려되어야 하는데, 기울어진 차량 번호판 이미지로부터 4개의 꼭짓점들을 추출하는 방법으로 기계학습 모델을 이용하는 것을 고려할 수 있다.
따라서, 기계학습 기반의 꼭짓점 추출 모델을 이용하여 기울어진 차량 번호판 이미지로부터 4개의 꼭짓점들의 좌표를 추출한 후 추출된 4개의 꼭짓점들의 좌표를 기초로 상기 기울어진 차량 번호판 이미지를 직사각형 형상으로 투영 변환함으로써, 상기 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 기술에 대한 연구가 필요하다.
본 발명은 기계학습 기반의 꼭짓점 추출 모델을 이용하여 기울어진 차량 번호판 이미지로부터 4개의 꼭짓점들의 좌표를 추출한 후 추출된 4개의 꼭짓점들의 좌표를 기초로 상기 기울어진 차량 번호판 이미지를 직사각형 형상으로 변환할 수 있는 전자 장치 및 그 동작 방법을 제시함으로써, 기울어진 차량 번호판 이미지에 대한 차량 번호 인식률이 향상될 수 있도록 지원하고자 한다.
본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치는 복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있는 트레이닝 데이터 저장부, 상기 트레이닝 데이터 저장부에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성하는 모델 생성부, 상기 꼭짓점 추출 모델이 생성된 이후, 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 좌표 예측부, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성하는 좌표 변환부 및 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환(perspective transformation)시키는 투영 변환부를 포함한다.
또한, 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법은 복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있는 트레이닝 데이터 저장부를 유지하는 단계, 상기 트레이닝 데이터 저장부에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성하는 단계, 상기 꼭짓점 추출 모델이 생성된 이후, 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 단계, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성하는 단계 및 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환시키는 단계를 포함한다.
본 발명은 기계학습 기반의 꼭짓점 추출 모델을 이용하여 기울어진 차량 번호판 이미지로부터 4개의 꼭짓점들의 좌표를 추출한 후 추출된 4개의 꼭짓점들의 좌표를 기초로 상기 기울어진 차량 번호판 이미지를 직사각형 형상으로 변환할 수 있는 전자 장치 및 그 동작 방법을 제시함으로써, 기울어진 차량 번호판 이미지에 대한 차량 번호 인식률이 향상될 수 있도록 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법을 도시한 순서도이다.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.
도 1은 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 구조를 도시한 도면이다.
도 1을 참조하면, 본 발명에 따른 전자 장치(110)는 트레이닝 데이터 저장부(111), 모델 생성부(112), 좌표 예측부(113), 좌표 변환부(114) 및 투영 변환부(115)를 포함한다.
트레이닝 데이터 저장부(111)에는 복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있다.
여기서, 4개의 꼭짓점들이란 도 2의 도면부호 210에 도시된 그림과 같이, 차량 번호판 이미지에서 꼭짓점을 이루는 4개의 지점인 '(x1, y1), (x2, y2), (x3, y3), (x4, y4)'을 의미하는 것으로, 트레이닝 데이터 저장부(111)에 저장되어 있는 차량 번호판 이미지들은 기계학습 모델을 생성하기 위해서 개발자가 사전 수집한 이미지들이고, 각 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표는 개발자가 각 차량 번호판 이미지에 대응되는 4개의 꼭짓점들인 것으로 사전 추출해둔 좌표를 의미한다.
즉, 트레이닝 데이터 저장부(111)에 저장되어 있는 상기 복수의 차량 번호판 이미지들과 각 이미지에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표는 기계학습 모델을 생성하기 위해서 개발자에 의해 정답으로 미리 지정된 트레이닝 데이터 셋을 의미한다.
이와 관련해서, 트레이닝 데이터 저장부(111)에는 하기의 표 1과 같이 데이터가 저장되어 있을 수 있다.
차량 번호판 이미지들 4개의 꼭짓점들에 대한 좌표
(x 1 , y 1 ) (x 2 , y 2 ) (x 3 , y 3 ) (x 4 , y 4 )
차량 번호판 이미지 1 (1, 10) (7, 7) (0, 4) (4, 0)
차량 번호판 이미지 2 (0, 8) (5, 12) (3, 3) (7, 5)
... ... ... ... ...
모델 생성부(112)는 트레이닝 데이터 저장부(111)에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성한다.
이때, 본 발명의 일실시예에 따르면, 모델 생성부(112)는 상기 꼭짓점 추출 모델을 생성하기 위한 구체적인 구성으로, 선택 수행부(116), 트레이닝 셋 생성부(117), 출력 벡터 생성부(118), 학습 수행부(119) 및 반복 수행 제어부(120)를 포함할 수 있다.
선택 수행부(116)는 상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지에 대한 선택을 수행한다.
트레이닝 셋 생성부(117)는 상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지로 제1 차량 번호판 이미지가 선택된 경우, 트레이닝 데이터 저장부(111)로부터 상기 제1 차량 번호판 이미지와 상기 제1 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 제1 좌표를 추출하여, 상기 제1 좌표를 구성하는 4개의 x좌표 값들과 4개의 y좌표 값들이 성분으로 구성된 8차원의 정답 벡터를 생성한다.
예컨대, 상기 제1 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 제1 좌표가 '(a, b), (c, d), (e, f), (g, h)'라고 하는 경우, 트레이닝 셋 생성부(117)는 4개의 x좌표 값들인 'a, c, e, g'와 4개의 y좌표 값들인 'b, d, f, h'가 성분으로 구성된 8차원의 정답 벡터로 '[a c e g b d f h]'를 생성할 수 있다.
출력 벡터 생성부(118)는 상기 제1 차량 번호판 이미지를 합성곱 신경망(상기 합성곱 신경망은 출력이 8차원의 벡터가 산출되도록 사전 구성되어 있음)에 입력으로 인가함으로써, 8차원의 출력 벡터를 생성한다.
합성곱 신경망(Convolutional Neural Networks: CNNs)은 합성곱 필터로 구성된 다수의 합성곱 계층들로 구성되는 신경망으로서, 합성곱 신경망에서는 이미지 등과 같은 입력 데이터가 피처맵(feature map)으로 구성되어 합성곱 계층에 입력으로 인가되면, 각 합성곱 계층을 구성하는 하나 이상의 채널을 갖는 합성곱 필터들에 의해 합성곱이 발생하여 다음 합성곱 계층에 입력으로 인가될 출력 피처맵이 생성되는 과정이 반복(그 사이에 패딩 및 풀링 등도 수행됨)되며, 이러한 과정의 반복을 통해 소정의 출력이 산출되게 된다.
이와 관련해서, 출력 벡터 생성부(118)를 통해 상기 제1 차량 번호판 이미지가 상기 합성곱 신경망에 인가되면, 상기 합성곱 신경망으로부터는 하나 이상의 채널로 구성된 합성곱 필터를 통한 피쳐맵의 생성, 패딩, 풀링 등의 과정이 반복됨으로써, 최종적으로 8차원의 출력 벡터가 산출될 수 있다.
학습 수행부(119)는 사전 설정된 손실 함수(loss function)를 기초로 상기 출력 벡터의 상기 정답 벡터에 대한 근접도를 표상하는 손실 값을 연산하고, 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행한다.
이때, 본 발명의 일실시예에 따르면, 학습 수행부(119)는 하기의 수학식 1에 따른 상기 손실 함수를 기초로 상기 손실 값을 연산하고, 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행할 수 있다.
Figure pat00001
여기서, L은 상기 손실 함수에 따라 연산되는 상기 손실 값으로,
Figure pat00002
는 상기 정답 벡터를 구성하는 i번째 성분,
Figure pat00003
는 상기 출력 벡터를 구성하는 i번째 성분을 의미한다.
예컨대, 전술한 예와 같이, 트레이닝 셋 생성부(117)에서 생성된 정답 벡터가 '[a c e g b d f h]'라고 하고, 출력 벡터 생성부(118)를 통해서 생성된 출력 벡터가 '[i j k l m n o p]'이라고 하는 경우, 학습 수행부(119)는 상기 정답 벡터를 구성하는 8개의 성분인 'a, c, e, g, b, d, f, h'를
Figure pat00004
에 입력으로 인가하고, 상기 출력 벡터를 구성하는 8개의 성분인 'i, j, k, l, m, n, o, p'를
Figure pat00005
에 입력으로 인가하여 상기 수학식 1에 따른 손실 값을 연산한 후 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 학습 수행부(119)는 상기 손실 값이 최소가 되도록 역전파(backpropagation) 처리를 수행함으로써, 상기 합성곱 신경망에 대한 기계학습을 수행할 수 있다.
반복 수행 제어부(120)는 선택 수행부(116), 트레이닝 셋 생성부(117), 출력 벡터 생성부(118) 및 학습 수행부(119)의 동작이 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행되도록 제어한다.
즉, 반복 수행 제어부(120)는 상기 복수의 차량 번호판 이미지들 각각에 대해서 상기 합성곱 신경망에 대한 기계학습이 반복 수행되도록 제어함으로써, 기계학습이 완료된 합성곱 신경망으로 구성된 상기 꼭짓점 추출 모델을 생성할 수 있다.
이렇게, 모델 생성부(112)를 통해 상기 꼭짓점 추출 모델이 생성된 이후, 주차장 시스템 등에 비치된 카메라를 통해서 촬영된 도 2의 도면부호 210에 도시된 그림과 같은 신규 차량 번호판 이미지가 전자 장치(110)에 입력되면, 좌표 예측부(113)는 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성한다.
이때, 본 발명의 일실시예에 따르면, 좌표 예측부(113)는 예측 벡터 산출부(121) 및 좌표 생성부(122)를 포함할 수 있다.
예측 벡터 산출부(121)는 상기 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델의 기계학습이 완료된 상기 합성곱 신경망에 입력으로 인가하여 8차원의 예측 벡터를 산출한다.
좌표 생성부(122)는 상기 예측 벡터가 산출되면, 상기 예측 벡터를 구성하는 성분을 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성한다.
관련해서, 상기 합성곱 신경망은 8차원의 벡터를 출력으로 산출하도록 구성된 신경망이기 때문에, 예측 벡터 산출부(121)는 상기 신규 차량 번호판 이미지를 기계학습이 완료된 상기 합성곱 신경망에 입력으로 인가함으로써, 8차원의 예측 벡터를 산출할 수 있다.
이때, 예측 벡터 산출부(121)에 의해 산출된 8차원의 예측 벡터를 '[e1 e2 e3 e4 e5 e6 e7 e8]'이라고 하는 경우, 좌표 생성부(122)는 상기 예측 벡터를 구성하는 8개의 성분인 'e1, e2, e3, e4, e5, e6, e7, e8' 중 'e1, e2, e3, e4'를 4개의 꼭짓점들에 대한 x좌표 값으로 지정하고, 'e5, e6, e7, e8'을 4개의 꼭짓점들에 대한 y좌표 값으로 지정함으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표로 '(e1, e5)', '(e2, e6)', (e3, e7)', '(e4, e8)'을 생성할 수 있다.
좌표 변환부(114)는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성한다.
예컨대, 상기 신규 차량 번호판 이미지가 도 2의 도면부호 210에 도시된 그림과 같다고 하고, 4개의 꼭짓점들에 대한 예측 좌표로 '(x1, y1), (x2, y2), (x3, y3), (x4, y4)' 지점의 좌표들이 생성되었다고 하는 경우, 좌표 변환부(114)는 4개의 꼭짓점들에 대한 예측 좌표 중 '(x1, y1)' 지점의 예측 좌표를 기준 좌표로 지정할 수 있다.
그러고 나서, 좌표 변환부(114)는 '(x2, y2)' 지점의 예측 좌표에서 y좌표 값인 'y2'를 'y1'과 동일한 값으로 변환할 수 있고, '(x3, y3)' 지점의 예측 좌표에서 x좌표 값인 'x3'을 'x1'과 동일한 값으로 변환할 수 있으며, '(x4, y4)' 지점의 예측 좌표에서 x좌표 값인 'x4'를 'x2'와 동일한 값으로, y좌표 값인 'y4'를 'y3'과 동일한 값으로 변환함으로써, '(x1, y1), (x2, y2), (x3, y3), (x4, y4)' 지점의 좌표들을 각각 도면부호 220에 도시된 그림과 같이, 직사각형을 구성하는 4개의 꼭짓점들인 '(x'1, y'1), (x'2, y'2), (x'3, y'3), (x'4, y'4)' 지점의 좌표로 변환할 수 있다.
투영 변환부(115)는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환(perspective transformation)시킨다.
이때, 본 발명의 일실시예에 따르면, 투영 변환부(115)는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표를 기초로 하기의 수학식 2의 관계식을 만족하는 호모그래피 행렬(homography matrix)을 계산한 후 상기 호모그래피 행렬을 기초로 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환시킨다.
Figure pat00006
여기서,
Figure pat00007
가 호모그래피 행렬을 의미하며, w는 사전 설정된 스케일 값, x, y는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표의 x좌표 값, y좌표 값을 의미하고, x', y'은 각 예측 좌표에 대응되는 변환 좌표의 x좌표 값, y좌표 값을 의미한다.
즉, 도면부호 210의 그림에서의 '(x1, y1), (x2, y2), (x3, y3), (x4, y4)' 지점의 예측 좌표들이 각각 도면부호 220의 그림에서의 '(x'1, y'1), (x'2, y'2), (x'3, y'3), (x'4, y'4)' 지점의 변환 좌표로 변환되었다고 하는 경우, x, y에는 각각 '(x1, y1), (x2, y2), (x3, y3), (x4, y4)' 지점의 x, y좌표 값이 인가되고, x', y'에는 각각 '(x'1, y'1), (x'2, y'2), (x'3, y'3), (x'4, y'4)' 지점의 x, y좌표 값이 인가된다.
이렇게, 투영 변환부(115)는 4개의 꼭짓점들에 대한 예측 좌표와 그에 대응되는 변환 좌표를 이용하여 상기 수학식 2를 만족하는 호모그래피 행렬을 계산할 수 있고, 상기 호모그래피 행렬이 계산되면, 상기 호모그래피 행렬을 이용해서 상기 신규 차량 번호판 이미지를 구성하는 각 화소의 좌표들을 모두 투영 변환시킴으로써, 도면부호 210에 도시된 그림과 같은 기울어진 형상의 상기 신규 차량 번호판 이미지를 도면부호 220에 도시된 그림과 같은 직사각형의 형상의 이미지로 변환시킬 수 있다.
본 발명의 일실시예에 따르면, 전자 장치(110)는 차량 번호 인식부(123)를 더 포함할 수 있다.
차량 번호 인식부(123)는 투영 변환부(115)에 의해 상기 신규 차량 번호판 이미지가 직사각형의 형상으로 투영 변환이 완료되면, 직사각형의 형상을 갖는 상기 신규 차량 번호판 이미지를 사전 기계학습이 완료된 차량 번호 인식 모델에 입력으로 인가하여 차량 번호를 인식한다.
도 3은 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법을 도시한 순서도이다.
단계(S310)에서는 복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있는 트레이닝 데이터 저장부를 유지한다.
단계(S320)에서는 상기 트레이닝 데이터 저장부에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성한다.
단계(S330)에서는 상기 꼭짓점 추출 모델이 생성된 이후, 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성한다.
단계(S340)에서는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성한다.
단계(S350)에서는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환시킨다.
이때, 본 발명의 일실시예에 따르면, 단계(S320)에서는 상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지에 대한 선택을 수행하는 단계, 상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지로 제1 차량 번호판 이미지가 선택된 경우, 상기 트레이닝 데이터 저장부로부터 상기 제1 차량 번호판 이미지와 상기 제1 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 제1 좌표를 추출하여, 상기 제1 좌표를 구성하는 4개의 x좌표 값들과 4개의 y좌표 값들이 성분으로 구성된 8차원의 정답 벡터를 생성하는 단계, 상기 제1 차량 번호판 이미지를 합성곱 신경망 - 상기 합성곱 신경망은 출력이 8차원의 벡터가 산출되도록 사전 구성되어 있음 - 에 입력으로 인가함으로써, 8차원의 출력 벡터를 생성하는 단계, 사전 설정된 손실 함수를 기초로 상기 출력 벡터의 상기 정답 벡터에 대한 근접도를 표상하는 손실 값을 연산하고, 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행하는 단계 및 상기 선택을 수행하는 단계, 상기 정답 벡터를 생성하는 단계, 상기 출력 벡터를 생성하는 단계 및 상기 기계학습을 수행하는 단계가 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행되도록 제어하는 단계를 포함한다.
이때, 본 발명의 일실시예에 따르면, 상기 기계학습을 수행하는 단계는 상기 수학식 1에 따른 상기 손실 함수를 기초로 상기 손실 값을 연산하고, 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S330)에서는 상기 꼭짓점 추출 모델이 생성된 이후, 상기 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델의 기계학습이 완료된 상기 합성곱 신경망에 입력으로 인가하여 8차원의 예측 벡터를 산출하는 단계 및 상기 예측 벡터가 산출되면, 상기 예측 벡터를 구성하는 성분을 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 전자 장치의 동작 방법은 상기 신규 차량 번호판 이미지가 직사각형의 형상으로 투영 변환이 완료되면, 직사각형의 형상을 갖는 상기 신규 차량 번호판 이미지를 사전 기계학습이 완료된 차량 번호 인식 모델에 입력으로 인가하여 차량 번호를 인식하는 단계를 더 포함할 수 있다.
이상, 도 3을 참조하여 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법은 도 1과 도 2를 이용하여 설명한 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치
111: 트레이닝 데이터 저장부 112: 모델 생성부
113: 좌표 예측부 114: 좌표 변환부
115: 투영 변화부 116: 선택 수행부
117: 트레이닝 셋 생성부 118: 출력 벡터 생성부
119: 학습 수행부 120: 반복 수행 제어부
121: 예측 벡터 산출부 122: 좌표 생성부
123: 차량 번호 인식부

Claims (12)

  1. 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치에 있어서,
    복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있는 트레이닝 데이터 저장부;
    상기 트레이닝 데이터 저장부에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성하는 모델 생성부;
    상기 꼭짓점 추출 모델이 생성된 이후, 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 좌표 예측부;
    상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성하는 좌표 변환부; 및
    상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환(perspective transformation)시키는 투영 변환부
    를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 모델 생성부는
    상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지에 대한 선택을 수행하는 선택 수행부;
    상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지로 제1 차량 번호판 이미지가 선택된 경우, 상기 트레이닝 데이터 저장부로부터 상기 제1 차량 번호판 이미지와 상기 제1 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 제1 좌표를 추출하여, 상기 제1 좌표를 구성하는 4개의 x좌표 값들과 4개의 y좌표 값들이 성분으로 구성된 8차원의 정답 벡터를 생성하는 트레이닝 셋 생성부;
    상기 제1 차량 번호판 이미지를 합성곱 신경망 - 상기 합성곱 신경망은 출력이 8차원의 벡터가 산출되도록 사전 구성되어 있음 - 에 입력으로 인가함으로써, 8차원의 출력 벡터를 생성하는 출력 벡터 생성부;
    사전 설정된 손실 함수(loss function)를 기초로 상기 출력 벡터의 상기 정답 벡터에 대한 근접도를 표상하는 손실 값을 연산하고, 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행하는 학습 수행부; 및
    상기 선택 수행부, 상기 트레이닝 셋 생성부, 상기 출력 벡터 생성부 및 상기 학습 수행부의 동작이 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행되도록 제어하는 반복 수행 제어부
    를 포함하는 전자 장치.
  3. 제2항에 있어서,
    상기 학습 수행부는
    하기의 수학식 1에 따른 상기 손실 함수를 기초로 상기 손실 값을 연산하고, 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행하는 전자 장치.
    [수학식 1]
    Figure pat00008

    여기서, L은 상기 손실 함수에 따라 연산되는 상기 손실 값으로,
    Figure pat00009
    는 상기 정답 벡터를 구성하는 i번째 성분,
    Figure pat00010
    는 상기 출력 벡터를 구성하는 i번째 성분을 의미함.
  4. 제2항에 있어서,
    상기 좌표 예측부는
    상기 꼭짓점 추출 모델이 생성된 이후, 상기 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델의 기계학습이 완료된 상기 합성곱 신경망에 입력으로 인가하여 8차원의 예측 벡터를 산출하는 예측 벡터 산출부; 및
    상기 예측 벡터가 산출되면, 상기 예측 벡터를 구성하는 성분을 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 좌표 생성부
    를 포함하는 전자 장치.
  5. 제1항에 있어서,
    상기 신규 차량 번호판 이미지가 직사각형의 형상으로 투영 변환이 완료되면, 직사각형의 형상을 갖는 상기 신규 차량 번호판 이미지를 사전 기계학습이 완료된 차량 번호 인식 모델에 입력으로 인가하여 차량 번호를 인식하는 차량 번호 인식부
    를 더 포함하는 전자 장치.
  6. 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법에 있어서,
    복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있는 트레이닝 데이터 저장부를 유지하는 단계;
    상기 트레이닝 데이터 저장부에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성하는 단계;
    상기 꼭짓점 추출 모델이 생성된 이후, 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 단계;
    상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성하는 단계; 및
    상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환(perspective transformation)시키는 단계
    를 포함하는 전자 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 꼭짓점 추출 모델을 생성하는 단계는
    상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지에 대한 선택을 수행하는 단계;
    상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지로 제1 차량 번호판 이미지가 선택된 경우, 상기 트레이닝 데이터 저장부로부터 상기 제1 차량 번호판 이미지와 상기 제1 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 제1 좌표를 추출하여, 상기 제1 좌표를 구성하는 4개의 x좌표 값들과 4개의 y좌표 값들이 성분으로 구성된 8차원의 정답 벡터를 생성하는 단계;
    상기 제1 차량 번호판 이미지를 합성곱 신경망 - 상기 합성곱 신경망은 출력이 8차원의 벡터가 산출되도록 사전 구성되어 있음 - 에 입력으로 인가함으로써, 8차원의 출력 벡터를 생성하는 단계;
    사전 설정된 손실 함수(loss function)를 기초로 상기 출력 벡터의 상기 정답 벡터에 대한 근접도를 표상하는 손실 값을 연산하고, 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행하는 단계; 및
    상기 선택을 수행하는 단계, 상기 정답 벡터를 생성하는 단계, 상기 출력 벡터를 생성하는 단계 및 상기 기계학습을 수행하는 단계가 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행되도록 제어하는 단계
    를 포함하는 전자 장치의 동작 방법.
  8. 제7항에 있어서,
    상기 기계학습을 수행하는 단계는
    하기의 수학식 1에 따른 상기 손실 함수를 기초로 상기 손실 값을 연산하고, 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행하는 전자 장치의 동작 방법.
    [수학식 1]
    Figure pat00011

    여기서, L은 상기 손실 함수에 따라 연산되는 상기 손실 값으로,
    Figure pat00012
    는 상기 정답 벡터를 구성하는 i번째 성분,
    Figure pat00013
    는 상기 출력 벡터를 구성하는 i번째 성분을 의미함.
  9. 제7항에 있어서,
    상기 예측 좌표를 생성하는 단계는
    상기 꼭짓점 추출 모델이 생성된 이후, 상기 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델의 기계학습이 완료된 상기 합성곱 신경망에 입력으로 인가하여 8차원의 예측 벡터를 산출하는 단계; 및
    상기 예측 벡터가 산출되면, 상기 예측 벡터를 구성하는 성분을 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 단계
    를 포함하는 전자 장치의 동작 방법.
  10. 제6항에 있어서,
    상기 신규 차량 번호판 이미지가 직사각형의 형상으로 투영 변환이 완료되면, 직사각형의 형상을 갖는 상기 신규 차량 번호판 이미지를 사전 기계학습이 완료된 차량 번호 인식 모델에 입력으로 인가하여 차량 번호를 인식하는 단계
    를 더 포함하는 전자 장치의 동작 방법.
  11. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  12. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.
KR1020200181193A 2020-12-22 2020-12-22 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법 KR102482472B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200181193A KR102482472B1 (ko) 2020-12-22 2020-12-22 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200181193A KR102482472B1 (ko) 2020-12-22 2020-12-22 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20220090212A true KR20220090212A (ko) 2022-06-29
KR102482472B1 KR102482472B1 (ko) 2022-12-27

Family

ID=82270222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200181193A KR102482472B1 (ko) 2020-12-22 2020-12-22 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102482472B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102625312B1 (ko) * 2022-07-07 2024-01-16 주식회사 파시디엘 어텐션 방식에 기반을 둔 번호판 레이아웃 타입에 독립적인 차량 번호판 인식 시스템
WO2024090899A1 (ko) * 2022-10-27 2024-05-02 라이트비전 주식회사 정확한 차량번호판 인식을 기반으로 한 큐알 코드 기반의 주차 시스템 제공방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Koushik Roy et al., ‘An Analytical Approach for Enhancing the Automatic Detection and Recognition of Skewed Bangla License Plates’, ICBSLP, 27 September 2019.* *
Tomas Bjorklund et al., ‘Robust License Plate Recognition using Neural Networks Trained on Synthetic Images’, Preprint submitted to Journal of Pattern Recognition, April 16, 2019.* *
WANWEI WANG et al., ‘A Light CNN for End-to-End Car License Plates Detection and Recognition’, IEEE Access, date of publication November 27, 2019.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102625312B1 (ko) * 2022-07-07 2024-01-16 주식회사 파시디엘 어텐션 방식에 기반을 둔 번호판 레이아웃 타입에 독립적인 차량 번호판 인식 시스템
WO2024090899A1 (ko) * 2022-10-27 2024-05-02 라이트비전 주식회사 정확한 차량번호판 인식을 기반으로 한 큐알 코드 기반의 주차 시스템 제공방법

Also Published As

Publication number Publication date
KR102482472B1 (ko) 2022-12-27

Similar Documents

Publication Publication Date Title
US10740897B2 (en) Method and device for three-dimensional feature-embedded image object component-level semantic segmentation
US20190355126A1 (en) Image feature extraction method and saliency prediction method using the same
CN110517278A (zh) 图像分割和图像分割网络的训练方法、装置和计算机设备
JP6924517B2 (ja) ディープニューラルネットワーク基盤の多重パッチ組み合わせを利用して顔を認識し、極度の状況でフォールトトレランス及びフラクチュエーションロバスト性を向上させる方法
KR102482472B1 (ko) 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법
CN109242903A (zh) 三维数据的生成方法、装置、设备及存储介质
US20170132827A1 (en) Data Driven Design and Animation of Animatronics
KR20180073118A (ko) 컨볼루션 신경망 처리 방법 및 장치
CN106952338B (zh) 基于深度学习的三维重建的方法、系统及可读存储介质
JP2018022360A (ja) 画像解析装置、画像解析方法およびプログラム
KR20210049655A (ko) 특징맵 생성방법 및 특징맵 생성장치
JP7149124B2 (ja) 画像オブジェクト抽出装置及びプログラム
KR102181161B1 (ko) 영상 처리 방법 및 장치
KR102557697B1 (ko) 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법
KR20210107278A (ko) 컨텍스트 스타일 변환기를 이용한 영상 처리 기법
CN116468902A (zh) 图像的处理方法、装置和非易失性计算机可读存储介质
KR102299674B1 (ko) 두 약물 간의 혼용 효과를 예측하기 위한 인공지능 기반의 예측모델을 생성할 수 있는 전자 장치 및 그 동작 방법
KR102026139B1 (ko) 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치 및 그 동작 방법
JP2020201944A (ja) オブジェクト認識装置およびオブジェクト認識方法
KR102427634B1 (ko) 변형가능 컨벌루션 네트워크를 정적 계산 기법을 사용하여 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN115185267B (zh) 目标物编队点阵的生成方法、装置、电子设备及存储介质
KR20200143815A (ko) 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체
JP3677253B2 (ja) 映像編集方法及びプログラム
KR102280412B1 (ko) 사용자의 손 제스처에 대응되는 제어 명령 실행 및 피드백 출력을 수행하는 전자 단말 장치 및 그 동작 방법
KR102566934B1 (ko) 병렬 처리 기반의 문서 포맷 변환을 수행하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant