KR20220091995A - 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법 - Google Patents

기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20220091995A
KR20220091995A KR1020200183303A KR20200183303A KR20220091995A KR 20220091995 A KR20220091995 A KR 20220091995A KR 1020200183303 A KR1020200183303 A KR 1020200183303A KR 20200183303 A KR20200183303 A KR 20200183303A KR 20220091995 A KR20220091995 A KR 20220091995A
Authority
KR
South Korea
Prior art keywords
license plate
plate image
coordinates
vertices
image
Prior art date
Application number
KR1020200183303A
Other languages
English (en)
Other versions
KR102557697B1 (ko
Inventor
전경구
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020200183303A priority Critical patent/KR102557697B1/ko
Publication of KR20220091995A publication Critical patent/KR20220091995A/ko
Application granted granted Critical
Publication of KR102557697B1 publication Critical patent/KR102557697B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법이 개시된다. 본 발명은 기계학습 기반의 꼭짓점 추출 모델을 이용하여 기울어진 차량 번호판 이미지로부터 4개의 꼭짓점들의 좌표를 추출한 후 추출된 4개의 꼭짓점들의 좌표를 기초로 상기 기울어진 차량 번호판 이미지를 직사각형 형상으로 변환할 수 있는 전자 장치 및 그 동작 방법을 제시함으로써, 기울어진 차량 번호판 이미지에 대한 차량 번호 인식률이 향상될 수 있도록 지원할 수 있다.

Description

기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법{ELECTRONIC DEVICE CAPABLE OF RECTANGULARIZING AN INCLINED LICENSE PLATE IMAGE THROUGH MACHINE LEARNING-BASED VERTEX EXTRACTION AND HOMOGRAPHY MATRIX CALCULATION, AND THE OPERATING METHOD THEREOF}
본 발명은 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법에 대한 것이다.
최근, 자동 주차 시스템의 도입이 활발하게 이루어지면서, 차량 번호판으로부터 차량 번호를 인식하는 기술의 중요성이 증가하고 있다.
차량 번호 인식 기술은 카메라를 통해 차량 번호판 이미지를 촬영한 후 촬영된 이미지로부터 이미지 프로세싱을 수행하여 차량 번호를 인식하는 방식이 사용되는데, 차량 번호판 이미지가 기울어진 형태로 촬영되면, 기울어진 형태로 촬영된 이미지로부터는 차량 번호를 제대로 인식하기가 어려운 문제가 존재한다.
이와 관련해서, 도 2의 도면부호 210에 도시된 그림과 같이, 차량 번호판 이미지가 기울어진 상태로 존재하는 경우, 차량 번호 인식의 정확도를 높이기 위해서는 기울어진 이미지를 직사각형화시켜 기울어지지 않은 형태로 보정할 필요가 존재한다.
이러한 기울어진 이미지를 직사각형화시키기 위한 방식으로는 기울어진 이미지를 직사각형 형상으로 투영 변환(perspective transformation)시키는 방식이 활용될 수 있다.
이미지를 투영 변환하기 위해서는 투영 변환을 위한 호모그래피 행렬(homography matrix)을 계산할 필요가 있는데, 호모그래피 행렬을 계산하기 위해서는 변환 전 이미지와 변환 후 이미지 간의 적어도 4개의 대응점의 좌표를 알아야한다.
이와 관련해서, 기울어진 차량 번호판 이미지를 직사각형화시키기 위한 방법으로, 기울어진 차량 번호판 이미지를 구성하는 4개의 꼭짓점들의 좌표를 확인하고, 소정의 직사각형을 구성하는 4개의 꼭짓점들의 좌표를 지정한 후, 각 꼭짓점들을 서로 대응시켜 호모그래피 행렬을 생성함으로써, 상기 기울어진 차량 번호판 이미지를 직사각형의 형상으로 투영 변환시키는 방법을 고려할 수 있다.
다만, 이러한 방법을 사용하기 위해서는 기울어진 차량 번호판 이미지로부터 4개의 꼭짓점들을 추출하는 방법이 고려되어야 하는데, 기울어진 차량 번호판 이미지로부터 4개의 꼭짓점들을 추출하는 방법으로 기계학습 모델을 이용하는 것을 고려할 수 있다.
따라서, 기계학습 기반의 꼭짓점 추출 모델을 이용하여 기울어진 차량 번호판 이미지로부터 4개의 꼭짓점들의 좌표를 추출한 후 추출된 4개의 꼭짓점들의 좌표를 기초로 상기 기울어진 차량 번호판 이미지를 직사각형 형상으로 투영 변환함으로써, 상기 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 기술에 대한 연구가 필요하다.
본 발명은 기계학습 기반의 꼭짓점 추출 모델을 이용하여 기울어진 차량 번호판 이미지로부터 4개의 꼭짓점들의 좌표를 추출한 후 추출된 4개의 꼭짓점들의 좌표를 기초로 상기 기울어진 차량 번호판 이미지를 직사각형 형상으로 변환할 수 있는 전자 장치 및 그 동작 방법을 제시함으로써, 기울어진 차량 번호판 이미지에 대한 차량 번호 인식률이 향상될 수 있도록 지원하고자 한다.
본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치는 복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있는 트레이닝 데이터 저장부, 상기 트레이닝 데이터 저장부에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성하는 모델 생성부, 상기 꼭짓점 추출 모델이 생성된 이후, 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 좌표 예측부, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성하는 좌표 변환부, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 호모그래피 행렬(homography matrix)을 연산하는 행렬 연산부 및 상기 호모그래피 행렬이 연산되면, 상기 호모그래피 행렬에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환(perspective transformation)시키는 투영 변환부를 포함한다.
또한, 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법은 복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있는 트레이닝 데이터 저장부를 유지하는 단계, 상기 트레이닝 데이터 저장부에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성하는 단계, 상기 꼭짓점 추출 모델이 생성된 이후, 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 단계, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성하는 단계, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 호모그래피 행렬을 연산하는 단계 및 상기 호모그래피 행렬이 연산되면, 상기 호모그래피 행렬에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환시키는 단계를 포함한다.
본 발명은 기계학습 기반의 꼭짓점 추출 모델을 이용하여 기울어진 차량 번호판 이미지로부터 4개의 꼭짓점들의 좌표를 추출한 후 추출된 4개의 꼭짓점들의 좌표를 기초로 상기 기울어진 차량 번호판 이미지를 직사각형 형상으로 변환할 수 있는 전자 장치 및 그 동작 방법을 제시함으로써, 기울어진 차량 번호판 이미지에 대한 차량 번호 인식률이 향상될 수 있도록 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법을 도시한 순서도이다.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.
도 1은 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 구조를 도시한 도면이다.
도 1을 참조하면, 본 발명에 따른 전자 장치(110)는 트레이닝 데이터 저장부(111), 모델 생성부(112), 좌표 예측부(113), 좌표 변환부(114), 행렬 연산부(115) 및 투영 변환부(116)를 포함한다.
트레이닝 데이터 저장부(111)에는 복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있다.
여기서, 4개의 꼭짓점들이란 도 2의 도면부호 210에 도시된 그림과 같이, 차량 번호판 이미지에서 꼭짓점을 이루는 4개의 지점인 '(x1, y1), (x2, y2), (x3, y3), (x4, y4)'을 의미하는 것으로, 트레이닝 데이터 저장부(111)에 저장되어 있는 차량 번호판 이미지들은 기계학습 모델을 생성하기 위해서 개발자가 사전 수집한 이미지들이고, 각 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표는 개발자가 각 차량 번호판 이미지에 대응되는 4개의 꼭짓점들인 것으로 사전 추출해둔 좌표를 의미한다.
즉, 트레이닝 데이터 저장부(111)에 저장되어 있는 상기 복수의 차량 번호판 이미지들과 각 이미지에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표는 기계학습 모델을 생성하기 위해서 개발자에 의해 정답으로 미리 지정된 트레이닝 데이터 셋을 의미한다.
이와 관련해서, 트레이닝 데이터 저장부(111)에는 하기의 표 1과 같이 데이터가 저장되어 있을 수 있다.
차량 번호판 이미지들 4개의 꼭짓점들에 대한 좌표
(x 1 , y 1 ) (x 2 , y 2 ) (x 3 , y 3 ) (x 4 , y 4 )
차량 번호판 이미지 1 (1, 10) (7, 7) (0, 4) (4, 0)
차량 번호판 이미지 2 (0, 8) (5, 12) (3, 3) (7, 5)
... ... ... ... ...
모델 생성부(112)는 트레이닝 데이터 저장부(111)에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성한다. 관련해서, 모델 생성부(112)가 상기 꼭짓점 추출 모델을 생성하는 구체적인 과정에 대해서는 후술하기로 한다.
이렇게, 모델 생성부(112)를 통해 상기 꼭짓점 추출 모델이 생성된 이후, 주차장 시스템 등에 비치된 카메라를 통해서 촬영된 도 2의 도면부호 210에 도시된 그림과 같은 신규 차량 번호판 이미지가 전자 장치(110)에 입력되면, 좌표 예측부(113)는 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성한다.
좌표 변환부(114)는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성한다.
예컨대, 상기 신규 차량 번호판 이미지가 도 2의 도면부호 210에 도시된 그림과 같다고 하고, 4개의 꼭짓점들에 대한 예측 좌표로 '(x1, y1), (x2, y2), (x3, y3), (x4, y4)' 지점의 좌표들이 생성되었다고 하는 경우, 좌표 변환부(114)는 4개의 꼭짓점들에 대한 예측 좌표 중 '(x1, y1)' 지점의 예측 좌표를 기준 좌표로 지정할 수 있다.
그러고 나서, 좌표 변환부(114)는 '(x2, y2)' 지점의 예측 좌표에서 y좌표 값인 'y2'를 'y1'과 동일한 값으로 변환할 수 있고, '(x3, y3)' 지점의 예측 좌표에서 x좌표 값인 'x3'을 'x1'과 동일한 값으로 변환할 수 있으며, '(x4, y4)' 지점의 예측 좌표에서 x좌표 값인 'x4'를 'x2'와 동일한 값으로, y좌표 값인 'y4'를 'y3'과 동일한 값으로 변환함으로써, '(x1, y1), (x2, y2), (x3, y3), (x4, y4)' 지점의 좌표들을 각각 도면부호 220에 도시된 그림과 같이, 직사각형을 구성하는 4개의 꼭짓점들인 '(x'1, y'1), (x'2, y'2), (x'3, y'3), (x'4, y'4)' 지점의 좌표로 변환할 수 있다.
행렬 연산부(115)는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 호모그래피 행렬(homography matrix)을 연산한다.
이때, 본 발명의 일실시예에 따르면, 행렬 연산부(115)는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표를 기초로 하기의 수학식 1의 관계식을 만족하는 상기 호모그래피 행렬을 연산할 수 있다.
Figure pat00001
여기서,
Figure pat00002
가 호모그래피 행렬을 의미하며, w는 사전 설정된 스케일 값, x, y는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표의 x좌표 값, y좌표 값을 의미하고, x', y'은 각 예측 좌표에 대응되는 변환 좌표의 x좌표 값, y좌표 값을 의미한다.
관련해서, 도면부호 210의 그림에서의 '(x1, y1), (x2, y2), (x3, y3), (x4, y4)' 지점의 예측 좌표들이 각각 도면부호 220의 그림에서의 '(x'1, y'1), (x'2, y'2), (x'3, y'3), (x'4, y'4)' 지점의 변환 좌표로 변환되었다고 하는 경우, 행렬 연산부(115)는 상기 수학식 1에서 x, y에 각각 '(x1, y1), (x2, y2), (x3, y3), (x4, y4)' 지점의 x, y좌표 값을 인가하고, x', y'에 각각 '(x'1, y'1), (x'2, y'2), (x'3, y'3), (x'4, y'4)' 지점의 x, y좌표 값을 인가함으로써, 상기 수학식 1의 관계식을 만족하는 상기 호모그래피 행렬을 연산할 수 있다.
투영 변환부(116)는 상기 호모그래피 행렬이 연산되면, 상기 호모그래피 행렬에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환(perspective transformation)시킨다.
즉, 투영 변환부(116)는 행렬 연산부(115)에서 상기 수학식 1을 만족하는 호모그래피 행렬이 연산되면, 상기 호모그래피 행렬을 이용해서 상기 신규 차량 번호판 이미지를 구성하는 각 화소의 좌표들을 모두 투영 변환시킴으로써, 도면부호 210에 도시된 그림과 같은 기울어진 형상의 상기 신규 차량 번호판 이미지를 도면부호 220에 도시된 그림과 같은 직사각형의 형상의 이미지로 변환시킬 수 있다.
본 발명의 일실시예에 따르면, 모델 생성부(112)는 트레이닝 데이터 저장부(111)에 저장되어 있는 데이터를 이용하여 상기 꼭짓점 추출 모델을 생성하기 위한 기계학습을 수행할 수 있는데, 이를 위한 구체적인 구성으로, 선택 수행부(117), 트레이닝 셋 생성부(118), 출력 벡터 생성부(119), 부분 손실 값 연산부(120), 학습 수행부(121) 및 반복 수행 제어부(122)를 포함할 수 있다.
선택 수행부(117)는 트레이닝 데이터 저장부(111)에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지에 대한 선택을 수행한다.
트레이닝 셋 생성부(118)는 상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지로 제1 차량 번호판 이미지가 선택된 경우, 트레이닝 데이터 저장부(111)로부터 상기 제1 차량 번호판 이미지와 상기 제1 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 제1 좌표를 추출하여, 상기 제1 좌표를 구성하는 4개의 x좌표 값들과 4개의 y좌표 값들이 성분으로 구성된 8차원의 정답 벡터를 생성한다.
예컨대, 상기 제1 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 제1 좌표가 '(a, b), (c, d), (e, f), (g, h)'라고 하는 경우, 트레이닝 셋 생성부(118)는 4개의 x좌표 값들인 'a, c, e, g'와 4개의 y좌표 값들인 'b, d, f, h'가 성분으로 구성된 8차원의 정답 벡터로 '[a c e g b d f h]'를 생성할 수 있다.
출력 벡터 생성부(119)는 상기 제1 차량 번호판 이미지를 합성곱 신경망(상기 합성곱 신경망은 출력이 8차원의 벡터가 산출되도록 사전 구성되어 있음)에 입력으로 인가함으로써, 8차원의 출력 벡터를 생성한다.
합성곱 신경망(Convolutional Neural Networks: CNNs)은 합성곱 필터로 구성된 다수의 합성곱 계층들로 구성되는 신경망으로서, 합성곱 신경망에서는 이미지 등과 같은 입력 데이터가 피처맵(feature map)으로 구성되어 합성곱 계층에 입력으로 인가되면, 각 합성곱 계층을 구성하는 하나 이상의 채널을 갖는 합성곱 필터들에 의해 합성곱이 발생하여 다음 합성곱 계층에 입력으로 인가될 출력 피처맵이 생성되는 과정이 반복(그 사이에 패딩 및 풀링 등도 수행됨)되며, 이러한 과정의 반복을 통해 소정의 출력이 산출되게 된다.
이와 관련해서, 출력 벡터 생성부(119)를 통해 상기 제1 차량 번호판 이미지가 상기 합성곱 신경망에 인가되면, 상기 합성곱 신경망으로부터는 하나 이상의 채널로 구성된 합성곱 필터를 통한 피쳐맵의 생성, 패딩, 풀링 등의 과정이 반복됨으로써, 최종적으로 8차원의 출력 벡터가 산출될 수 있다.
부분 손실 값 연산부(120)는 상기 출력 벡터가 생성되면, 상기 출력 벡터의 상기 정답 벡터에 대한 근접도를 표상하는 제1 부분 손실 값을 연산하고, 상기 출력 벡터를 구성하는 성분을 상기 제1 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 제1 차량 번호판 이미지에 대한 출력 좌표를 생성한 후, 상기 출력 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제1 변환 이미지와 상기 제1 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제2 변환 이미지 사이의 화소 값들의 차이를 표상하는 제2 부분 손실 값을 연산한다.
이때, 본 발명의 일실시예에 따르면, 부분 손실 값 연산부(120)는 하기의 수학식 2의 연산에 따라 상기 제1 부분 손실 값을 연산할 수 있다.
Figure pat00003
여기서,
Figure pat00004
은 상기 제1 부분 손실 값을 의미하고,
Figure pat00005
는 상기 정답 벡터를 구성하는 k번째 성분,
Figure pat00006
는 상기 출력 벡터를 구성하는 k번째 성분을 의미한다.
예컨대, 전술한 예와 같이, 트레이닝 셋 생성부(118)에서 생성된 정답 벡터가 '[a c e g b d f h]'라고 하고, 출력 벡터 생성부(119)를 통해서 생성된 출력 벡터가 '[i j k l m n o p]'이라고 하는 경우, 부분 손실 값 연산부(120)는 상기 정답 벡터를 구성하는 8개의 성분인 'a, c, e, g, b, d, f, h'를
Figure pat00007
에 입력으로 인가하고, 상기 출력 벡터를 구성하는 8개의 성분인 'i, j, k, l, m, n, o, p'를
Figure pat00008
에 입력으로 인가하여 상기 수학식 2에 따른 상기 제1 부분 손실 값을 연산할 수 있다.
즉, 상기 제1 부분 손실 값은 상기 합성곱 신경망을 통과하여 생성된 출력과 트레이닝 데이터 저장부(111)에 저장되어 있는 정답 간의 차이를 의미한다.
또한, 본 발명의 일실시예에 따르면, 부분 손실 값 연산부(120)는 하기의 수학식 3의 연산에 따라 상기 제2 부분 손실 값을 연산할 수 있다.
Figure pat00009
여기서,
Figure pat00010
는 상기 제2 부분 손실 값을 의미하고, N은 상기 제1 차량 번호판 이미지를 구성하는 화소의 개수,
Figure pat00011
는 상기 제1 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 상기 제2 변환 이미지에서의 (i, j)지점의 화소 값,
Figure pat00012
는 상기 출력 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 상기 제1 변환 이미지에서의 (i, j)지점의 화소 값을 의미한다.
관련해서, 전술한 예와 같이, 트레이닝 셋 생성부(118)에서 생성된 정답 벡터가 '[a c e g b d f h]'라고 하고, 출력 벡터 생성부(119)를 통해서 생성된 출력 벡터가 '[i j k l m n o p]'이라고 하는 경우, 부분 손실 값 연산부(120)는 상기 출력 벡터인 '[i j k l m n o p]'를 구성하는 성분을 상기 제1 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 제1 차량 번호판 이미지에 대한 출력 좌표를 생성할 수 있다.
앞서, 트레이닝 셋 생성부(118)가 상기 정답 벡터인 '[a c e g b d f h]'을 생성할 때, 전단의 4개의 성분인 'a, c, e, g'는 이미지를 구성하는 4개의 꼭짓점들의 x좌표 값을 사용하였고, 후단의 4개의 성분인 'b, d, f, h'는 이미지를 구성하는 4개의 꼭짓점들의 y좌표 값을 사용하였기 때문에, 부분 손실 값 연산부(120)는 상기 출력 벡터인 '[i j k l m n o p]'에서 전단의 4개의 성분인 'i, j, k, l'을 상기 제1 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값으로 지정하고, 후단의 4개의 성분인 'm, n, o, p'를 상기 제1 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 y좌표 값으로 지정함으로써, 상기 제1 차량 번호판 이미지에 대한 출력 좌표로 '(i, m), (j, n), (k, o), (l, p)'를 생성할 수 있다.
이렇게, 상기 제1 차량 번호판 이미지에 대한 출력 좌표가 생성되면, 부분 손실 값 연산부(120)는 상기 출력 좌표인 '(i, m), (j, n), (k, o), (l, p)'를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제1 변환 이미지를 생성할 수 있다. 이러한 제1 변환 이미지는 앞서 설명한 좌표 변환부(114)의 동작과 동일한 방식으로, 4개의 꼭짓점들에 대한 상기 출력 좌표 중 어느 하나의 꼭짓점에 대한 좌표를 기준 좌표로 지정하여 4개의 꼭짓점들에 대한 대한 변환 좌표를 생성하고, 행렬 연산부(115)의 동작과 동일한 방식으로, 4개의 꼭짓점들에 대한 상기 출력 좌표와 각 변환 좌표 간의 관계에 따른 호모그래피 행렬을 연산한 후 투영 변환부(116)의 동작과 동일한 방식으로, 상기 호모그래피 행렬을 이용하여 상기 제1 차량 번호판 이미지를 투영 변환시킴으로써 생성할 수 있다.
그리고, 부분 손실 값 연산부(120)는 트레이닝 데이터 저장부(111)에 저장되어 있는 상기 제1 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 상기 제1 좌표인 '(a, b), (c, d), (e, f), (g, h)'을 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제2 변환 이미지를 생성할 수 있다. 이러한 제2 변환 이미지 역시, 앞서 설명한 좌표 변환부(114)의 동작과 동일한 방식으로, 4개의 꼭짓점들에 대한 상기 제1 좌표 중 어느 하나의 꼭짓점에 대한 좌표를 기준 좌표로 지정하여 4개의 꼭짓점들에 대한 대한 변환 좌표를 생성하고, 행렬 연산부(115)의 동작과 동일한 방식으로, 4개의 꼭짓점들에 대한 상기 제1 좌표와 각 변환 좌표 간의 관계에 따른 호모그래피 행렬을 연산한 후 투영 변환부(116)의 동작과 동일한 방식으로, 상기 호모그래피 행렬을 이용하여 상기 제1 차량 번호판 이미지를 투영 변환시킴으로써 생성할 수 있다.
이렇게, 생성된 상기 제1 변환 이미지는 상기 합성곱 신경망을 통과해서 예측된 출력 좌표를 기초로 상기 제1 차량 번호판 이미지가 투영 변환되어 생성된 이미지이고, 상기 제2 변환 이미지는 상기 제1 차량 번호판 이미지에 대한 실제 좌표를 기초로 상기 제1 차량 번호판 이미지가 투영 변환되어 생성된 이미지이다.
이렇게, 상기 제1 변환 이미지와 상기 제2 변환 이미지가 생성되면, 부분 손실 값 연산부(120)는 상기 수학식 3의 연산과 같이, 상기 제2 변환 이미지와 상기 제1 변환 이미지에서 서로 동일한 위치의 화소들 간의 차이의 절대 값을 계산하고, 그 절대 값들의 평균을 상기 제2 부분 손실 값으로 연산할 수 있다.
즉, 상기 제2 부분 손실 값은 상기 합성곱 신경망을 통과한 출력을 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킨 결과와 트레이닝 데이터 저장부(111)에 저장되어 있는 정답을 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킨 결과 간의 차이를 의미한다.
이렇게, 부분 손실 값 연산부(120)를 통해, 상기 제1 부분 손실 값과 상기 제2 부분 손실 값의 연산이 완료되면, 학습 수행부(121)는 상기 제1 부분 손실 값과 상기 제2 부분 손실 값을 기초로 하기의 수학식 4의 연산에 따른 손실 값을 연산한 후 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행한다.
Figure pat00013
여기서,
Figure pat00014
는 상기 손실 값의 의미하고,
Figure pat00015
은 상기 제1 부분 손실 값,
Figure pat00016
는 상기 제2 부분 손실 값,
Figure pat00017
는 0초과 1미만의 사전 설정된 가중치,
Figure pat00018
는 사전 설정된 상수 값을 의미한다.
즉, 학습 수행부(121)는 상기 합성곱 신경망을 통과하여 생성된 출력과 트레이닝 데이터 저장부(111)에 저장되어 있는 정답 간의 차이를 의미하는 상기 제1 부분 손실 값과, 상기 합성곱 신경망을 통과한 출력을 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킨 결과와 트레이닝 데이터 저장부(111)에 저장되어 있는 정답을 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킨 결과 간의 차이를 의미하는 상기 제2 부분 손실 값 간의 가중 평균이 최소가 되도록 상기 합성곱 신경망을 기계학습시킬 수 있다.
이때, 본 발명의 일실시예에 따르면, 학습 수행부(121)는 상기 손실 값이 최소가 되도록 역전파(backpropagation) 처리를 수행함으로써, 상기 합성곱 신경망에 대한 기계학습을 수행할 수 있다.
반복 수행 제어부(122)는 선택 수행부(117), 트레이닝 셋 생성부(118), 출력 벡터 생성부(119), 부분 손실 값 연산부(120) 및 학습 수행부(121)의 동작이 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행되도록 제어한다.
즉, 반복 수행 제어부(122)는 상기 복수의 차량 번호판 이미지들 각각에 대해서 상기 합성곱 신경망에 대한 기계학습이 반복 수행되도록 제어함으로써, 기계학습이 완료된 합성곱 신경망으로 구성된 상기 꼭짓점 추출 모델을 생성할 수 있다.
이때, 본 발명의 일실시예에 따르면, 좌표 예측부(113)는 모델 생성부(112)를 통해서 생성된 상기 꼭짓점 추출 모델을 이용해서 상기 신규 차량 번호판 이미지로부터 4개의 꼭짓점들에 대한 예측 좌표를 생성하기 위한 구체적인 구성으로, 예측 벡터 산출부(123) 및 좌표 생성부(124)를 포함할 수 있다.
예측 벡터 산출부(123)는 상기 꼭짓점 추출 모델이 생성된 이후, 상기 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델의 기계학습이 완료된 상기 합성곱 신경망에 입력으로 인가하여 8차원의 예측 벡터를 산출한다.
그리고, 좌표 생성부(124)는 상기 예측 벡터가 산출되면, 상기 예측 벡터를 구성하는 성분을 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성한다.
이와 관련해서, 예측 벡터 산출부(123)와 좌표 생성부(124)의 동작을 예를 들어 설명하면 다음과 같다.
먼저, 전술한 예와 같이, 모델 생성부(112)가 상기 합성곱 신경망을 기계학습시키는 과정에서 '[a c e g b d f h]'와 같은 정답 벡터를 구성할 때, 전단의 4개의 성분인 'a, c, e, g'는 이미지를 구성하는 4개의 꼭짓점들의 x좌표 값을 사용하였고, 후단의 4개의 성분인 'b, d, f, h'는 이미지를 구성하는 4개의 꼭짓점들의 y좌표 값을 사용하였다고 하는 가정하자.
이때, 상기 합성곱 신경망은 8차원의 벡터를 출력으로 산출하도록 구성된 신경망이기 때문에, 예측 벡터 산출부(123)는 상기 신규 차량 번호판 이미지를 기계학습이 완료된 상기 합성곱 신경망에 입력으로 인가함으로써, 8차원의 예측 벡터를 산출할 수 있다.
만약, 예측 벡터 산출부(123)에 의해 산출된 8차원의 예측 벡터를 '[e1 e2 e3 e4 e5 e6 e7 e8]'이라고 하는 경우, 좌표 생성부(124)는 상기 예측 벡터를 구성하는 8개의 성분인 'e1, e2, e3, e4, e5, e6, e7, e8' 중 'e1, e2, e3, e4'를 4개의 꼭짓점들에 대한 x좌표 값으로 지정하고, 'e5, e6, e7, e8'을 4개의 꼭짓점들에 대한 y좌표 값으로 지정함으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표로 '(e1, e5)', '(e2, e6)', (e3, e7)', '(e4, e8)'을 생성할 수 있다.
이렇게, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 좌표 변환부(114)는 상기 예측 좌표에 대한 변환 좌표를 생성할 수 있고, 행렬 연산부(115)는 각 예측 좌표와 변환 좌표 간의 상관 관계에 기초하여 호모그래피 행렬을 연산할 수 있으며, 투영 변환부(116)는 상기 호모그래피 행렬을 기초로 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환시킬 수 있다.
본 발명의 일실시예에 따르면, 전자 장치(110)는 차량 번호 인식부(125)를 더 포함할 수 있다.
차량 번호 인식부(125)는 투영 변환부(116)에 의해 상기 신규 차량 번호판 이미지가 직사각형의 형상으로 투영 변환이 완료되면, 직사각형의 형상을 갖는 상기 신규 차량 번호판 이미지를 사전 기계학습이 완료된 차량 번호 인식 모델에 입력으로 인가하여 차량 번호를 인식한다.
도 3은 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법을 도시한 순서도이다.
단계(S310)에서는 복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있는 트레이닝 데이터 저장부를 유지한다.
단계(S320)에서는 상기 트레이닝 데이터 저장부에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성한다.
단계(S330)에서는 상기 꼭짓점 추출 모델이 생성된 이후, 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성한다.
단계(S340)에서는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성한다.
단계(S350)에서는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 호모그래피 행렬을 연산한다.
단계(S360)에서는 상기 호모그래피 행렬이 연산되면, 상기 호모그래피 행렬에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환시킨다.
이때, 본 발명의 일실시예에 따르면, 단계(S350)에서는 상기의 수학식 1의 관계식을 만족하는 상기 호모그래피 행렬을 연산할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S320)에서는 상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지에 대한 선택을 수행하는 단계, 상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지로 제1 차량 번호판 이미지가 선택된 경우, 상기 트레이닝 데이터 저장부로부터 상기 제1 차량 번호판 이미지와 상기 제1 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 제1 좌표를 추출하여, 상기 제1 좌표를 구성하는 4개의 x좌표 값들과 4개의 y좌표 값들이 성분으로 구성된 8차원의 정답 벡터를 생성하는 단계, 상기 제1 차량 번호판 이미지를 합성곱 신경망(상기 합성곱 신경망은 출력이 8차원의 벡터가 산출되도록 사전 구성되어 있음)에 입력으로 인가함으로써, 8차원의 출력 벡터를 생성하는 단계, 상기 출력 벡터가 생성되면, 상기 출력 벡터의 상기 정답 벡터에 대한 근접도를 표상하는 제1 부분 손실 값을 연산하고, 상기 출력 벡터를 구성하는 성분을 상기 제1 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 제1 차량 번호판 이미지에 대한 출력 좌표를 생성한 후, 상기 출력 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제1 변환 이미지와 상기 제1 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제2 변환 이미지 사이의 화소 값들의 차이를 표상하는 제2 부분 손실 값을 연산하는 단계, 상기 제1 부분 손실 값과 상기 제2 부분 손실 값을 기초로 상기 수학식 4의 연산에 따른 손실 값을 연산한 후 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행하는 단계 및 상기 선택을 수행하는 단계, 상기 정답 벡터를 생성하는 단계, 상기 출력 벡터를 생성하는 단계, 상기 제2 부분 손실 값을 연산하는 단계 및 상기 기계학습을 수행하는 단계가 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행되도록 제어하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 제2 부분 손실 값을 연산하는 단계는 상기 수학식 2의 연산에 따라 상기 제1 부분 손실 값을 연산하고, 상기 수학식 3의 연산에 따라 상기 제2 부분 손실 값을 연산할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S330)에서는 상기 꼭짓점 추출 모델이 생성된 이후, 상기 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델의 기계학습이 완료된 상기 합성곱 신경망에 입력으로 인가하여 8차원의 예측 벡터를 산출하는 단계 및 상기 예측 벡터가 산출되면, 상기 예측 벡터를 구성하는 성분을 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 전자 장치의 동작 방법은 상기 신규 차량 번호판 이미지가 직사각형의 형상으로 투영 변환이 완료되면, 직사각형의 형상을 갖는 상기 신규 차량 번호판 이미지를 사전 기계학습이 완료된 차량 번호 인식 모델에 입력으로 인가하여 차량 번호를 인식하는 단계를 더 포함할 수 있다.
이상, 도 3을 참조하여 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법은 도 1과 도 2를 이용하여 설명한 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치
111: 트레이닝 데이터 저장부 112: 모델 생성부
113: 좌표 예측부 114: 좌표 변환부
115: 행렬 연산부 116: 투영 변환부
117: 선택 수행부 118: 트레이닝 셋 생성부
119: 출력 벡터 생성부 120: 부분 손실 값 연산부
121: 학습 수행부 122: 반복 수행 제어부
123: 예측 벡터 산출부 124: 좌표 생성부
125: 차량 번호 인식부

Claims (14)

  1. 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치에 있어서,
    복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있는 트레이닝 데이터 저장부;
    상기 트레이닝 데이터 저장부에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성하는 모델 생성부;
    상기 꼭짓점 추출 모델이 생성된 이후, 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 좌표 예측부;
    상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성하는 좌표 변환부;
    상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 호모그래피 행렬(homography matrix)을 연산하는 행렬 연산부; 및
    상기 호모그래피 행렬이 연산되면, 상기 호모그래피 행렬에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환(perspective transformation)시키는 투영 변환부
    를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 행렬 연산부는
    하기의 수학식 1의 관계식을 만족하는 상기 호모그래피 행렬을 연산하는 전자 장치.
    [수학식 1]
    Figure pat00019

    여기서,
    Figure pat00020
    가 호모그래피 행렬을 의미하며, w는 사전 설정된 스케일 값, x, y는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표의 x좌표 값, y좌표 값을 의미하고, x', y'은 각 예측 좌표에 대응되는 변환 좌표의 x좌표 값, y좌표 값을 의미함.
  3. 제1항에 있어서,
    상기 모델 생성부는
    상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지에 대한 선택을 수행하는 선택 수행부;
    상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지로 제1 차량 번호판 이미지가 선택된 경우, 상기 트레이닝 데이터 저장부로부터 상기 제1 차량 번호판 이미지와 상기 제1 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 제1 좌표를 추출하여, 상기 제1 좌표를 구성하는 4개의 x좌표 값들과 4개의 y좌표 값들이 성분으로 구성된 8차원의 정답 벡터를 생성하는 트레이닝 셋 생성부;
    상기 제1 차량 번호판 이미지를 합성곱 신경망 - 상기 합성곱 신경망은 출력이 8차원의 벡터가 산출되도록 사전 구성되어 있음 - 에 입력으로 인가함으로써, 8차원의 출력 벡터를 생성하는 출력 벡터 생성부;
    상기 출력 벡터가 생성되면, 상기 출력 벡터의 상기 정답 벡터에 대한 근접도를 표상하는 제1 부분 손실 값을 연산하고, 상기 출력 벡터를 구성하는 성분을 상기 제1 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 제1 차량 번호판 이미지에 대한 출력 좌표를 생성한 후, 상기 출력 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제1 변환 이미지와 상기 제1 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제2 변환 이미지 사이의 화소 값들의 차이를 표상하는 제2 부분 손실 값을 연산하는 부분 손실 값 연산부;
    상기 제1 부분 손실 값과 상기 제2 부분 손실 값을 기초로 하기의 수학식 2의 연산에 따른 손실 값을 연산한 후 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행하는 학습 수행부; 및
    상기 선택 수행부, 상기 트레이닝 셋 생성부, 상기 출력 벡터 생성부, 상기 부분 손실 값 연산부 및 상기 학습 수행부의 동작이 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행되도록 제어하는 반복 수행 제어부
    를 포함하는 전자 장치.
    [수학식 2]
    Figure pat00021

    여기서,
    Figure pat00022
    는 상기 손실 값의 의미하고,
    Figure pat00023
    은 상기 제1 부분 손실 값,
    Figure pat00024
    는 상기 제2 부분 손실 값,
    Figure pat00025
    는 0초과 1미만의 사전 설정된 가중치,
    Figure pat00026
    는 사전 설정된 상수 값을 의미함.
  4. 제3항에 있어서,
    상기 부분 손실 값 연산부는
    하기의 수학식 3의 연산에 따라 상기 제1 부분 손실 값을 연산하고, 하기의 수학식 4의 연산에 따라 상기 제2 부분 손실 값을 연산하는 전자 장치.
    [수학식 3]
    Figure pat00027

    여기서,
    Figure pat00028
    은 상기 제1 부분 손실 값을 의미하고,
    Figure pat00029
    는 상기 정답 벡터를 구성하는 k번째 성분,
    Figure pat00030
    는 상기 출력 벡터를 구성하는 k번째 성분을 의미함.
    [수학식 4]
    Figure pat00031

    여기서,
    Figure pat00032
    는 상기 제2 부분 손실 값을 의미하고, N은 상기 제1 차량 번호판 이미지를 구성하는 화소의 개수,
    Figure pat00033
    는 상기 제1 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 상기 제2 변환 이미지에서의 (i, j)지점의 화소 값,
    Figure pat00034
    는 상기 출력 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 상기 제1 변환 이미지에서의 (i, j)지점의 화소 값을 의미함.
  5. 제3항에 있어서,
    상기 좌표 예측부는
    상기 꼭짓점 추출 모델이 생성된 이후, 상기 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델의 기계학습이 완료된 상기 합성곱 신경망에 입력으로 인가하여 8차원의 예측 벡터를 산출하는 예측 벡터 산출부; 및
    상기 예측 벡터가 산출되면, 상기 예측 벡터를 구성하는 성분을 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 좌표 생성부
    를 포함하는 전자 장치.
  6. 제1항에 있어서,
    상기 신규 차량 번호판 이미지가 직사각형의 형상으로 투영 변환이 완료되면, 직사각형의 형상을 갖는 상기 신규 차량 번호판 이미지를 사전 기계학습이 완료된 차량 번호 인식 모델에 입력으로 인가하여 차량 번호를 인식하는 차량 번호 인식부
    를 더 포함하는 전자 장치.
  7. 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법에 있어서,
    복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있는 트레이닝 데이터 저장부를 유지하는 단계;
    상기 트레이닝 데이터 저장부에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성하는 단계;
    상기 꼭짓점 추출 모델이 생성된 이후, 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 단계;
    상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성하는 단계;
    상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 호모그래피 행렬(homography matrix)을 연산하는 단계; 및
    상기 호모그래피 행렬이 연산되면, 상기 호모그래피 행렬에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환(perspective transformation)시키는 단계
    를 포함하는 전자 장치의 동작 방법.
  8. 제7항에 있어서,
    상기 호모그래피 행렬을 연산하는 단계는
    하기의 수학식 1의 관계식을 만족하는 상기 호모그래피 행렬을 연산하는 전자 장치의 동작 방법.
    [수학식 1]
    Figure pat00035

    여기서,
    Figure pat00036
    가 호모그래피 행렬을 의미하며, w는 사전 설정된 스케일 값, x, y는 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표의 x좌표 값, y좌표 값을 의미하고, x', y'은 각 예측 좌표에 대응되는 변환 좌표의 x좌표 값, y좌표 값을 의미함.
  9. 제7항에 있어서,
    상기 꼭짓점 추출 모델을 생성하는 단계는
    상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지에 대한 선택을 수행하는 단계;
    상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지로 제1 차량 번호판 이미지가 선택된 경우, 상기 트레이닝 데이터 저장부로부터 상기 제1 차량 번호판 이미지와 상기 제1 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 제1 좌표를 추출하여, 상기 제1 좌표를 구성하는 4개의 x좌표 값들과 4개의 y좌표 값들이 성분으로 구성된 8차원의 정답 벡터를 생성하는 단계;
    상기 제1 차량 번호판 이미지를 합성곱 신경망 - 상기 합성곱 신경망은 출력이 8차원의 벡터가 산출되도록 사전 구성되어 있음 - 에 입력으로 인가함으로써, 8차원의 출력 벡터를 생성하는 단계;
    상기 출력 벡터가 생성되면, 상기 출력 벡터의 상기 정답 벡터에 대한 근접도를 표상하는 제1 부분 손실 값을 연산하고, 상기 출력 벡터를 구성하는 성분을 상기 제1 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 제1 차량 번호판 이미지에 대한 출력 좌표를 생성한 후, 상기 출력 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제1 변환 이미지와 상기 제1 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제2 변환 이미지 사이의 화소 값들의 차이를 표상하는 제2 부분 손실 값을 연산하는 단계;
    상기 제1 부분 손실 값과 상기 제2 부분 손실 값을 기초로 하기의 수학식 2의 연산에 따른 손실 값을 연산한 후 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행하는 단계; 및
    상기 선택을 수행하는 단계, 상기 정답 벡터를 생성하는 단계, 상기 출력 벡터를 생성하는 단계, 상기 제2 부분 손실 값을 연산하는 단계 및 상기 기계학습을 수행하는 단계가 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행되도록 제어하는 단계
    를 포함하는 전자 장치의 동작 방법.
    [수학식 2]
    Figure pat00037

    여기서,
    Figure pat00038
    는 상기 손실 값의 의미하고,
    Figure pat00039
    은 상기 제1 부분 손실 값,
    Figure pat00040
    는 상기 제2 부분 손실 값,
    Figure pat00041
    는 0초과 1미만의 사전 설정된 가중치,
    Figure pat00042
    는 사전 설정된 상수 값을 의미함.
  10. 제9항에 있어서,
    상기 제2 부분 손실 값을 연산하는 단계는
    하기의 수학식 3의 연산에 따라 상기 제1 부분 손실 값을 연산하고, 하기의 수학식 4의 연산에 따라 상기 제2 부분 손실 값을 연산하는 전자 장치의 동작 방법.
    [수학식 3]
    Figure pat00043

    여기서,
    Figure pat00044
    은 상기 제1 부분 손실 값을 의미하고,
    Figure pat00045
    는 상기 정답 벡터를 구성하는 k번째 성분,
    Figure pat00046
    는 상기 출력 벡터를 구성하는 k번째 성분을 의미함.
    [수학식 4]
    Figure pat00047

    여기서,
    Figure pat00048
    는 상기 제2 부분 손실 값을 의미하고, N은 상기 제1 차량 번호판 이미지를 구성하는 화소의 개수,
    Figure pat00049
    는 상기 제1 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 상기 제2 변환 이미지에서의 (i, j)지점의 화소 값,
    Figure pat00050
    는 상기 출력 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 상기 제1 변환 이미지에서의 (i, j)지점의 화소 값을 의미함.
  11. 제9항에 있어서,
    상기 예측 좌표를 생성하는 단계는
    상기 꼭짓점 추출 모델이 생성된 이후, 상기 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델의 기계학습이 완료된 상기 합성곱 신경망에 입력으로 인가하여 8차원의 예측 벡터를 산출하는 단계; 및
    상기 예측 벡터가 산출되면, 상기 예측 벡터를 구성하는 성분을 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 단계
    를 포함하는 전자 장치의 동작 방법.
  12. 제7항에 있어서,
    상기 신규 차량 번호판 이미지가 직사각형의 형상으로 투영 변환이 완료되면, 직사각형의 형상을 갖는 상기 신규 차량 번호판 이미지를 사전 기계학습이 완료된 차량 번호 인식 모델에 입력으로 인가하여 차량 번호를 인식하는 단계
    를 더 포함하는 전자 장치의 동작 방법.
  13. 제7항 내지 제12항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  14. 제7항 내지 제12항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.
KR1020200183303A 2020-12-24 2020-12-24 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법 KR102557697B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200183303A KR102557697B1 (ko) 2020-12-24 2020-12-24 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200183303A KR102557697B1 (ko) 2020-12-24 2020-12-24 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20220091995A true KR20220091995A (ko) 2022-07-01
KR102557697B1 KR102557697B1 (ko) 2023-07-19

Family

ID=82396881

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200183303A KR102557697B1 (ko) 2020-12-24 2020-12-24 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102557697B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101677972B1 (ko) 2016-07-26 2016-11-21 주식회사 싸인텔레콤 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법
KR101873202B1 (ko) 2018-05-24 2018-07-02 주식회사 싸인텔레콤 Ai칩이 형성된 현장용 인공지능형 ai칩구동용 다채널 원샷카메라모듈
CN110659638A (zh) * 2019-09-24 2020-01-07 北京精英路通科技有限公司 车牌的识别方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101677972B1 (ko) 2016-07-26 2016-11-21 주식회사 싸인텔레콤 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법
KR101873202B1 (ko) 2018-05-24 2018-07-02 주식회사 싸인텔레콤 Ai칩이 형성된 현장용 인공지능형 ai칩구동용 다채널 원샷카메라모듈
CN110659638A (zh) * 2019-09-24 2020-01-07 北京精英路通科技有限公司 车牌的识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
KR102557697B1 (ko) 2023-07-19

Similar Documents

Publication Publication Date Title
US10740897B2 (en) Method and device for three-dimensional feature-embedded image object component-level semantic segmentation
KR102229328B1 (ko) 로스 어그멘테이션을 이용하여 cnn의 파라미터를 조정하기 위한 학습 방법, 학습 장치 및 이를 이용한 테스팅 방법, 테스팅 장치
US20190355126A1 (en) Image feature extraction method and saliency prediction method using the same
US20110170784A1 (en) Image registration processing apparatus, region expansion processing apparatus, and image quality improvement processing apparatus
CN106952338B (zh) 基于深度学习的三维重建的方法、系统及可读存储介质
KR102482472B1 (ko) 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법
JP2018022360A (ja) 画像解析装置、画像解析方法およびプログラム
CN112464912B (zh) 基于YOLO-RGGNet的机器人端人脸检测方法
CN115699088A (zh) 从二维图像生成三维对象模型
JP7149124B2 (ja) 画像オブジェクト抽出装置及びプログラム
KR20200143193A (ko) 객체인식장치 및 객체인식방법
KR20210049655A (ko) 특징맵 생성방법 및 특징맵 생성장치
KR102181161B1 (ko) 영상 처리 방법 및 장치
US20210241523A1 (en) Electronic device for providing visual localization based on outdoor three-dimension map information and operating method thereof
KR102557697B1 (ko) 기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법
CN116468902A (zh) 图像的处理方法、装置和非易失性计算机可读存储介质
JP2020201944A (ja) オブジェクト認識装置およびオブジェクト認識方法
KR102679775B1 (ko) 딥러닝 기반의 이미지 해상도 개선을 수행할 수 있는 전자 장치 및 그 동작 방법
KR102427634B1 (ko) 변형가능 컨벌루션 네트워크를 정적 계산 기법을 사용하여 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN117729298B (zh) 一种基于动作驱动和口型驱动的照片驱动方法
WO2023162132A1 (ja) 画像変換装置、方法およびプログラム
CN115185267B (zh) 目标物编队点阵的生成方法、装置、电子设备及存储介质
WO2023162131A1 (ja) 画像変換装置、画像変換方法及び画像変換プログラム
WO2022196060A1 (ja) 情報処理装置、情報処理方法及び非一時的なコンピュータ可読媒体
WO2023026404A1 (ja) 順伝播装置、学習装置、情報処理システム、処理方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant