KR20220049819A - 차량의 번호판의 꼭지점을 검출하는 인공 신경망을 학습시키는 방법 및 상기 인공 신경망을 이용하여 검출된 번호판을 재정렬하는 방법 - Google Patents

차량의 번호판의 꼭지점을 검출하는 인공 신경망을 학습시키는 방법 및 상기 인공 신경망을 이용하여 검출된 번호판을 재정렬하는 방법 Download PDF

Info

Publication number
KR20220049819A
KR20220049819A KR1020200133410A KR20200133410A KR20220049819A KR 20220049819 A KR20220049819 A KR 20220049819A KR 1020200133410 A KR1020200133410 A KR 1020200133410A KR 20200133410 A KR20200133410 A KR 20200133410A KR 20220049819 A KR20220049819 A KR 20220049819A
Authority
KR
South Korea
Prior art keywords
license plate
vehicle
target shape
neural network
interest
Prior art date
Application number
KR1020200133410A
Other languages
English (en)
Inventor
강충헌
김용성
김태완
이희열
양승지
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020200133410A priority Critical patent/KR20220049819A/ko
Publication of KR20220049819A publication Critical patent/KR20220049819A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시 예에 따른 차량 번호판 재정렬 장치에 의해 수행되는 차량의 번호판을 재정렬하는 방법은, 상기 차량을 촬영한 이미지로부터, 상기 차량의 번호판을 포함하는 관심 영역을 검출하는 단계; 기 학습된 제1 인공 신경망을 이용하여, 상기 관심 영역 중에서 상기 번호판의 복수의 꼭지점들에 대한 위치 정보를 검출하는 단계; 및 기 설정된 변환 알고리즘에 의해, 상기 복수의 꼭지점들에 대한 위치 정보와 기 설정된 타겟 형상에 기초하여 상기 번호판을 상기 타겟 형상에 재정렬하는 단계를 포함할 수 있다.

Description

차량의 번호판의 꼭지점을 검출하는 인공 신경망을 학습시키는 방법 및 상기 인공 신경망을 이용하여 검출된 번호판을 재정렬하는 방법 {METHOD OF TRAINING ARTIFICIAL NEURAL NETWORK FOR DETECTING VERTICES OF LICENSE PLATE, AND METHOD OF REARRANGING DETECTED LICENSE PLATE USING ARTIFICIAL NEURAL NETWORK}
본 발명은 차량의 번호판의 꼭지점을 검출하는 인공 신경망을 학습시키는 방법 및 상기 학습된 인공 신경망을 이용하여 검출된 번호판을 재정렬하는 방법에 관한 것이다.
종래의 차량 출입 제어 시스템에서는 차단기로 접근하는 차량이 땅에 매설된 루프 코일을 통과하면, 카메라가 차량을 촬영하고, 촬영한 이미지를 제어 장치로 전송하면, 제어 장치는 카메라로부터 수신한 이미지로부터 차량의 번호판을 인식하였다.
다만, 카메라가 설치된 위치나 차량이 접근하는 방향에 따라, 카메라가 차량의 정면을 촬영하지 못하는 경우, 카메라는 기울어진 번호판을 촬영하게 되는데, 이와 같이, 제어 장치가 기울어진 번호판으로부터 차량의 번호를 인식하는 성능이 저하되는 문제가 있다.
본 발명이 해결하고자 하는 과제는 전술한 문제를 해결하기 위하여, 인공 신경망을 이용하여, 차량을 촬영한 이미지에 포함된 관심 영역으로부터, 차량의 번호판의 꼭지점들에 대한 위치 정보를 검출하고, 변환 매트릭스를 이용하여 차량의 번호판을 타겟 형상으로 재정렬하는 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른 차량 번호판 재정렬 장치에 의해 수행되는 차량의 번호판을 재정렬하는 방법은, 상기 차량을 촬영한 이미지로부터, 상기 차량의 번호판을 포함하는 관심 영역을 검출하는 단계; 기 학습된 제1 인공 신경망을 이용하여, 상기 관심 영역 중에서 상기 번호판의 복수의 꼭지점들에 대한 위치 정보를 검출하는 단계; 및 기 설정된 변환 알고리즘에 의해, 상기 복수의 꼭지점들에 대한 위치 정보와 기 설정된 타겟 형상에 기초하여 상기 번호판을 상기 타겟 형상에 재정렬하는 단계를 포함할 수 있다.
상기 제1 인공 신경망은, 기 획득된 참조 차량의 번호판에 대한 참조 이미지 및 상기 참조 이미지 내에서의 상기 참조 차량의 번호판에 대한 참조 관심 영역의 참조 위치 정보를 획득하면, 상기 참조 이미지를 입력 데이터로서 이용하고, 상기 참조 관심 영역의 상기 참조 위치 정보를 상기 입력 데이터에 대한 레이블 데이터로서 이용하고, 상기 입력 데이터가 입력됨에 따라 상기 제1 인공 신경망에서 출력된 출력 위치 정보와, 상기 레이블 데이터의 차이를 나타내는 손실 함수를 이용하여, 더 학습되고, 상기 손실 함수는, 상기 출력 위치 정보와 상기 참조 위치 정보 사이의 거리, 상기 출력 위치 정보에 대응되는 출력 관심 영역의 윗변과 아랫변의 각도 및 상기 출력 관심 영역의 좌변과 우변의 각도에 기초하여 결정될 수 있다.
상기 변환 알고리즘은 상기 복수의 꼭지점들에 대한 위치 정보와 상기 타겟 형상에 기초하여, 변환 매트릭스(matrix)를 생성하고, 상기 변환 매트릭스는, 상기 번호판의 회전(rotation)과 관련된 성분, 상기 번호판의 평행 이동(translation)과 관련된 성분, 상기 번호판의 기울임(shearing)과 관련된 성분 및 상기 번호판의 크기 변환(scaling)과 관련된 성분을 포함할 수 있다.
상기 번호판이 재정렬된 상기 타겟 형상은 상기 번호판 및 상기 번호판 밖의 마진 영역을 포함할 수 있다.
상기 변환 알고리즘은 상기 복수의 꼭지점들에 대한 위치 정보와 상기 타겟 형상에 기초하여, 변환 매트릭스를 생성하고, 상기 번호판을 상기 타겟 형상에 재정렬하는 단계는, 상기 변환 매트릭스의 역변환과 상기 타겟 형상의 제1 타겟 형상 좌표를 연산하여, 상기 번호판을 재정렬할 제1 번호판 좌표를 결정하는 단계; 및 상기 번호판의 상기 제1 번호판 좌표의 색상 값을 상기 타겟 형상의 상기 제1 타겟 형상 좌표로 이동시켜, 상기 번호판의 형상을 상기 타겟 형상에 재정렬하는 단계를 포함할 수 있다.
상기 번호판이 재정렬된 상기 타겟 형상은 상기 번호판 및 상기 번호판 밖의 마진 영역을 포함하고, 상기 번호판을 상기 타겟 형상에 재정렬하는 단계는, 상기 타겟 형상 중에서 상기 제1 타겟 형상 좌표 외의 제2 타겟 형상 좌표와 상기 변환 매트릭스의 역변환을 연산하여, 상기 마진 영역을 재정렬할 제2 번호판 좌표를 결정하는 단계; 및 상기 마진 영역의 상기 제2 번호판 좌표의 색상 값을 상기 제2 타겟 형상 좌표로 이동시켜, 상기 마진 영역의 형상을 상기 타겟 형상에 재정렬하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 차량의 번호판의 꼭지점들을 검출하는 인공 신경망을 학습시키는 방법은, 제1 차량의 제1 번호판을 촬영하여 기 획득된 제1 이미지를 제1 입력 데이터로 이용하고, 기 획득된 상기 제1 번호판에 대한 제1 관심 영역의 제1 참조 위치 정보를 상기 제1 입력 데이터에 대한 제1 레이블 데이터로 이용하여, 신경망을 학습시키는 제1 단계; 및 제2 차량의 제2 번호판을 촬영하여 기 획득된 제2 이미지를 제2 입력 데이터로 이용하고, 기 획득된 상기 제2 번호판에 대한 제2 관심 영역의 제2 참조 위치 정보를 상기 제2 입력 데이터에 대한 제2 레이블 데이터로 이용하고, 상기 신경망에 상기 제2 입력 데이터가 입력됨에 따라, 상기 제2 관심 영역에 대해 추정된 위치 정보로서 출력된 제1 출력 위치 정보와 상기 제2 레이블 데이터의 차이를 나타내는 제1 손실 함수를 이용하여, 상기 신경망을 학습시키는 제2 단계를 포함하고, 상기 제1 손실 함수는, 상기 제1 출력 위치 정보와 상기 제2 참조 위치 정보 사이의 거리, 상기 제1 출력 위치 정보에 대응되는 출력 관심 영역의 윗변과 아랫변의 각도 및 상기 출력 관심 영역의 좌변과 우변의 각도에 기초하여 결정된 것일 수 있다.
상기 방법은, 제3 차량의 제3 번호판을 촬영하여 기 획득된 제3 이미지를 제3 입력 데이터로 이용하고, 기 획득된 상기 제3 번호판에 대한 제3 관심 영역의 제3 참조 위치 정보를 상기 제3 입력 데이터에 대한 제3 레이블 데이터로 이용하고, 상기 신경망에 상기 제3 입력 데이터가 입력됨에 따라, 상기 제3 관심 영역에 대해 추정된 위치 정보로서 출력된 제2 출력 위치 정보와 상기 제3 레이블 데이터의 차이를 나타내는 제2 손실 함수를 이용하여, 상기 제2 단계 이후에 상기 신경망을 학습시키는 제3 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 차량 번호판 재정렬 장치는, 차량을 촬영하는 카메라; 상기 차량의 번호판의 형상을 기 설정된 타겟 형상에 재정렬하는 번호판 재정렬 모델을 저장하는 메모리; 및 상기 번호판 재정렬 모델을 실행하여, 상기 차량을 촬영한 이미지로부터, 상기 차량의 번호판을 포함하는 관심 영역을 검출하고, 기 학습된 인공 신경망을 이용하여, 상기 관심 영역 중에서 상기 번호판의 복수의 꼭지점들에 대한 위치 정보를 검출하고, 상기 복수의 꼭지점들에 대한 위치 정보와 기 설정된 타겟 형상에 기초하여 결정된 변환 알고리즘을 이용하여, 상기 번호판을 상기 타겟 형상에 재정렬하는 프로세서를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체는, 차량을 촬영한 이미지로부터, 상기 차량의 번호판을 포함하는 관심 영역을 검출하는 단계; 기 학습된 제1 인공 신경망을 이용하여, 상기 관심 영역 중에서 상기 번호판의 복수의 꼭지점들에 대한 위치 정보를 검출하는 단계; 및 기 설정된 변환 알고리즘에 의해, 상기 복수의 꼭지점들에 대한 위치 정보와 기 설정된 타겟 형상에 기초하여 상기 번호판을 상기 타겟 형상에 재정렬하는 단계를 포함하는 차량의 번호판을 재정렬하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체는, 제1 차량의 제1 번호판을 촬영하여 기 획득된 제1 이미지를 제1 입력 데이터로 이용하고, 기 획득된 상기 제1 번호판에 대한 제1 관심 영역의 제1 참조 위치 정보를 상기 제1 입력 데이터에 대한 제1 레이블 데이터로 이용하여, 신경망을 학습시키는 제1 단계; 및 제2 차량의 제2 번호판을 촬영하여 기 획득된 제2 이미지를 제2 입력 데이터로 이용하고, 기 획득된 상기 제2 번호판에 대한 제2 관심 영역의 제2 참조 위치 정보를 상기 제2 입력 데이터에 대한 제2 레이블 데이터로 이용하고, 상기 신경망에 상기 제2 입력 데이터가 입력됨에 따라, 상기 제2 관심 영역에 대해 추정된 위치 정보로서 출력된 제1 출력 위치 정보와 상기 제2 레이블 데이터의 차이를 나타내는 제1 손실 함수를 이용하여, 상기 신경망을 학습시키는 제2 단계를 포함하고, 상기 제1 손실 함수는, 상기 제1 출력 위치 정보와 상기 제2 참조 위치 정보 사이의 거리, 상기 제1 출력 위치 정보에 대응되는 출력 관심 영역의 윗변과 아랫변의 각도 및 상기 출력 관심 영역의 좌변과 우변의 각도에 기초하여 결정된, 차량의 번호판의 꼭지점들을 검출하는 인공 신경망을 학습시키는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.
본 발명의 실시예에 의하면, 변환 매트릭스를 이용하여 차량의 번호판을 타겟 형상으로 재정렬함으로써, 기울어진 상태로 촬영된 번호판에 대한 인식 성능을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량 번호판 재정렬 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 번호판 재정렬 장치를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 번호판 인식 모델의 기능을 관념적으로 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 관심 영역 검출부를 학습시키는 방법을 나타내는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 번호판 꼭지점 검출부를 학습시키는 방법을 나타내는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 번호판 꼭지점 검출부에 의해 검출된 번호판의 꼭지점의 일 예시와 번호판 재정렬부에 의해 재정렬된 번호판에 대한 일 예시를 나타낸다.
도 7은 본 발명의 일 실시예에 따라 차량의 번호판을 재정렬하는 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일 실시예에 따라 번호판 꼭지점 검출부를 학습시키는 방법을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 차량 번호판 재정렬 장치를 나타내는 도면이고, 도 2는 본 발명의 일 실시예에 따른 차량 번호판 재정렬 장치를 나타내는 블록도이다.
도 1 및 도 2를 참조하면, 차량 번호판 재정렬 장치(100)는 프로세서(110), 카메라(120), 메모리(130) 및 송수신기(140)를 포함할 수 있다.
프로세서(110)는 차량 번호판 재정렬 장치(100)의 기능을 전반적으로 제어할 수 있다.
카메라(120)는 차량 번호판 재정렬 장치(100)로 접근하는 차량(V)을 촬영하고, 차량(V)에 대한 이미지를 생성할 수 있다. 본 명세서에서는, 차량(V)이 번호판 인식 장치(100)로 접근하는 것을 전제로 설명하지만, 이에 한정되지 않는다. 즉, 차량 번호판 재정렬 장치(100)가 설치된 위치, 차량(V)의 진입 방향, 차량 번호판 재정렬 장치(100)가 차량(V)의 번호판을 인식하고자 하는 목적 등에 따라, 차량(V)은 차량 번호판 재정렬 장치(100)가 아닌 다른 곳(예컨대, 주차 차단기 등)을 향해 이동할 수 있으며, 차량 번호판 재정렬 장치(100)는 이동하는 차량(V)의 전면, 후면 등을 촬영하여, 차량(V)에 대한 이미지를 생성할 수 있다.
메모리(130)는 번호판 재정렬 모델(200) 및 번호판 재정렬 모델(200)의 실행에 필요한 정보를 저장할 수 있다.
본 명세서에서 번호판 재정렬 모델(200)은 차량 번호판 재정렬 장치(100)의 기능을 수행하기 위한 소프트웨어(컴퓨터 프로그램 코드) 또는 그의 집합을 의미하는 것으로서, 일련의 명령어들에 의해 구현될 수 있다.
프로세서(110)는 번호판 재정렬 모델(200)을 실행하기 위해 메모리(130)에 저장된 번호판 재정렬 모델(200) 및 번호판 재정렬 모델(200)의 실행에 필요한 정보를 로드할 수 있다.
프로세서(110)는, 번호판 재정렬 모델(200)을 실행하여, 차량(V)을 촬영하여 차량(V)의 번호판에 대한 관심 영역을 검출하고, 상기 관심 영역으로부터 차량(V)의 번호판의 꼭지점들을 검출하고, 검출된 꼭지점들 및 기 설정된 타겟 형상(target shape)을 이용하여 변환 매트릭스를 생성하고, 상기 변환 매트릭스를 이용하여 차량(V)의 번호판을 상기 타겟 형상의 형태로 재정렬할 수 있다.
프로세서(110)는 번호판 재정렬 모델(200)을 실행하기 위하여 카메라(120), 메모리(130) 및 송수신기(140) 중에서 적어도 하나를 제어할 수 있다.
번호판 재정렬 모델(200)의 기능은 도 2를 통해 보다 자세하게 설명하기로 한다.
송수신기(140)는 번호판 재정렬 모델(200)을 실행하여 재정렬한 차량(V)의 번호판을 다른 장치(미도시)로 전송할 수 있다. 예컨대, 상기 다른 장치는 주차 차단기, 차량 번호판 관리 서버, 차량 주차 관리 서버 등일 수 있으나, 이에 한정되지 않는다.
도 3은 본 발명의 일 실시예에 따른 번호판 인식 모델의 기능을 관념적으로 나타내는 블록도이다.
도 1 내지 도 3을 참조하면, 번호판 재정렬 모델(200)은 관심 영역 검출부(210), 번호판 꼭지점 검출부(220), 변환 매트릭스 생성부(230), 번호판 재정렬부(240) 및 번호판 저장부(250)를 포함할 수 있다.
도 3에 도시된 관심 영역 검출부(210), 번호판 꼭지점 검출부(220), 변환 매트릭스 생성부(230), 번호판 재정렬부(240) 및 번호판 저장부(250)는 번호판 재정렬 모델(200)의 기능을 쉽게 설명하기 위하여 번호판 재정렬 모델(200)의 기능을 개념적으로 나눈 것으로서, 이에 한정되지 않는다. 즉, 실시예들에 따라, 관심 영역 검출부(210), 번호판 꼭지점 검출부(220), 변환 매트릭스 생성부(230), 번호판 재정렬부(240) 및 번호판 저장부(250)의 기능은 병합/분리 가능하며, 하나 이상의 프로그램에 포함된 일련의 명령어들로 구현될 수도 있다.
관심 영역 검출부(210)는 카메라(120)를 이용하여 촬영한 차량(V)에 대한 이미지로부터 관심 영역을 검출하고, 관심 영역에 대한 위치 정보를 생성할 수 있다. 실시예에 따라, 상기 관심 영역은 차량(V)의 번호판을 포함하는 바운딩 박스(Bounding Box)일 수 있으며, 상기 위치 정보는 상기 관심 영역의 (x, y) 좌표, 높이(height) 및 너비(width)를 포함할 수 있다.
관심 영역 검출부(210)는 상기 관심 영역을 검출하기 위하여 컴퓨터 비전(Computer Vision), 인공 신경망 등을 이용할 수 있다.
예컨대, 관심 영역 검출부(210)가 컴퓨터 비전을 이용하여 상기 관심 영역을 검출하는 경우, 상기 컴퓨터 비전은 상기 이미지 내에서 수평, 수직 성분의 에지를 검출하거나, 히스토그램을 추출하거나, 영상의 이진화 등의 방법을 통해 상기 관심 영역을 검출할 수 있다.
또한, 관심 영역 검출부(210)가 기 학습된 관심 영역 검출 신경망을 이용하여 상기 관심 영역을 검출하는 경우, 관심 영역 검출부(210)는 상기 관심 영역 검출 신경망에 차량(V)을 촬영한 이미지를 입력하면, 상기 관심 영역 검출 신경망이 상기 관심 영역에 대한 위치 정보를 출력함으로써, 상기 관심 영역을 검출할 수 있다. 이때, 상기 관심 영역 검출 신경망은, 차량(V)에 대한 이미지를 입력 받으면, 상기 관심 영역을 출력하도록 기 학습된 인공 신경망일 수 있다. 상기 관심 영역 검출 신경망을 학습시키는 방법은 도 4를 통해 보다 자세히 설명하기로 한다.
실시예에 따라, 관심 영역 검출부(210)는 상기 관심 영역을 검출한 신뢰도를 더 생성할 수 있다. 상기 신뢰도는 상기 관심 영역이 차량(V)의 번호판을 포함할 확률을 의미할 수 있다.
상기 관심 영역 검출부(210)는, 상기 신뢰도에 따라, 상기 관심 영역에 대한 위치 정보의 출력 여부를 결정할 수 있다. 예컨대, 상기 신뢰도가 기 설정된 임계치(예컨대, 0.5) 이상(또는 초과)이면 생성한 상기 관심 영역에 대한 위치 정보를 출력하고, 상기 신뢰도가 상기 임계치 미만(또는 이하(이면 생성한 상기 관심 영역에 대한 위치 정보를 출력하지 않을 수 있다.
번호판 꼭지점 검출부(220)는 관심 영역 검출부(210)가 생성한 관심 영역에 대한 위치 정보를 수신하고, 상기 관심 영역에 포함된 차량(V)의 번호판의 꼭지점들을 검출하고, 상기 꼭지점들의 위치 정보를 생성할 수 있다. 예컨대, 차량(V)의 번호판의 꼭지점들의 위치 정보는 네 개의 꼭지점들 각각의 (x, y) 좌표 정보를 포함할 수 있다.
실시예에 따라, 번호판 꼭지점 검출부(220)는, 상기 관심 영역의 위치 정보로부터 차량(V)의 번호판의 꼭지점들의 위치 정보를 생성하기 위해, 기 학습된 번호판 꼭지점 검출 신경망을 포함할 수 있다.
상기 번호판 꼭지점 검출 신경망은 상기 관심 영역의 위치 정보를 입력받으면, 상기 관심 영역에 포함된 차량(V)의 번호판의 꼭지점들의 위치 정보를 생성하도록 기 학습된 인공 신경망일 수 있다. 상기 번호판 꼭지점 검출 신경망을 학습시키는 방법은 도 5를 통해 보다 자세히 설명하기로 한다.
검출된 차량(V)의 번호판이 용이하게 인식되기 위해, 차량(V)의 번호판의 형상은 기 설정된 타겟 형상으로 재정렬될 수 있으며, 변환 매트릭스 생성부(230)는 차량(V)의 번호판의 형상을 상기 기 타겟 형상으로 재정렬하는데 사용되는 변환 매트릭스를 결정할 수 있다.
여기서, 상기 타겟 형상은 차량 번호판 재정렬 장치(100) 또는 차량(V)의 번호를 인식하는 다른 장치(미도시)가 카메라(120)를 이용하여 촬영한 차량(V)의 번호판을 용이하게 인식하기 위해 기 설정된 형식(크기, 방향, 기울어짐 등)의 형상일 수 있으며, 예컨대, 상기 타겟 형상은 직사각형, 평행사변형 등의 형상일 수 있다.
상기 변환 매트릭스는 아래의 수학식 1과 같이 나타내어질 수 있다.
Figure pat00001
변환 매트릭스(T)는 3×3 형태를 가질 수 있다. 이때, 실시예에 따라, 변환 매트릭스(T) 중에서 a(1, 1), b(1, 2), d(2, 1), 및 e(2, 2)는 검출된 차량(V)의 번호판의 회전(Rotation)(즉, 차량(V)의 번호판에 대한 위치 정보의 회전)과 관련된 성분일 수 있고, c(1, 3) 및 f(2, 3)는 검출된 차량(V)의 번호판의 평행 이동(translation)과 관련된 성분일 수 있고, g(3, 1) 및 h(3, 2)는 검출된 차량(V)의 번호판의 기울임(shearing)과 관련된 성분일 수 있고, 1(3, 3) (또는 a(1, 1), e(2, 2) 및 1(3, 3))는 크기 변환(scaling)과 관련된 성분일 수 있다.
변환 매트릭스(T)에 포함된 성분들은 아래의 수학식 2 내지 수학식 5를 이용하여 결정될 수 있다.
Figure pat00002
수학식 2에서, ui는 타겟 형상의 i-번째 꼭지점(i는 4 이하의 자연수)의 x 좌표를 나타내고, vi는 타겟 형상의 i-번째 꼭지점의 y 좌표를 나타내고,
Figure pat00003
는 차량(V)의 번호판의 i-번째 꼭지점의 x 좌표를 나타내고,
Figure pat00004
는 차량(V)의 번호판의 i-번째 꼭지점의 y 좌표를 나타낼 수 있다.
수학식 2에 나타난 타겟 형상의 i-번째 꼭지점의 위치 정보(ui, vi), 변환 매트릭스(T) 및 차량(V)의 번호판의 i-번째 꼭지점의 위치 정보(
Figure pat00005
,
Figure pat00006
) 사이의 관계에 의할 때, 타겟 형상의 i-번째 꼭지점의 위치 정보(ui, vi)는 아래의 수학식 3과 같이 나타내어질 수 있다.
Figure pat00007
Figure pat00008
상기 수학식 3의 i에 {1, 2, 3, 4}를 대입하고, 상기 수학식 3을 [a; b; c; d; e; f; g; h]에 대한 1×8 행렬로 나타내면, 타겟 형상의 i-번째 꼭지점의 위치 정보(ui, vi)는 아래의 수학식 4와 같이 나타내어지고, 따라서, 변환 매트릭스(T)는 수학식 5와 같이 나타내어질 수 있다.
Figure pat00009
Figure pat00010
Figure pat00011
즉, 수학식 5의 T는 변환 매트릭스를 1×8 행렬로 변환한 행렬이고, b는 타겟 형상의 i-번째 꼭지점의 위치 정보(ui, vi)를 1×8 행렬로 변환한 행렬이고, A는 변환 매트릭스(T)와 타겟 형상의 i-번째 꼭지점의 위치 정보(b)의 변환에 따라 생성된 행렬일 수 있다.
따라서, 결론적으로, 변환 매트릭스 생성부(230)는 상기 수학식 5의 A와 b를 이용하여 변환 매트릭스(T)를 결정할 수 있다.
번호판 재정렬부(240)는, 변환 매트릭스 생성부(230)가 결정한 변환 매트릭스(T)를 이용하여, 차량(V)의 번호판을 타겟 형상에 매핑할 수 있다.
실시예에 따라, 번호판 재정렬부(240)는 아래의 수학식 6을 이용하여 차량(V)의 번호판을 타겟 형상에 매핑할 수 있다.
Figure pat00012
즉, 번호판 재정렬부(240)는 타겟 형상에 포함된 각 좌표에 변환 매트릭스의 역변환(T-1)을 적용하여 차량(V)의 번호판에 포함된 좌표가 출력할 수 있다. 이를 통해, 번호판 재정렬부(240)는 차량(V)의 번호판에 포함된 좌표를 타겟 형상에 포함된 각 좌표에 대응시킬 수 있다.
번호판 재정렬부(240)는 차량(V)의 번호판에 포함된 각 좌표(즉, 각 좌표의 색상 값)를 대응되는 타겟 형상에 포함된 좌표로 이동(복사)시켜 차량(V)의 번호판을 타겟 형상에 매핑할 수 있으며, 번호판 재정렬부(240)는 차량(V)의 번호판의 형상을 타겟 형상으로 재정렬한, 재정렬된 번호판을 생성할 수 있다.
예컨대, 타겟 형상에 포함된 (1, 1) 좌표를 변환 매트릭스의 역변환(T-1)에 적용시키면 (2, 5)가 출력되고, 타겟 형상에 포함된 (2, 2) 좌표를 변환 매트릭스의 역변환(T-1)에 적용시키면 (3, 7)이 출력되는 경우, 번호판 재정렬부(240)는 차량(V)의 번호판 중에서 (2, 5) 좌표의 RGB 값을 타겟 형상의 (1, 1) 좌표로 이동시키고, 차량(V)의 번호판 중에서 (3, 7) 좌표의 RGB 값을 타겟 형상의 (2, 2) 좌표로 이동시켜, 차량(V)의 재정렬된 번호판을 생성할 수 있다.
번호판 재정렬부(240)가 타겟 형상에 포함된 각 좌표를 변환 매트릭스의 역변환(T-1)에 적용하는 경우, 타겟 형상에 포함된 좌표들 중 일부는 차량(V)의 번호판 밖의 좌표(즉, 마진(margin) 영역의 좌표)에 대응될 수도 있다. 이와 같은 경우, 번호판 재정렬부(240)는 마진 영역의 좌표(즉, 마진 영역의 좌표의 색상 값)를 타겟 형상에 포함되며 대응되는 좌표로 이동시켜 마진 영역 또한 타겟 형상에 매핑할 수 있다. 이와 같이, 타겟 형상은 차량(V)의 번호판뿐만 아니라 차량(V)의 번호판 밖의 마진 영역도 포함할 수 있다. 이는 카메라(120)가 차량(V)의 번호판을 촬영하는 각도에 따라 차량(V)의 번호판이 제대로 검출되지 않은 경우에도, 타겟 형상 내에 차량(V)의 번호판이 모두 포함될 수 있도록 하기 위함이다.
도 6을 참조하면, 도 6의 (a)는 번호판 꼭지점 검출부(220)에 의해 번호판의 꼭지점이 검출된 차량(V)의 번호판에 대한 이미지를 나타내고, 도 6의 (b)는 번호판 재정렬부(240)가 변환 매트릭스를 이용하여 차량(V)의 번호판을 타겟 형상에 대응시켜 생성한 차량(V)의 재정렬된 번호판에 대한 이미지를 나타낸다.
도 6의 (a)와 (b)을 살펴보면, 타겟 형상은 차량(V)의 재정렬된 번호판(LP) 이외에 마진 영역(MA)을 포함하고 있음을 확인할 수 있다.
도 4는 본 발명의 일 실시예에 따른 관심 영역 검출부를 학습시키는 방법을 나타내는 블록도이다.
도 3 및 도 4를 참조하면, 관심 영역 검출부(210)는 참조 차량을 기 촬영한 참조 이미지와 함께, 레이블(label)로서 상기 참조 이미지에 포함된 관심 영역의 참조 위치 정보를 입력 받으면, 상기 참조 이미지에 포함된 관심 영역의 위치 정보를 출력하도록 학습될 수 있다.
이때, 상기 참조 차량은, 관심 영역 검출부(210)를 학습시키는데 이용되는 상기 참조 이미지 상에 기 촬영된 차량을 의미하고, 상기 참조 이미지는 상기 참조 차량을 기 촬영한 이미지를 의미하고, 상기 참조 위치 정보는 상기 참조 이미지에 포함된 관심 영역의 기 확인된 위치 정보(즉, 정답 정보)를 의미할 수 있다.
실시예에 따라, 관심 영역 검출부(210)는 출력한 상기 참조 이미지에 포함된 관심 영역의 위치 정보와 레이블로서의 상기 참조 위치 정보의 차이를 나타내는 손실(loss)을 역전파(backpropagation) 값으로 더 입력 받고, 상기 손실 함수의 값을 0으로 만들도록 학습될 수 있다.
도 4에서는 설명의 편의상 관심 영역 검출부(210)를 학습시키는 방법으로 설명하였지만, 이에 한정되지 않는다. 즉, 관심 영역 검출부(210)가 관심 영역 검출 신경망을 포함하는 경우, 도 4에 따른 설명은 상기 관심 영역 검출 신경망을 학습시키는 방법에 준용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 번호판 꼭지점 검출부를 학습시키는 방법을 나타내는 블록도이다.
도 3 및 도 5를 참조하면, 번호판 꼭지점 검출부(220)는 참조 차량을 기 촬영한 참조 이미지에 포함된 관심 영역의 참조 위치 정보와 함께, 레이블로서 상기 관심 영역에 포함된 참조 차량의 번호판의 꼭지점들의 참조 위치 정보를 입력받으면, 상기 참조 차량의 번호판의 꼭지점들의 위치 정보를 출력하도록 학습될 수 있다.
이때, 상기 참조 차량은, 번호판 꼭지점 검출부(220)를 학습시키는데 이용되는 상기 참조 이미지 상에 기 촬영된 차량을 의미하고, 상기 참조 이미지는 상기 참조 차량을 기 촬영한 이미지를 의미하고, 상기 참조 차량의 번호판의 꼭지점들의 참조 위치 정보는 상기 참조 차량의 번호판의 꼭지점들의 기 확인된 위치 정보(즉, 정답 정보)를 의미할 수 있다.
실시예에 따라, 번호판 꼭지점 검출부(220)는 출력한 상기 참조 차량의 번호판의 꼭지점들의 위치 정보와 레이블로서의 상기 번호판의 꼭지점들의 참조 위치 정보의 차이를 나타내는 손실을 역전파 값을 더 입력 받고, 상기 손실 함수의 값을 0으로 만들도록 학습될 수 있다.
상기 손실 함수는 아래의 수학식 7과 같이 표현될 수 있다.
Figure pat00013
수학식 7의 우변에서 첫 번째 항은 정답 정보인 상기 참조 위치 정보와 출력한 상기 위치 정보와 사이의 거리에 관한 항으로서, 상기 위치 정보와 상기 참조 위치 정보 사이의 거리를 최소화 하도록 구성될 수 있다.
또한, 수학식 7의 우변에서 두 번째 항은, 출력한 상기 참조 차량의 번호판의 꼭지점들의 위치 정보를 이용하여 사각형을 그리는 경우, 상기 사각형의 윗변과 아랫변의 각도 차이에 관한 항으로서, 상기 윗변과 상기 아랫변의 각도 차이가 0이 되도록 구성될 수 있다.
또한, 수학식 7의 우변에서 세 번째 항은, 상기 사각형의 좌변과 우변의 각도 차이에 관한 항으로서, 상기 좌변과 상기 우변의 각도 차이가 0이 되도록 구성될 수 있다.
마지막으로, λ1과 λ2는 수학식 7의 우 변의 두 번째 항과 세 번째 항의 가중치를 나타내는 계수로서, 기 설정된 값일 수 있으나, 이에 한정되지 않는다. 즉, λ1과 λ2는 차량 번호판 재정렬 장치(100)의 운영자에 작동 과정에서 변경될 수도 있다.
도 5에서는 설명의 편의상 번호판 꼭지점 검출부(220)를 학습시키는 방법으로 설명하였지만, 이에 한정되지 않는다. 즉, 번호판 꼭지점 검출부(220)가 번호판 꼭지점 검출 신경망을 포함하는 경우, 도 5에 따른 설명은 상기 번호판 꼭지점 검출 신경망을 학습시키는 방법에 준용될 수 있다.
도 7은 본 발명의 일 실시예에 따라 차량의 번호판을 재정렬하는 방법을 나타내는 흐름도이다.
도 1 내지 도 3 및 도 7을 참조하면, 카메라(120)가 차량(V)을 촬영하면(S700), 관심 영역 검출부(210)는 카메라(120)를 이용하여 촬영한 차량(V)에 대한 이미지로부터 관심 영역을 검출하고, 관심 영역에 대한 위치 정보를 생성할 수 있다(S710).
번호판 꼭지점 검출부(220)는, 기 학습된 인공 신경망을 이용하여, 관심 영역 검출부(210)가 생성한 관심 영역으로부터, 상기 관심 영역에 포함된 차량(V)의 번호판의 꼭지점들을 검출하고, 상기 꼭지점들의 위치 정보를 생성할 수 있다(S720).
이후, 변환 매트릭스 생성부(230)가, 상기 꼭지점들에 대한 위치 정보와 기 설정된 타겟 형상을 이용하여, 상기 번호판의 형상을 상기 타겟 형상으로 변환하는 변환 매트릭스를 결정하면(S730), 번호판 재정렬부(240)는, 변환 매트릭스 및 상기 타겟 형상의 각 좌표를 이용하여, 차량(V)의 번호판의 형상을 타겟 형상으로 재정렬한, 재정렬된 번호판을 생성할 수 있다(S740).
도 8은 본 발명의 일 실시예에 따라 번호판 꼭지점 검출부를 학습시키는 방법을 나타내는 흐름도이다.
도 5 및 도 8을 참조하면, 번호판 꼭지점 검출부(220)는 차량의 번호판에 대한 관심 영역이 검출된 이미지를, 상기 이미지 내에서의 상기 관심 영역의 참조 위치 정보와 함께 획득할 수 있다(S800).
번호판 꼭지점 검출부(220)는 상기 관심 영역이 검출된 상기 이미지를 입력 데이터로서 이용하고, 상기 참조 위치 정보를 상기 입력 데이터에 대한 레이블 데이터로서 이용하고, 상기 입력 데이터 및 상기 레이블 데이터가 입력됨에 따라 번호판 꼭지점 검출부(200)에서 출력된 출력 위치 정보와, 상기 참조 위치 정보의 차이를 나타내는 손실 함수를 역전파 값으로 이용하여, 학습될 수 있다(S810).
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 전면 번호판 인식 장치
110: 프로세서
120: 카메라
130: 메모리
140: 송수신기
200: 번호판 인식 모델
210: 관심 영역 검출부
220: 번호판 꼭지점 검출부
230: 변환 매트릭스 생성부
240: 번호판 재정렬부
250: 번호판 저장부

Claims (13)

  1. 차량 번호판 재정렬 장치에 의해 수행되는 차량의 번호판을 재정렬하는 방법에 있어서,
    상기 차량을 촬영한 이미지로부터, 상기 차량의 번호판을 포함하는 관심 영역을 검출하는 단계;
    기 학습된 제1 인공 신경망을 이용하여, 상기 관심 영역 중에서 상기 번호판의 복수의 꼭지점들에 대한 위치 정보를 검출하는 단계; 및
    기 설정된 변환 알고리즘에 의해, 상기 복수의 꼭지점들에 대한 위치 정보와 기 설정된 타겟 형상에 기초하여 상기 번호판을 상기 타겟 형상에 재정렬하는 단계를 포함하는
    차량의 번호판을 재정렬하는 방법.
  2. 제1 항에 있어서,
    상기 제1 인공 신경망은,
    기 획득된 참조 차량의 번호판에 대한 참조 이미지 및 상기 참조 이미지 내에서의 상기 참조 차량의 번호판에 대한 참조 관심 영역의 참조 위치 정보를 획득하면, 상기 참조 이미지를 입력 데이터로서 이용하고, 상기 참조 관심 영역의 상기 참조 위치 정보를 상기 입력 데이터에 대한 레이블 데이터로서 이용하고, 상기 입력 데이터가 입력됨에 따라 상기 제1 인공 신경망에서 출력된 출력 위치 정보와, 상기 레이블 데이터의 차이를 나타내는 손실 함수를 이용하여, 더 학습되고,
    상기 손실 함수는,
    상기 출력 위치 정보와 상기 참조 위치 정보 사이의 거리, 상기 출력 위치 정보에 대응되는 출력 관심 영역의 윗변과 아랫변의 각도 및 상기 출력 관심 영역의 좌변과 우변의 각도에 기초하여 결정된
    차량의 번호판을 재정렬하는 방법.
  3. 제1 항에 있어서,
    상기 변환 알고리즘은 상기 복수의 꼭지점들에 대한 위치 정보와 상기 타겟 형상에 기초하여, 변환 매트릭스(matrix)를 생성하고,
    상기 변환 매트릭스는,
    상기 번호판의 회전(rotation)과 관련된 성분, 상기 번호판의 평행 이동(translation)과 관련된 성분, 상기 번호판의 기울임(shearing)과 관련된 성분 및 상기 번호판의 크기 변환(scaling)과 관련된 성분을 포함하는
    차량의 번호판을 재정렬하는 방법.
  4. 제1 항에 있어서,
    상기 번호판이 재정렬된 상기 타겟 형상은 상기 번호판 및 상기 번호판 밖의 마진 영역을 포함하는
    차량의 번호판을 재정렬하는 방법.
  5. 제1 항에 있어서,
    상기 변환 알고리즘은 상기 복수의 꼭지점들에 대한 위치 정보와 상기 타겟 형상에 기초하여, 변환 매트릭스를 생성하고,
    상기 번호판을 상기 타겟 형상에 재정렬하는 단계는,
    상기 변환 매트릭스의 역변환과 상기 타겟 형상의 제1 타겟 형상 좌표를 연산하여, 상기 번호판을 재정렬할 제1 번호판 좌표를 결정하는 단계; 및
    상기 번호판의 상기 제1 번호판 좌표의 색상 값을 상기 타겟 형상의 상기 제1 타겟 형상 좌표로 이동시켜, 상기 번호판의 형상을 상기 타겟 형상에 재정렬하는 단계를 포함하는
    차량의 번호판을 재정렬하는 방법.
  6. 제5 항에 있어서,
    상기 번호판이 재정렬된 상기 타겟 형상은 상기 번호판 및 상기 번호판 밖의 마진 영역을 포함하고,
    상기 번호판을 상기 타겟 형상에 재정렬하는 단계는,
    상기 타겟 형상 중에서 상기 제1 타겟 형상 좌표 외의 제2 타겟 형상 좌표와 상기 변환 매트릭스의 역변환을 연산하여, 상기 마진 영역을 재정렬할 제2 번호판 좌표를 결정하는 단계; 및
    상기 마진 영역의 상기 제2 번호판 좌표의 색상 값을 상기 제2 타겟 형상 좌표로 이동시켜, 상기 마진 영역의 형상을 상기 타겟 형상에 재정렬하는 단계를 포함하는
    차량의 번호판을 재정렬하는 방법.
  7. 제1 차량의 제1 번호판을 촬영하여 기 획득된 제1 이미지를 제1 입력 데이터로 이용하고, 기 획득된 상기 제1 번호판에 대한 제1 관심 영역의 제1 참조 위치 정보를 상기 제1 입력 데이터에 대한 제1 레이블 데이터로 이용하여, 신경망을 학습시키는 제1 단계; 및
    제2 차량의 제2 번호판을 촬영하여 기 획득된 제2 이미지를 제2 입력 데이터로 이용하고, 기 획득된 상기 제2 번호판에 대한 제2 관심 영역의 제2 참조 위치 정보를 상기 제2 입력 데이터에 대한 제2 레이블 데이터로 이용하고, 상기 신경망에 상기 제2 입력 데이터가 입력됨에 따라, 상기 제2 관심 영역에 대해 추정된 위치 정보로서 출력된 제1 출력 위치 정보와 상기 제2 레이블 데이터의 차이를 나타내는 제1 손실 함수를 이용하여, 상기 신경망을 학습시키는 제2 단계를 포함하고,
    상기 제1 손실 함수는,
    상기 제1 출력 위치 정보와 상기 제2 참조 위치 정보 사이의 거리, 상기 제1 출력 위치 정보에 대응되는 출력 관심 영역의 윗변과 아랫변의 각도 및 상기 출력 관심 영역의 좌변과 우변의 각도에 기초하여 결정된
    차량의 번호판의 꼭지점들을 검출하는 인공 신경망을 학습시키는 방법.
  8. 제7 항에 있어서,
    제3 차량의 제3 번호판을 촬영하여 기 획득된 제3 이미지를 제3 입력 데이터로 이용하고, 기 획득된 상기 제3 번호판에 대한 제3 관심 영역의 제3 참조 위치 정보를 상기 제3 입력 데이터에 대한 제3 레이블 데이터로 이용하고, 상기 신경망에 상기 제3 입력 데이터가 입력됨에 따라, 상기 제3 관심 영역에 대해 추정된 위치 정보로서 출력된 제2 출력 위치 정보와 상기 제3 레이블 데이터의 차이를 나타내는 제2 손실 함수를 이용하여, 상기 제2 단계 이후에 상기 신경망을 학습시키는 제3 단계를 더 포함하는
    차량의 번호판의 꼭지점들을 검출하는 인공 신경망을 학습시키는 방법.
  9. 차량을 촬영하는 카메라;
    상기 차량의 번호판의 형상을 기 설정된 타겟 형상에 재정렬하는 번호판 재정렬 모델을 저장하는 메모리;
    상기 번호판 재정렬 모델을 실행하여, 상기 차량을 촬영한 이미지로부터, 상기 차량의 번호판을 포함하는 관심 영역을 검출하고, 기 학습된 인공 신경망을 이용하여, 상기 관심 영역 중에서 상기 번호판의 복수의 꼭지점들에 대한 위치 정보를 검출하고, 상기 복수의 꼭지점들에 대한 위치 정보와 기 설정된 타겟 형상에 기초하여 결정된 변환 알고리즘을 이용하여, 상기 번호판을 상기 타겟 형상에 재정렬하는 프로세서를 포함하는
    차량 번호판 재정렬 장치.
  10. 제9 항에 있어서,
    상기 인공 신경망은,
    기 획득된 참조 차량의 번호판에 대한 참조 이미지 및 상기 참조 이미지 내에서의 상기 참초 차량의 번호판에 대한 참조 관심 영역의 참조 위치 정보를 획득하면, 상기 참조 이미지를 입력 데이터로서 이용하고, 상기 참조 관심 영역의 상기 참조 위치 정보를 상기 입력 데이터에 대한 레이블 데이터로서 이용하고, 상기 입력 데이터 및 상기 레이블 데이터가 입력됨에 따라 상기 인공 신경망에서 출력된 출력 위치 정보와, 상기 참조 위치 정보의 차이를 나타내는 손실 함수를 상기 입력 데이터 및 상기 레이블 데이터와 함께 입력받아, 더 학습되고,
    상기 손실 함수는,
    상기 출력 위치 정보와 상기 참조 위치 정보 사이의 거리, 상기 출력 위치 정보에 대응되는 출력 관심 영역의 윗변과 아랫변의 각도 및 상기 출력 관심 영역의 좌변과 우변의 각도에 기초하여 결정된
    차량 번호판 재정렬 장치.
  11. 제9 항에 있어서,
    상기 변환 알고리즘은,
    상기 번호판의 회전(rotation)과 관련된 정보, 상기 번호판의 평행 이동(translation)과 관련된 정보, 상기 번호판의 기울임(shearing)과 관련된 성분 및 상기 번호판의 크기 변환(scaling)과 관련된 정보를 포함하는
    차량 번호판 재정렬 장치.
  12. 제9 항에 있어서,
    상기 프로세서는,
    상기 변환 알고리즘을 이용하여, 상기 복수의 꼭지점들에 대한 위치 정보와 상기 타겟 형상에 기초하여, 변환 매트릭스를 생성하고,
    상기 변환 매트릭스의 역변환과 상기 타겟 형상의 제1 타겟 형상 좌표를 연산하여, 상기 번호판을 재정렬할 제1 번호판 좌표를 결정하고,
    상기 번호판의 상기 제1 번호판 좌표의 색상 값을 상기 타겟 형상의 상기 제1 타겟 형상 좌표로 이동시켜, 상기 번호판의 형상을 상기 타겟 형상에 재정렬하는
    차량 번호판 재정렬 장치.
  13. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    제1 항 내지 제8 항 중에서 어느 하나에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 프로그램.
KR1020200133410A 2020-10-15 2020-10-15 차량의 번호판의 꼭지점을 검출하는 인공 신경망을 학습시키는 방법 및 상기 인공 신경망을 이용하여 검출된 번호판을 재정렬하는 방법 KR20220049819A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200133410A KR20220049819A (ko) 2020-10-15 2020-10-15 차량의 번호판의 꼭지점을 검출하는 인공 신경망을 학습시키는 방법 및 상기 인공 신경망을 이용하여 검출된 번호판을 재정렬하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200133410A KR20220049819A (ko) 2020-10-15 2020-10-15 차량의 번호판의 꼭지점을 검출하는 인공 신경망을 학습시키는 방법 및 상기 인공 신경망을 이용하여 검출된 번호판을 재정렬하는 방법

Publications (1)

Publication Number Publication Date
KR20220049819A true KR20220049819A (ko) 2022-04-22

Family

ID=81452423

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200133410A KR20220049819A (ko) 2020-10-15 2020-10-15 차량의 번호판의 꼭지점을 검출하는 인공 신경망을 학습시키는 방법 및 상기 인공 신경망을 이용하여 검출된 번호판을 재정렬하는 방법

Country Status (1)

Country Link
KR (1) KR20220049819A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704467A (zh) * 2023-08-04 2023-09-05 哪吒港航智慧科技(上海)有限公司 一种车辆防砸自动识别方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704467A (zh) * 2023-08-04 2023-09-05 哪吒港航智慧科技(上海)有限公司 一种车辆防砸自动识别方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
Shin et al. Vision-based navigation of an unmanned surface vehicle with object detection and tracking abilities
US8467596B2 (en) Method and apparatus for object pose estimation
Steder et al. Robust on-line model-based object detection from range images
JP2018022360A (ja) 画像解析装置、画像解析方法およびプログラム
WO2021120574A1 (en) Obstacle positioning method and apparatus for autonomous driving system
CN114898313B (zh) 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质
CN115496923B (zh) 一种基于不确定性感知的多模态融合目标检测方法及装置
CN114118252A (zh) 一种基于传感器多元信息融合的车辆检测方法及检测装置
KR102270827B1 (ko) 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
JP2008217803A (ja) 画像認識システム及びその認識方法並びにプログラム
US20230021591A1 (en) Model generation method, model generation apparatus, non-transitory storage medium, mobile object posture estimation method, and mobile object posture estimation apparatus
CN112990049A (zh) 用于车辆自动驾驶的aeb紧急制动方法、装置
KR20220049864A (ko) 인식한 번호판의 각도에 기초하여 차량의 번호를 인식하는 방법
Duan et al. Real time road edges detection and road signs recognition
KR20220049819A (ko) 차량의 번호판의 꼭지점을 검출하는 인공 신경망을 학습시키는 방법 및 상기 인공 신경망을 이용하여 검출된 번호판을 재정렬하는 방법
Zhou et al. Improved YOLOv7 models based on modulated deformable convolution and swin transformer for object detection in fisheye images
Moseva et al. Development of a System for Fixing Road Markings in Real Time
CN116883870A (zh) 一种基于深度学习的无人机落石目标检测方法及装置
JP2017182436A (ja) 画像認識装置、及び画像認識プログラム
Palmer et al. Scale proportionate histograms of oriented gradients for object detection in co-registered visual and range data
Schulz et al. Pedestrian recognition from a moving catadioptric camera
JP4789526B2 (ja) 画像処理装置、画像処理方法
CN115760888A (zh) 图像处理方法、装置、计算机及可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination