KR102492230B1

KR102492230B1 - 영상 워핑을 이용한 번호판 검출 장치 및 방법

Info

Publication number: KR102492230B1
Application number: KR1020200126571A
Authority: KR
Inventors: 김응태
Original assignee: 한국공학대학교산학협력단
Priority date: 2020-09-29
Filing date: 2020-09-29
Publication date: 2023-01-26
Also published as: KR20220043316A

Abstract

영상 워핑을 이용한 번호판 검출 장치 및 방법이 개시된다. 영상 워핑을 이용한 번호판 검출 방법은 번호판을 포함하는 입력 영상을 입력 받는 단계, 입력 영상에서 번호판의 꼭지점을 검출하는 단계, 번호판의 꼭지점에 기초하여 영상 워핑을 수행하여 워핑된 영상을 얻는 단계, 및 워핑된 영상에서 문자를 인식하는 단계를 포함한다.

Description

영상 워핑을 이용한 번호판 검출 장치 및 방법{License plate detection apparatus and method using image warping}

아래 실시예들은 영상 워핑을 이용한 번호판 검출 장치 및 방법에 관한 것이다.

오토바이는 인도, 중국, 태국, 베트남 등등 많은 나라의 대중 교통수단이다. 뿐만 아니라 한국, 일본 등등 다른 나라에서도 편리성 및 이동성 높기 때문에 오토바이는 지역 배달에 많이 사용되고 있다. 또한 몇 년 전부터 계속 성장하는 오토바이를 이용하여 택시 용도로 그랩 바이크(Grab Bike)도 등장하였다. 특히 동남아시아에서는 오토바이를 사용하는 인구가 계속 늘어남에 따라 오토바이 번호판 인식에 대한 요구가 증가하고 있다.

최근까지 비디오 감시 시스템(Video Surveillance Systems) 및 지능형 교통시스템(Intelligent Transportation Systems) 등 다양한 환경에서 차량용 번호판을 인식하는 연구들이 많이 진행되고 있다. 그 연구들의 경우 정한 배경, 위치, 조명 같은 조건하에서 성능이 개선되어져 왔다. 한편 최근에 다양한 분야에 심층 학습(Deep learning) 기술이 적용되어 더 좋은 성과들을 보이고 있다. 번호판 인식 분야에서도 Faster R-CNN 및 YOLOv2 같은 심층 합성곱 신경망 (Deep Convolution Neural Network)을 적용하여 인식률이 계속 높아지고 있다. 그러나 기존 딥러닝 기반의 번호판 검출 및 인식 방식들은 대부분 자동차, 버스, 트럭 대상으로 학습이 되어서 차량 번호판에 대해서는 검출 및 인식이 잘 되나 오토바이를 대상으로 적용 시 오류나 검출이 잘 안 되는 현상이 나타난다. R. Laroca의 논문에서 번호판 인식하는 결과를 분석할 때 오류가 주로 오토바이 영상에 생긴다는 것을 밝혀냈다. R. Laroca의 논문의 결과 분석에 따르면 오토바이에 대해서는 충분히 학습되지 않아서 오류가 많이 생긴 것이다.

한편 자동차와 오토바이의 번호판은 다른 점이 있다. 폭이 넓은 자동차의 번호판은 주로 1줄 형식이지만 폭이 좁은 오토바이의 번호판은 주로 2줄 형식이다. 따라서 오토바이의 번호판은 1줄 형식인 자동차의 번호판보다 문자를 인식하는 데에 더 복잡한 것이다. 특히 오토바이는 킥 스탠드를 이용하여 주차하기 때문에 주차할 때 오토바이가 많이 기울어져 번호판도 따라서 상당히 기울어진다. 따라서 기울어진 번호판의 인식률이 낮아지는 현상이 발생한다. 그러므로 다수의 오토바이들이 주차 시에도 빠르게 구별하여 인식할 수 있는 방식이 필요하다.

위에서 설명한 배경기술은 발명자가 본원의 개시 내용을 도출하는 과정에서 보유하거나 습득한 것으로서, 반드시 본 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.

한국 등록특허공보 제10-1948817 호(주차장용 번호판 인식시스템, 등록일: 2019년02월11일)
한국 등록특허공보 제10-1860391 호(전방위 카메라를 이용한 차량번호 인식 시스템 및 이를 이용한 방법, 등록일: 2018년05월16일)

일 실시예에 따른 번호판 인식 방법은 번호판을 포함하는 입력 영상을 입력 받는 단계; 상기 입력 영상에서 상기 번호판의 꼭지점을 검출하는 단계; 상기 번호판의 꼭지점에 기초하여 영상 워핑을 수행하여 워핑된 영상을 얻는 단계; 및 상기 워핑된 영상에서 문자를 인식하는 단계를 포함할 수 있다.

상기 번호판의 꼭지점을 검출하는 단계는, 상기 입력 영상의 에지 영상을 얻는 단계; 상기 에지 영상에서 번호판 테두리를 검출하는 단계; 및 상기 번호판 테두리에 기초하여 상기 번호판의 꼭지점을 검출하는 단계를 포함할 수 있다.

상기 번호판 테두리를 검출하는 단계는, 상기 에지 영상에서 직선 성분을 검출하는 단계; 상기 직선 성분 중 상기 번호판 테두리의 수직 축 및 수평 축 중 어느 한 축에 해당하는 제1 테두리 직선을 검출하는 단계; 상기 제1 테두리 직선의 바깥쪽 영역에 대한 마스크를 생성하는 단계; 상기 에지 영상과 상기 마스크를 결합하여 배경 노이즈 제거된 영상을 얻는 단계; 및 상기 배경 노이즈 제거된 영상으로부터 상기 번호판의 나머지 한 축에 해당하는 제2 테두리 직선을 검출하는 단계를 포함하고, 상기 번호판의 꼭지점은, 상기 제1 테두리 직선과 제2 테두리 직선에 기초하여 검출될 수 있다.

상기 영상 워핑은, 투영 변환을 사용한 기하학적 변형 방법을 통해 수행될 수 있다.

상기 제2 테두리 직선을 검출하는 단계는, 상기 배경 노이즈 제거된 영상에서 직선을 검출하는 단계; 상기 검출된 직선들 중 상기 제1 테두리 직선과 미리 결정된 범위 내의 각도를 이루는 직선들로 상기 제2 테두리 직선의 후보를 구성하는 단계; 및 상기 제2 테두리 직선의 후보 내에서 상기 제2 테두리 직선을 선택하는 단계를 포함할 수 있다.

일 실시예에 따른 문자 인식 방법은 적어도 하나의 문자를 포함하는 도면을 입력받는 단계; 도면의 일부 영역인 문자 영역을 검출하는 단계; 상기 문자 영역에 기반하여 영상 워핑을 수행하여 워핑 영상을 획득하는 단계; 및 상기 워핑 영상에서 문자를 확인하는 단계를 포함할 수 있다.

도 1은 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 장치의 구성을 도시하는 도면이다.
도 2는 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 장치 및 방법의 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 장치 및 방법의 YOLOv2 네트워크 구조를 도시하는 도면이다.
도 5는 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 장치 및 방법의 앵커박스를 도시하는 도면이다.
도 6은 일 실시예에 따른 영상 워핑의 영상 변형 및 변환을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 방법을 설명하기 위한 흐름도이다.
도 8은 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 방법의 예를 도시하는 도면이다.
도 9는 일 실시예에 따른 문자 인식의 대상 번호판의 모양을 도시하는 도면이다.
도 10은 일 실시예에 따른 영상 워핑을 이용한 도면부호 검출 방법을 설명하기 위한 흐름도이다.
도 11은 일 실시예에 따른 영상 워핑을 이용한 도면부호 검출 방법의 예를 도시하는 도면이다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.

번호판 자동인식(Automatic License Plate Recognition; ALPR)은 지능형 교통시스템 및 비디오 감시 시스템 등 많은 응용 분야에서 필요한 기술이다. 대부분의 연구는 자동차를 대상으로 번호판 감지 및 인식을 연구하였고, 오토바이를 대상으로 번호판 감지 및 인식 연구는 매우 적은 편이다. 오토바이는 다양한 각도로 기울어져 있으므로 번호판의 글자 및 숫자 인식하는 과정이 자동차에 비해 훨씬 더 복잡하다. 따라서 오토바이 번호판 특성에 맞는 앵커박스와 영상 워핑을 통해서 다양한 기울기의 오토바이 번호판 문자 인식율을 높이기 위한 방법이 필요하다. 이러한 문제를 해결에 관하여, 2줄 형식의 오토바이 번호판 인식을 위해 YOLOv2 기반으로 번호판에 맞는 앵커박스와 영상 워핑을 적용할 수 있다.

일반적인 번호판 인식 시스템은 특징 추출, 탐지, 분류, 위치 추정과 같은 단계들로 이루어져 있다. 특히 Edge, Corner, Harr-like, HOG(Histogram of Oriented Gradient) 와 같이 특징들을 사용하였다. 이런 기존 방법은 객체 데이터를 학습하는 과정이 필요 없으므로 구현이 용이한 장점이 있지만, 다양한 환경, 조명, 크기 등 여러 가지 조건들에 따라서 성능이 저하되는 단점도 있다.

한편 최근에 심층학습기술이 발전함에 따라 합성곱 신경망을 적용하여 다양한 영상처리 및 인식 분야에서 좋은 결과를 보이고 있다. 번호판 검출 및 인식하는 데도 마찬가지로 합성곱 신경망을 이용한 연구들이 늘어나고 있다. 심층학습 합성곱 신경망은 전통적인 분류기들과는 달리 기존의 특징벡터들을 사용하지 않으며, 훈련 샘플에 대하여 최적화된 벡터들을 스스로 학습하고, 이를 활용하여 특징맵(Feature Map)을 생성하여 사용하는 것이다. 그래서 객체 인식률을 높이는 데에 훈련 데이터세트가 중요한 역할을 한다. 현재 번호판 인식하기 위한 SSIG, AOLP, CD- HARD, UFPR-ALPR 등 많은 데이터 세트 등장하였는데 모든 데이터세트는 자동차, 버스, 트럭 위주로 만든 데이터 세트이다. 또한 심층학습 합성곱을 사용하여 객체 인식할 때 핵심 요소기술 중 하나는 경계박스(Bounding box)이다. 경계박스는 객체가 어떤 클래스인지 및 객체의 좌표 정보들을 담는다. Faster R-CNN 및 YOLOv2 모델에서는 모든 앵커박스를 먼저 설정하여 앵커박스 통하여 경계 박스를 찾는다. 앵커박스가 더 많을수록 객체 인식률을 높아지나 연산자가 늘어지기 때문에 속도가 느려진다. Faster R-CNN에서는 앵커박스가 9개 있으며 YOLOv2는 5개만 있다. 번호판은 영상에 비하면 상당히 작은 객체라서 Faster R-CNN는 YOLOv2보다 번호판을 잘 찾지만 속도가 많이 느리다.

일 실시예에서, 빠른 속도로 정확하게 번호판 인식하기 위해 번호판 검출은 2단계로 구성될 수 있다. 첫 번째는 입력 영상에 차량 찾는 단계이며 두 번째는 찾은 차량 영상에는 번호판 찾는 단계이다. 2 단계 나눠 번호판 인식하면 번호판은 찾은 차량 사진에 비하여 상당히 적당한 사이즈이기 때문에 속도가 빠르면서도 인식률을 많이 높일 수 있다.

도 1은 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 장치(100)의 구성을 도시하는 도면이다.

도 1을 참조하면, 영상 워핑을 이용한 번호판 검출 장치(100)는 입력 영상을 저장하는 메모리(120) 및 입력 영상에 대해 영상 처리를 수행하는 프로세서(110)를 포함할 수 있다. 다만, 번호판 검출 장치(100)의 구성은 위 구성에 한정되는 것은 아니고, 더 적거나 더 많은 구성을 포함할 수 있다.

일 실시예에 따르면, 프로세서(110)는 오토바이의 번호판을 검출하기 위해 입력된 영상에서 오토바이를 먼저 검출할 수 있다. 프로세서(110)는 검출된 오토바이 영역 내에서 번호판을 검출할 수 있다. 프로세서(110)는 검출된 번호판에 대해 영상 워핑을 수행할 수 있다. 프로세서(110)는 워핑된 영상에서 문자 인식을 수행할 수 있다.

일 실시예에 따르면, 프로세서(110)는 영상 워핑을 수행하기 위해 수신한 입력 영상에서 번호판의 꼭지점을 검출할 수 있다. 프로세서(110)는 검출한 번호판의 꼭지점에 기초하여 영상 워핑을 수행하고 워핑된 영상에서 문자를 인식할 수 있다.

프로세서(110)는 번호판의 꼭지점을 검출함에 있어서, 입력 영상의 에지 영상을 얻고 에지 영상에서 번호판의 테두리를 검출할 수 있다. 프로세서(110)는 검출된 번호판 테두리에 기초하여 번호판의 꼭지점을 검출할 수 있다.

프로세서(110)는 번호판의 테두리를 검출함에 있어서, 먼저 에지 영상에서 직선 성분을 검출할 수 있다. 프로세서(110)는 검출된 직선 성분 중 번호판의 수직 축 및 수평 축 중 어느 한 축에 해당하는 제1 테두리 직선을 검출할 수 있다. 프로세서(110)는 검출한 제1 테두리 직선의 바깥쪽 영역에 대한 마스크를 생성하고 마스크를 에지 영상과 결합하여 배경 노이즈 제거된 영상을 얻을 수 있다. 프로세서(110)는 배경 노이즈 제거된 영상으로부터 번호판의 나머지 한 축에 해당하는 제2 테두리 직선을 검출하고 제1 테두리 직선 및 제2 테두리 직선으로부터 번호판의 꼭지점을 검출할 수 있다.

프로세서(110)는 검출된 꼭지점에 기초하여 투영 변환을 사용한 기하학적 변형 방법을 통해 기울어진 번호판이 정면을 보도록 영상 워핑을 수행할 수 있다.

프로세서(110)는 제2 테두리 직선을 검출함에 있어서, 배경 노이즈 제거된 영상에서 직선들을 검출하고, 검출된 직선들 중 제1 테두리 직선과 미리 결정된 범위 내의 각도를 이루는 직선들로 제2 테두리 직선의 후보를 구성할 수 있다. 프로세서(110)는 제2 테두리 직선의 후보 내에서 제2 테두리 직선을 선택할 수 있다.

도 2는 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 방법을 설명하기 위한 흐름도이고, 도 3은 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 장치 및 방법의 동작을 설명하기 위한 도면이다.

도 2를 참고하면, 번호판 검출 방법은 번호판을 놓치지 않기 위해 단계(210) 및 단계(215)와 같이 입력 영상에서 오토바이를 먼저 검출하고 검출된 오토바이 영상에서 번호판을 찾는 2-스테이지 방식에 의해 번호판을 검출할 수 있다. 일 실시예에서, 단계(205)에서 영상이 입력될 수 있다. 단계(210)에서는 입력 영상에서 번호판을 검출하기 전에 먼저 오토바이가 검출될 수 있다. 단계(215)에서 오토바이가 검출된 범위 내에서 번호판이 검출될 수 있다. 단계(210)에서 검출되는 대상은 반드시 오토바이일 필요는 없고, 자동차, 버스 등 번호판을 포함하는 다른 물체일 수 있다. 또한 단계(210)에서 검출되는 대상이 반드시 차량에 한정되는 것은 아니고, 문자가 포함된 다른 물체일 수 있다. 예를 들어, 문자가 포함된 컵 등 다른 물체의 문자를 인식하기 위해 컵 등 다른 물체를 먼저 인식하고 그 안의 문자 영역을 인식할 수 있다. 오토바이 및 번호판 검출에 관하여는 도 4를 참조하여 아래에서 자세히 설명한다.

단계(220)에서, 검출된 번호판에 대해 영상 워핑이 수행될 수 있다. 번호판을 찾은 후 번호판의 문자를 잘 인식하기 위하여 영상 워핑 과정을 거쳐서 정면 번호판 영상으로 바꾼다. 도 3의 오토바이와 같이, 오토바이를 주차할 때 번호판이 항상 기울어짐을 알 수 있다. 기울어진 문자의 인식률이 떨어질 수 있으므로 번호판 문자 인식 단계 전에 번호판을 영상 워핑하여 보정해 줄 필요가 있다. 일 실시예에서, 영상 워핑 속도 측면을 고려하여 영상을 워핑하기 위해 번호판의 4개 꼭지점을 찾아서 투영 변환(Perspective Transformation)을 사용한 기하학적 방법을 사용할 수 있다. 영상 워핑 방법에 관하여는 도 5 및 도 7을 참조하여 아래에서 자세히 설명한다.

단계(225)에서, 워핑된 번호판 영상에서 문자를 인식할 수 있다. 일 실시예에서, 문자 인식에는 합성곱 신경망(Convolutional Neural Network; CNN)을 이용할 수 있다. 합성곱 신경망을 이용하여 문자 분할 및 인식을 따로 실행하지 않고 문자 분할 및 인식을 동시에 실행할 수 있다. 일 실시예에서, 합성곱 신경망에는 YOLOv2 네트워크를 수정한 합성곱 신경망 모델인 OCR-net을 이용할 수 있다. OCR-net은 많은 나라의 번호판과 인공 번호판을 같이 학습한 것이며, 입력 영상 크기는 200 x 160을 가진다. 다만, 문자 인식은 다양한 방식을 이용하여 수행될 수 있고, OCR-net을 이용한 방식에 한정되는 것은 아니다. OCR-net의 구조에 대하여는 도 8을 참조하여 아래에서 자세히 설명한다.

도 3을 참조하면, 도 2의 단계(210)와 같이 입력 영상(305)에서 번호판이 검출되기 전에 오토바이(310, 315)가 먼저 검출될 수 있다. 검출된 오토바이 영상에서 도 2의 단계(215)와 같이 각 오토바이(310, 315)의 번호판이 검출될 수 있다. 도 3에서 볼 수 있듯이, 각 오토바이(310, 315)의 번호판은 기울어진 상태로 검출될 수 있다. 기울어진 번호판에 대해 문자 인식을 수행하는 경우 인식률이 떨어질 수 있으므로 단계(220)와 같이 영상 워핑을 수행하여 워핑된 번호판 영상(320, 325)를 얻을 수 있다. 번호판의 영상 워핑을 수행한 뒤 워핑된 영상에서 단계(225)와 같이 문자 인식을 수행할 수 있다. 영상 워핑을 수행한 뒤 영상(330, 335)과 같이 문자 인식을 수행함으로써 인식률을 향상시킬 수 있다.

도 4는 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 장치 및 방법의 YOLOv2 네트워크 구조를 도시하는 도면이다.

앞서 언급하였듯, 일 실시예에서 오토바이 번호판을 검출하기 위해 2-스테이지 검출 방식이 사용될 수 있다. 2-스테이지 검출 방식의 각 스테이지는 합성곱 신경망으로 구성되어 총 2개의 합성곱 신경망 구조를 가질 수 있다. 첫 번째 합성곱 신경망 구조는 입력 영상에서 오토바이를 인식하기 위한 YOLOv2 모델일 수 있고, 두 번째 합성곱 신경망 구조는 오토바이 내 번호판을 인식하기 위한 Fast-YOLOv2 일 수 있다. Fast-YOLOv2 방식은 보다 간단한 배경에서 객체를 빨리 인식할 수 있으나 복잡한 환경에서는 인식률이 떨어질 수 있으므로 수행 속도 및 인식률을 고려하여 복잡한 배경을 갖는 입력 영상에서 오토바이 인식률을 높이기 위해 YOLOv2 방식이 사용되고, 간단한 배경을 가진 오토바이 번호판의 인식 속도를 높이기 위해 Fast-YOLOv2 방식이 사용될 수 있다. 다음으로, YOLOv2의 구조에 대하여 설명한다.

도 4를 참조하면, 일 실시예에 따른 합성곱 신경망 YOLOv2의 구조가 도시되어 있다. 도 4에서 YOLOv2의 입력 영상 크기는 416 x 416이며, 입력 영상은 13 x 13 그리드 셀(grid cell)로 나눈 것일 수 있다. 각각의 셀은 객체를 검출하도록 하며, 객체의 중심은 셀 안에 있어야 한다. 각각의 셀은 B개의 경계 박스 및 해당 경계 박스에 대한 컨피던스(confidence) 점수를 예측할 수 있다. 컨피던스 점수는 해당 박스 안에 객체가 있을 확률이 얼마나 되는지, 예측한 박스의 좌표가 얼마나 정확한지에 대한 확률 점수를 나타내며, 모델의 예측에 대한 반영이다.

YOLOv2와 Fast-YOLOv2의 각각의 모델은 클래스 수를 맞추기 위해 마지막 합성곱 레이어(Convolution layer)의 필터 수를 조절해야 할 수 있다. YOLOv2의 필터 개수를 계산하는 식은 다음과 같다.

수학식 1에서 Filters는 YOLOv2의 필터 개수를 의미한다. A는 앵커박스 개수이며, 상수 5는 각 경계박스의 4가지 좌표 (x, y, w, h)와 컨피던스를 포함하고, C는 클래스의 개수이다. (x,y)는 경계박스의 중심점을 의미하며, 그리드 셀의 범위에 대한 상대 값이 입력된다. (w,h)에는 전체 영상의 크기, 높이에 대한 상대 값이 입력된다. 만약 x가 그리드 셀의 가장 왼쪽에 있다면 x=0, y가 그리드 셀의 중간에 있다면 y=0.5이며 경계 박스의 넓이가 영상 넓이의 절반이라면 w=0.5이다.

도 4에서의 YOLOv2 네트워크 구조는 5개의 경계 박스를 이용하여 20개의 클래스를 가진 파스칼 VOC(Pascal VOC) 데이터세트에 대한 객체 인식을 위한 것으로 마지막 합성곱 레이어의 필터 수는 125이다. 오토바이 인식 및 번호판 인식은 모두 하나의 클래스를 인식하므로 클래스의 개수는 1이고 객체의 다양한 크기를 인식하기 위한 앵커 개수가 6이라면 필터 개수는 36이 될 수 있다. 앵커 박스에 관하여는 도 6을 참조하여 자세히 설명한다. 일 실시예에 따른 오토바이 검출 단계의 YOLOv2 구조 및 번호판 검출 단계의 Fast-YOLOv2의 구조는 각각 표1 및 표2와 같다.

	레이어(Layer)	필터(Filters)	크기(Size)	입력(Input)	출력(Output)
0	conv	32	3x3/1	416x416x3	416x416x32
1	max		2x2/2	416x416x32	208x208x32
2	conv	64	3x3/1	208x208x32	208x208x64
3	max		2x2/2	208x208x64	104x104x64
4	conv	128	3x3/1	104x104x64	104x104x128
5	conv	64	1x1/1	104x104x128	104x104x64
6	conv	128	3x3/1	104x104x64	104x104x128
7	max		2x2/2	104x104x128	52x52x128
8	conv	256	3x3/1	52x52x128	52x52x256
9	conv	128	1x1/1	52x52x256	52x52x128
10	conv	256	3x3/1	52x52x128	52x52x256
11	max		2x2/2	52x52x256	26x26x256
12	conv	512	3x3/1	26x26x256	26x26x512
13	conv	256	1x1/1	26x26x512	26x26x256
14	conv	512	3x3/1	26x26x256	26x26x512
15	conv	256	1x1/1	26x26x512	26x26x256
16	conv	512	3x3/1	26x26x256	26x26x512
17	max		2x2/2	26x26x512	13x13x512
18	conv	1024	3x3/1	13x13x512	13x13x1024
19	conv	512	1x1/1	13x13x1024	13x13x512
20	conv	1024	3x3/1	13x13x512	13x13x1024
21	conv	512	1x1/1	13x13x1024	13x13x512
22	conv	1024	3x3/1	13x13x512	13x13x1024
23	conv	1024	3x3/1	13x13x1024	13x13x1024
24	conv	1024	3x3/1	13x13x1024	13x13x1024
25	route	16
26	conv	64	1x1/1	26x26x512	26x26x64
27	reorg		/2	26x26x64	13x13x256
28	route	27 24
29	conv	1024	3x3/1	13x13x1280	13x13x1024
30	conv	36	1x1/1	13x13x1024	13x13x36
31	detection

	레이어(Layer)	필터(Filters)	크기(Size)	입력(Input)	출력(Output)
0	conv	16	3x3/1	416x416x3	200x160x16
1	max		2x2/2	416x416x16	208x208x16
2	conv	32	3x3/1	208x208x16	208x208x32
3	max		2x2/2	208x208x32	104x104x32
4	conv	64	3x3/1	104x104x32	104x104x64
5	max		2x2/2	104x104x64	52x52x64
6	conv	128	3x3/1	52x52x64	52x52x128
7	max		2x2/2	52x52x128	26x26x128
8	conv	256	3x3/1	26x26x128	26x26x256
9	max		2x2/2	26x26x256	13x13x256
10	conv	512	3x3/1	13x13x256	13x13x512
11	max		2x2/1	13x13x512	13x13x512
12	conv	1024	3x3/1	13x13x512	13x13x1024
13	conv	1024	3x3/1	13x13x1024	13x13x1024
14	conv	36	1x1/1	13x13x1024	13x13x36
15	detection

도 5는 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 장치 및 방법의 앵커 박스를 도시하는 도면이다. 객체의 위치를 정확히 감출하는 데에 앵커박스의 모양이 중요한 역할을 할 수 있다. 앵커박스의 모양이 객체의 모양과 닮을수록 객체의 위치를 잘 검출할 수 있다.

도 5를 참조하면, 기존 YOLOv2의 앵커 박스(505)와 일 실시예에 따른 오토바이용 앵커 박스(510) 및 번호판용 앵커 박스(515)가 도시되어 있다. 기존 YOLOv2의 앵커 박스는 자동차와 같은 객체를 검출하기 위해 만들어진 것으로 오토바이와 번호판에 최적화된 크기가 아니다. 일 실시예에서, 오토바이 특성에 맞는 번호판 인식을 위해 도 5와 같은 형태의 앵커 박스를 사용할 수 있다. 오토바이 및 번호판 인식률을 높이기 위해 앵커 박스의 개수는 6개일 수 있고 크기도 실제 정답인 경계 박스들에 대한 k-means 알고리즘 등을 통하여 기존 앵커 박스보다 오토바이 모양에 더 적합하게 만들어질 수 있다. 일 실시예에서, 도 5와 같이 오토바이용 앵커 박스(510)는 기존 앵커 박스(505)보다 오토바이 모양에 더 적합하고 번호판용 앵커 박스(515)는 보다 작은 크기로 설정될 수 있다.

다른 실시예에서, 오토바이 외 다른 물체를 검출하고자 하는 경우 해당 물체에 최적화된 앵커 박스를 사용할 수 있다.

도 6은 일 실시예에 따른 영상 워핑의 영상 변형 및 변환을 설명하기 위한 도면이다.

앞서 언급하였듯, 오토바이를 주차할 때 번호판이 항상 기울어지게 되고 기울어진 문자의 문자 인식률이 떨어질 수 있으므로 번호판 문자 인식 단계 전에 번호판을 영상 워핑하여 보정할 필요가 있다.

도 6을 참조하면, 영상 변형의 예가 도시된다. 영상 변형의 형태에는 원본 영상(605)의 크기가 변형되는 스케일링(610), 원본 영상(605)이 이동되는 영상 트랜스레이션(translation)(615), 원본 영상(605)이 회전 되는 로테이션(620), 선형 변형 및 이동 변형을 포함하는 아핀(affine) 변형(625), 원본 영상(605)의 원근 변형에 해당되는 투영(perspective)(630)이 있다.

영상을 변환하는 방법에 있어서는, 크기 및 각도가 보존되는 강체 변환(Rigid-body), 크기는 변하고 각도가 보존되는 유사 변환(similarity), 벡터 공간에서의 이동을 의미하는 선형 변환(linear), 선형 변환 및 이동 변환을 포함하며 선의 평행선은 유지되는 아핀 변환(affine), 아핀 변환에 평행선도 유지되지 않는 투영 변환(perspective)이 있다. 강체 변환에 의해 트랜스레이션(615), 로테이션(620)된 영상이 생성될 수 있고 유사 변환은 스케일링(610)에 해당될 수 있다.

일 실시예에서, 영상 워핑에는 번호판 4개의 꼭지점을 찾아 투영 변환을 사용하는 기하학적 변형 방법이 사용될 수 있다. 번호판에 대한 영상 워핑의 적용에 대해서는 도 7을 참조하여 아래에서 설명한다.

도 7은 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 방법을 설명하기 위한 흐름도이고, 도 8은 일 실시예에 따른 영상 워핑을 이용한 번호판 검출 방법의 예를 도시하는 도면이다. 도 8의 각 영상은 도 7의 단계를 거친 영상에 대응될 수 있다.

일 실시예에 따른 영상 워핑을 이용한 번호판 검출 방법은 번호판이 포함된 입력 영상을 입력 받는 단계, 입력 영상에서 번호판의 꼭지점을 검출하는 단계, 번호판의 꼭지점에 기초하여 영상 워핑을 수행하는 단계 및 워핑된 영상에서 문자를 인식하는 단계를 포함할 수 있다.

번호판의 꼭지점은 다양한 방법을 이용하여 찾을 수 있다. 일 실시예에서, 번호판의 꼭지점은 번호판의 수직인 2개의 테두리와 수평인 2개의 테두리가 만나는 점을 찾아서 검출할 수 있다.

일 실시예에서, 영상 워핑은 투영 변환일 수 있다.

도 7 및 도8을 참조하면, 단계(705)에서, 번호판이 포함된 입력 영상(805)이 입력될 수 있다. 일 실시예에서, 번호판이 포함된 입력 영상(805)은 단계(210) 및 단계(215)를 거쳐 검출된 번호판 영상일 수 있다. 다만, 번호판이 포함된 입력 영상(805)은 이에 한정되는 것은 아니고 단계(210) 및 단계(215)의 2-스테이지 방식과 달리 입력 영상으로부터 곧바로 번호판 영상을 검출하는 1-스테이지 방식 등 여러 방식에 의해 검출된 번호판 영상일 수 있고, 번호판 검출 과정을 거치지 않은 번호판을 포함하는 영상일 수도 있다.

단계(710)에서, 프로세서(110)는 번호판을 포함하는 입력 영상(805)의 에지를 나타내는 에지 영상(810)을 생성할 수 있다. 단계(715)에서, 프로세서(110)는 생성된 에지 영상(810)에서 영상(815)과 같이 번호판 테두리 검출을 위해 먼저 직선 성분을 검출할 수 있다. 단계(720)에서, 프로세서(110)는 영상(820)과 같이 검출된 직선 성분들 중 번호판 테두리의 수직 축 및 수평 축 중 어느 한 축에 해당하는 제1 테두리 직선을 검출할 수 있다. 번호판 테두리의 수직 축 및 수평 축 중 어느 한 축에 해당하는 테두리를 먼저 검출하고 그 다음 남은 축의 테두리를 찾음으로써 번호판의 테두리에 대한 부족한 검출을 예방할 수 있다. 각 축의 테두리는 2개의 직선을 포함하는데, 일 실시예에서 2개의 직선 중 하나는 원점까지의 거리가 가장 작은 직선이고 다른 하나는 원점까지의 거리가 가장 큰 직선일 수 있다.

단계(725)에서, 프로세서(110)는 검출된 제1 테두리 바깥쪽 영역에 대한 마스크(825)를 생성할 수 있다. 마스크(825)는 번호판 테두리 영역에만 픽셀 값을 살리고 테두리 영역 외의 픽셀 값을 삭제하는 역할을 할 수 있다. 마스크(825)를 적용함으로써 배경 노이즈를 제거할 수 있고 남은 테두리 후보 직선들을 기초로 테두리를 검출함으로써 정확성이 높아질 수 있다. 도 8의 실시예에서는 수직 축 테두리가 검출되고 수직 축 테두리 바깥 영역에 대한 마스크(825)가 생성되었지만, 수평 축 테두리가 수직 축 테두리보다 먼저 검출되는 것도 가능하고, 이 경우 수평 축 테두리 바깥 쪽 영역에 대한 마스크가 생성될 수 있다.

단계(730)에서, 프로세서(110)는 에지 영상(810)과 마스크(825)를 결합하여 배경 노이즈 제거된 영상(830)을 생성할 수 있다. 단계(725) 및 단계(730)의 마스크를 생성하고 적용하는 단계는 번호판 검출 및 문자 인식에 필수적인 단계는 아니므로 선택적으로 수행될 수 있다.

단계(735)에서, 프로세서(110)는 영상(835)과 같이 배경 노이즈 제거된 영상(830)으로부터 번호판의 나머지 한 축에 해당하는 제2 테두리 직선을 검출할 수 있다. 일 실시예에서 제2 테두리 직선을 검출할 때 제1 테두리 직선과의 각도를 고려할 수 있다. 번호판의 수직 축 테두리와 수평 축 테두리의 각도 차이는 90도이다. 그러나 번호판이 기울어질 때 각도의 차이는 90도보다 더 크거나 작을 수 있다. 따라서 제2 테두리 직선을 검출할 때 배경 노이즈 제거된 영상(830)에서 직선을 검출하고, 검출된 직선들 중 제1 테두리 직선과 미리 결정된 범위 내의 각도를 이루는 직선들로 제2 테두리 직선의 후보를 구성할 수 있다. 제2 테두리 직선은 구성된 후보 내에서 선택할 수 있다. 일 실시예에서, 제1 테두리 직선과 제2 테두리 직선의 각도 차이의 범위는 45도 내지 115도의 범위일 수 있다.

단계(740)에서, 프로세서(110)는 영상(840)과 같이 제1 테두리 직선과 제2 테두리 직선이 만나는 점을 번호판의 꼭지점으로 설정할 수 있다.

단계(745)에서, 프로세서(110)는 검출된 번호판의 꼭지점에 기초하여 영상 워핑을 수행하여 워핑된 영상(845)을 얻을 수 있다. 기울어진 번호판에 영상 워핑을 수행함으로써 워핑된 영상(845)은 정면 번호판 영상이 될 수 있다. 일 실시예에서, 영상 워핑에 의한 영상 변환을 위해서 다음 수학식 2의 3x3 매트릭스를 사용할 수 있다.

여기서,

,

는 소스 영상에서 사각형 꼭지점의 좌표이고,

,

는 대상 영상에서 해당 사각형 꼭지점의 좌표이며,

는 스케일 파라미터이고,

는 0, 1, 2, 3이다.

로 고정된다. 일 실시예에서, MapMatrix의 값은 단계(740)에서 찾은 꼭지점 좌표와 원하는 직사각형 영상의 4개 좌표

,

, ([0, 0], [200, 0], [200, 160], [0, 160])를 통해 3x3 매트릭스를 구한 후, 매트릭스를 대상 영상(805) 전체에 적용해서 아래 수학식 3을 통해 워핑된 영상(845)을 얻을 수 있다.

여기서, src는 입력 영상, dst는 워핑된 영상이고,

,

는 MapMatrix의 배열 원소 값이다.

단계(750)에서, 프로세서(110)는 워핑된 영상(845)에서 문자 인식을 수행할 수 있다. 문자 인식에 관하여, 도 9를 참고하여 아래에서 설명한다.

도 9는 일 실시예에 따른 문자 인식의 대상 번호판의 모양을 도시하는 도면이다.

앞서 언급하였듯이 문자 인식에는 합성곱 신경망(Convolutional Neural Network; CNN)을 이용할 수 있다. 일 실시예에서, 합성곱 신경망에는 YOLOv2 네트워크를 수정한 합성곱 신경망 모델인 OCR-net을 이용할 수 있다. OCR-net의 입력 영상 크기는 240 x 80이지만, 입력 영상 크기는 인식하고자 하는 번호판의 형태에 따라 조절할 수 있다.

도 9를 참조하면, 3:1 비율의 차량 번호판(905)과 3:2.2 비율의 오토바이 번호판(910)이 도시되어 있다. 일 실시예에서, 3:2 비율의 오토바이 번호판(910)의 문자를 인식하기 위하여 OCR-net의 입력 영상 크기는 200 x 160으로 조절될 수 있다. 이 경우 OCR-net의 구조는 표 3과 같다.

	레이어(Layer)	필터(Filters)	크기(Size)	입력(Input)	출력(Output)
0	conv	32	3x3/1	200x160x3	200x160x32
1	max		2x2/2	200x160x32	100x80x32
2	conv	64	3x3/1	100x80x32	100x80x64
3	max		2x2/2	100x80x64	50x40x64
4	conv	128	3x3/1	50x40x64 5	50x40x128
5	conv	64	1x1/1	50x40x128	50x40x64
6	conv	128	3x3/1	50x40x64	50x40x128
7	max		2x2/2	50x40x128	25x20x126
8	conv	256	3x3/1	25x20x126	25x20x256
9	conv	128	1x1/1	25x20x256	25x20x512
10	conv	256	3x3/1	25x20x512	25x20x256
11	conv	512	3x3/1	25x20x256	25x20x512
12	conv	256	3x3/1	25x20x512	25x20x256
13	conv	512	3x3/1	25x20x256	25x20x512
14	conv	80	1x1/1	25x20x512	25x20x80
15	detection

다만, 문자 인식은 다양한 방식을 이용하여 수행될 수 있고, OCR-net을 이용한 방식에 한정되는 것은 아니다.

일 실시예에서, 숫자(또는 글자)로 인식해야 하는 부분이 정해져 있고, 숫자(또는 글자)로 인식해야 하는 부분이 그와 반대로 글자(또는 숫자)로 인식된 경우 프로세서(110)는 그 글자(또는 숫자)와 비슷한 숫자(또는 글자)를 찾아서 해당 자리에 대입할 수 있다. 예컨대, 오토바이 번호판(910)과 같은 동남아 오토바이의 번호판은 번호판내 2개 라인을 가지는데 첫 번째 라인은 4가지 문자가 있고 그 중에 첫 번째, 두 번째, 네 번째 위치는 숫자이며 세 번째 자리는 글자이다. 두 번째 라인은 문자 4개 혹은 5개가 기재되는데, 모두 숫자이다. 이 경우 번호판(910)의 첫 번째 줄 3번째 자리에 숫자를 인식한 경우, 0은 D로, 1은 I로, 2는 Z로, 4는 L로, 5는 S로, 8은 B로, 6은 G로 바꾸어 대입할 수 있다. 첫 번째 줄 3번째 자리 외의 자리에 글자를 인식한 경우, D는 0으로, I는 1로, Z는 2로, L은 4로, S는 5로, B는 8로, G는 6으로 바꾸어 대입할 수 있다. 이로써 인식률을 더욱 향상시킬 수 있다.

도 10은 일 실시예에 따른 영상 워핑을 이용한 도면부호 검출 방법을 설명하기 위한 흐름도이고, 도 11은 일 실시예에 따른 영상 워핑을 이용한 도면 부호 검출 방법의 예를 도시하는 도면이다.

도 10 및 도 11을 참조하면, 합성곱 뉴럴 네트워크 기반의 영상 워핑을 통해 문자를 인식하는 영상 처리 방법은 건설 도면 등의 도면 상에서의 도면 부호 검출하는 데에도 적용될 수 있음이 도시되어 있다.

단계(1005)에서, 프로세서(110)는 도면(1105)을 입력 받을 수 있다. 단계(1010)에서, 프로세서(110)는 도면 내 문자 영역(1110, 1115 또는 1125)을 검출할 수 있다. 일 실시예에서, 도면 내 문자 영역 검출에는 합성곱 뉴럴 네트워크를 이용할 수 있다.

단계(1015)에서, 프로세서(110)는 검출된 문자 영역에 대해 영상 워핑을 수행할 수 있다. 일 실시예에서, 영상 워핑은 문자의 에지에 기초하여 문자를 포함하는 영역의 꼭지점을 검출하고 검출된 꼭지점에 기초하여 영상 워핑을 수행할 수 있다. 일 실시예에서, 검출된 문자 영역(1115)의 도면 부호가 기울어져 있는 경우 프로세서(110)는 영상 워핑을 수행하여 기울어지지 않은 문자 영역(1120)을 도출할 수 있다. 일 실시예에서, 검출된 문자 영역(1125)의 도면 부호가 상대적으로 작은 경우, 프로세서(110)는 영상의 크기를 조절하여 적절한 크기의 문자 영역(1130)을 얻을 수 있다.

단계(1020)에서, 프로세서(110)는 워핑된 영상에 기초하여 문자 인식을 수행할 수 있다. 일 실시예에서, 문자 인식에 합성곱 뉴럴 네트워크를 사용할 수 있다. 합성곱 뉴럴 네트워크는 OCR-net 구조일 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

번호판 검출 장치에 의해 수행되는 번호판 인식 방법에 있어서,
주차된 오토바이의 기울어진 번호판을 포함하는 입력 영상을 입력 받는 단계;
상기 입력 영상에서 상기 주차된 오토바이를 검출하는 단계;
상기 오토바이가 검출된 오토바이 영상으로부터 상기 번호판을 포함하는 에지 영상을 얻는 단계;
상기 에지 영상에서 직선 성분을 검출하는 단계;
상기 직선 성분 중 상기 번호판의 테두리의 수직 축 및 수평 축 중 어느 한 축에 해당하는 제1 테두리 직선을 검출하는 단계;
상기 제1 테두리 직선의 바깥쪽 영역에 대한 마스크를 생성하는 단계;
상기 에지 영상과 상기 마스크를 결합하여 배경 노이즈 제거된 영상을 얻는 단계;
상기 배경 노이즈 제거된 영상으로부터 상기 번호판의 나머지 한 축에 해당하는 제2 테두리 직선을 검출하는 단계;
상기 제1 테두리 직선과 상기 제2 테두리 직선에 기초하여 상기 번호판의 꼭지점을 검출하는 단계;
상기 번호판의 꼭지점에 기초하여 영상 워핑을 수행하여 워핑된 영상을 얻는 단계; 및
상기 워핑된 영상에서 문자를 인식하는 단계
를 포함하는 번호판 인식 방법.
삭제
삭제
제1항에 있어서,
상기 영상 워핑은,
투영 변환을 사용한 기하학적 변형 방법을 통해 수행되는,
번호판 인식 방법.
제4항에 있어서,
상기 제2 테두리 직선을 검출하는 단계는,
상기 배경 노이즈 제거된 영상에서 직선을 검출하는 단계;
상기 검출된 직선들 중 상기 제1 테두리 직선과 미리 결정된 범위 내의 각도를 이루는 직선들로 상기 제2 테두리 직선의 후보를 구성하는 단계; 및
상기 제2 테두리 직선의 후보 내에서 상기 제2 테두리 직선을 선택하는 단계
를 포함하는,
번호판 인식 방법.
삭제