KR102460732B1 - 차량 번호판 인식 방법 및 이러한 방법을 수행하는 장치 - Google Patents

Abstract

본 발명은 차량 번호판 인식 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 차량 번호판 인식 방법은 번호판 인식 장치가 동영상을 수신하는 단계, 번호판 인식 장치가 상기 동영상에 포함된 차량의 번호판 이미지를 기반으로 최종 인식 번호에 대한 정보를 결정하는 단계를 포함하되, 최종 인식 번호는 단일 프레임 인식 방법 또는 다중 프레임 인식 방법을 기반으로 결정될 수 있다.

Description

차량 번호판 인식 방법 및 이러한 방법을 수행하는 장치{Method for recognition of vehicle license plate and apparatus for performing the method}

본 발명은 차량 번호판 인식 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 보다 상세하게는 동영상 내에 차량의 번호판을 인식하여 차량 번호판 정보를 사용자에게 제공하기 위한 차량 번호판 인식 방법 및 이러한 방법을 수행하는 장치에 관한 것이다.

최근 차량 증가와 함께 교통 혼잡 문제가 커지면서, 지능형 교통 시스템(intelligent transport system, ITS)에 대한 중요성이 부각되고 있다. ITS는 기존의 교통 시스템을 전자, 제어 및 통신 기술과 접목하여 차량 관련 이벤트를 효율적으로 관리하기 위한 시스템으로써 과속 차량 단속 및 무인 주차장 관리, 불법 차량 감시, 교통 흐름 제어 등에 활용되고 있으며, 향후 CCTV, 차량용 블랙박스, 모바일 기기 등 보다 다양한 환경에서 활용될 것으로 예상된다.

다양한 환경에서의 ITS의 활용이 기대됨에 따라, 영상 내 차량 위치 및 촬영 각도에 강인한 번호판 인식 시스템의 필요성이 대두되고 있다. 대부분의 지능형 교 통 시스템에서는 차량의 인식이 선행되어야 하며, 이는 차량 번호판 인식을 통해 이루어진다. 현재까지 제안된 번호판 인식 시스템은 인식률의 향상을 위해 영상 내 번호판의 위치 및 촬영 각도가 제한적인 경우가 대부분이다. 다양한 환경에서의 ITS 활용은 영상 내 차량의 위치 및 촬영 각도를 특정 상황에 국한 시킬 수 없다는 것을 의미하므로, 이러한 환경 변수에 강인한 번호판 인식 시스템의 개발이 필요하다. 영상 내 차량의 위치 및 촬영 각도에 강인한 번호판 인식을 위해서는 오검출된 번호판 영역을 효과적으로 제거하는 과정이 필요하다.

번호판 인식 시스템은 크게 번호판 검출, 번호판 내 글자추출, 글자인식 단계로 구성되며, 번호판 검출을 위한 기존 기법으로는 색상 정보를 이용한 기법, 번호판 내 글자 및 테두리에서 발생하는 에지를 이용한 기법 등이 존재한다.

이러한 기법을 사용하는 경우에도 원본 이미지의 상태가 좋지 못한 경우, 인식 정확도가 떨어지게 된다. 따라서, 원본 이미지의 상태가 좋지 못한 경우에도 번호판의 인식 성능을 높일 수 있는 방법에 대한 연구가 필요하다.
선행기술로 한국공개특허 제10-2022-0049864호가 있다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은, 영상에 촬상된 차량의 번호판 인식 성능을 높이고 사용자에게 보다 정확한 차량 번호판 정보를 제공하는 것을 목적으로 한다.

또한, 본 발명은, 단일 프레임 또는 다중 프레임 모두에 대하여 차량 번호판 인식 성능을 높이고, 차량 번호판 인식 능력을 향상 시키기 위한 학습 데이터를 생성하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 실시예에 따르면, 차량 번호판 인식 방법은 번호판 인식 장치가 동영상을 수신하는 단계, 상기 번호판 인식 장치가 상기 동영상에 포함된 차량의 번호판 이미지를 기반으로 최종 인식 번호에 대한 정보를 결정하는 단계를 포함하되, 상기 최종 인식 번호는 단일 프레임 인식 방법 또는 다중 프레임 인식 방법을 기반으로 결정될 수 있다.

한편, 상기 단일 프레임 인식 방법은 하나의 프레임을 기반으로 상기 최종 인식 번호를 결정하고, 상기 다중 프레임 인식 방법은 복수의 프레임을 기반으로 상기 최종 인식 번호를 결정할 수 있다.

또한, 상기 다중 프레임 인식 방법은 숫자 조합 알고리즘을 기반으로 상기 최종 인식 번호를 결정하고, 상기 숫자 조합 알고리즘은 상기 복수의 프레임에 대응되는 복수의 번호판 이미지 각각에 대한 인식 숫자 및 인식 확률값을 기반으로 상기 최종 인식 번호를 결정할 수 있다.

본 발명의 다른 실시예에 따르면, 차량 번호판 인식을 위한 번호판 인식 장치에 있어서, 번호판 인식 장치가 동영상을 수신하고, 상기 동영상에 포함된 차량의 번호판 이미지를 기반으로 최종 인식 번호에 대한 정보를 결정하고, 상기 최종 인식 번호는 단일 프레임 인식 방법 또는 다중 프레임 인식 방법을 기반으로 결정될 수 있다.

한편, 상기 단일 프레임 인식 방법은 하나의 프레임을 기반으로 상기 최종 인식 번호를 결정하고, 상기 다중 프레임 인식 방법은 복수의 프레임을 기반으로 상기 최종 인식 번호를 결정할 수 있다.

또한, 상기 다중 프레임 인식 방법은 숫자 조합 알고리즘을 기반으로 상기 최종 인식 번호를 결정하고, 상기 숫자 조합 알고리즘은 상기 복수의 프레임에 대응되는 복수의 번호판 이미지 각각에 대한 인식 숫자 및 인식 확률값을 기반으로 상기 최종 인식 번호를 결정할 수 있다.

본 발명에 의하면, 영상에 촬상된 차량의 번호판 인식 성능이 향상되고, 사용자에게 보다 정확한 차량 번호판 정보가 제공될 수 있다.

또한, 본 발명에 의하면, 단일 프레임 또는 다중 프레임 모두에 대하여 차량 번호판 인식 성능이 향상되고, 차량 번호판 인식 능력을 향상 시키기 위한 학습 데이터가 생성될 수 있다.

도 1은 본 발명의 실시예에 따른 번호판 인식 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 프레임을 기반으로 번호판 인식을 수행하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 다중 프레임 인식 방법 및 단일 프레임 인식 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 프레임 선택 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 추가 프레임 탐지 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 숫자 조합 알고리즘을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 숫자간 인식 오류 확률을 고려한 최종 인식 번호 제공 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 인페인팅을 통한 번호판 인식 성능 향상 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 학습 데이터를 생성하는 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 학습 데이터를 기반으로 한 번호판 인식 엔진 학습 방법을 나타낸 개념도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

본 발명의 실시예에 따른 차량 번호판 인식 방법 및 이러한 방법을 수행하는 장치는 PC 뷰어(viewer)에 번호판 슈퍼 레졸루션(super resolution) 기능을 추가하여 사용자에게 추가적인 정보를 전달할 수 있다. 본 발명은 PC 뷰어뿐만 아니라 다른 다양한 매체에서의 번호판 인식을 위해 사용될 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함될 수 있다.

도 1은 본 발명의 실시예에 따른 번호판 인식 장치를 나타낸 개념도이다.

도 1에서는 번호판 인식을 위한 번호판 인식 장치가 개시된다.

도 1을 참조하면, 번호판 인식 장치는 영상 입력부(100), 단일 프레임 인식부(120), 다중 프레임 인식부(140) 및 번호판 정보 출력부(160)를 포함할 수 있다.

영상 입력부(100)는 차량이 촬영된 영상을 입력받기 위해 구현될 수 있다. 영상 입력부(100)는 번호판 인식 대상이 되는 차량의 영상을 수신할 수 있다.

다중 프레임 인식부(120)는 영상의 복수 프레임을 기반으로 차량 번호를 인식하기 위해 구현될 수 있다.

다중 프레임 인식부(120)는 프레임 선택부(121), ROI 이미지 처리부(122), 객체 탐지부(123), 객체 이미지 처리부(124), 슈퍼 레졸루션부(125), LPR부(126), 숫자 조합부(127), 숫자 이미지 매칭부(128)를 포함할 수 있다.

프레임 선택부(121)는 다중 프레임 인식을 수행할 기준이 될 프레임을 선택하기 위해 구현될 수 있다. 선택된 프레임의 주변 프레임을 기준으로 다중 프레임에 대한 인식이 수행될 수 있다.

ROI 이미지 처리부(122)는 복수의 프레임 상에서 번호판 인식 대상이 되는 차량을 ROI로 설정하여 차량 이미지를 추출하기 위해 구현될 수 있다.

객체 탐지부(123)는 ROI로 추출된 복수의 차량 이미지 각각 번호판을 객체로 설정하여 객체 탐지를 수행하기 위해 구현될 수 있다.

객체 이미지 처리부(124)는 탐지된 객체인 번호판 이미지를 추출하기 위해 구현될 수 있다.

슈퍼 레졸루션부(125)는 복수의 번호판 이미지 각각에 대한 해상도를 높이기 위한 슈퍼 레졸루션을 수행하기 위해 구현될 수 있다.

LPR부(126)는 해상도를 높인 복수의 번호판 각각에 대하여 LPR을 수행하여 복수의 번호판 각각에서 인식된 숫자 및 인식된 숫자의 인식 확률값에 대한 정보를 추출할 수 있다.

숫자 조합부(127)는 LPR을 기반으로 인식된 결과를 기반으로 숫자 조합 알고리즘을 수행할 수 있다. 숫자 조합 알고리즘은 복수의 번호판 이미지 각각에 대한 인식 숫자 및 인식 확률값을 기반으로 최종적인 번호를 획득하기 위한 알고리즘이다.

숫자 이미지 매칭부(128)는 숫자-이미지 매칭 알고리즘은 숫자 조합 알고리즘을 기반으로 결정된 최종 인식 번호와 번호판 이미지를 매칭할 수 있다.

단일 프레임 인식부(140)는 프레임 선택부(141), ROI 이미지 처리부(142), 객체 탐지부(143), 객체 이미지 처리부(144), 슈퍼 레졸루션부(145), LPR부(146), 최소확률필터부(147), 숫자 이미지 매칭부(148)를 포함할 수 있다.

프레임 선택부(141)는 번호판 인식을 수행할 하나의 프레임을 선택하기 위해 구현될 수 있다.

ROI 이미지 처리부(142)는 프레임 상에서 번호판 인식 대상이 되는 차량을 ROI로 설정하여 차량 이미지를 추출하기 위해 구현될 수 있다.

객체 탐지부(143)는 ROI로 추출된 차량 이미지의 번호판을 객체로 설정하여 객체 탐지를 수행하기 위해 구현될 수 있다.

객체 이미지 처리부(144)는 탐지된 객체인 번호판 이미지를 추출하기 위해 구현될 수 있다.

슈퍼 레졸루션부(145)는 번호판 이미지에 대한 해상도를 높이기 위한 슈퍼 레졸루션을 수행하기 위해 구현될 수 있다.

LPR부(146)는 해상도를 높인 번호판 각각에 대하여 LPR을 수행하여 번호판에서 인식된 숫자 및 인식된 숫자의 인식 확률값에 대한 정보를 추출할 수 있다.

최소확률필터부(147)는 인식된 숫자의 인식 확률값을 기반으로 인식된 숫자 중 인식 확률이 낮은 숫자를 필터링하여 제거하기 위해 구현될 수 있다.

숫자 이미지 매칭부(148)는 숫자-이미지 매칭 알고리즘은 최소 확률 필터부를 통해 결정된 숫자와 번호판 이미지를 매칭하기 위해 구현될 수 있다.

번호판 정보 출력부(160)는 다중 프레임 인식부(120) 또는 단일 프레임 인식부(140)에 의해 인식된 번호판 정보를 출력하기위해 구현될 수있다. 숫자-이미지 매칭에 성공하는 경우, 최종 인식 번호와 매칭 번호판 이미지를 출력할 수 있다. 만약, 숫자-이미지 매칭에 실패하는 경우, 신규 번호판 이미지를 별도로 생성하여 생성된 신규 번호판 이미지와 최종 인식 번호를 출력할 수 있다.

도 2는 본 발명의 실시예에 따른 프레임을 기반으로 번호판 인식을 수행하는 방법을 나타낸 개념도이다.

도 2에서는 다중 프레임 또는 단일 프레임 처리를 기반으로 한 차량 번호판 인식 방법이 개시된다.

도 2를 참조하면, 영상에 존재하는 복수의 프레임을 기반으로 차량 번호판을 인식하는 다중 프레임 인식 방법과 하나의 프레임을 기반으로 차량 번호판을 인식하는 단일 프레임 인식 방법이 사용될 수 있다.

(1) 다중 프레임 인식 방법

다중 프레임 인식 방법은 촬영된 동영상에서 복수의 프레임을 기초로 차량 번호판을 인식하는 방법이다. 다중 프레임은 특정 선택 시점(t)에 대응되는 기준 프레임을 기준으로 시간 상 앞으로 n개의 이전 프레임 시간 상 뒤로 n'개의 이후 프레임을 포함할 수 있다.

1) ROI(region of interest) 이미지 자르기(단계 S201)

복수의 프레임 상에서 번호판 인식 대상이 되는 차량이 ROI로 설정되어 차량 이미지가 추출될 수 있다. 복수의 프레임 각각에서 복수의 차량 이미지 각각이 추출될 수 있다.

2) 객체 탐지(object detection)(단계 S202) 및 객체 이미지 자르기(단계 S203)

ROI로 추출된 복수의 차량 이미지 각각 번호판을 객체로 설정하여 객체 탐지가 수행될 수 있다. 복수의 차량 이미지 각각에서 객체 탐지를 기반으로 복수의 번호판 이미지 각각이 추출될 수 있다.

3) 슈퍼 레졸루션(super resolution)(단계 S204)

복수의 번호판 이미지 각각에 대한 해상도를 높이기 위한 슈퍼 레졸루션이 수행될 수 있다. 슈퍼 레졸루션은 저해상도 영상을 고해상도 영상으로 변환해주는 기술이다. 본 발명에서는 복수의 번호판 이미지 각각에 대한 슈퍼 레졸루션을 수행하여 복수의 번호판 이미지의 해상도를 높일 수 있다.

4) LPR(license plate recognition)(단계 S205)

해상도를 높인 복수의 번호판 각각에 대하여 LPR을 수행하여 복수의 번호판 각각에서 인식된 숫자 및 인식된 숫자의 인식 확률값에 대한 정보가 추출될 수 있다. 인식 확률값은 인식된 숫자가 정답일 확률이다.

예를 들어, 번호판 이미지1을 기반으로 인식된 숫자는 [7, 5, 0, 8]이고, 인식 확률값은 [0.89, 0.99, 0.99, 0.98]일 수 있다. 번호판 이미지2를 기반으로 인식된 숫자는 [7, 5, 8, 8]이고, 인식 확률값은 [0.99, 1.00, 0.99, 0.99]일 수 있다.

5) 숫자 조합 알고리즘(단계 S206)

LPR을 기반으로 인식된 결과를 기반으로 숫자 조합 알고리즘을 수행할 수 있다. 숫자 조합 알고리즘은 복수의 번호판 이미지 각각에 대한 인식 숫자 및 인식 확률값을 기반으로 최종적인 번호를 획득하기 위한 알고리즘이다. 숫자 조합 알고리즘은 후술된다. 숫자 조합 알고리즘을 기반으로 결정된 번호는 최종 인식 번호라는 용어로 표현될 수 있다.

6) 숫자-이미지 매칭 알고리즘(단계 S207)

숫자-이미지 매칭 알고리즘은 숫자 조합 알고리즘을 기반으로 결정된 최종 인식 번호와 번호판 이미지를 매칭하는 알고리즘이다.

복수의 번호판 이미지 각각의 LPR 결과와 최종 인식 번호가 매칭 여부를 기반으로 숫자-이미지 매칭 알고리즘이 수행될 수 있다. 최종 인식 번호와 매칭되는 번호판 이미지는 매칭 번호판 이미지라는 용어로 표현될 수 있다.

하나의 매칭 번호판 이미지만 존재하는 경우, 매칭 번호판 이미지와 최종 인식 번호를 매칭할 수 있다.

복수의 매칭 번호판 이미지가 존재하는 경우, 복수의 매칭 번호판 이미지 중 가장 해상도가 높은 매칭 번호판 아미지가 최종 인식 번호와 매칭될 수 있다. 구체적으로 복수의 매칭 번호판 이미지 중 포함되는 복수의 숫자의 인식 확률값을 고려하여 출력될 하나의 매칭 번호판 이미지가 선택될 수 있다. 예를 들어, 7508이 최종 인식 번호인 경우, 7508로 인식한 복수의 매칭 번호판 이미지가 존재할 수 있다. 7508로 인식한 복수의 매칭 번호판 이미지 각각에 대하여 7에 대한 인식 확률값, 8에 대한 인식 확률값, 0에 대한 인식 확률값, 8에 대한 인식 확률값의 합을 계산할 수 있고, 확률값의 합이 최대인 매칭 번호판 이미지가 최종 인식 번호인 7508과 매칭될 수 있다.

최종 인식 번호와 매칭되는 매칭 번호판 이미지가 존재하지 않는 경우, 최종 인식 번호에 대응되는 별도의 신규 번호판 이미지가 생성될 수 있다.

7) 출력(단계 S208)

숫자-이미지 매칭에 성공하는 경우, 최종 인식 번호와 매칭 번호판 이미지를 출력할 수 있다. 만약, 숫자-이미지 매칭에 실패하는 경우, 신규 번호판 이미지를 별도로 생성하여 생성된 신규 번호판 이미지와 최종 인식 번호를 출력할 수 있다.

(2) 단일 프레임 인식 방법

단일 프레임 인식 방법은 하나의 프레임을 기초로 차량 번호판을 인식하는 방법이다.

1) ROI(region of interest) 이미지 자르기(단계 S250)

프레임 상에서 번호판 인식 대상이 되는 차량이 ROI로 설정되어 차량 이미지가 추출될 수 있다. 프레임에서 번호판 인식 대상인 차량 이미지가 추출될 수 있다.

2) 객체 탐지(object detection)(단계 S251) 및 객체 이미지 자르기(단계 S252)

ROI로 추출된 차량 이미지에서 번호판을 객체로 설정하여 객체 탐지가 수행될 수 있다. 차량 이미지에서 객체 탐지를 기반으로 번호판 이미지가 추출될 수 있다.

3) 슈퍼 레졸루션(super resolution)(단계 S253)

번호판 이미지에 대한 해상도를 높이기 위한 슈퍼 레졸루션이 수행될 수 있다.

4) LPR(license plate recognition)(단계 S254)

해상도를 높인 번호판 각각에 대하여 LPR을 수행하여 번호판에서 인식된 숫자 및 인식된 숫자의 인식 확률값에 대한 정보가 추출될 수 있다. 예를 들어, 특정 번호판 이미지를 기반으로 인식된 숫자는 [7, 5, 0, 8]이고, 인식 확률값은 [0.89, 0.99, 0.99, 0.98]이다.

5) 최소 확률 필터(단계 S255)

최소 확률 필터는 인식 확률값이 낮은 숫자를 필터링하기 위해 사용될 수 있다. 예를 들어, 필터링 임계값이 0.5로 설정되고, 인식된 숫자는 [7, 5, 0, 8]이고, 인식 확률값은 [0.89, 0.3, 0.99, 0.98]인 경우가 가정될 수 있다. 이러한 경우, 5에 대응되는 인식 확률값인 0.3은 0.5보다 작으므로 필터링될 수 있다. 이러한 경우, 5를 제외한 나머지 숫자만 최종 인식 번호로 결정되어 [7, ?, 0, 8]로 결정될 수 있다. 즉, 최소 확률 필터를 기반으로 최종 인식 번호가 결정될 수 있다.

6) 숫자-이미지 매칭 알고리즘(단계 S207)

숫자-이미지 매칭 알고리즘은 숫자 조합 알고리즘을 기반으로 결정된 최종 인식 번호와 번호판 이미지를 매칭하는 알고리즘이다.

전술한 바와 같이 최종 인식 번호와 번호판 이미지가 동일한 경우, 최종 인식 번호와 번호판 이미지가 매칭되어 제공될 수 있다. 최종 인식 번호와 번호판 이미지가 동일하지 않은 경우, 신규 번호판 이미지를 생성할 수 있다. 만약, 번호판 이미지 내에 특정 숫자가 필터링되는 경우, [7, ?, 0, 8]에 대응되는 신규 번호판 이미지가 생성되어 매칭될 수 있다.

7) 출력(단계 S208)

숫자-이미지 매칭에 성공하는 경우, 최종 인식 번호와 번호판 이미지를 출력할 수 있다. 만약, 숫자-이미지 매칭에 실패하는 경우, 번호판 이미지를 별도로 생성하여 생성된 번호판 이미지와 최종 인식 번호를 출력할 수 있다.

도 3은 본 발명의 실시예에 따른 다중 프레임 인식 방법 및 단일 프레임 인식 방법을 나타낸 개념도이다.

도 3에서는 번호판 인식을 위한 단일 프레임 인식 방법 및 다중 프레임 인식 방법을 선택적으로 사용하기 위한 방법이 개시된다.

도 3을 참조하면, 상황별로 단일 프레임 인식 방법 및 다중 프레임 인식 방법을 선택적으로 사용하는 방법이 개시된다.

본 발명에서는 실시간 번호판 인식(310) 및 일반 번호판 인식(350)이 사용될 수 있다. 실시간 번호판 인식(310)은 선택시 제1 임계 시간 내에 번호판 정보를 제공 가능한 서비스이고, 일반 번호판 인식은 선택시 제2 임계 시간 내에 번호판 정보를 제공하는 서비스이다. 제1 임계 시간은 제2 임계 시간 보다 짧은 시간일 수 있다.

실시간 번호판 인식(310)이 사용되는 경우, 단일 프레임 인식 방법(320)이 사용될 수 있다. 단일 프레임 인식 방법(320)은 보다 빠른 번호판 인식을 위한 방법으로서 하나의 프레임만으로 최종 인식 번호를 추출할 수 있다.

실시간 번호판 인식의 경우, 1차적으로 단일 프레임 인식 방법(320)을 사용하여 제1 임계 시간 내에 번호판 정보를 제공하되, 특정 숫자가 필터링되어 제공되지 못한 경우 또는 인식된 숫자의 인식 확률값이 설정된 임계값 이하인 경우, 해당 차량을 트래킹하여 다중 프레임 인식 방법(330)을 통해 다시 번호판 인식을 수행하여 최종 인식 번호를 재확인할 수 있다. 다중 프레임 인식 방법(330)을 통해 획득된 최종 인식 번호와 단일 프레임 인식 방법(320)을 기반으로 인식된 최종 인식 번호가 동일한지 여부가 추가적으로 확인될 수 있다.

만약, 동일하지 않은 경우, 다중 프레임 인식 방법(330)을 통해 획득된 최종 인식 번호로 사후적인 수정하여 번호판 이미지와 최종 인식 번호를 사용자에게 제공할 수 있다.

일반 번호판 인식(350)은 제2 임계 시간 내에 번호판 정보를 제공하는 서비스로서 다중 프레임 인식 방법을 사용하여 최종 인식 번호를 제공할 수 있다.

일반 번호판 인식(350)은 1차적으로 다중 프레임 인식 방법(360)을 사용하여 제2 임계 시간 내에 번호판 정보를 제공하되, 특정 숫자가 필터링되어 제공되지 못한 경우 또는 인식된 숫자의 인식 확률값이 설정된 임계값 이하인 경우, 해당 차량을 트래킹하여 2차로 다중 프레임 인식 방법(370)을 통해 다시 번호판 인식을 수행하여 최종 인식 번호를 재확인할 수 있다. 1차로 다중 프레임 인식 방법(360)을 통해 획득된 최종 인식 번호와 2차로 다중 프레임 인식 방법(370)을 기반으로 인식된 최종 인식 번호가 동일한지 여부가 추가적으로 확인될 수 있다.

만약, 동일하지 않은 경우, 1차 다중 프레임 인식 방법(360) 및 2차 다중 프레임 인식(370)을 위해 사용된 모든 프레임을 다시 활용하여 3차 다중 프레임 인식 방법(380)을 수행하여 획득된 최종 인식 번호로 사후적인 수정하여 번호판 이미지와 최종 인식 번호를 사용자에게 제공할 수 있다.

도 4는 본 발명의 실시예에 따른 프레임 선택 방법을 나타낸 개념도이다.

도 4에서는 단일 프레임 인식 및 다중 프레임 인식을 수행시 프레임을 선택하는 방법이 개시된다.

도 4를 참조하면, 단일 프레임 인식(400)과 다중 프레임 인식(450)에서 서로 다른 프레임 선택 방법이 사용될 수 있다.

(1) 단일 프레임 인식(400)

단일 프레임 인식(400)에서는 프레임 선택 옵션으로 사용자 선택 옵션(410)과 자동 선택 옵션(420)이 사용될 수 있다. 사용자 선택 옵션(410)은 사용자가 선택한 시점의 프레임 선택을 수행하는 것이다. 자동 선택 옵션(420)은 사용자가 선택한 시점의 선택 프레임이 아니라 선택 프레임을 기준으로 앞, 뒤로 n개의 프레임을 선택하고, n개의 프레임을 기준으로 가장 높은 해상도를 가지는 프레임을 선택하는 것이다.

가장 높은 해상도를 가지는지 여부를 빠르게 판단하기 위해 차량 번호판 부분의 엣지 인식도와 가로/세로 비율이 활용될 수 있다. 예를 들어, 차량 번호판에 대한 엣지 부분 추출 정확도(423)와 인식된 번호판의 가로/세로 비율(426)이 실제 번호판 가로/세로 비율에 정확할수록 높은 해상도를 가지는 프레임으로 선택될 수 있다.

(2) 다중 프레임 인식(450)

다중 프레임 인식(450)에서는 프레임 선택 옵션으로 디폴트 선택 옵션(460)과 프레임 조정 선택 옵션(470)이 사용될 수 있다. 디폴트 선택 옵션(460)은 특정 선택 시점(t)에 대응되는 기준 프레임을 기준으로 시간 상 앞으로 n개의 이전 프레임 시간 상 뒤로 n'개의 이후 프레임을 선택하고, n개 및 n'는 고정된 숫자일 수 있다. 프레임 조정 선택 옵션(470)은 특정 선택 시점을 기준으로 이전 프레임, 이후 프레임의 선택 개수를 서로 다르게 조정할 수 있다. 이전 프레임, 이후 프레임의 선택 개수를 서로 다르게 조정하기 위하여 기준 프레임을 기준으로 임계 시간 이전의 조정 기준 프레임1과 임계 시간 이후의 조정 기준 프레임2가 선택될 수 있다.

조정 기준 프레임1과 조정 기준 프레임2 각각에 대한 차량 번호판 부분의 엣지 인식도와 가로/세로 비율을 기반으로 해상도가 결정될 수 있다. 조정 기준 프레임1보다 조정 기준 프레임2의 해상도가 높은 경우, 이후 프레임이 이전 프레임보다 상대적으로 많이 선택될 수 있다. 조정 기준 프레임2보다 조정 기준 프레임1의 해상도가 높은 경우, 이전 프레임이 이후 프레임보다 상대적으로 많이 선택될 수 있다. 해상도의 차이를 기준으로 이전 프레임의 개수인 n개 및 이후 프레임의 기수인 n'가 변화될 수 있다.

또한, 프레임 조정 선택 옵션(470)은 이전 프레임을 a*n(예를 들어, 2n, 3n, a는 자연수)과 같이 배수로 설정하고 이후 프레임을 b*n'(예를 들어, 2n', 3n', b는 자연수)과 같이 배수로 설정할 수 있다.

조정 기준 프레임1보다 조정 기준 프레임2의 해상도가 높은 경우, 이후 프레임이 이전 프레임보다 조밀하게 선택되고, 이전 프레임은 좀 더 다른 후보가 선택되도록 선택 간격을 넓힐 수 있다. 따라서, a가 b보다 큰 값(a>b)으로 선택될 수 있다.

조정 기준 프레임2보다 조정 기준 프레임1의 해상도가 높은 경우, 이전 프레임이 이후 프레임보다 조밀하게 선택되고, 이후 프레임은 좀 더 다른 후보가 선택되도록 선택 간격을 넓힐 수 있다. 따라서, b가 a보다 큰 값(b>a)으로 선택될 수 있다.

도 5는 본 발명의 실시예에 따른 추가 프레임 탐지 방법을 나타낸 개념도이다.

도 5에서는 단일 프레임 인식과 다중 프레임 인식에서 특정 숫자가 필터링되어 제공되지 못한 경우 또는 인식된 숫자의 인식 확률값이 설정된 임계값 이하인 경우, 추가 프레임을 통해 최종 인식 번호를 결정하는 방법이 개시된다.

도 5를 참조하면, 인식을 위한 추가 프레임을 결정하는 방법이 개시된다.

다중 프레임 인식(500)이 사용되는 경우, 최종 인식 번호와 매칭되는 프레임이 기준 프레임(510)으로 재설정되고, 재설정된 재설정 기준 프레임(520)을 기준으로 추가 프레임(530)이 선택될 수 있다. 특정 숫자가 필터링되어 매칭되는 프레임이 없는 경우, 필터링되지 않은 숫자가 동일한 프레임이 기준 프레임(510)으로 재설정되고, 재설정 기준 프레임(520)을 기준으로 추가 프레임(530)이 선택될 수 있다.

다중 프레임 인식(500)에서 재설정 가능한 기준 프레임(510)이 복수개인 경우, 이전 기준 프레임과 가장 시간적으로 차이를 가지는 프레임이 재설정 기준 프레임(520)으로 설정될 수 있다.

단일 프레임 인식(550)이 사용되는 경우, 마찬가지로 최종 인식 번호와 매칭되는 프레임이 기준 프레임(560)으로 재설정되고, 재설정된 재설정 기준 프레임(570)을 기준으로 추가 프레임(580)이 선택될 수 있다. 특정 숫자가 필터링되어 매칭되는 프레임이 없는 경우, 필터링되지 않은 숫자가 동일한 프레임이 기준 프레임(560)으로 재설정되고, 재설정 기준 프레임(570)을 기준으로 추가 프레임(580)이 선택될 수 있다.

도 6은 본 발명의 실시예에 따른 숫자 조합 알고리즘을 나타낸 개념도이다.

도 6에서는 복수의 번호판 이미지 각각에 대한 인식 숫자 및 인식 확률값을 기반으로 최종적인 번호를 획득하여 최종 인식 번호를 결정하기 위한 숫자 조합 알고리즘이 개시된다.

도 6을 참조하면, 복수의 번호판 이미지에서 인식 숫자와 인식 숫자 확률값에 대한 정보가 입력될 수 있다.

예를 들어, 번호판 이미지1, 번호판 이미지2, 번호판 이미지3, 번호판 이미지4, 번호판 이미지5, 번호판 이미지6 각각에 대한 인식 숫자와 인식 숫자 확률값이 결정될 수 있다.

번호판 이미지1의 인식 숫자는 [7, 5, 0, 8], 인식 확률값은 [0.89, 0.99, 0.99, 0.98], 번호판 이미지2의 인식 숫자는 [7, 5, 8, 8], 인식 확률값은 [0.99, 1.00, 0.99, 0.99], 번호판 이미지3의 인식 숫자는 [7, 5, 0, 8], 인식 확률값은 [1.00, 1.00, 0.99, 0.96], 번호판 이미지4의 인식 숫자는 [8, 5, 8, 8], 인식 확률값은 [1.00, 1.00, 0.99, 0.99], 번호판 이미지5의 인식 숫자는 [8, 5, 0, 8], 인식 확률값은 [0.93, 0.99, 0.57, 0.88], 번호판 이미지6의 인식 숫자는 [3, 5, 5, 8], 인식 확률값은 [0.91, 0.99, 0.69, 0.99]일 수 있다.

인식 숫자별 인식 확률값을 합산한다(단계 S610).

설명의 편의상 인식 숫자 중 가장 앞자리 인식 숫자에 대한 인식 확률값의 합산 방법이 개시된다.

첫번째 자리 숫자가 7인 경우의 인식 확률값의 합산을 통해 숫자 7에 대한 신뢰도를 결정할 수 있다. 7인 경우의 인식 확률값의 합은 (0.89+0.99+1.00)으로서 2.88이 신뢰도일 수 있다.

첫번째 자리 숫자가 8인 경우의 인식 확률값의 합산을 통해 숫자 8에 대한 신뢰도를 결정할 수 있다. 8인 경우의 인식 확률값의 합은 (1.00+0.93)으로서 1.93이 신뢰도일 수 있다.

첫번째 자리 숫자가 3인 경우의 인식 확률값의 합산을 통해 숫자 3에 대한 신뢰도를 결정할 수 있다. 3인 경우의 인식 확률값의 합은 (0.91)으로서 0.91이 신뢰도일 수 있다.

신뢰도가 높은 n개의 우선 순위에 대응되는 숫자를 선택한다(단계 S620).

위와 같은 경우, 7이 2.88의 신뢰도를 가지면서 제1 우선 순위이고, 8이 1.93의 신뢰도를 가지면서 제2 우선 순위이고, 3이 0.91의 신뢰도를 가지면서 제3 우선 순위일 수 있다. n이 2인 경우, 제1 우선 순위인 7, 제2 우선 순위인 8이 선택될 수 있다.

최소 확률 필터를 적용하여 최종적으로 번호판 이미지를 기반으로 인식된 인식 숫자가 결정된다(단계 S630).

최소 확률 필터는 제1 우선 순위에 대응되는 인식 숫자의 신뢰도가 임계 신뢰도(예를 들어, 1.0)보다 작으면 필터링하여 제거할 수 있다. 제1 우선 순위에 대응되는 인식 숫자인 7의 신뢰도는 2.88로서 1.0보다 큰 수이므로 필터링되지 않을 수 있다.

또한, 최소 확률 필터는 제2 우선 순위에 대응되는 인식 숫자의 신뢰도가 제1 우선 순위에 대응되는 인식 숫자의 신뢰도에 임계 계수(예를 들어, 0.4)를 곱한 값보다 작으면 필터링하여 제거할 수 있다. 제2 우선 순위인 8의 신뢰도는 1.93이고, 제1 우선 순위인 7의 신뢰도인 2.88에 0.4를 곱한 값인 1,152보다 큰 값이므로 필터링되지 않을 수 있다.

필터링 결과를 출력한다(단계 S640),

필터링 결과는 특정 자리에 대한 인식 숫자가 복수개일 수 있다. 예시와 같이 첫번째 자리에서 제1 우선 순위인 8, 제2 우선 순위인 7이 모두 필터링되지 않았으므로 첫번째 자리에 대해서 7, 8이 모두 인식 숫자로서 추출될 수 있다.

설정에 따라서, 제1 우선 순위인 7만 최종 인식 번호에 포함되어 사용자에게 제공될 수 있고, 제1 우선 순위인 7 및 제2 우선 순위인 8이 모두 최종 인식 번호에 포함되어 사용자에게 제공될 수 있다.

하단의 최종 인식 번호와 같이 제1 우선 순위를 주로 제공하되, 제2 우선 순위에 대응되는 숫자가 필터링되지 않을 경우, 하단부에 제2 우선 순위에 대응되는 숫자를 병기하여 사용자에게 제공할 수 있다.

다른 표현으로 숫자 조합 알고리즘은 번호판 인식 장치가 복수의 번호판 이미지 각각에서 복수의 자릿수 각각에 대응되는 복수의 인식 숫자 및 복수의 인식 숫자 확률값에 대한 정보를 수신하고, 번호판 인식 장치가 복수의 자릿수 각각에 대하여 복수의 인식 숫자 각각에 대한 복수의 인식 확률값을 합산하여 합산 인식 확률값을 결정할 수 있다.

또한, 번호판 인식 장치가 합산 인식 확률값을 기반으로 신뢰도가 상대적으로 높은 n개의 우선 순위에 대응되는 숫자를 결정하고, 번호판 인식 장치가 최소 확률 필터를 기반으로 필터링하여 복수의 인식 숫자 각각에 대응되는 상기 최종 인식 번호를 결정할 수 있다.

도 7은 본 발명의 실시예에 따른 숫자간 인식 오류 확률을 고려한 최종 인식 번호 제공 방법을 나타낸 개념도이다.

도 7에서는 숫자간 인식 오류 확률을 고려하여 최종 인식 번호를 제공하기 위한 방법이 개시된다.

도 7을 참조하면, 숫자 간 형태 유사도(730)로 인해 서로 상관 관계를 가지는 숫자가 존재할 수 있다. 예를 들어, (2, 7), (7, 9), (3, 8) 등과 같이 형태의 유사도로 인해 상호 간 인식 오류가 발생할 가능성이 다른 숫자보다 큰 경우가 존재할 수 있다.

이러한 숫자 간 형태 유사도(730)를 기반으로 숫자 간 인식 오류 확률(750)이 결정될 수 있고, 숫자 간 인식 오류 확률(750)을 고려하여 최종 인식 번호가 제공될 수 있다.

숫자 간 형태 유사도(730)는 개별 숫자를 기준으로 결정될 수 있다. 예를 들어, 1을 기준으로 다른 숫자들(2, 3, 4, 5, 6, 7, 8, 9, 0)과의 숫자 간 형태 유사도가 결정되고, 2를 기준으로 한 다른 숫자들(1, 3, 4, 5, 6, 7, 8, 9, 0)과의 숫자 간 형태 유사도(730)가 결정될 수 있다.

숫자 간 형태 유사도(730)는 형태의 유사도를 기준으로 디폴트 설정 유사도(710)와 기존의 번호판 이미지에 포함된 숫자에 대한 오류 판단에 대한 피드백 결과를 고려한 피드백 유사도(720)를 고려하여 결정될 수 있다.

숫자 간 형태 유사도(730)를 기반으로 초기 숫자 간 인식 오류 확률(740)이 결정될 수 있다. 숫자 간 인식 오류 확률(750)은 처음에는 초기 숫자 간 인식 오류 확률(740)로 설정되고, 이후에 피드백되는 숫자에 대한 오류 판단을 더 고려하여 적응적으로 변화될 수 있다.

즉, 숫자 간 형태 유사도(730)는 기존의 피드백 결과를 기반으로 고정된 값으로 설정되고, 숫자 간 인식 오류 확률(750)은 초기에는 숫자 간 형태 유사도를 기준으로 초기 숫자 간 인식 오류 확률(740)로 설정되되, 추후에는 이후에 피드백되는 숫자에 대한 오류 판단을 더 고려하여 적응적으로 변화될 수 있다. 이러한 방법을 기반으로 지역별, 나라별 다른 번호판의 경우에도 사용되는 영역에 따라 적응적으로 인식 정확도를 높일 수 있다.

이러한 숫자 간 인식 오류 확률(750)이 결정되는 경우, 숫자 간 인식 오류 확률(750)을 고려하여 우선 순위가 조정될 수 있다.

예를 들어, 신뢰도가 높은 제1 우선 순위, 제2 우선 순위, 제3 우선 순위에 대응되는 숫자가 존재하는 경우가 가정될 수 있다. 이때, 숫자 간 인식 오류 확률이 임계 확룰 이상인 숫자에 대한 신뢰도는 합산되어 판단될 수도 있다. 예를 들어, 제1 우선 순위에 대응되는 숫자가 7이고, 제2 우선 순위에 대응되는 숫자가 1이고, 제3 우선 순위에 대응되는 숫자가 2인 경우가 가정될 수 있다. 이때 1과 7의 숫자 간 인식 오류 확률이 임계 확률 이상인 경우, 제2 우선 순위에 대응되는 1의 신뢰도가 제1 우선 순위에 대응되는 7로 합산되고, 제2 우선 순위는 삭제되고, 제3 우선 순위가 제2 우선 순위로 상향 조정될 수 있다.

도 8은 본 발명의 실시예에 따른 인페인팅을 통한 번호판 인식 성능 향상 방법을 나타낸 개념도이다.

도 8에서는 인페인팅을 통해 불필요한 정보를 삭제하기 위한 인페인팅 방법이 개시된다.

도 8을 참조하면, 번호판 인식을 위해서는 인페인팅을 통해 불필요한 정보를 지우고 숫자 인식이 수행될 수 있다. 불필요한 정보를 지우기 위해서는 미리 설정된 영역에 위치한 숫자만을 클래스로 인식하도록 영역 설정이 이루어질 수 있다.

영역 설정은 번호판 이미지에 대하여 수행될 수 있다. 번호판 이미지는 촬상 상태에 따라 가로와 세로 비율 및 엣지 각도가 왜곡될 수 있다. 실제 번호판의 가로와 세로 비율이 a:b이고, 직사각형이므로 엣지 각도는 90도일 수 있다.

왜곡이 없을 경우의 번호판 이미지에 대한 가로/세로 비율 및 엣지 각도는 디폴트 가로 세로 비율과 디폴트 엣지 각도라는 용어로 표현될 수 있고, 번호판 이미지에서 숫자를 추출하기 위한 숫자 추출 영역은 디폴트 숫자 추출 영역일 수 있다.

디폴트 가로 세로 비율과 디폴트 엣지 각도와 실제 촬상된 번호판의 가로 세로 비율과 엣지 각도를 고려하여 디폴트 숫자 추출 영역이 타겟 숫자 추출 영역으로 변화될 수 있다.

1차적으로 디폴트 숫자 추출 영역에서 세로 비율과 엣지 각도를 반영하여 후보 타겟 숫자 추출 영역을 결정하고, 후보 타겟 숫자 추출 영역 내에서 설정된 중심 영역에서 이어지는 엣지 중 후보 타겟 숫자 추출 영역을 벋어나는지 엣지가 존재하는지 여부를 판단할 수 있다. 중심 영역은 후보 타겟 숫자 추출 영역에서 숫자의 중심이 위치하는 것으로 예측되는 예측 영역으로서 숫자가 4개일 경우, 4개의 하위 중심 영역을 포함할 수 있다.

만약 중심 영역에서 이어지는 엣지 중 후보 타겟 숫자 추출 영역을 벋어나는지 엣지가 존재하지 않는 경우, 후보 타겟 숫자 추출 영역이 타겟 숫자 추출 영역으로 결정될 수 있다. 반대로 중심 영역에서 이어지는 엣지 중 후보 타겟 숫자 추출 영역을 벋어나는지 엣지가 존재하는 경우, 후보 타겟 숫자 추출 영역을 확장하여 벋어나는 엣지까지 포함하는 영역이 타겟 숫자 추출 영역으로 결정될 수 있다.

도 9는 본 발명의 실시예에 따른 학습 데이터를 생성하는 방법을 나타낸 개념도이다.

도 9에서는 슈퍼 레졸루션을 위한 학습 데이터를 생성하기 위한 방법이 개시된다.

도 9를 참조하면, 본 발명에서는 모니터를 이용한 저화질 이미지의 인식을 기반으로 실제 데이터와 유사한 데이터를 획득하는 방법이 사용될 수 있다.

기존의 경우, 저화질 이미지를 생성하기 위해 다운샘플링(downsampling)이 사용되었다면, 본 발명에서는 보다 실제 데이터에 유사하도록 모니터 이미지를 활용한 저화질 이미지의 생성 방법이 사용될 수 있다.

카메라-모니터가 설정될 수 있다(단계 S900).

본 발명에서는 고화질 이미지를 포함하는 학습 이미지를 모니터 상에 출력하고, 출력된 이미지를 카메라가 인식하도록 하기 위해 카메라-모니터가 설치될 수 있다. 출력된 이미지는 고화질이나, 카메라는 상대적으로 낮은 화질의 이미지를 촬영하기 위해 높지 않은 성능의 저화질 카메라가 사용될 수 있다.

모니터가 학습 이미지를 출력할 수 있다(단계 S910).

모니터는 번호판에 대한 학습을 위한 고화질 이미지를 출력할 수 있다.

카메라가 이미지 색차를 감지한다(단계 S920).

본 발명에서는 화면의 전환을 이미지 색차 기반으로 감지할 수 있다. n개의 학습 이미지가 존재하는 경우, 0번째 학습 이미지는 하얀색, 1번째 학습 이미지는 검은색, 2번째 학습 이미지는 하얀색과 같은 방식으로 이미지 색차를 감지할 수 있는 색차 감지 영역을 설정하고, 카메라가 색차 감지 영역을 인식하여 화면의 전환을 인식하도록 할 수 있다.

학습 이미지의 ROI(region of interest) 영역을 인식한다(단계 S930).

고화질 영역 상에 존재하는 번호판 영역에 대응되는 ROI를 인식하여 촬상함으로써 저화질 이미지를 생성할 수 있다.

저화질 이미지 비율 및 사이즈 필터링이 수행된다(단계 S940).

저화질 이미지 중에서 잘못 촬영된 이미지를 필터링하기 위해 이미지 비율, 사이즈 필터링을 기반으로 카메라에 의해 잘못 촬상된 번호판 이미지가 필터링될 수 있다.

도 10은 본 발명의 실시예에 따른 학습 데이터를 기반으로 한 번호판 인식 엔진 학습 방법을 나타낸 개념도이다.

도 10에서는 고화질 번호판 이미지와 저화질 번호판 이미지를 기반으로 번호판 인식 엔진을 학습하는 방법이 개시된다.

도 10을 참조하면, 번호판 숫자 인식 엔진을 학습하기 위해서는 개별 숫자 인식 모델(1010), 조합 숫자 인식 모델(1020) 및 전체 숫자 인식 모델(1030) 각각에 대한 학습이 수행될 수 있다.

(1) 개별 숫자 인식 모델(1010)

개별 숫자 인식 모델(1010)은 복수의 숫자 각각에 대한 인식을 위해 구현될 수 있다. 촬상되는 각도별로 숫자 왜곡이 서로 달라질 수 있고, 자릿수별 숫자 각각에 대한 별도의 학습을 위한 개별 숫자 인식 모델이 구현될 수 있다.

자릿수별 숫자에 대한 학습을 위해 고화질 이미지 및 저화질 이미지 각각에서 개별 클래스 각각에 대응되는 이미지 분할이 이루어질 수 있고, 개별 숫자 인식 모델이 분할 이미지를 기반으로 학습될 수 있다.

이하, 설명의 편의상 번호판 이미지에 포함되는 4자리수 번호 각각은 순차적으로 제1 자릿수, 제2 자릿수, 제3 자릿수, 제4 자릿수라는 용어로 표현될 수 있다.

분할 이미지인 {고화질 분할 이미지(제1 자릿수), 저화질 분할 이미지(제1 자릿수)}이 개별 숫자 인식 모델(제1 자릿수)로 입력될 수 있다. 마찬가지로, 분할 이미지인 {고화질 분할 이미지(제2 자릿수), 저화질 분할 이미지(제2 자릿수)}가 개별 숫자 인식 모델(제2 자릿수)로 입력되고, 분할 이미지인 {고화질 분할 이미지(제3 자릿수), 저화질 분할 이미지(제3 자릿수)}이 개별 숫자 인식 모델(제3 자릿수)으로 입력되고, 분할 이미지인 {고화질 분할 이미지(제4 자릿수), 저화질 분할 이미지(제4 자릿수)}가 개별 숫자 인식 모델(제4 자릿수)로 입력될 수 있다. 이러한 방식으로 개별 숫자에 대한 인식 성능을 높이기 위한 학습이 수행될 수 있다.

(2) 조합 숫자 인식 모델(1020)

조합 숫자 인식 모델(1020)은 2개의 숫자 조합, 3개의 숫자 조합과 같이 복수의 숫자에 대한 인식 성능을 높이기 위한 모델일 수 있다. 마찬가지로, 촬상되는 각도별로 숫자 조합의 왜곡이 서로 달라질 수 있고, 제1 자릿수, 제2 자릿수, 제3 자릿수, 제4 자릿수 각각의 조합에 대한 별도의 학습을 위한 조합 숫자 인식 모델(1020)이 구현될 수 있다.

조합 숫자에 대한 학습을 위해 고화질 이미지 및 저화질 이미지 각각에서 복수의 자릿수 각각에 대응되는 이미지 분할이 이루어질 수 있고, 분할 이미지는 조합 숫자 인식 모델(1020)로 입력될 수 있다. 예를 들어, 분할 이미지인 {고화질 분할 이미지(제1 자릿수, 제2 자릿수), 저화질 분할 이미지(제1 자릿수, 제2 자릿수)}이 조합 숫자 인식 모델(제1 자릿수, 제2 자릿수)로 입력될 수 있다. 마찬가지로, 분할 이미지인 {고화질 분할 이미지(제2 자릿수, 제3 자릿수), 저화질 분할 이미지(제2 자릿수, 제3 자릿수)}이 조합 숫자 인식 모델(제2 자릿수, 제3 자릿수)로 입력될 수 있다. 이러한 방식으로 조합 숫자에 대한 인식 성능을 높이기 위한 학습이 수행될 수 있다.

(3) 전체 숫자 인식 모델(1030)

전체 숫자 인식 모델(1030)은 전체 숫자에 대한 인식 성능을 높이기 위한 모델일 수 있다. 전체 숫자에 대한 학습을 위해 고화질 이미지 및 저화질 이미지 각각에서 고화질 번호판 이미지, 저화질 번호판 이미지가 입력되어 학습될 수 있다.

개별 숫자 인식 모델(1010), 조합 숫자 인식 모델(1020) 및 전체 숫자 인식 모델(1030) 각각은 상황별로 사용되어 번호판 이미지에서 인식 숫자를 추출할 수 있다.

우선, 전체 숫자 인식 모델(1013)이 사용되고, 전체 숫자 인식 모델(1030)에서 제1 임계 인식 확률값 이하로 특정 자릿수의 숫자가 인식되는 경우, 해당 숫자를 제1 타겟 인식 숫자(1013)로 결정하고, 인식 확률값을 제1 타겟 인식 확률값(1016)으로 결정할 수 있다.

개별 숫자 인식 모델(1020)과 조합 숫자 인식 모델(1030)을 기반으로 제1 타겟 인식 숫자(1013)에 대한 인식이 수행될 수 있다.

개별 숫자 인식 모델(1020)에 의해 인식된 숫자는 제2 타겟 인식 숫자(1023)이고, 조합 숫자 인식 모델(1030)에 의해 인식된 숫자는 제3 타겟 인식 숫자(1033)일 수 있다. 마찬가지로 제2 타겟 인식 숫자(1023)의 인식 확률값은 제2 타겟 인식 확률값(1026)으로 결정되고, 제3 타겟 인식 숫자(1033)의 인식 확률값은 제3 타겟 인식 확률값(1036)으로 결정될 수 있다.

제1 타겟 인식 숫자(1013), 제2 타겟 인식 숫자(1023) 및 제3 타겟 인식 숫자(1033)를 기반으로 인식 숫자(1050) 및 인식 확률값(1060)이 결정될 수 있다.

만약, 제1 타겟 인식 숫자(1013), 제2 타겟 인식 숫자(1023) 및 제3 타겟 인식 숫자(1033)가 동일할 경우, 인식 숫자는 제1 타겟 인식 숫자(1013), 제2 타겟 인식 숫자(1023) 및 제3 타겟 인식 숫자(1033)에 의해 인식된 동일한 숫자로 결정되고, 인식 확률값은 제1 타겟 인식 확률값(1016)에 제2 타겟 인식 숫자(1023) 및 제3 타겟 인식 숫자(1033) 각각의 인식 확률값인 제2 타겟 인식 확률값(1026)과 제3 타겟 인식 확률값(1036)을 기반으로 한 가중치를 부가하여 결정될 수 있다.

제1 타겟 인식 숫자(1013), 제2 타겟 인식 숫자(1023) 및 제3 타겟 인식 숫자(1033)가 서로 다르고, 과반수 이상으로 인식된 숫자가 존재하는 경우, 과반수 이상으로 인식된 숫자가 인식 숫자로 설정되고, 인식 확률값은 과반수 이상으로 인식된 숫자(예를 들어, 제1 타겟 인식 숫자(1013), 제2 타겟 인식 숫자(1023)) 각각의 타겟 인식 확률값을 더하고, 나머지 인식된 숫자(제3 타겟 인식 숫자(1033))의 타겟 인식 확률값을 빼서 결정될 수 있다.

제1 타겟 인식 숫자(1013), 제2 타겟 인식 숫자(1023) 및 제3 타겟 인식 숫자(1033)가 모두 다른 경우, 가장 인식 확률값이 높은 타겟 인식 숫자(예를 들어, 제2 타겟 인식 숫자(1023))가 인식 숫자로 결정되고, 인식 확률값은 타겟 인식 확률값이 높은 타겟 인식 숫자(예를 들어, 제2 타겟 인식 숫자(1023))의 타겟 인식 확률값에서 나머지 숫자(예를 들어, 제1 타겟 인식 숫자(1013), 제3 타겟 인식 숫자(1033))의 타겟 인식 확률값을 뺀 값으로 결정되되, 타겟 인식 확률값이 높은 타겟 인식 숫자의 타겟 인식 확률값의 1/2보다 작지 않도록 결정될 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (6)

1. 차량 번호판 인식 방법은,
   번호판 인식 장치가 동영상을 수신하는 단계;
   상기 번호판 인식 장치가 상기 동영상에 포함된 차량의 번호판 이미지를 기반으로 최종 인식 번호에 대한 정보를 결정하는 단계를 포함하되,
   상기 최종 인식 번호는 단일 프레임 인식 방법 또는 다중 프레임 인식 방법을 기반으로 결정되고,
   상기 단일 프레임 인식 방법은 하나의 프레임을 기반으로 상기 최종 인식 번호를 결정하고,
   상기 다중 프레임 인식 방법은 복수의 프레임을 기반으로 상기 최종 인식 번호를 결정하고,
   상기 다중 프레임 인식 방법은 숫자 조합 알고리즘을 기반으로 상기 최종 인식 번호를 결정하고,
   상기 숫자 조합 알고리즘은 상기 복수의 프레임에 대응되는 복수의 번호판 이미지 각각에 대한 인식 숫자 및 인식 확률값을 기반으로 상기 최종 인식 번호를 결정하고,
   상기 숫자 조합 알고리즘은 번호판을 구성하는 개별 자리 숫자 각각에 대하여,
   인식 숫자별 인식 확률값을 합산하여 신뢰도를 결정하는 단계;
   상기 신뢰도가 높은 n개의 우선 순위에 대응되는 숫자를 선택하는 단계; 및
   최소 확률 필터를 적용하여 최종적으로 상기 번호판 이미지를 기반으로 인식된 인식 숫자를 결정하는 단계를 수행하되,,
   상기 최소 확률 필터는 제1 우선 순위에 대응되는 인식 숫자의 신뢰도가 임계 신뢰도보다 작으면 필터링하여 제거하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,
   상기 최소 확률 필터는 제2 우선 순위에 대응되는 인식 숫자의 신뢰도가 상기 제1 우선 순위에 대응되는 인식 숫자의 신뢰도에 임계 계수를 곱한 값보다 작으면 필터링하여 제거하고,
   상기 최종 인식 번호는 상기 제1 우선 순위에 대응되는 인식 숫자를 기반으로 제공되되, 상기 제2 우선 순위에 대응되는 인식 숫자가 상기 최소 확률 필터에 의해 필터링되지 않을 경우, 상기 제2 우선 순위에 대응되는 인식 숫자가 병기되어 제공되는 것을 특징으로 하는 방법.
3. 제2항에 있어서,
   상기 최종 인식 번호는 숫자 간 인식 오류 확률을 고려하여 제공되고,
   상기 숫자 간 인식 오류 확률은 숫자 간 형태 유사도를 기반으로 결정되고,
   상기 숫자 간 형태 유사도는 형태의 유사도를 기준으로 디폴트 설정 유사도와 기존의 번호판 이미지에 포함된 숫자에 대한 오류 판단에 대한 피드백 결과를 고려한 피드백 유사도를 고려하여 결정되고,
   상기 숫자 간 인식 오류 확률은 상기 숫자 간 형태 유사도를 기반으로 설정된 초기값인 초기 숫자 간 인식 오류 확률으로 설정된 후 피드백되는 숫자에 대한 오류 판단을 더 고려하여 적응적으로 변화되고,
   상기 우선 순위는 숫자 간 인식 오류 확률을 기반으로 조정되는 것을 특징으로 하는 방법.
4. 차량 번호판 인식을 위한 번호판 인식 장치는,
   번호판 인식 장치가 동영상을 수신하고,
   상기 동영상에 포함된 차량의 번호판 이미지를 기반으로 최종 인식 번호에 대한 정보를 결정하고,
   상기 최종 인식 번호는 단일 프레임 인식 방법 또는 다중 프레임 인식 방법을 기반으로 결정되고,
   상기 단일 프레임 인식 방법은 하나의 프레임을 기반으로 상기 최종 인식 번호를 결정하고,
   상기 다중 프레임 인식 방법은 복수의 프레임을 기반으로 상기 최종 인식 번호를 결정하고,
   상기 다중 프레임 인식 방법은 숫자 조합 알고리즘을 기반으로 상기 최종 인식 번호를 결정하고,
   상기 숫자 조합 알고리즘은 상기 복수의 프레임에 대응되는 복수의 번호판 이미지 각각에 대한 인식 숫자 및 인식 확률값을 기반으로 상기 최종 인식 번호를 결정하고,
   상기 숫자 조합 알고리즘은 번호판을 구성하는 개별 자리 숫자 각각에 대하여,
   인식 숫자별 인식 확률값을 합산하여 신뢰도를 결정하는 단계;
   상기 신뢰도가 높은 n개의 우선 순위에 대응되는 숫자를 선택하는 단계; 및
   최소 확률 필터를 적용하여 최종적으로 상기 번호판 이미지를 기반으로 인식된 인식 숫자를 결정하는 단계를 수행하되,,
   상기 최소 확률 필터는 제1 우선 순위에 대응되는 인식 숫자의 신뢰도가 임계 신뢰도보다 작으면 필터링하여 제거하는 것을 특징으로 하는 번호판 인식 장치.
5. 제4항에 있어서,
   상기 최소 확률 필터는 제2 우선 순위에 대응되는 인식 숫자의 신뢰도가 상기 제1 우선 순위에 대응되는 인식 숫자의 신뢰도에 임계 계수를 곱한 값보다 작으면 필터링하여 제거하고,
   상기 최종 인식 번호는 상기 제1 우선 순위에 대응되는 인식 숫자를 기반으로 제공되되, 상기 제2 우선 순위에 대응되는 인식 숫자가 상기 최소 확률 필터에 의해 필터링되지 않을 경우, 상기 제2 우선 순위에 대응되는 인식 숫자가 병기되어 제공되는 것을 특징으로 하는 번호판 인식 장치.
6. 제5항에 있어서,
   상기 최종 인식 번호는 숫자 간 인식 오류 확률을 고려하여 제공되고,
   상기 숫자 간 인식 오류 확률은 숫자 간 형태 유사도를 기반으로 결정되고,
   상기 숫자 간 형태 유사도는 형태의 유사도를 기준으로 디폴트 설정 유사도와 기존의 번호판 이미지에 포함된 숫자에 대한 오류 판단에 대한 피드백 결과를 고려한 피드백 유사도를 고려하여 결정되고,
   상기 숫자 간 인식 오류 확률은 상기 숫자 간 형태 유사도를 기반으로 설정된 초기값인 초기 숫자 간 인식 오류 확률으로 설정된 후 피드백되는 숫자에 대한 오류 판단을 더 고려하여 적응적으로 변화되고,
   상기 우선 순위는 숫자 간 인식 오류 확률을 기반으로 조정되는 것을 특징으로 하는 번호판 인식 장치.

Images