KR101715273B1 - 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법 - Google Patents

고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법 Download PDF

Info

Publication number
KR101715273B1
KR101715273B1 KR1020160128628A KR20160128628A KR101715273B1 KR 101715273 B1 KR101715273 B1 KR 101715273B1 KR 1020160128628 A KR1020160128628 A KR 1020160128628A KR 20160128628 A KR20160128628 A KR 20160128628A KR 101715273 B1 KR101715273 B1 KR 101715273B1
Authority
KR
South Korea
Prior art keywords
image
license plate
correction
plane
circular
Prior art date
Application number
KR1020160128628A
Other languages
English (en)
Inventor
이승호
라승탁
이선구
Original Assignee
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한밭대학교 산학협력단 filed Critical 한밭대학교 산학협력단
Priority to KR1020160128628A priority Critical patent/KR101715273B1/ko
Application granted granted Critical
Publication of KR101715273B1 publication Critical patent/KR101715273B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/00791—
    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G06K2209/15—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 고해상도의 360° 전방위 카메라를 통해 자동차 번호판의 영상을 수집함으로써 카메라 설치 대수를 줄이고, 다중 자동차 번호판 인식 시스템을 이용하여 선명한 영상을 추출할수 있는 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법에 관한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 특징에 따른 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템은 평면영상 처리 시스템과 다중 자동차 번호판 인식 시스템을 포함한다.
상기 평면영상 처리 시스템은 전방위 렌즈를 통해 획득한 원형영상을 평면영상으로 변환하고, 상기 다중 자동차 번호판 인식 시스템은 상기 평면영상으로 변환된 영상으로부터 영상처리 기법을 이용하여 선명한 자동차 번호판을 추출할수 있다.
또한, 상기 평면영상 처리 시스템은 렌즈부, 센서부, DSP부, 입출력부 및 제어부를 포함한다.
상기 렌즈부는 전방위 렌즈를 이용하여 아날로그 영상을 수집하고, 상기 센서부는 수집된 아날로그 영상을 디지털 영상으로 변환하며, 상기 DSP부는 코덱과 통신 및 설정을 제어한다.
상기 입출력부는 상기 렌즈부를 통해 영상을 입력받고, 상기 DSP부를 통해 처리된 영상 정보를 출력한다. 상기 제어부는 상기 렌즈부, 센서부, DSP부 및 입출력부를 제어한다.
이상과 같은 본 발명에 따른 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법은 고해상도의 360° 전방위 카메라를 이용하여 영상을 수집함으로써 1대의 카메라로 많은 차량의 번호판을 인식하는 것이 가능하고, 다중 자동차 번호판 인식 시스템을 이용하여 영상의 선명도를 높임으로써 필요한 카메라 설치 대수를 줄이는 것이 가능하고, 이로 인하여 카메라 운영비용을 줄일 수 있는 효과가 있다.

Description

고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법{Multi license plate recognition system and method using production high-resolution 360°all-round IP camera}
본 발명은 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 고해상도의 360° 전방위 카메라를 통해 자동차 번호판의 영상을 수집함으로써 카메라 설치 대수를 줄이고, 다중 자동차 번호판 인식 시스템을 이용하여 선명한 영상을 추출할수 있는 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법에 관한 것이다.
LPR(License plate recognition) 시스템은 카메라로 촬영한 이미지로부터 차량번호 데이터를 추출해 주는 장치로서, 종래에는 고속도로에서 과속 차량을 자동으로 단속하거나 거리의 불법주차 챠랑을 적발하기 위해 사용되었다.
또한, 근래에는 주차장을 신속하고 편리하게 출입할 수 있도록 해주는 지능형 주차관리 시스템에 도입되어 널리 활용되고 있다.
상기 LPR 장치는 100만 화소급 이상의 메가픽셀 카메라, 콘트롤러, 조명장치, 컴퓨터 및 문자인식 알고리즘으로 구성되고, 차량 번호판을 촬영한 뒤 얼마나 빠르고 정확하게 차량번호를 추출해 내느냐가 LPR 성능의 척도가 된다.
LPR의 정확도를 나타내기 위해서는 인식률이라는 단위가 사용되는데, 대개의 제품들이 95 ~ 97% 정도의 인식률을 보이는 것이 보통이다. 이때 인식률을 높이기 위한 방법으로 카메라의 초점을 고정시키고 1대의 번호판만 인식이 가능하도록 설치되어 있어 주로 출입구에 설치하게 된다.
한편, 최근 차량의 수가 급격하게 증가함에 따라서 주차시설이 크게 부족해지고 있는 실정이며, 유동인구가 많은 백화점, 대형 쇼핑센터, 병원 등의 대형 건물들은 다수의 주차 공간을 제공하는 대형주차시설을 제공하고 있다.
이렇게 넓은 주차장이 다수 형성된 상황에서, 주차장 차량의 관리를 위하여 다수의 카메라가 설치되어 있다.
주차장 차량의 번호판 인식은 단방향 카메라 1대로 최대 3대의 차량 번호판 인식이 가능하여 3대 이상의 번호판 인식을 위해서는 카메라 설치 대수의 증가가 필요하고, 이에 따른 관리 비용이 높아지게 된다.
따라서, 카메라 설치 대수를 줄이고 운영비용을 줄일 수 있는 카메라의 자동차 번호판 인식 기술이 필요하다.
대한민국 등록특허 제1288871호(2013년 07월 23일 공고)
따라서, 본 발명이 이루고자 하는 기술적 과제는 종래의 단점을 해결한 것으로서, 고해상도의 360° 전방위 카메라를 이용하여 필요한 카메라 설치대수를 줄이고, 다중 자동차 번호판 인식 시스템을 이용하여 자동차 번호판 인식률을 높이는데 그 목적이 있다.
이러한 기술적 과제를 이루기 위한 본 발명의 특징에 따른 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템은 평면영상 처리 시스템과 다중 자동차 번호판 인식 시스템을 포함한다.
상기 평면영상 처리 시스템은 전방위 렌즈를 통해 획득한 원형영상을 평면영상으로 변환하고, 상기 다중 자동차 번호판 인식 시스템은 상기 평면영상으로 변환된 영상으로부터 영상처리 기법을 이용하여 선명한 자동차 번호판을 추출할수 있다.
또한, 상기 평면영상 처리 시스템은 렌즈부, 센서부, DSP부, 입출력부 및 제어부를 포함한다.
상기 렌즈부는 전방위 렌즈를 이용하여 아날로그 영상을 수집하고, 상기 센서부는 수집된 아날로그 영상을 디지털 영상으로 변환하며, 상기 DSP부는 코덱과 통신 및 설정을 제어한다.
상기 입출력부는 상기 렌즈부를 통해 영상을 입력받고, 상기 DSP부를 통해 처리된 영상 정보를 출력한다. 상기 제어부는 상기 렌즈부, 센서부, DSP부 및 입출력부를 제어한다.
본 발명의 특징에 따른 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 방법은, 상기 렌즈부의 전방위 렌즈를 통해 원형영상을 획득하는 단계(S1), 상기 획득한 원형영상을 분할하는 단계(S2), 상기 분할된 원형영상을 평면영상으로 변환하는 단계(S3), 상기 변환된 평면영상에 대해 보간법을 사용하여 픽셀 보정 및 컬러 보정을 진행하는 단계(S4), 상기 픽셀 보정 및 컬러보정이 진행된 평면영상을 에지 보정하는 단계(S5), 상기 보정을 통해 화질이 개선된 평면영상을 출력하는 단계(S6)를 포함할수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법은 고해상도의 360° 전방위 카메라를 이용하여 영상을 수집함으로써 1대의 카메라로 많은 차량의 번호판을 인식하는 것이 가능하고, 다중 자동차 번호판 인식 시스템을 이용하여 영상의 선명도를 높임으로써 필요한 카메라 설치 대수를 줄이는 것이 가능하고, 이로 인하여 카메라 운영비용을 줄일 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템을 나타낸 구성도이다.
도 2는 본 발명의 일실시예에 따른 평면영상 처리 시스템을 나타낸 구성도이다.
도 3은 본 발명의 일실시예에 따른 렌즈부를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 고해상도 360° 전방위 IP 카메라를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 평면영상 처리 방법을 나타낸 순서도이다.
도 6은 본 발명의 일실시예에 따른 360°원형영상에 대한 평면영상의 변환과정을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 360°원형영상에 대한 평면영상의 변환 이론을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 원형영상에서 4개의 평면영상으로 변환된 이미지를 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 흰색 번호판과 녹색 번호판의 후보영역 추출을 위한 변환 이미지를 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 다중 번호판 후보영역 추출 과정을 나타낸 도면이다.
도 11은 본 발명의 일실시예에 따른 다중 자동차 번호판 인식 방법을 나타낸 순서도이다.
도 12는 본 발명의 일실시예에 따른 와핑(Warping) 연산을 통한 자동차 번호판 후보영역 정규화 과정을 나타낸 도면이다.
도 13은 본 발명의 일실시예에 따른 고주파 통과 필터를 통한 자동차 번호판 후보영역 복원 과정을 나타낸 도면이다.
도 14는 본 발명의 일실시예에 따른 개선된 영상을 이진화하는 과정을 나타낸 도면이다.
도 15는 본 발명의 일실시예에 따른 블랍 레이블링(Blob labeling)을 통한 자동차 번호판 숫자, 문자 추출 과정을 나타낸 도면이다.
도 16은 본 발명의 일실시예에 따른 다중 자동차 번호판 숫자 및 문자 인식 과정을 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 또는 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템을 나타낸 구성도이다.
도 1에서 도시된 바와 같이 본 발명의 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템은 평면영상 처리 시스템(100)과 다중 자동차 번호판 인식 시스템(200)을 포함한다.
도 2는 본 발명의 일실시예에 따른 평면영상 처리 시스템을 나타낸 구성도이다.
도 1 및 도 2에서 도시된 바와 같이 본 발명의 평면영상 처리 시스템(100)은 렌즈부(110), 센서부(120), DSP부(130), 입출력부(140) 및 제어부(150)를 포함한다.
총 9개의 렌즈를 경유하여 아날로그 영상을 수집하는 상기 렌즈부(110)는 렌즈 설계 프로그램인 ODE V를 이용하여 설계되는 고해상도의 360° 전방위 렌즈를 포함하고, 상기 렌즈의 설계 방식은 등사형일 수 있다.
도 3은 본 발명의 일실시예에 따른 렌즈부를 나타내는 도면이다.
도 3에서 도시된 바와 같이 상기 상기 렌즈부(110)에 포함되는 렌즈의 구성은 G1부터 G9까지 총 9군으로 구성되고, G1 렌즈의 R2 면에 반사면을 설치하여 외부에서 들어오는 빛을 1차 반사시키며, G1의 R1면 중앙부에 2차 반사면을 두어 1차 반사면에서 반사된 빛을 재 반사시켜 센서까지 도달시키는 형태를 가질수 있다.
따라서, G1 렌즈의 경우 2개의 투과면과 2개의 반사면을 가지고 있는 복합면 렌즈일수 있다.
상기 센서부(120)는 상기 렌즈부(110)에서 수집된 아날로그 영상을 디지털 영상으로 변환하고, CMOS(Complementary metal-oxide semiconductor) 이미지 센서와 ISP(Image signal processing)를 포함할 수 있다. 상기 CMOS 이미지 센서와 ISP는 상기 렌즈부(110)를 통해 들어온 빛을 전기 신호로 변환하여 디지털 영상 신호로 변환한다.
상기 DSP부(130)는 코덱과 통신 및 설정등을 제어한다.
상기 입출력부(140)는 상기 렌즈부(110)를 이용하여 영상을 입력받고, 상기 DSP부(130)를 통하여 처리된 정보를 출력함으로써 카메라의 입력과 출력을 담당한다.
상기 제어부(150)는 상기 렌즈부(110), 센서부(120), DSP부(130) 및 입출력부(140)의 동작을 제어한다.
도 4는 본 발명의 일실시예에 따른 고해상도 360° 전방위 IP 카메라를 나타낸 도면이다.
도4에서 도시된 바와 같이 본 발명에 따른 카메라의 외형은 외부 충격으로부터 보호하기 위한 구조의 외부 하우징(111)과 조립 생산성을 확보하기 위한 구조의 카메라고정부(112)를 포함할 수 있다.
외부 하우징(111)의 카메라 외형은 외부 충격으로부터 보호하기 위한 구조로서 IP66 및 IK10(Impact 20 joule)의 사양을 만족시키기 위하여 몸체를 알루미늄 재질의 다이캐스팅으로 하고, 카메라 창(114)은 PC(Ploycarbonate)로 구성될 수 있다.
여기에서, IP66은 먼지로부터의 완벽한 보호 및 모든 방향에서 높은 압력으로 분사되는 물로부터의 보호에 대한 규정이고, IK10은 파손 방지에 대한 규정이다.
카메라의 조립 생산성을 확보하기 위해 카메라고정부(112)는 카메라 및 렌즈 고정 젠더부를 플라스틱으로 구성하고, 렌즈의 상하좌우 조정(Punt) 및 틸트(Tilt) 조정이 가능하도록 구성될 수 있다.
도 5는 본 발명의 일실시예에 따른 평면영상 처리 방법을 나타낸 순서도이다.
도 5에서 도시된 바와 같이 평면영상 처리 시스템(100)의 평면영상 처리 방법은,
상기 렌즈부의 전방위 렌즈를 통해 원형영상을 획득하는 단계(S1), 상기 획득한 원형영상을 분할하는 단계(S2), 상기 분할된 원형영상을 평면영상으로 변환하는 단계(S3), 상기 변환된 평면영상에 대해 보간법을 사용하여 픽셀 보정 및 컬러 보정을 진행하는 단계(S4), 상기 픽셀 보정 및 컬러 보정이 진행된 평면영상에 대해 에지 보정을 진행하는 단계(S5), 상기 보정을 통해 화질이 개선된 평면영상을 출력하는 단계(S6)를 포함할수 있다.
이에 대해 상세히 설명하면 다음과 같다.
상기 원형영상을 획득하는 단계(S1)로서, 평면영상 처리 시스템(100)의 센서부(120)에 포함되는 CMOS 이미지 센서와 ISP로부터 획득한 원형영상을 평면영상으로 변환하고, 영상의 왜곡을 개선하는 작업을 수행할수 있다. 원형영상을 획득하는 원리는 쌍곡면 미러(mirror)를 이용하여 얻을 수 있다.
이렇게 얻어진 전방위 영상은 공간 내 임의 점, 2차원의 화상면상의 점 P(x,y)에 투영될수 있다. 쌍곡면 미러를 통하여 CMOS 이미지 센서가 영상을 받아들일때, 2차원의 화상면상에서는 전 방위의 상은 원형이 된다.
그러나, CMOS 이미지 센서의 화소 배열은 격자 모양의 배열이기 때문에 얻어지는 화상은 왜곡을 포함하며, 이 왜곡된 화상은 소프트웨어에 의한 왜곡보정 영상처리로 보정될수 있다.
상기 원형영상을 분할하는 단계(S2)로서, 상기 원형영상을 획득하는 단계(S1)로부터 획득한 360°의 원형영상은 90°씩 4개의 영상으로 분할되고, 분할된 각각의 원형영상을 4개의 스레드로 나누어 평면영상으로 변환할수 있다.
도 6은 본 발명의 일실시예에 따른 360°원형영상에 대한 평면영상의 변환과정을 나타낸 도면이고, 도 7은 본 발명의 일실시예에 따른 360°원형영상에 대한 평면영상의 변환 이론을 나타낸 도면이다.
도 6 및 도 7에서 도시된 바와 같이 평면영상으로 변환하는 단계(S3)에서, 평면영상을 얻기 위해서 사용되는 개념은 폴라 변환(Polar transformation)이며, 폴라 변환은 원형 영상의 임의의 선, 반지름 R을 긋고 이 반지름 R내의 각 픽셀의 좌표를 동등한 직사각형에 적용할 각각의 (xf, yf) 좌표로 추출할 수 있다.
원본영상인 원형영상은 πR2 원형영역 안에 그림정보를 가지고 있으며 변환된 평면영상의 전체 가로 길이는 4R이다.
상기 보간법을 사용하여 픽셀 보정 및 컬러 보정을 진행하는 단계(S4)로서, 상기 평면영상으로 변환하는 단계(S3)를 통하여 얻어진 평면영상에 대해 보간(Interpolation)법을 사용하여 픽셀과 컬러를 보정할 수 있다.
여기에서 불량픽셀의 보정과 컬러 보정은 동시에 수행될 수 있다.
또한, 상기 보간법의 일실시예로서 양선형 보간법이 포함될 수 있다.
상기 에지 보정 단계(S5)로서, 상기 보간법을 사용하여 픽셀 보정 및 컬러 보정을 진행하는 단계(S4)를 통하여 불량픽셀 보정과 컬러 보정을 마치고 난 평면영상은 마지막으로 영상내의 서로 다른 경계값, 즉 에지(Edge)에 대한 에지 보정(Edge enhancement) 과정을 거쳐 명확한 영상으로 보완될수 있다.
상기 에지 보정은 샤프닝 필터를 구현하여 적용시킬 수 있다. 영상을 샤프하게 필터링하여 영상 디테일의 선명도를 높이는 방법으로는 소벨(Sobel) 필터 마스크를 통한 샤프닝, 라플라시안(Laplacian) 필터 마스크를 통한 샤프닝이 포함될 수 있다.
도 8은 본 발명의 일실시예에 따른 원형영상에서 4개의 평면영상으로 변환된 이미지를 나타낸 도면이다.
도 8에서 도시된 바와 같이 상기 화질이 개선된 평면영상을 출력하는 단계로서 변환과정이 완료될 수 있다.
상기 다중 자동차 번호판 인식 시스템(200)에서는 평면으로 변환된 이미지의 화소 정보가 부족하기 때문에 여러 영상처리 기법을 사용하여 부족한 화소 정보로도 자동차 번호판 후보 영역을 찾을 수 있도록 한다.
도 9는 본 발명의 일실시예에 따른 흰색 번호판과 녹색 번호판의 후보영역 추출을 위한 변환 이미지를 나타낸 도면이다.
도 9에서 도시된 바와 같이 평면 이미지에서 자동차 번호판 후보 영역을 추출하기 위하여 원본 이미지를 변환할 수 있고, 변환 이미지에는 라플라시안(Laplacian), 샤프닝(Sharpening), LoG(Laplacian of Gaussian), DoG(Diffenence of Gaussian)의 변환된 이미지를 포함할 수 있다.
도 10은 본 발명의 일실시예에 따른 다중 번호판 후보영역 추출 과정을 나타낸 도면이다.
도 10에서 도시된 바와 같이 다중 번호판 후보 영역 추출은 변환된 이미지에서 블랍 레이블링(Blob labeling)과 윈도우(Window) 탐색 기법을 이용하여 추출될 수 있다.
블랍 레이블링은 흰색 픽셀의 작은 덩어리들을 찾아내는 알고리즘으로 변환된 이미지에서 블랍 레이블링을 실시하여 자동차 번호판의 숫자, 문자들을 찾아내고, 블랍으로 지정한다.
또한, 윈도우 탐색 기법을 사용하여, 각각의 자동차 번호판 색에 따른 자동차 번호판 크기의 윈도우를 이미지 전체에 돌려 탐색함으로써 자동차 번호판의 숫자, 문자들이 많이 잡힌 블랍(Blob)들이 있는 곳을 자동차 번호판 후보 영역으로 추출할 수 있다.
이러한 윈도우 탐색기법을 이용하여 다중으로 자동차 번호판 후보 영역을 추출할 수 있다.
도 11은 본 발명의 일실시예에 따른 다중 자동차 번호판 인식 방법을 나타낸 순서도이다.
도 11에서 도시된 바와 같이 다중 자동차 번호판 인식 시스템(200)의 다중 자동차 번호판 인식 방법은,
자동차 번호판 후보영역을 추출하는 단계(S11), 와핑(Warping) 연산을 통한 자동차 번호판 후보영역을 정규화하는 단계(S12), 고주파 통과 필터를 사용하여 자동차 번호판 후보영역을 복원하는 단계(S13), 상기 복원된 이미지를 이진화하는 단계(S14), 상기 이진화 이미지를 블랍 레이블링(Blob Labeling)을 수행하여 자동차 번호판의 숫자 및 문자를 추출하는 단계(S15), 상기 추출된 자동차 번호판의 숫자 및 문자에 대해 역전파 신경망을 통해 자동차 번호판의 숫자 및 문자를 다중으로 인식하는 단계(S16);를 포함할 수 있다.
이에 대해 상세히 설명하면 다음과 같다.
도 12는 본 발명의 일실시예에 따른 와핑(Warping) 연산을 통한 자동차 번호판 후보영역 정규화 과정을 나타낸 도면이고, 도 13은 본 발명의 일실시예에 따른 고주파 통과 필터를 통한 자동차 번호판 후보영역 복원 과정을 나타낸 도면이다.
평면영상의 좌측과 우측 쪽은 중앙 부분에 비해 왜곡이 많이 발생될수 있다. 따라서 자동차 번호판 후보영역이 평면영상의 좌측이나 우측 쪽에서 추출된 것이라면 픽셀들이 많이 왜곡되고 손상되어 있을 수 있다.
평면영상의 좌측이나 우측과 같이 왜곡 및 손상이 되어 있는 자동차 번호판 후보영역들의 픽셀들로는 자동차 번호판의 숫자, 문자를 제대로 인식할 수 없기 때문에 도 12에서 도시된 바와 같이 와핑(Warping) 연산을 실시하여 정규화할 수 있다.
또한, 상기 정규화된 이미지에서 자동차 번호판 숫자, 문자를 명확히 식별하기 위하여 도 13에서 도시된 바와 같이 고주파 통과 필터를 사용하여 자동차 번호판 후보영역의 복원 과정을 거침으로써 선명해진 영상을 출력할 수 있다.
도 14는 본 발명의 일실시예에 따른 개선된 영상을 이진화하는 과정을 나타낸 도면이고, 도 15는 본 발명의 일실시예에 따른 블랍 레이블링(Blob labeling)을 통한 자동차 번호판 숫자, 문자 추출 과정을 나타낸 도면이다.
도 14에서 도시된 바와 같이 상기 복원 과정을 거쳐 선명해지고 개선된 영상을 이진화할 수 있다.
또한, 도 15에서 도시된 바와 같이 상기 이진화된 이미지를 블랍 레이블링(Blob labeling)을 수행함으로써 자동차 번호판 숫자 및 문자를 추출할 수 있다.
한편, 다중 자동차 번호판 숫자 및 문자 인식은 역전파 알고리즘이 적용된 신경망을 통하여 숫자 및 문자 인식을 할수 있다. 역전파 알고리즘이란 신경망의 출력값이 원하는 출력값이 나오도록 오차 신호를 역방향 으로 전파하여 노드 사이의 가중치(연산값)을 수정하는 기법이다.
사전에 역전파 신경망에 학습시켜 놓은 숫자 및 문자 데이터를 이용하여 추출된 자동차 번호판 숫자 및 문자를 입력으로 넣어서 자동차 번호판의 숫자 및 문자를 인식할 수 있다.
도 16은 본 발명의 일실시예에 따른 다중 자동차 번호판 숫자 및 문자 인식 과정을 나타낸 도면이다.
도 16에서 도시된 바와 같이 미리 자동차 번호판의 숫자 및 문자에 대한 학습이 되어 있는 역전파 신경망에 다중으로 자동차 번호판 영역이 추출될때마다 바로 번호판 숫자 및 문자들을 입력으로 넣어서 자동차 번호판의 숫자 및 문자를 다중으로 인식하게 할수 있다.
이상으로 본 발명에 관한 바람직한 실시예를 설명하였으나, 본 발명은 상기 실시예에 한정되지 아니하며, 본 발명의 실시예로부터 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의한 용이하게 변경되어 균등하다고 인정되는 범위의 모든 변경을 포함한다.
100 : 평면영상 처리 시스템 110 : 렌즈부
111 : 외부하우징 112 : 카메라고정부
113 : 전방위렌즈 114 : 카메라 창
120 : 센서부 130 : DSP부
140 : 입출력부 150 : 제어부
200 : 다중 자동차 번호판 인식 시스템

Claims (9)

  1. 전방위 렌즈를 통해 획득한 원형영상을 평면영상으로 변환하는 평면영상 처리 시스템과,
    상기 평면영상으로 변환된 영상으로부터 영상처리 기법을 이용하여 선명도가 개선된 자동차 번호판을 추출하는 다중 자동차 번호판 인식 시스템을 포함하고,
    상기 평면영상 처리 시스템은,
    전방위 렌즈를 통해 원형영상을 획득하고, 상기 획득한 원형영상을 분할하며, 상기 분할된 원형영상을 평면영상으로 변환하고, 상기 변환된 평면영상에 대해 보간법을 사용하여 픽셀 보정 및 컬러 보정을 진행하며, 상기 픽셀 보정 및 컬러 보정이 진행된 평면영상에 대해 에지 보정을 진행하고, 상기 보정을 통해 화질이 개선된 평면영상을 출력하는 것을 특징으로 하며,
    상기 평면영상에 대한 에지 보정은
    영상을 샤프하게 필터링하여 영상 디테일의 선명도를 높이는 샤프닝 필터를 포함하고,
    상기 샤프닝 필터는 소벨(Sobel) 필터 마스크를 통한 샤프닝과 라플라시안(Laplacian) 필터 마스크를 통한 샤프닝중 적어도 하나가 포함되는 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템.
  2. 제 1항에 있어서,
    상기 평면영상 처리 시스템은,
    9개의 렌즈를 경유하여 아날로그 영상을 수집하는 렌즈부;
    상기 렌즈부에서 수집된 아날로그 영상을 디지털 영상으로 변환하는 센서부;
    코덱과 통신 및 설정을 제어하는 DSP부;
    상기 렌즈부를 통해 영상을 입력받고, 상기 DSP부를 통하여 처리된 영상 정보를 출력하는 입출력부;
    상기 렌즈부, 센서부, DSP부 및 입출력부를 제어하는 제어부를 포함하는 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템.
  3. 삭제
  4. 삭제
  5. 전방위 렌즈를 통해 원형영상을 획득하는 단계(S1);
    상기 획득한 원형영상을 분할하는 단계(S2);
    상기 분할된 원형영상을 평면영상으로 변환하는 단계(S3);
    상기 변환된 평면영상에 대해 보간법을 사용하여 픽셀 보정 및 컬러 보정을 진행하는 단계(S4);
    상기 픽셀 보정 및 컬러 보정이 진행된 평면영상에 대해 에지 보정을 진행하는 단계(S5); 및
    상기 보정을 통해 화질이 개선된 평면영상을 출력하는 단계(S6);를 포함하고,
    상기 픽셀 보정 및 컬러 보정이 진행된 평면영상에 대해 에지 보정을 진행하는 단계(S5)에서,
    영상을 샤프하게 필터링하여 영상 디테일의 선명도를 높이는 샤프닝 필터를 이용하여 에지 보정을 진행하고,
    상기 샤프닝 필터는 소벨(Sobel) 필터 마스크를 통한 샤프닝과 라플라시안(Laplacian) 필터 마스크를 통한 샤프닝중 적어도 하나가 포함되는 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 방법.
  6. 제 5항에 있어서,
    상기 획득한 원형영상을 분할하는 단계(S2)에서,
    360°의 원형영상은 90°씩 4개의 영상으로 분할되고, 분할된 각각의 원형영상을 4개의 스레드로 나누어 평면영상으로 변환하는 것을 특징으로 하는 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 방법.
  7. 제 5항에 있어서,
    상기 분할된 원형영상을 평면영상으로 변환하는 단계(S3)에서,
    평면영상을 얻기 위하여 폴라 변환(Polar transformation)을 수행하는 것을 특징으로 하는 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 방법.
  8. 삭제
  9. 전방위 렌즈를 통해 원형영상을 획득하는 단계(S1), 상기 획득한 원형영상을 분할하는 단계(S2), 상기 분할된 원형영상을 평면영상으로 변환하는 단계(S3), 상기 변환된 평면영상에 대해 보간법을 사용하여 픽셀 보정 및 컬러 보정을 진행하는 단계(S4), 상기 픽셀 보정 및 컬러 보정이 진행된 평면영상에 대해 에지 보정을 진행하는 단계(S5) 및 상기 보정을 통해 화질이 개선된 평면영상을 출력하는 단계(S6)를 포함하되,
    상기 보정을 통해 화질이 개선된 평면영상중에서 자동차 번호판 후보영역을 추출하는 단계(S11);
    와핑(Warping) 연산을 통한 자동차 번호판 후보영역을 정규화하는 단계(S12);
    고주파 통과 필터를 사용하여 자동차 번호판 후보영역을 복원하는 단계(S13);
    상기 복원된 이미지를 이진화하는 단계(S14);
    상기 이진화 이미지를 블랍 레이블링(Blob Labeling)을 수행하여 자동차 번호판의 숫자 및 문자를 추출하는 단계(S15); 및
    상기 추출된 자동차 번호판의 숫자 및 문자에 대해 역전파 신경망을 통해 자동차 번호판의 숫자 및 문자를 다중으로 인식하는 단계(S16);를 포함하는 고해상도 360° 전방위 IP 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 방법.
KR1020160128628A 2016-10-05 2016-10-05 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법 KR101715273B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160128628A KR101715273B1 (ko) 2016-10-05 2016-10-05 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160128628A KR101715273B1 (ko) 2016-10-05 2016-10-05 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101715273B1 true KR101715273B1 (ko) 2017-03-10

Family

ID=58411091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160128628A KR101715273B1 (ko) 2016-10-05 2016-10-05 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101715273B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944450A (zh) * 2017-11-16 2018-04-20 深圳市华尊科技股份有限公司 一种车牌识别方法及装置
KR102062579B1 (ko) 2019-09-23 2020-01-06 주식회사 아프로시스템즈 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템
CN111079744A (zh) * 2019-12-06 2020-04-28 鲁东大学 适用于复杂光照环境的车辆车牌智能识别方法及装置
WO2020116680A1 (ko) * 2018-12-04 2020-06-11 전자부품연구원 차량 번호판 검출 및 인식 시스템 및 방법
KR102150967B1 (ko) * 2019-03-26 2020-09-02 (주)헥스하이브 전방위 촬영이 가능한 자동차용 보안 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934719B1 (ko) * 2009-05-28 2009-12-30 주식회사 아이뉴정보통신 전방위 광학시스템 및 그 전방위 광학시스템을 갖는 전방위 카메라
KR100976441B1 (ko) * 2009-12-03 2010-08-17 주식회사 넥스파시스템 전방위 카메라를 이용한 주차면 관리시스템 및 그 관리방법
KR101288871B1 (ko) 2011-12-09 2013-07-23 이정환 전방위 카메라 렌즈
KR101378992B1 (ko) * 2014-02-11 2014-03-27 이충구 주차관제시스템 및 방법
KR20150129548A (ko) * 2014-05-12 2015-11-20 (주)헥스하이브 전 방위 평면 이미지를 생성하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934719B1 (ko) * 2009-05-28 2009-12-30 주식회사 아이뉴정보통신 전방위 광학시스템 및 그 전방위 광학시스템을 갖는 전방위 카메라
KR100976441B1 (ko) * 2009-12-03 2010-08-17 주식회사 넥스파시스템 전방위 카메라를 이용한 주차면 관리시스템 및 그 관리방법
KR101288871B1 (ko) 2011-12-09 2013-07-23 이정환 전방위 카메라 렌즈
KR101378992B1 (ko) * 2014-02-11 2014-03-27 이충구 주차관제시스템 및 방법
KR20150129548A (ko) * 2014-05-12 2015-11-20 (주)헥스하이브 전 방위 평면 이미지를 생성하는 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944450A (zh) * 2017-11-16 2018-04-20 深圳市华尊科技股份有限公司 一种车牌识别方法及装置
CN107944450B (zh) * 2017-11-16 2020-04-24 深圳市华尊科技股份有限公司 一种车牌识别方法及装置
WO2020116680A1 (ko) * 2018-12-04 2020-06-11 전자부품연구원 차량 번호판 검출 및 인식 시스템 및 방법
KR102150967B1 (ko) * 2019-03-26 2020-09-02 (주)헥스하이브 전방위 촬영이 가능한 자동차용 보안 시스템
KR102062579B1 (ko) 2019-09-23 2020-01-06 주식회사 아프로시스템즈 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템
CN111079744A (zh) * 2019-12-06 2020-04-28 鲁东大学 适用于复杂光照环境的车辆车牌智能识别方法及装置
CN111079744B (zh) * 2019-12-06 2020-09-01 鲁东大学 适用于复杂光照环境的车辆车牌智能识别方法及装置

Similar Documents

Publication Publication Date Title
KR101715273B1 (ko) 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법
CN109146929B (zh) 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法
KR101831973B1 (ko) 홍채 이미지 형성 장치 및 홍채 이미지 형성 장치의 구성 방법
CN205354047U (zh) 一种标记读取终端
US20190130215A1 (en) Training method and detection method for object recognition
WO2019233264A1 (zh) 图像处理方法、计算机可读存储介质和电子设备
CN112381075B (zh) 一种机房特定场景下进行人脸识别的方法及系统
US20190279026A1 (en) Image generation apparatus and method for generating image
JP2017005389A (ja) 画像認識装置、画像認識方法及びプログラム
CN111967498A (zh) 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN111797653A (zh) 基于高维图像的图像标注方法和装置
CN108154149B (zh) 基于深度学习网络共享的车牌识别方法
JPWO2017221643A1 (ja) 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
JP7104916B2 (ja) 移動物体検出装置および移動物体検出方法
JP7024736B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR101493009B1 (ko) 전후면 차량 번호 인식 방법과 그 시스템
JPWO2017221644A1 (ja) 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
KR102383377B1 (ko) 차량용 번호판을 인식하기 위한 전자 장치
Li et al. Rotation correction for license plate recognition
CN112819895A (zh) 一种摄像机标定方法及装置
CN113673584A (zh) 一种图像检测方法及相关装置
JP2019200772A (ja) 識別システム、識別装置、識別方法及びプログラム
CN110115022B (zh) 图像处理系统、光学传感器、以及学习装置
Yang et al. Raindrop removal with light field image using image inpainting
CN111354038B (zh) 锚定物检测方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200311

Year of fee payment: 4