KR20130031308A - Recognition of number plate system using compensation of image distort - Google Patents

Recognition of number plate system using compensation of image distort Download PDF

Info

Publication number
KR20130031308A
KR20130031308A KR1020130016139A KR20130016139A KR20130031308A KR 20130031308 A KR20130031308 A KR 20130031308A KR 1020130016139 A KR1020130016139 A KR 1020130016139A KR 20130016139 A KR20130016139 A KR 20130016139A KR 20130031308 A KR20130031308 A KR 20130031308A
Authority
KR
South Korea
Prior art keywords
image
unit
camera
distortion
image distortion
Prior art date
Application number
KR1020130016139A
Other languages
Korean (ko)
Inventor
정의권
Original Assignee
주식회사 유빅스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유빅스 filed Critical 주식회사 유빅스
Priority to KR1020130016139A priority Critical patent/KR20130031308A/en
Publication of KR20130031308A publication Critical patent/KR20130031308A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: A vehicle number recognition device for correcting image distortion of a camera is provided to correct an image distortion phenomenon of an HD class of a CMOS camera by using an image correction unit. CONSTITUTION: A high quality still image is obtained by correcting image distortion. A system includes a photographing unit, an image obtainment unit, an image processing unit, and an image correction unit. The image correction unit corrects image distortion corresponding to a rolling shutter. An image distortion phenomenon, which is generated by movement of a subject, is removed. [Reference numerals] (AA,DD) Image input unit; (BB,EE) Camera input unit; (CC,GG) Processing unit; (FF) Distorted image correction processing

Description

카메라의 영상 왜곡을 보정한 차량번호 인식기{Recognition of number plate system using Compensation of Image Distort}Recognition of number plate system using Compensation of Image Distort}

본 발명은 일반적인 카메라의 영상이 아닌 왜곡된 영상 특히 로타리 셔터 방식의 카메라로부터 왜곡된 영상 정보를 보정 하는 기술및 이를 응용한 차량 번호 인식 장비에 관한것이다.The present invention relates to a technique for correcting distorted image information from a distorted image, in particular, a rotary shutter type camera, rather than a general camera image, and a vehicle number recognition device using the same.

일반적인 차량번호 인식 장비는 다음과 같다 . 도 1 에서와 같이 번호인식 장비는 카메라부와 영상 입력부 처리부로 나누어 진다. 일반적으로 영상 입력부 는 카메라 및 렌즈를 제어하여 영상을 취득하여 이를 처리부 즉 차량 번호를 인식하는 프로세서부 인 것이다.Typical license plate recognition equipment is as follows. As shown in Figure 1, the number recognition equipment is divided into a camera unit and an image input unit processing unit. In general, the image input unit is a processor unit that acquires an image by controlling a camera and a lens and recognizes the processor, that is, a vehicle number.

차량 번호 인식 과 같은 복잡한 영상 처리 기법은 매우 선명한 이미지를 요구 하며 따라서 사용하는 카메라도 보다 정교한 카메라를 이용하고 있다. 또한 야간에도 주간과 근접한 영상효과를 얻기 위해 특수 조명 근적외선이나 적외선 혹은 투광 조명등을 이용하고 있다. 이렇게 취득한 영상은 자체 신경망이나 혹은 패턴 매칭과 같은 기법으로 영상내에 문자의 위치를 파악하고 파악된 위치의 문자를 분류하여 선행 학습된 문자인지 아닌지를 판단하여 문자를 인식할수 있는것이다.Complex image processing techniques, such as vehicle identification, require very sharp images, so the cameras you use are more sophisticated. In addition, at night, special lighting near-infrared, infrared or floodlights are used to obtain a visual effect close to the daytime. The acquired image is able to recognize the character by identifying the position of the character in the image by a technique such as its own neural network or pattern matching, and classifying the character of the identified position to determine whether it is a previously learned character.

그러나 이와 같은 장비는 고가의 카메라를 이용하므로 전체적인 시스템 가격에 큰영향을 미치며 이러한 가격적인 부담으로 범용화 될 수가 없었다.However, such equipment uses expensive cameras, which greatly affects the overall system price and cannot be generalized due to such a price burden.

이러한 특수 카메라는 일반적인 비월주사 방식이 아닌 프레임 입력이란 방법을 사용하며 각각의 라인이 동시 반응을 하기 위해 반응 속도가 빠른 CCD 소자를 이용한다.These special cameras use the method of frame input rather than the usual interlaced scanning method and use a fast response CCD device for each line to react simultaneously.

현재 이런 고가의 CCD 소자(Prograssive scan Camera) 보다 8 배 이상의 해상도와 1/10 에 해당하는 저가의 HD 급 CMOS 디지털 카메라는 CMOS 의 소자 특성상 다양한 문제점을 내포하고 있는데 근본적으로 롤링 셔터에 의한 영상 왜곡이 주된 원인 이였다 그러나 처리기의 프로세서가 고속화 함에 따라 영상 왜곡을 보정하여 고가의 CCD 급 영상을 취득하여 전체 차량번호 인식기의 성능은 획기적으로 향상 시키며 차량번호 인식기를 보급화 할 수 있다.Currently, low-cost HD-class CMOS digital cameras with 8 times the resolution and 1/10 the resolution of these expensive CCD devices (Prograssive scan cameras) have various problems due to the characteristics of CMOS devices. However, as the processor of the processor speeds up, image distortion is corrected to obtain expensive CCD-class images, which greatly improves the performance of the entire vehicle number recognizer and makes it possible to spread the vehicle number recognizer.

2002 복합 차량 단속 장비2002 compound vehicle crackdown equipment

로터리 셔터의 영상 왜곡Image distortion of the rotary shutter

본 발명은 CMOS Camera 의 촬영시(Rolling Shutter) 발생하는 영상 왜곡 (도 2 )을 보정하여 일반적인 시스템의 구성에 영상 왜곡 보정 담당하는 별도의 프로세서를 두며 영상 왜곡 보정을 연속적인 이미지를 가지고 보정하여 고가의 영상 분석시스템을 구성하는것이다. 본 발명은 영상의 왜곡을 보정하는데 있어서 연속적인 이미지의 사용법과 이를 응용한 시스템에 관한것이다.The present invention provides a separate processor that is responsible for image distortion correction in the configuration of a general system by correcting image distortion (Fig. 2) generated during the shooting (Rolling Shutter) of a CMOS camera, and corrects image distortion correction with a continuous image, thereby making it expensive. To construct a video analysis system. The present invention relates to the use of the continuous image in the correction of the distortion of the image and to a system using the same.

본 발명의 물리적인 구성은 도 1 에서와 같이 렌즈부와 카메라부 그리고 제어부로 나누어져 있으며 도1 의 나 에서와 같이 별도의 영상 왜곡 보정 처리부를 두어 본 발명에 필요로 하는 영상 보정프로세서가 동작 하도록 하여 영상 분석시스템 및 카메라부는 HD 급 CMOS 카메라를 사용한다.The physical configuration of the present invention is divided into a lens unit, a camera unit, and a control unit as shown in FIG. 1, and a separate image distortion correction processing unit as shown in FIG. 1B to operate an image correction processor required for the present invention. Therefore, the image analysis system and the camera unit uses an HD-class CMOS camera.

영상 보정의 방법으로 연속적인 이미지의 특징점과 이동치 벡터 기준 프레임을 사용하며 이는 소프트 웨어적인 구성 및 입력 단 에서 최소의 영상 왜곡을 막기 위한 입력 단 필터를 사용하다.As a method of image correction, we use continuous image feature points and moving vector reference frames, which use software configuration and input stage filters to prevent minimal image distortion at the input stage.

본 발명은 HD 급 CMOS 카메라의 영상 왜곡 현상을 보정하여 차량 번호 인식 장비와 같은 복잡한 영상 처리 장비에 활용 하도록 하여 기존의 고가 저성능 CCD Camera 를 저가의 고성는 HD Camera 로 대체함에 있다.The present invention is to replace the existing high-priced low-performance CCD camera with a low-cost high-performance HD camera by correcting the image distortion of the HD-class CMOS camera to be used in complex image processing equipment such as vehicle number recognition equipment.

도 1 기존 시스템의 구성 과 개선된 장비의 구성도
도 2 영상 왜곡의 종류
1 is a configuration diagram of the existing system and improved equipment
Figure 2 Types of image distortion

일반적인 ccd 소자의 글로벌 셔터 영상 취득 대신에 CMOS HD 급 카메라를 이용하는 경우 시스템의 구성도 는 도 1의 나 와 같다 . 기존의 시스템과 달리 영상 처리 부분이 첨부 되어 영상 왜곡을 보정하여 고화질의 정지 화상을 취득 할수 있는것이다. 시스템의 구성은 촬영부 및 영상 취득부 처리부, 영상 보정부가 첨부 되며 영상 보정부 는 롤링 셔터에 따른 아래와 같은 영상 왜곡을 보정한다. 영상 왜곡은 다음과 같다In the case of using a CMOS HD camera instead of the global shutter image acquisition of a general ccd device, the configuration of the system is shown in FIG. Unlike the existing system, the image processing part is attached so that image distortion can be corrected to obtain a high quality still image. The configuration of the system includes a photographing unit, an image capturing unit processor, and an image correcting unit, and the image correcting unit corrects the following image distortion due to the rolling shutter. Image distortion is as follows

CMOS HD 급 rolling shutter 의 영상 왜곡은 다음과 같이 크게분류 될수 있다 .Image distortion of CMOS HD rolling shutter can be classified as follows.

- 젤로 현상Jello phenomenon

젤로 현상은 피사체가 빠른 스피드로 움직일 경우 발생하는 기하학적인 영상 왜곡 현상이다. 도 2 의 가 와 같이 수평성이 옆으로 이동시 사선으로 변화되는 현상이다 . 이런 현상은 역으로 피사체의 이동시 라인 스캔의 비동기화 대문에 발생한다.Jello is a geometric image distortion that occurs when a subject moves at high speed. As shown in FIG. 2, the horizontality is changed to an oblique line when moved laterally. This happens in reverse due to the asynchronous scan of the line when the subject moves.

특히 고속의 차량 촬영 시 발생 할 수 있는 이러한 영상 왜곡은 다음과 같이 보정을 할 수 있다. 먼저 물리적으로 CMOS 에 이미지 동기화를 걸어 주는 방법인데 이 경우 소자의 발열이 발생하므로 영상 처리에서 다음과 같이 수정 할 수 있다 . 움직이는 피사체는 각각의 배경영상에서 이동성 벡터를 가진다. 촬영된 연속 프레임에서 이러한 벡터 영상을 보정할 경우 이러한 영상 왜곡 현상을 대폭 줄일 수 있다.In particular, such image distortion that may occur during high-speed vehicle shooting can be corrected as follows. First, the image synchronization is physically synchronized to the CMOS. In this case, since the device generates heat, the following can be corrected in the image processing. The moving subject has a mobility vector in each background image. When the vector image is corrected in the photographed consecutive frames, the image distortion phenomenon can be greatly reduced.

- 얼라이싱 현상-Aliasing phenomenon

센서의 각행마다 동기화가 달라 발생 하는 현상이다. 직선이 곧지 못하고 굴절이 되는 현상이다. 도 2 의 나와 같이 영상이 흐릿해지는 현상이며 이러한 기준 영상을 가지고 편집할수 있다.This is a phenomenon where synchronization occurs in each row of the sensor. It is a phenomenon that the straight line is not straight but is refracted. As shown in FIG. 2, the image is blurred and can be edited with the reference image.

- 워블링 현상-Wobbling

카메라가 고정 되어 있다하더라도 진동의 영향을 받아 요동치는 듯한 현상을 가져온다.Even if the camera is fixed, it can be shaken under the influence of vibration.

위에서 열거 된 영상의 왜곡 발생원인은 카메라의 영상 라인 동기가 정확한 시점에 이루지지 않는 롤링 셔터인 문제이다 따라서 시계열의 배경 영상을 이용한 칼만 기법과 배경 영상 지정 기법을 사용하면 위에 열거된 영상 왜곡을 보정할수 있으며 문자 인식과 같은 정확한 영상을 필요로 하는 시스템에 바로 적용할수 가 있다 . 영상의 보정 기법은 다음과 같다.The cause of distortion of the images listed above is a rolling shutter that does not synchronize the camera's image line at the correct time. Therefore, the Kalman technique using the time series background image and the background image designation technique correct the image distortion listed above. It can be applied directly to systems that require accurate images such as character recognition. The image correction technique is as follows.

기준 영상의 프레임은 이동 물체의 편차가 없는 기준 영상이다 롤링 셔터는 피사체 가 이동중에 라인스캔 동기가 맞지 않아서 발생하는 문제이므로 기준 프레임 이후로 발생하는 이동물체에 가중치를 주어 각각의 이동 벡터간의 프레임 유사 강도를 변수로 하여 발생 하는 왜곡 현상을 검지 할수 있다 연결 강도 가 낮은 픽셀 블록은 기준 프레임으로부터 취득하며 연결 강도가 높은 픽셀은 실제 피사체의 움직임으로 간주하여 이동시 발생하는 영상 노이즈를 제거 할수 있다.The frame of the reference image is a reference image without deviation of the moving object. Rolling shutter is a problem caused by the inconsistency of the line scan while the subject is moving. It is possible to detect distortion caused by the intensity as a variable. Pixel blocks with low connection strength are acquired from the reference frame, and pixels with high connection strength are regarded as movement of the real object, and image noise generated during movement can be removed.

wF(x,y) = Fn-1 F(x-1,y) * a + Fn-1 F(x-1,y-1) * a + Fn-1 F(x,y) * a + Fn-1 F(x+1,y) * a + Fn-1 F(x,y+1 ) * a + Fn-1 F(x+1,y+1) * awF (x, y) = Fn-1 F (x-1, y) * a + Fn-1 F (x-1, y-1) * a + Fn-1 F (x, y) * a + Fn -1 F (x + 1, y) * a + Fn-1 F (x, y + 1) * a + Fn-1 F (x + 1, y + 1) * a

SF(x,y) = wF(x+1,y) + wF(x+1,y+1) +wF(x,y) +wF(x-1,y)+ wF(x,y-1) +wF(x-1,y-1)SF (x, y) = wF (x + 1, y) + wF (x + 1, y + 1) + wF (x, y) + wF (x-1, y) + wF (x, y-1 ) + wF (x-1, y-1)

픽셀간의 연결강도는 위 식으로 구하며 SF 값과 같이 변한다. 따라서 노이즈 제거값은 다음과 같다.The connection strength between pixels is obtained by the above equation and changes as SF value. Therefore, the noise removal value is as follows.

Thershold abs

Figure pat00005
T( x,y) - SF(x,y)
Figure pat00006
> weight(F(x,y)) 과 같이 임계치를 정할수 있다.Thershold abs
Figure pat00005
T (x, y)-SF (x, y)
Figure pat00006
> Threshold (F (x, y)).

Claims (3)

HD SDI Camera interface 의 영상 왜곡을 보정한 차량번호 인식 시스템.Vehicle number recognition system that corrects image distortion of HD SDI Camera interface. HB SDI Camera interface 를 이용한 차량번호 인식 시스템 .Vehicle Number Recognition System Using HB SDI Camera Interface. HD SDI Camera interface 의 영상 왜곡을 보정할수 있는 Kalman 계열의 시계열 필터Kalman series time-series filters to correct image distortion in HD SDI camera interface
KR1020130016139A 2013-02-15 2013-02-15 Recognition of number plate system using compensation of image distort KR20130031308A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130016139A KR20130031308A (en) 2013-02-15 2013-02-15 Recognition of number plate system using compensation of image distort

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130016139A KR20130031308A (en) 2013-02-15 2013-02-15 Recognition of number plate system using compensation of image distort

Publications (1)

Publication Number Publication Date
KR20130031308A true KR20130031308A (en) 2013-03-28

Family

ID=48180544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130016139A KR20130031308A (en) 2013-02-15 2013-02-15 Recognition of number plate system using compensation of image distort

Country Status (1)

Country Link
KR (1) KR20130031308A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438804B2 (en) 2013-08-27 2016-09-06 Hanwha Techwin Co., Ltd. Device and method for removing distortion

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438804B2 (en) 2013-08-27 2016-09-06 Hanwha Techwin Co., Ltd. Device and method for removing distortion

Similar Documents

Publication Publication Date Title
JP5472506B2 (en) Tracking imaging system and imaging control method for a plurality of moving objects
US11356604B2 (en) Methods and systems for image processing with multiple image sources
WO2017176514A8 (en) Method and apparatus for video content stabilization
KR102069269B1 (en) Apparatus and method for stabilizing image
KR20130119706A (en) Method and system for compensating image blur by moving image sensor
CN113271406B (en) Method and system for image processing with multiple image sources
KR101178777B1 (en) Image processing apparatus, image processing method and computer readable-medium
US9589339B2 (en) Image processing apparatus and control method therefor
EP3001676A1 (en) Method and image processing device for image stabilization of a video stream
JP2017098776A (en) Imaging apparatus, control method of imaging apparatus, and program
CN103914810A (en) Image super-resolution for dynamic rearview mirror
KR101537559B1 (en) Device for detecting object, device for detecting object for vehicle and method thereof
US20110085026A1 (en) Detection method and detection system of moving object
US9560287B2 (en) Noise level based exposure time control for sequential subimages
JP5395650B2 (en) Subject area extraction device and control method thereof, subject tracking device, and program
US20160156826A1 (en) Image-capturing device and image-capturing method
JP2017092839A5 (en)
JP4668863B2 (en) Imaging device
KR102216505B1 (en) Face tracking camera module and method
KR20130031308A (en) Recognition of number plate system using compensation of image distort
JP5539565B2 (en) Imaging apparatus and subject tracking method
JP2004289709A (en) Image pickup device, and image pickup method
JP2016081095A (en) Subject tracking device, control method thereof, image-capturing device, display device, and program
JP5541956B2 (en) Image composition method, image composition program, and image composition apparatus
JP5247419B2 (en) Imaging apparatus and subject tracking method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application
E601 Decision to refuse application