KR20130031308A - Recognition of number plate system using compensation of image distort - Google Patents
Recognition of number plate system using compensation of image distort Download PDFInfo
- Publication number
- KR20130031308A KR20130031308A KR1020130016139A KR20130016139A KR20130031308A KR 20130031308 A KR20130031308 A KR 20130031308A KR 1020130016139 A KR1020130016139 A KR 1020130016139A KR 20130016139 A KR20130016139 A KR 20130016139A KR 20130031308 A KR20130031308 A KR 20130031308A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- unit
- camera
- distortion
- image distortion
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 일반적인 카메라의 영상이 아닌 왜곡된 영상 특히 로타리 셔터 방식의 카메라로부터 왜곡된 영상 정보를 보정 하는 기술및 이를 응용한 차량 번호 인식 장비에 관한것이다.The present invention relates to a technique for correcting distorted image information from a distorted image, in particular, a rotary shutter type camera, rather than a general camera image, and a vehicle number recognition device using the same.
일반적인 차량번호 인식 장비는 다음과 같다 . 도 1 에서와 같이 번호인식 장비는 카메라부와 영상 입력부 처리부로 나누어 진다. 일반적으로 영상 입력부 는 카메라 및 렌즈를 제어하여 영상을 취득하여 이를 처리부 즉 차량 번호를 인식하는 프로세서부 인 것이다.Typical license plate recognition equipment is as follows. As shown in Figure 1, the number recognition equipment is divided into a camera unit and an image input unit processing unit. In general, the image input unit is a processor unit that acquires an image by controlling a camera and a lens and recognizes the processor, that is, a vehicle number.
차량 번호 인식 과 같은 복잡한 영상 처리 기법은 매우 선명한 이미지를 요구 하며 따라서 사용하는 카메라도 보다 정교한 카메라를 이용하고 있다. 또한 야간에도 주간과 근접한 영상효과를 얻기 위해 특수 조명 근적외선이나 적외선 혹은 투광 조명등을 이용하고 있다. 이렇게 취득한 영상은 자체 신경망이나 혹은 패턴 매칭과 같은 기법으로 영상내에 문자의 위치를 파악하고 파악된 위치의 문자를 분류하여 선행 학습된 문자인지 아닌지를 판단하여 문자를 인식할수 있는것이다.Complex image processing techniques, such as vehicle identification, require very sharp images, so the cameras you use are more sophisticated. In addition, at night, special lighting near-infrared, infrared or floodlights are used to obtain a visual effect close to the daytime. The acquired image is able to recognize the character by identifying the position of the character in the image by a technique such as its own neural network or pattern matching, and classifying the character of the identified position to determine whether it is a previously learned character.
그러나 이와 같은 장비는 고가의 카메라를 이용하므로 전체적인 시스템 가격에 큰영향을 미치며 이러한 가격적인 부담으로 범용화 될 수가 없었다.However, such equipment uses expensive cameras, which greatly affects the overall system price and cannot be generalized due to such a price burden.
이러한 특수 카메라는 일반적인 비월주사 방식이 아닌 프레임 입력이란 방법을 사용하며 각각의 라인이 동시 반응을 하기 위해 반응 속도가 빠른 CCD 소자를 이용한다.These special cameras use the method of frame input rather than the usual interlaced scanning method and use a fast response CCD device for each line to react simultaneously.
현재 이런 고가의 CCD 소자(Prograssive scan Camera) 보다 8 배 이상의 해상도와 1/10 에 해당하는 저가의 HD 급 CMOS 디지털 카메라는 CMOS 의 소자 특성상 다양한 문제점을 내포하고 있는데 근본적으로 롤링 셔터에 의한 영상 왜곡이 주된 원인 이였다 그러나 처리기의 프로세서가 고속화 함에 따라 영상 왜곡을 보정하여 고가의 CCD 급 영상을 취득하여 전체 차량번호 인식기의 성능은 획기적으로 향상 시키며 차량번호 인식기를 보급화 할 수 있다.Currently, low-cost HD-class CMOS digital cameras with 8 times the resolution and 1/10 the resolution of these expensive CCD devices (Prograssive scan cameras) have various problems due to the characteristics of CMOS devices. However, as the processor of the processor speeds up, image distortion is corrected to obtain expensive CCD-class images, which greatly improves the performance of the entire vehicle number recognizer and makes it possible to spread the vehicle number recognizer.
본 발명은 CMOS Camera 의 촬영시(Rolling Shutter) 발생하는 영상 왜곡 (도 2 )을 보정하여 일반적인 시스템의 구성에 영상 왜곡 보정 담당하는 별도의 프로세서를 두며 영상 왜곡 보정을 연속적인 이미지를 가지고 보정하여 고가의 영상 분석시스템을 구성하는것이다. 본 발명은 영상의 왜곡을 보정하는데 있어서 연속적인 이미지의 사용법과 이를 응용한 시스템에 관한것이다.The present invention provides a separate processor that is responsible for image distortion correction in the configuration of a general system by correcting image distortion (Fig. 2) generated during the shooting (Rolling Shutter) of a CMOS camera, and corrects image distortion correction with a continuous image, thereby making it expensive. To construct a video analysis system. The present invention relates to the use of the continuous image in the correction of the distortion of the image and to a system using the same.
본 발명의 물리적인 구성은 도 1 에서와 같이 렌즈부와 카메라부 그리고 제어부로 나누어져 있으며 도1 의 나 에서와 같이 별도의 영상 왜곡 보정 처리부를 두어 본 발명에 필요로 하는 영상 보정프로세서가 동작 하도록 하여 영상 분석시스템 및 카메라부는 HD 급 CMOS 카메라를 사용한다.The physical configuration of the present invention is divided into a lens unit, a camera unit, and a control unit as shown in FIG. 1, and a separate image distortion correction processing unit as shown in FIG. 1B to operate an image correction processor required for the present invention. Therefore, the image analysis system and the camera unit uses an HD-class CMOS camera.
영상 보정의 방법으로 연속적인 이미지의 특징점과 이동치 벡터 기준 프레임을 사용하며 이는 소프트 웨어적인 구성 및 입력 단 에서 최소의 영상 왜곡을 막기 위한 입력 단 필터를 사용하다.As a method of image correction, we use continuous image feature points and moving vector reference frames, which use software configuration and input stage filters to prevent minimal image distortion at the input stage.
본 발명은 HD 급 CMOS 카메라의 영상 왜곡 현상을 보정하여 차량 번호 인식 장비와 같은 복잡한 영상 처리 장비에 활용 하도록 하여 기존의 고가 저성능 CCD Camera 를 저가의 고성는 HD Camera 로 대체함에 있다.The present invention is to replace the existing high-priced low-performance CCD camera with a low-cost high-performance HD camera by correcting the image distortion of the HD-class CMOS camera to be used in complex image processing equipment such as vehicle number recognition equipment.
도 1 기존 시스템의 구성 과 개선된 장비의 구성도
도 2 영상 왜곡의 종류1 is a configuration diagram of the existing system and improved equipment
Figure 2 Types of image distortion
일반적인 ccd 소자의 글로벌 셔터 영상 취득 대신에 CMOS HD 급 카메라를 이용하는 경우 시스템의 구성도 는 도 1의 나 와 같다 . 기존의 시스템과 달리 영상 처리 부분이 첨부 되어 영상 왜곡을 보정하여 고화질의 정지 화상을 취득 할수 있는것이다. 시스템의 구성은 촬영부 및 영상 취득부 처리부, 영상 보정부가 첨부 되며 영상 보정부 는 롤링 셔터에 따른 아래와 같은 영상 왜곡을 보정한다. 영상 왜곡은 다음과 같다In the case of using a CMOS HD camera instead of the global shutter image acquisition of a general ccd device, the configuration of the system is shown in FIG. Unlike the existing system, the image processing part is attached so that image distortion can be corrected to obtain a high quality still image. The configuration of the system includes a photographing unit, an image capturing unit processor, and an image correcting unit, and the image correcting unit corrects the following image distortion due to the rolling shutter. Image distortion is as follows
CMOS HD 급 rolling shutter 의 영상 왜곡은 다음과 같이 크게분류 될수 있다 .Image distortion of CMOS HD rolling shutter can be classified as follows.
- 젤로 현상Jello phenomenon
젤로 현상은 피사체가 빠른 스피드로 움직일 경우 발생하는 기하학적인 영상 왜곡 현상이다. 도 2 의 가 와 같이 수평성이 옆으로 이동시 사선으로 변화되는 현상이다 . 이런 현상은 역으로 피사체의 이동시 라인 스캔의 비동기화 대문에 발생한다.Jello is a geometric image distortion that occurs when a subject moves at high speed. As shown in FIG. 2, the horizontality is changed to an oblique line when moved laterally. This happens in reverse due to the asynchronous scan of the line when the subject moves.
특히 고속의 차량 촬영 시 발생 할 수 있는 이러한 영상 왜곡은 다음과 같이 보정을 할 수 있다. 먼저 물리적으로 CMOS 에 이미지 동기화를 걸어 주는 방법인데 이 경우 소자의 발열이 발생하므로 영상 처리에서 다음과 같이 수정 할 수 있다 . 움직이는 피사체는 각각의 배경영상에서 이동성 벡터를 가진다. 촬영된 연속 프레임에서 이러한 벡터 영상을 보정할 경우 이러한 영상 왜곡 현상을 대폭 줄일 수 있다.In particular, such image distortion that may occur during high-speed vehicle shooting can be corrected as follows. First, the image synchronization is physically synchronized to the CMOS. In this case, since the device generates heat, the following can be corrected in the image processing. The moving subject has a mobility vector in each background image. When the vector image is corrected in the photographed consecutive frames, the image distortion phenomenon can be greatly reduced.
- 얼라이싱 현상-Aliasing phenomenon
센서의 각행마다 동기화가 달라 발생 하는 현상이다. 직선이 곧지 못하고 굴절이 되는 현상이다. 도 2 의 나와 같이 영상이 흐릿해지는 현상이며 이러한 기준 영상을 가지고 편집할수 있다.This is a phenomenon where synchronization occurs in each row of the sensor. It is a phenomenon that the straight line is not straight but is refracted. As shown in FIG. 2, the image is blurred and can be edited with the reference image.
- 워블링 현상-Wobbling
카메라가 고정 되어 있다하더라도 진동의 영향을 받아 요동치는 듯한 현상을 가져온다.Even if the camera is fixed, it can be shaken under the influence of vibration.
위에서 열거 된 영상의 왜곡 발생원인은 카메라의 영상 라인 동기가 정확한 시점에 이루지지 않는 롤링 셔터인 문제이다 따라서 시계열의 배경 영상을 이용한 칼만 기법과 배경 영상 지정 기법을 사용하면 위에 열거된 영상 왜곡을 보정할수 있으며 문자 인식과 같은 정확한 영상을 필요로 하는 시스템에 바로 적용할수 가 있다 . 영상의 보정 기법은 다음과 같다.The cause of distortion of the images listed above is a rolling shutter that does not synchronize the camera's image line at the correct time. Therefore, the Kalman technique using the time series background image and the background image designation technique correct the image distortion listed above. It can be applied directly to systems that require accurate images such as character recognition. The image correction technique is as follows.
기준 영상의 프레임은 이동 물체의 편차가 없는 기준 영상이다 롤링 셔터는 피사체 가 이동중에 라인스캔 동기가 맞지 않아서 발생하는 문제이므로 기준 프레임 이후로 발생하는 이동물체에 가중치를 주어 각각의 이동 벡터간의 프레임 유사 강도를 변수로 하여 발생 하는 왜곡 현상을 검지 할수 있다 연결 강도 가 낮은 픽셀 블록은 기준 프레임으로부터 취득하며 연결 강도가 높은 픽셀은 실제 피사체의 움직임으로 간주하여 이동시 발생하는 영상 노이즈를 제거 할수 있다.The frame of the reference image is a reference image without deviation of the moving object. Rolling shutter is a problem caused by the inconsistency of the line scan while the subject is moving. It is possible to detect distortion caused by the intensity as a variable. Pixel blocks with low connection strength are acquired from the reference frame, and pixels with high connection strength are regarded as movement of the real object, and image noise generated during movement can be removed.
wF(x,y) = Fn-1 F(x-1,y) * a + Fn-1 F(x-1,y-1) * a + Fn-1 F(x,y) * a + Fn-1 F(x+1,y) * a + Fn-1 F(x,y+1 ) * a + Fn-1 F(x+1,y+1) * awF (x, y) = Fn-1 F (x-1, y) * a + Fn-1 F (x-1, y-1) * a + Fn-1 F (x, y) * a + Fn -1 F (x + 1, y) * a + Fn-1 F (x, y + 1) * a + Fn-1 F (x + 1, y + 1) * a
SF(x,y) = wF(x+1,y) + wF(x+1,y+1) +wF(x,y) +wF(x-1,y)+ wF(x,y-1) +wF(x-1,y-1)SF (x, y) = wF (x + 1, y) + wF (x + 1, y + 1) + wF (x, y) + wF (x-1, y) + wF (x, y-1 ) + wF (x-1, y-1)
픽셀간의 연결강도는 위 식으로 구하며 SF 값과 같이 변한다. 따라서 노이즈 제거값은 다음과 같다.The connection strength between pixels is obtained by the above equation and changes as SF value. Therefore, the noise removal value is as follows.
Thershold absT( x,y) - SF(x,y) > weight(F(x,y)) 과 같이 임계치를 정할수 있다.Thershold abs T (x, y)-SF (x, y) > Threshold (F (x, y)).
Claims (3)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130016139A KR20130031308A (en) | 2013-02-15 | 2013-02-15 | Recognition of number plate system using compensation of image distort |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130016139A KR20130031308A (en) | 2013-02-15 | 2013-02-15 | Recognition of number plate system using compensation of image distort |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20130031308A true KR20130031308A (en) | 2013-03-28 |
Family
ID=48180544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130016139A KR20130031308A (en) | 2013-02-15 | 2013-02-15 | Recognition of number plate system using compensation of image distort |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20130031308A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9438804B2 (en) | 2013-08-27 | 2016-09-06 | Hanwha Techwin Co., Ltd. | Device and method for removing distortion |
-
2013
- 2013-02-15 KR KR1020130016139A patent/KR20130031308A/en not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9438804B2 (en) | 2013-08-27 | 2016-09-06 | Hanwha Techwin Co., Ltd. | Device and method for removing distortion |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5472506B2 (en) | Tracking imaging system and imaging control method for a plurality of moving objects | |
US11356604B2 (en) | Methods and systems for image processing with multiple image sources | |
WO2017176514A8 (en) | Method and apparatus for video content stabilization | |
KR102069269B1 (en) | Apparatus and method for stabilizing image | |
KR20130119706A (en) | Method and system for compensating image blur by moving image sensor | |
CN113271406B (en) | Method and system for image processing with multiple image sources | |
KR101178777B1 (en) | Image processing apparatus, image processing method and computer readable-medium | |
US9589339B2 (en) | Image processing apparatus and control method therefor | |
EP3001676A1 (en) | Method and image processing device for image stabilization of a video stream | |
JP2017098776A (en) | Imaging apparatus, control method of imaging apparatus, and program | |
CN103914810A (en) | Image super-resolution for dynamic rearview mirror | |
KR101537559B1 (en) | Device for detecting object, device for detecting object for vehicle and method thereof | |
US20110085026A1 (en) | Detection method and detection system of moving object | |
US9560287B2 (en) | Noise level based exposure time control for sequential subimages | |
JP5395650B2 (en) | Subject area extraction device and control method thereof, subject tracking device, and program | |
US20160156826A1 (en) | Image-capturing device and image-capturing method | |
JP2017092839A5 (en) | ||
JP4668863B2 (en) | Imaging device | |
KR102216505B1 (en) | Face tracking camera module and method | |
KR20130031308A (en) | Recognition of number plate system using compensation of image distort | |
JP5539565B2 (en) | Imaging apparatus and subject tracking method | |
JP2004289709A (en) | Image pickup device, and image pickup method | |
JP2016081095A (en) | Subject tracking device, control method thereof, image-capturing device, display device, and program | |
JP5541956B2 (en) | Image composition method, image composition program, and image composition apparatus | |
JP5247419B2 (en) | Imaging apparatus and subject tracking method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application | ||
E601 | Decision to refuse application | ||
E601 | Decision to refuse application |