WO2014157765A1 - 왜곡 영상 보정 장치 및 방법 - Google Patents

왜곡 영상 보정 장치 및 방법 Download PDF

Info

Publication number
WO2014157765A1
WO2014157765A1 PCT/KR2013/003296 KR2013003296W WO2014157765A1 WO 2014157765 A1 WO2014157765 A1 WO 2014157765A1 KR 2013003296 W KR2013003296 W KR 2013003296W WO 2014157765 A1 WO2014157765 A1 WO 2014157765A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
distortion
correction
distorted
coordinates
Prior art date
Application number
PCT/KR2013/003296
Other languages
English (en)
French (fr)
Inventor
장원준
김현수
송호현
Original Assignee
(주)넥스트칩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넥스트칩 filed Critical (주)넥스트칩
Priority to US14/779,585 priority Critical patent/US9569824B2/en
Publication of WO2014157765A1 publication Critical patent/WO2014157765A1/ko

Links

Images

Classifications

    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/0005—Optical objectives specially designed for the purposes specified below having F-Theta characteristic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Definitions

  • Embodiments of the present invention relate to an apparatus and method for fisheye lens distortion image correction that uses a small number of distortion correction coefficients and is morphable.
  • the distortion correction models can be classified into two types, such as polynomial model and non-Polynomial model.
  • the polynomial model can be applied to various lens distortions using multiple correction coefficients, but it may be difficult to predict the correction coefficients for distortion correction. Since non-polynomial models use only one or two coefficients to correct, they can be difficult to apply in hardware computation because they use a simple distortion correction method or estimation functions such as logarithm or tangent.
  • the camera is mounted on the vehicle to increase the driver's stability and convenience, showing the front and rear images to the driver.
  • This video can help prevent accidents by showing images outside the driver's field of view.
  • the lens of the camera to be mounted is a fisheye lens having a wide viewing angle, and as described above, since an image input from the fisheye lens may be distorted, a distortion correction technique for correcting this in real time is required.
  • the existing distortion correction algorithm and hardware module uses multiple correction coefficients and infers the distortion correction coefficients by software and uploads the corresponding data, so it is impossible to perform the distortion correction in real time.
  • a disconnection phenomenon may occur when the image is converted between the images due to fixed correction coefficients.
  • One embodiment of the present invention is to perform a real-time distortion correction by using the advantage of hardware implementation with a simple control of the radioactive distortion image caused by the fisheye lens.
  • An embodiment of the present invention aims to perform a distortion correction process in a morphing form as well as general distortion correction.
  • An embodiment of the present invention aims to perform hardware-based distortion correction based on a complemented non-polynomial model.
  • Distortion image correction apparatus is a distortion correction apparatus that can be applied to hardware for real-time distortion correction, using a non-Polynomial estimation function suitable for hardware calculation to correct the distortion of the image
  • a first distortion correction unit, and a second distortion correction unit for correcting the distortion of the image by using a morphing (morphing) form is a distortion correction apparatus that can be applied to hardware for real-time distortion correction, using a non-Polynomial estimation function suitable for hardware calculation to correct the distortion of the image
  • a first distortion correction unit, and a second distortion correction unit for correcting the distortion of the image by using a morphing (morphing) form.
  • an apparatus for correcting a distorted image includes an image input unit configured to receive a distorted image through a fisheye lens, an image storage unit for storing the distorted image in real time, and an image configuration configuring an image output signal for the distorted image A coordinate estimator for estimating image coordinates for the distorted image, and an image contrast degree from the image storage unit based on the estimated image coordinates, and synchronizing the estimated image contrast to the image output signal. And an image corrector for correcting the distorted image.
  • the image corrector may correct the distortion image in a morphing form.
  • the apparatus for compensating a distorted image may further include an image output unit configured to output the corrected distorted image.
  • the apparatus for correcting a distorted image may further include a correction coefficient estimator for estimating a correction coefficient of the distorted image.
  • the image correction unit is a trigonometric function detection unit for detecting a trigonometric function based on the image coordinates, multiply the image coordinates and the trigonometric function, the distance from the center of the corrected distortion image to the image coordinates
  • a first normalization unit for estimating a first distance that is, a first normalization distance and a focal length of the fisheye lens, a reverse tangent value detection unit for detecting an inverse tangent value, and a multiplying inverse tangent value and the correction coefficient
  • a second normalizer for estimating a second distance, which is a distance from a center of the distorted image to the image coordinates.
  • Distortion image correction method is a distortion correction method that can be applied to hardware for real-time distortion correction, using a non-Polynomial estimation function suitable for hardware calculation to correct the distortion of the image And correcting the distortion of the image by utilizing a morphing form.
  • a method of correcting a distorted image includes receiving a distorted image through a fisheye lens, storing the distorted image in an image storage unit in real time, and constructing an image output signal for the distorted image. Estimating image coordinates for the distorted image, estimating image contrast from the image storage unit based on the estimated image coordinates, and synchronizing the estimated image contrast to the image output signal Compensating for.
  • real-time distortion correction may be performed by using an advantage of hardware implementation with simple control of the radioactive distortion image caused by the fisheye lens.
  • not only general distortion correction but also distortion correction may be performed in a morphing form.
  • hardware-based distortion correction may be performed based on a complemented non-polynomial model.
  • FIG. 1 is a block diagram showing the configuration of a distortion image correction apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the detailed configuration of a distortion image correction device according to an embodiment of the present invention.
  • FIG. 3 is a view showing an optical model of a fisheye lens according to one side of the present invention.
  • FIG. 4A is a diagram illustrating an example of a quadrant of a distorted image according to an embodiment of the present invention
  • FIG. 4B is a diagram illustrating a correspondence relationship of a trigonometric ROM (ROM) table according to an embodiment of the present invention.
  • ROM trigonometric ROM
  • FIG. 5 is a diagram illustrating a configuration of an image corrector according to an embodiment of the present invention.
  • FIG. 6 is an example of a distortion image according to an embodiment of the present invention
  • FIG. 7 is an example of an image that is distortion corrected using a distortion correction coefficient according to an embodiment of the present invention.
  • FIG 8 is a diagram illustrating an example of an image that is distortion-corrected using the distortion correction coefficient and the focal length coefficient according to one embodiment of the present invention.
  • 9A-9D are Is a diagram illustrating an example in which the distortion correction morphing is performed while V is changed.
  • FIG. 10 is a flowchart illustrating a distortion image correcting method according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a detailed method of correcting a distorted image according to an embodiment of the present invention.
  • Distortion image correction apparatus provides an optimized hardware resources and structure for performing the distortion correction.
  • FIG. 1 is a block diagram showing the configuration of a distortion image correction apparatus according to an embodiment of the present invention.
  • a distortion image correcting apparatus may be applied to hardware for real-time distortion correction, and includes a first distortion correction unit 110 and a second distortion correction unit 120. .
  • the first distortion correction unit 110 corrects the distortion of the image by using a non-Polynomial estimation function suitable for hardware calculation. For example, the first distortion correction unit 110 corrects the distortion of the image by using a finite estimation function with high accuracy. Can be corrected.
  • the second distortion correction unit 120 corrects the distortion of the image by using a morphing form. For example, the second distortion correction unit 120 sequentially changes the coefficient from the initial distortion correction coefficient to the last distortion correction coefficient to correct the distortion of the image. You can correct it.
  • FIG. 2 is a block diagram showing the detailed configuration of a distortion image correction device according to an embodiment of the present invention.
  • a distortion image correcting apparatus includes an image input unit 210, an image storage unit 220, an image configuration unit 230, a coordinate estimation unit 240, and an image correction unit. 250.
  • the image input unit 210 receives a distorted image through the fisheye lens, and the image storage unit 220 stores the distorted image in real time.
  • the image configuring unit 230 configures an image output signal for the distorted image, and the coordinate estimator 240 estimates the image coordinate for the distorted image.
  • the image corrector 250 estimates the image contrast from the image storage unit 220 based on the estimated image coordinates, and corrects the distorted image by synchronizing the estimated image contrast with the image output signal.
  • the distortion image correcting apparatus may correct the distortion image in a morphing form using the image corrector 250.
  • the distorted image correcting apparatus may further include an image output unit 260, and the image output unit 260 may output the corrected distorted image.
  • the apparatus for correcting a distorted image may further include a correction coefficient estimator 270, and the correction coefficient estimator 270 may estimate a correction coefficient for correcting the distorted image.
  • the apparatus for correcting a distorted image may correct the distorted image by using various algorithms, and for example, correct the distorted image based on a field-of-view (FOV) model among non-polynomial models. can do.
  • FOV field-of-view
  • the coordinate estimator 240 may estimate the image coordinates through Equation 1 below.
  • r u is the distance from the center of the corrected distortion image to the image coordinates
  • r d is the distance from the center of the distortion image to the image coordinates
  • ⁇ is the viewing angle of the camera equipped with the fisheye lens Can correspond to each.
  • FIG. 3 is a view showing an optical model of a fisheye lens according to one side of the present invention.
  • the point P in the spatial coordinate system may correspond to the image coordinate system point p past the center C of the general lens.
  • the focal length, X, Y, Z is the three-dimensional space coordinate system x, y may correspond to the image coordinate system.
  • the point P may be distorted to correspond to the point p '.
  • Distortion correction can be performed by obtaining the contrast value of the distorted image in.
  • the coordinate estimator 240 may estimate the image coordinates through Equation 2 below.
  • Is the focal length of the fisheye lens May correspond to the degree of correction of the distorted image, respectively.
  • the distorted image compensator is a distorted image coordinate p '(xd, yd which is at a distance r d when r u , the distance from the center of the distorted image to the point p (xu, yu) is expressed by Equation 2. ) Can be estimated.
  • the distortion image correcting apparatus may obtain image coordinates of the distortion image by using Equation 3 below.
  • r max may correspond to the longest distance from the center of the image, and correspondingly to various angles of view with a small correction factor, so that distortion correction may be performed.
  • Distortion image correction device To adjust the amount of distortion correction for the distorted image. You can adjust the focal length of the fisheye lens by adjusting.
  • the distortion image correcting apparatus may be implemented as a trigonometric function and an inverse tangent function when configured in hardware. For example, the distortion image correcting apparatus may properly determine the degree of effective decimal truncation of each angle within a range of 0 degrees to 360 degrees.
  • the estimated coordinate value if a lot of cutting considering only the minimum amount of resources
  • the contrast of the image can be expressed in units of blocks, which can lead to deterioration of the image quality.
  • the apparatus for correcting a distorted image may estimate the contrast of the distorted image using image coordinates, and correct the distorted image using the estimated contrast.
  • the distortion rate of an image for obtaining image coordinates is constant in the radial direction, it may be assumed that the distortion rate at a position r from the center of the image is the same. Since the distortion rate in the first quadrant is the same as that in the other 2, 3, and 4 quadrants, the distorted coordinate values can be estimated based on the distance r estimated in the first quadrant, so the range of trigonometric and inverse tangent functions You can limit from 0 degrees to 90 degrees.
  • trigonometric functions in order to effectively use the hardware resources can not be represented indefinitely a trigonometric function in the range of 0 to 90 degrees, trigonometric functions can be represented in two ways. The first can be expressed as a trigonometric value at the outer pixel of the image, and the second can be expressed as 4-linearity.
  • FIG. 4A is a diagram illustrating an example of a quadrant of a distorted image according to an embodiment of the present invention
  • FIG. 4B is a diagram illustrating a correspondence relationship of a trigonometric ROM (ROM) table according to an embodiment of the present invention.
  • ROM trigonometric ROM
  • any straight line through the image center is equal to the angle of the angle in due past the outer pixels of the image, the point p (x u, y u), as shown in Figure 4a point p '(x u, y u) can do. Therefore, if the distortion image correcting apparatus knows only the trigonometric value of the outer pixel of the image, it may perform trigonometric calculations for distortion correction.
  • the trigonometric values represented by the four pixels are assumed to have continuity. Only triangular function values can be configured in the ROM table.
  • the inverse tangent can be configured into a ROM table by dividing the value in the range of 0 to ⁇ into 7200 experimentally specified, and the decimal point effective value of each function value can be configured up to 20 bits.
  • FIG. 5 is a diagram illustrating a configuration of an image corrector according to an embodiment of the present invention.
  • an image corrector 250 may include a trigonometric function detector 510, a first normalizer 520, an inverse tangent value detector 530, and a second normalizer. 540, and correct the distorted image based on the configured trigonometric and inverse tangent functions.
  • the trigonometric function detector 510 detects a trigonometric function based on the image coordinates, and the first normalizer 520 multiplies the image coordinates and the trigonometric function to form a first distance that is a distance from the center of the corrected distorted image to the image coordinates. Can be estimated.
  • the trigonometric function detector 510 receives coordinates (x u , y u ) to be distortion-corrected in real time according to a memory clock, detects a trigonometric function corresponding to the input coordinates, and includes a first normalization unit ( 520 may estimate the distance r u by multiplying the detected trigonometric function.
  • the cosine ROM 511 and the sine ROM 512 may store or extract a value of a trigonometric function for estimating r u .
  • the inverse tangent value detector 530 may multiply the first distance by the focal length of the fisheye lens and detect the inverse tangent value. For example, the inverse tangent value detector 530 may obtain an inverse tangent value from a product of the estimated distance r u and the focal length.
  • the inverse tangent ROM 531 may store and provide an inverse tangent value.
  • the second normalizer 540 may estimate a second distance that is a distance from the center of the distorted image to the image coordinates by multiplying an inverse tangent value and a correction coefficient. For example, the second normalizer 540 may obtain an inverse tangent value from the product of the estimated distance r u and the focal length, and finally estimate r d using the distortion correction coefficient.
  • the estimated r d can obtain distorted image coordinates (x d , y d ) from the trigonometric values obtained above.
  • the distorted image coordinates may be used to refer to the contrast of the distorted image stored in the memory.
  • a distortion-corrected image may be extracted.
  • the operation for obtaining the distorted image coordinates can be made of a pipeline (pipeline) structure, there is only a slight latency (latency), there is no delay of the operation (delay) operation, distortion correction operation in real time Can be performed.
  • Distortion image correction device is a straight line through the point (x u , y u ) in the center of the image and the equation of the straight line (for example, 1280 x 720 image, ), You can compare the slope values.
  • the distortion image correcting apparatus may extract the y value by applying 640 to the x value of Equation 4 if the slope is small, and extract the x value by applying 360 to the y value if the slope is large.
  • the distorted image correction device extracts the extracted value.
  • the value can be used as the address of the triad ROM table with 4-adjacentness to read the stored data.
  • the data in the ROM table can be used to extract the final trigonometric value by linear interpolation.
  • Distortion correction device may estimate the r u using the extracted trigonometric function values, an estimate r u may estimate the r d by using the distortion correction coefficient and the arctangent ROM table and a focal length.
  • the apparatus for correcting a distorted image may obtain coordinates (x d , y d ) of the distorted image by using the estimated r d and the trigonometric values obtained above.
  • FIG. 6 is an example of a distortion image according to an embodiment of the present invention
  • FIG. 7 is an example of an image that is distortion corrected using a distortion correction coefficient according to an embodiment of the present invention.
  • the distortion image correcting apparatus may not only correct the distortion but also perform the morphing in a morphing form to provide it in another form of the application.
  • the distortion image correcting apparatus may perform morphing to final distortion correction by adjusting the focal length coefficient.
  • the distorted image correcting apparatus may correct the distortion of the image by stretching the distorted image of FIG. 6 in a diagonal direction as shown in FIG. 7.
  • the distortion image correcting apparatus may adjust the size of the output image using the focal length coefficient, and a criterion for adjusting the size of the output image is that the image data does not exist.
  • FIG 8 is a diagram illustrating an example of an image that is distortion-corrected using the distortion correction coefficient and the focal length coefficient according to one embodiment of the present invention.
  • the image data in order to display only the distortion-corrected image, as shown in FIG. 8, the image data may be corrected to exist at the last pixel position in the height direction from the center of the image.
  • the distorted image correcting apparatus distorts the distorted image data at a portion where the distance r u from the image center in the distortion corrected coordinate system is (height of the image / 2) so that distorted image data exists at the last pixel position in the height direction from the image center.
  • the operation may be performed such that a value having a distance r d of the coordinate system is (height of image / 2).
  • the distortion image correcting apparatus may morph through the following process.
  • r u is the height of an image / 2, referring to Equation 3 above. (For example, may correspond to 0.5625) (step 1), and apply the value to the inverse tangent rom table to extract the data (step 2).
  • r d It can be expressed as * k, and if we apply r d as (height of image / 2) Can be inferred (step 3).
  • inferred Wow Is applied the first distortion-corrected image can be converted (step 4), To increase Steps 1 to 4 can be repeated until is equal to the final correction factor.
  • the above process when converting from the distortion-corrected image to the original image
  • the above process can be performed repeatedly while reducing the morphing. If the distortion correction coefficient and the focus coefficient required for the morphing are obtained for each frame as the output image reference, the morphing distortion correction can be performed.
  • 9A-9D are Is a diagram illustrating an example in which the distortion correction morphing is performed while V is changed.
  • the distorted image correcting apparatus corrects the distorted image of FIG. 9A.
  • the distortion correction morph may be sequentially morphized as shown in FIGS. 9B to 9D, and a complete corrected image may be obtained as illustrated in FIG. 9D.
  • FIG. 10 is a flowchart illustrating a distortion image correcting method according to an embodiment of the present invention.
  • the apparatus for correcting a distortion image may perform a distortion correction method applicable to hardware for real-time distortion correction, and correct the distortion of an image by using a non-Polynomial estimation function suitable for hardware calculation.
  • the distortion of the image is corrected by using a morphing form (1020).
  • the distortion image correcting apparatus may correct distortion of an image by using a finite estimation function with high accuracy, and correct the distortion of the image by sequentially changing the coefficient from the preset distortion correction coefficient to the final distortion correction coefficient. .
  • FIG. 11 is a flowchart illustrating a detailed method of correcting a distorted image according to an embodiment of the present invention.
  • the distortion image correcting apparatus receives a distortion image through a fisheye lens (1110) and stores the distortion image in real time (1120).
  • the distorted image correcting apparatus constructs an image output signal for the distorted image (1130), and estimates image coordinates for the distorted image (1140).
  • the apparatus for correcting a distorted image estimates image contrast from an image storage unit based on the estimated image coordinates (1150), and corrects the distortion image by synchronizing the estimated image contrast with the image output signal (1160).
  • the distortion image correction method according to an embodiment of the present invention can perform real-time distortion correction by using an advantage of hardware implementation with simple control of a radioactive distortion image caused by a fisheye lens.
  • the distortion image correction method according to an aspect of the present invention aims to perform not only general distortion correction but also distortion correction in a morphing form.
  • Distortion image correction method can perform the distortion correction implemented in hardware based on the complementary non-polynomial model.
  • Distortion image correction method performs the distortion correction by a few distortion correction coefficients, it is possible to perform the calculation of the estimation function suitable for the hardware structure, when converting when showing the distortion-corrected image suitable for a specific situation It can be done in the form of morphing to solve the problem that arises.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

실시간 왜곡 보정을 위해 하드웨어에 적용 가능한 왜곡 보정 장치 및 방법에 있어서, 하드웨어 연산에 적합한 비다항식(Non-Polynomial) 추정 함수를 사용하여 영상의 왜곡을 보정하고, 모핑(morphing) 형태를 활용하여 상기 영상의 왜곡을 보정하는 왜곡 영상 보정 장치 및 방법을 제공한다.

Description

왜곡 영상 보정 장치 및 방법
본 발명의 실시예들은 적은 개수의 왜곡 보정 계수를 사용하며, 모핑이 가능한 어안 렌즈 왜곡 영상 보정 장치 및 방법에 관한 것이다.
일반적으로 사용되는 시야각이 작은 카메라들의 경우, 방사성 렌즈 왜곡 현상은 대부분 무시할 수 있는 정도다. 하지만, 넓은 시야각을 갖는 어안 렌즈의 경우에는 왜곡 현상으로 인한 문제들이 발생할 수 있다. 렌즈를 통해 입력 받은 영상은 현실 공간에서의 직선성을 영상 내에서 표현하지 못하기 때문에 가시적 측면뿐만이 아니라 영상으로부터 물체의 특징 추출, 인식 및 분류에서 문제가 발생할 수 있다.
이러한 문제를 해결하기 위해 기존의 많은 연구자들이 왜곡 보정 모델들을 제안하였으며, 왜곡 보정 모델은 다항식(Polynomial) 모델과 비다항식(Non-Polynomial) 모델 등의 크게 두 가지로 분류될 수 있다.
다항식 모델은 여러 개의 보정 계수를 사용하여 다양한 렌즈 왜곡률에 적용이 가능하나, 왜곡 보정을 위한 보정 계수 예측이 힘들 수 있다. 비다항식 모델은 한, 두개의 계수만을 사용하여 보정하기 때문에 간편한 왜곡 보정 방식이나, 로그(logarithm) 또는 탄젠트(tangent) 와 같은 추정 함수들을 사용하기 때문에 하드웨어 연산의 적용 어려울 수 있다.
일반적으로 운전자의 안정성 및 편의성을 증가시키기 위해 차량에 카메라가 장착되어 전, 후방 영상을 운전자에게 보여준다. 이 영상은 운전자의 시야 범위를 벗어나는 영상을 보여줌으로써 갑작스런 사고 예방에 도움을 줄 수 있다. 이때, 장착되는 카메라의 렌즈는 넓은 시야각을 갖는 어안 렌즈이며, 전술한 바와 같이 어안 렌즈로부터 입력된 영상은 왜곡 될 수 있기 때문에, 이를 실시간으로 보정하기 위한 왜곡 보정 기술이 필요하다.
실제 사용되는 어안 렌즈로부터 발생하는 방사성 왜곡은 이상적으로 모델링한 비다항식 함수를 사용하면 알맞은 왜곡 보정이 되지 않으며, 이를 대체하고자 대부분 다항식 모델을 사용하여 왜곡 보정을 수행한다. 하지만, 이러한 왜곡 보정 방법은 보정 계수의 수가 많기 때문에 보정 계수의 유추가 어려우며 하드웨어로 알고리즘을 구현할 시, 곱셈과 덧셈으로 인한 계산량 증가로 차수 제한이 있다.
차량에 탑재 된 카메라로부터 입력 받은 영상을 왜곡 보정하기 위해선 카메라의 위치, 차량 범퍼 및 주변 환경으로 인한 화면의 가림, 왜곡 보정의 목적(전. 후방) 등을 고려하여 왜곡 보정을 수행한다. 하지만 기존의 왜곡 보정 알고리즘 및 하드웨어 모듈은 여러 개의 보정 계수를 사용하며, 소프트웨어로 왜곡 보정 계수를 유추하여 해당 데이터를 업로드하는 형식이기 때문에 실시간으로 왜곡 보정을 위한 작업을 수행 할 수 없다.
또한, 일반적인 왜곡 보정 방법은 왜곡 보정된 영상을 특정 상황에 맞게 여러 개의 영상으로 표현해야 할 때, 고정된 보정 계수들로 인해 영상과 영상 사이의 변환 시, 끊김 현상이 발생할 수 있다.
본 발명의 일실시예는 어안 렌즈로 인한 방사성 왜곡 영상을 간단한 컨트롤로 하드웨어 구현의 이점을 이용하여 실시간 왜곡 보정을 수행하는 것을 목적으로 한다.
본 발명의 일실시예는 일반적인 왜곡 보정뿐만이 아니라 왜곡 보정 과정을 모핑(morphing) 형태로 수행하는 것을 목적으로 한다.
본 발명의 일실시예는 보완된 비다항식 모델을 바탕으로 하드웨어로 구현된 왜곡 보정을 수행하는 것을 목적으로 한다.
본 발명의 일실시예에 따른 왜곡 영상 보정 장치는 실시간 왜곡 보정을 위해 하드웨어에 적용 가능한 왜곡 보정 장치에 있어서, 하드웨어 연산에 적합한 비다항식(Non-Polynomial) 추정 함수를 사용하여 영상의 왜곡을 보정하는 제1 왜곡 보정부, 및 모핑(morphing) 형태를 활용하여 상기 영상의 왜곡을 보정하는 제2 왜곡 보정부를 포함한다.
본 발명의 다른 실시예에 따른 왜곡 영상 보정 장치는 어안 렌즈를 통하여 왜곡 영상을 입력 받는 영상 입력부, 상기 왜곡 영상을 실시간으로 저장하는 영상 저장부, 상기 왜곡 영상에 대한 영상 출력 신호를 구성하는 영상 구성부, 상기 왜곡 영상에 대한 영상 좌표를 추정하는 좌표 추정부, 및 상기 추정된 영상 좌표를 기반으로 상기 영상 저장부로부터 영상 명암도를 추정하고, 상기 추정된 영상 명암도를 상기 영상 출력 신호에 동기화 하여 상기 왜곡 영상을 보정하는 영상 보정부를 포함한다.
본 발명의 일측에 따르면, 상기 영상 보정부는 상기 왜곡 영상을 모핑(morphing) 형태로 보정할 수 있다.
본 발명의 일측에 따른 왜곡 영상 보정 장치는 상기 보정된 왜곡 영상을 출력하는 영상 출력부를 더 포함할 수 있다.
본 발명의 일측에 따른 왜곡 영상 보정 장치는 상기 왜곡 영상의 보정 계수를 추정하는 보정 계수 추정부를 더 포함할 수 있다.
본 발명의 일측에 따르면, 상기 영상 보정부는 상기 영상 좌표를 기반으로 삼각 함수를 검출하는 삼각 함수 검출부, 상기 영상 좌표와 상기 삼각 함수를 곱하여, 상기 보정된 왜곡 영상의 중심에서부터 상기 영상 좌표까지의 거리인 제1 거리를 추정하는 제1 정규화부, 상기 제1 거리와 상기 어안 렌즈의 초점 거리를 곱하여, 역탄젠트 값을 검출하는 역탄젠트 값 검출부, 및 상기 역탄젠트 값과 상기 보정 계수를 곱하여, 상기 왜곡 영상의 중심에서부터 상기 영상 좌표까지의 거리인 제2 거리를 추정하는 제2 정규화부를 포함할 수 있다.
본 발명의 일실시예에 따른 왜곡 영상 보정 방법은 실시간 왜곡 보정을 위해 하드웨어에 적용 가능한 왜곡 보정 방법에 있어서, 하드웨어 연산에 적합한 비다항식(Non-Polynomial) 추정 함수를 사용하여 영상의 왜곡을 보정하는 단계, 및 모핑(morphing) 형태를 활용하여 상기 영상의 왜곡을 보정하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 왜곡 영상 보정 방법은 어안 렌즈를 통하여 왜곡 영상을 입력 받는 단계, 상기 왜곡 영상을 실시간으로 영상 저장부에 저장하는 단계, 상기 왜곡 영상에 대한 영상 출력 신호를 구성하는 단계, 상기 왜곡 영상에 대한 영상 좌표를 추정하는 단계, 상기 추정된 영상 좌표를 기반으로 상기 영상 저장부로부터 영상 명암도를 추정하는 단계, 및 상기 추정된 영상 명암도를 상기 영상 출력 신호에 동기화 하여 상기 왜곡 영상을 보정하는 단계를 포함한다.
본 발명의 일실시예에 따르면 어안 렌즈로 인한 방사성 왜곡 영상을 간단한 컨트롤로 하드웨어 구현의 이점을 이용하여 실시간 왜곡 보정을 수행할 수 있다.
본 발명의 일실시예에 따르면 일반적인 왜곡 보정뿐만이 아니라 왜곡 보정 과정을 모핑(morphing) 형태로 수행할 수 있다.
본 발명의 일실시예에 따르면 보완된 비다항식 모델을 바탕으로 하드웨어로 구현된 왜곡 보정을 수행할 수 있다.
도 1은 본 발명의 일실시예에 따른 왜곡 영상 보정 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 왜곡 영상 보정 장치의 상세 구성을 도시한 블록도이다.
도 3은 본 발명의 일측에 따른 어안 렌즈의 광학 모델을 도시한 도면이다.
도 4a는 본 발명의 일측에 따른 왜곡 영상의 1 사분면의 예를 도시한 도면이고, 도 4b는 본 발명의 일측에 따른 삼각 함수 롬(ROM) 테이블의 대응 관계를 도시한 도면이다.
도 5는 본 발명의 일측에 따른 영상 보정부의 구성을 도시한 도면이다.
도 6은 본 발명의 일측에 따른 왜곡 영상의 예이고, 도 7은 본 발명의 일측에 따른 왜곡 보정 계수를 이용하여 왜곡 보정한 영상의 예이다.
도 8은 본 발명의 일측에 따른 왜곡 보정 계수 및 초점 거리 계수를 이용하여 왜곡 보정한 영상의 예를 도시한 도면이다.
도 9a 내지 도 9d는
Figure PCTKR2013003296-appb-I000001
가 변화하면서 왜곡 보정 모핑이 진행되는 예를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 왜곡 영상 보정 방법을 도시한 흐름도이다.
도 11은 본 발명의 일실시예에 따른 왜곡 영상을 보정하는 상세 방법을 도시한 흐름도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 일실시예에 따른 왜곡 영상 보정 장치는 왜곡 보정을 수행하기 위해 최적화된 하드웨어 자원 및 구조를 제공한다.
도 1은 본 발명의 일실시예에 따른 왜곡 영상 보정 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 왜곡 영상 보정 장치는 실시간 왜곡 보정을 위해 하드웨어에 적용 가능하며, 제1 왜곡 보정부(110) 및 제2 왜곡 보정부(120)로 구성된다.
제1 왜곡 보정부(110)는 하드웨어 연산에 적합한 비다항식(Non-Polynomial) 추정 함수를 사용하여 영상의 왜곡을 보정하며, 예를 들어, 정확도가 높은 유한한 추정 함수를 사용하여 상기 영상의 왜곡을 보정할 수 있다.
제2 왜곡 보정부(120)는 모핑(morphing) 형태를 활용하여 영상의 왜곡을 보정하며, 예를 들어, 초기 설정된 왜곡 보정 계수로부터 최종 설정된 왜곡 보정 계수로 순차적으로 계수를 변경하여 영상의 왜곡을 보정할 수 있다.
아래에서는 본 발명의 일실시예에 따른 왜곡 영상 보정 장치의 구체적인 구성을 설명하도록 한다.
도 2는 본 발명의 일실시예에 따른 왜곡 영상 보정 장치의 상세 구성을 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 왜곡 영상 보정 장치는 영상 입력부(210), 영상 저장부(220), 영상 구성부(230), 좌표 추정부(240), 및 영상 보정부(250)를 포함한다.
영상 입력부(210)는 어안 렌즈를 통하여 왜곡 영상을 입력 받으며, 영상 저장부(220)는 왜곡 영상을 실시간으로 저장한다.
영상 구성부(230)는 왜곡 영상에 대한 영상 출력 신호를 구성하며, 좌표 추정부(240)는 왜곡 영상에 대한 영상 좌표를 추정한다.
영상 보정부(250)는 추정된 영상 좌표를 기반으로 영상 저장부(220)로부터 영상 명암도를 추정하고, 추정된 영상 명암도를 영상 출력 신호에 동기화 하여 왜곡 영상을 보정한다.
본 발명의 일측에 따른 왜곡 영상 보정 장치는 영상 보정부(250)를 이용하여 왜곡 영상을 모핑(morphing) 형태로 보정할 수 있다.
또한, 본 발명의 일측에 따른 왜곡 영상 보정 장치는 영상 출력부(260)를 더 포함할 수 있으며, 영상 출력부(260)는 보정된 왜곡 영상을 출력할 수 있다.
또한, 본 발명의 일측에 따른 왜곡 영상 보정 장치는 보정 계수 추정부(270)를 더 포함할 수 있으며, 보정 계수 추정부(270)는 왜곡 영상을 보정하기 위한 보정 계수를 추정할 수 있다.
본 발명의 일측에 따른 왜곡 영상 보정 장치는 다양한 방식의 알고리즘을 이용하여 왜곡 영상을 보정할 수 있으며, 예를 들어, 비다항식 모델 중 FOV(Field-of-View) 모델을 기반으로 왜곡 영상을 보정할 수 있다.
좌표 추정부(240)는 하기 수학식 1을 통하여 상기 영상 좌표를 추정할 수 있다.
Figure PCTKR2013003296-appb-I000002
여기서, 상기 ru는 상기 보정된 왜곡 영상의 중심에서부터 상기 영상 좌표까지의 거리, 상기 rd는 상기 왜곡 영상의 중심에서부터 상기 영상 좌표까지의 거리, 상기 ω는 상기 어안 렌즈가 장착된 카메라의 시야각에 각각 대응 될 수 있다.
도 3은 본 발명의 일측에 따른 어안 렌즈의 광학 모델을 도시한 도면이다.
도 3을 참조하면, 공간 좌표계에 있는 점 P는 일반 렌즈의 중심 C를 지나 영상 좌표계 점 p에 대응될 수 있다. 이때,
Figure PCTKR2013003296-appb-I000003
는 초점 거리, X, Y, Z는 3차원 공간 좌표계 x, y는 영상 좌표계에 대응 될 수 있다. 또한, 어안 렌즈의 경우 점 P는 왜곡 되어 점 p’에 대응될 수 있다.
본 발명의 일측에 따르면, 왜곡 보정된 영상을 얻기 위해서는, 영상 좌표계 점 p에 공간 좌표계에 있는 점 P의 영상 명암도 값을 알아야 하므로, 왜곡 모델을 기반으로 점 p’위치를 추정하여 점 p’ 위치에 있는 왜곡된 영상의 명암도 값을 얻어 왜곡 보정을 수행 할 수 있다.
도 2를 다시 참조하면, 좌표 추정부(240)는 하기 수학식 2를 통하여 상기 영상 좌표를 추정할 수 있다.
Figure PCTKR2013003296-appb-I000004
여기서, 상기
Figure PCTKR2013003296-appb-I000005
는 상기 어안 렌즈의 초점거리, 상기
Figure PCTKR2013003296-appb-I000006
는 상기 왜곡 영상의 보정 정도에 각각 대응 될 수 있다.
왜곡 영상 보정 장치는 왜곡 보정 된 영상 중심에서 점 p(xu, yu)까지의 거리인 ru가 수학식 2와 같이 표현 될 때, rd 만큼 거리에 있는 왜곡된 영상 좌표 p’(xd, yd)를 추정할 수 있다.
왜곡 영상 보정 장치는 하기 수학식 3을 이용하여 왜곡 영상의 영상 좌표를 구할 수 있다.
Figure PCTKR2013003296-appb-I000007
이때, rmax는 영상 중심에서부터의 거리가 가장 긴 값에 대응 될 수 있으며, 적은 보정 계수로 다양한 화각에 대응하며 왜곡 보정이 가능하도록
Figure PCTKR2013003296-appb-I000008
와
Figure PCTKR2013003296-appb-I000009
를 사용할 수 있다. 왜곡 영상 보정 장치는
Figure PCTKR2013003296-appb-I000010
를 조정하여 왜곡 영상의 왜곡 보정 정도를 조정할 수 있으며,
Figure PCTKR2013003296-appb-I000011
를 조정하여 어안 렌즈의 초점 거리를 조정할 수 있다.
왜곡 영상 보정 장치는 하드웨어로 구성할 때, 삼각 함수와 역탄젠트 함수로 구현될 수 있다. 예를 들어, 왜곡 영상 보정 장치는 0도 ~ 360도 범위 속에서 각 각도의 유효 소수점 절단(truncation) 정도를 알맞게 결정할 수 있다.
본 발명의 일측에 따르면, 자원의 최소량만을 고려하여 절단을 많이 하면 추정된 좌표 값
Figure PCTKR2013003296-appb-I000012
들의 인접성이 낮아지며, 인접성이 낮은 좌표들로 영상을 보간(interpolation)하면 영상의 명암도가 블록 단위로 표현되어 영상의 화질 저하를 초래할 수 있는 바, 함수의 정확도와 하드웨어 자원 사용량을 고려하여 삼각 함수와 역탄젠트함수를 구현할 수 있다.
본 발명의 일측에 따른 왜곡 영상 보정 장치는 영상 좌표를 이용하여 왜곡 영상의 명암도를 추정하며, 추정한 명암도를 이용하여 왜곡 영상을 보정할 수 있다.
아래에서는 영상 좌표를 추정하는 방법을 설명하도록 하며, 본 발명의 설명을 용이하게 하기 위하여 일부 변수 및 값을 가정하여 설명하나, 하기 변수 및 값에 한정되지 아니한다.
본 발명의 일측에 따르면, 영상 좌표를 구하는 영상의 왜곡률은 방사성 방향으로 일정하므로 영상의 중심으로부터 거리 r 위치에서의 왜곡률은 동일하다 가정할 수 있다. 1 사분면 안에서의 왜곡률은 다른 2, 3, 4 사분면 안에서의 왜곡률과 동일하기 때문에, 1 사분면에서 추정된 거리 r을 바탕으로 왜곡된 좌표값을 추정할 수 있으므로, 삼각 함수와 역탄젠트 함수의 범위는 0도 ~ 90도로 제한할 수 있다.
본 발명의 일측에 따르면, 하드웨어 자원의 효과적인 활용을 위해 0도 ~ 90도 범위 안의 삼각 함수를 무한정 표현 할 수 없으므로, 2가지 방법으로 삼각함수를 표현할 수 있다. 첫 번째는 영상의 외각 픽셀에서의 삼각함수 값과 두 번째는 4-인접성(4-linearity)로 표현할 수 있다.
도 4a는 본 발명의 일측에 따른 왜곡 영상의 1 사분면의 예를 도시한 도면이고, 도 4b는 본 발명의 일측에 따른 삼각 함수 롬(ROM) 테이블의 대응 관계를 도시한 도면이다.
영상 중심을 지나는 모든 직선은 영상의 외각 픽셀을 지나기 때문에, 도 4a에 도시된 바와 같이 점 p(xu, yu)에서의 각도는 점 p’(xu, yu)에서의 각도와 동일할 수 있다. 따라서, 왜곡 영상 보정 장치는 영상의 외각 픽셀에서의 삼각함수 값만을 알고 있다면 왜곡 보정에 필요한 삼각함수 연산을 수행 할 수 있다.
도 4b를 참조하면, 외각 픽셀에서의 삼각함수의 수는 영상의 크기와 동일하기 때문에 하드웨어 자원량에 부담을 줄 수 있으므로, 4개의 픽셀에서 표현되는 삼각함수 값은 연속성이 있다라는 가정으로 4개 픽셀마다의 삼각함수 값만을 롬 테이블로 구성할 수 있다.
예를 들어, 역탄젠트는 0 ~ π 범위의 값을 실험적으로 규정한 7200개로 분할하여 롬 테이블로 구성할 수 있으며, 각 함수의 값의 소수점 유효 자리는 20bit까지 구성할 수 있다.
도 5는 본 발명의 일측에 따른 영상 보정부의 구성을 도시한 도면이다.
도 2 및 도 5를 참조하면, 본 발명의 일측에 따른 영상 보정부(250)는 삼각 함수 검출부(510), 제1 정규화부(520), 역탄젠트 값 검출부(530), 및 제2 정규화부(540)를 포함할 수 있으며, 구성된 삼각 함수와 역탄젠트 함수를 바탕으로 왜곡 영상을 보정할 수 있다.
삼각 함수 검출부(510)는 영상 좌표를 기반으로 삼각 함수를 검출하며, 제1 정규화부(520)는 영상 좌표와 삼각 함수를 곱하여, 보정된 왜곡 영상의 중심에서부터 영상 좌표까지의 거리인 제1 거리를 추정할 수 있다.
예를 들어, 삼각 함수 검출부(510)는 메모리 클럭에 맞춰서 실시간으로 왜곡 보정 될 좌표 (xu, yu)가 입력되며, 입력된 좌표에 알맞은 삼각함수를 검출할 수 있으며, 제1 정규화부(520)는 검출된 삼각 함수와의 곱으로 거리 ru를 추정 할 수 있다. 이때, 코사인 ROM(511) 및 사인 ROM(512)는 ru를 추정하기 위한 삼각 함수의 값을 저장 또는 추출 할 수 있다.
역탄젠트 값 검출부(530)는 제1 거리와 어안 렌즈의 초점 거리를 곱하여, 역탄젠트 값을 검출할 수 있다. 예를 들어, 역탄젠트 값 검출부(530)는 추정된 거리 ru와 초점 거리의 곱으로부터 역탄젠트 값을 구할 수 있다. 여기서, 역탄젠트 ROM(531)은 역탄젠트 값을 저장 및 제공할 수 있다.
제2 정규화부(540)는 역탄젠트 값과 보정 계수를 곱하여, 왜곡 영상의 중심에서부터 영상 좌표까지의 거리인 제2 거리를 추정할 수 있다. 예를 들어, 제2 정규화부(540)는 추정된 거리 ru과 초점 거리의 곱으로부터 역탄젠트 값을 구할 수 있으며, 왜곡 보정 계수를 사용하여 최종적으로 rd를 추정할 수 있다.
본 발명의 일측에 따르면, 추정된 rd는 앞서 구한 삼각함수 값으로부터 왜곡된 영상 좌표 (xd, yd)를 구할 수 있다. 왜곡된 영상 좌표는 메모리에 저장된 왜곡 영상의 명암도를 참조하는데 사용될 수 있다. 또한, 보간법을 사용하여 구한 명암도 값을 출력 영상 신호에 맞게 출력하면 왜곡 보정된 영상을 추출할 수 있다.
본 발명의 일측에 따르면, 왜곡 된 영상 좌표를 구하는 연산 과정은 파이프라인(pipeline)구조로 이루어질 수 있으며, 약간의 레이턴시(latency)만 존재할 뿐 연산의 딜레이(delay)가 없어, 실시간으로 왜곡 보정 연산을 수행할 수 있다.
아래에서는 본 발명의 일측에 따른 왜곡 영상의 영상 좌표를 구하는 과정을 예를 들어 설명하도록 한다.
왜곡 영상 보정 장치는 영상 중심에서 점 (xu, yu) 를 지나는 직선과 직선의 방정식 (예를 들어, 1280 x 720 영상의 경우,
Figure PCTKR2013003296-appb-I000013
) 을 사용하여 기울기 값을 비교할 수 있다.
왜곡 영상 보정 장치는 기울기가 작다면 하기 수학식 4의 x 값에 640을 적용하여 y 값을 추출하고, 기울기가 크다면 y 값에 360을 적용하여 x 값을 추출할 수 있다.
Figure PCTKR2013003296-appb-I000014
왜곡 영상 보정 장치는 추출된 값을
Figure PCTKR2013003296-appb-I000015
라 할 때,
Figure PCTKR2013003296-appb-I000016
값은 4-인접성을 갖는 삼각함수 롬 테이블의 주소로 사용하여 저장된 데이터를 읽어 올 수 있다. 롬 테이블의 데이터는 선형 보간법에 의해 최종 삼각함수 값을 추출하는데 사용될 수 있다.
왜곡 영상 보정 장치는 추출된 삼각함수 값을 이용하여 ru를 추정 할 수 있으며, 추정된 ru는 왜곡 보정 계수와 역탄젠트 롬 테이블 및 초점 거리를 사용하여 rd를 추정할 수 있다. 왜곡 영상 보정 장치는 추정된 rd와 앞에서 구한 삼각함수 값을 이용하여 왜곡된 영상의 좌표 (xd, yd)를 구할 수 있다.
도 6은 본 발명의 일측에 따른 왜곡 영상의 예이고, 도 7은 본 발명의 일측에 따른 왜곡 보정 계수를 이용하여 왜곡 보정한 영상의 예이다.
본 발명의 일측에 따른 왜곡 영상 보정 장치는 왜곡 보정뿐만이 아니라, 이를 모핑 형태로 수행하여 어플리케이션의 다른 형태로 제공할 수도 있다. 왜곡 영상 보정 장치는 초점 거리 계수 조정을 통하여 최종 왜곡 보정까지 모핑을 수행할 수 있다.
왜곡 영상 보정 장치는 도 6의 왜곡 영상을 도 7에 도시된 바와 같이 대각선 방향으로 영상을 늘여서 영상의 왜곡을 보정할 수 있다. 왜곡 영상 보정 장치는 초점 거리 계수를 사용하여 출력 될 영상 크기에 맞게 조정할 수 있으며, 출력 영상 크기에 알맞게 조정하는 기준은 영상 데이터가 존재하지 않는 부분을 표현하지 않는 것이다.
도 8은 본 발명의 일측에 따른 왜곡 보정 계수 및 초점 거리 계수를 이용하여 왜곡 보정한 영상의 예를 도시한 도면이다.
본 발명의 일측에 따르면, 왜곡 보정된 영상만 표현되도록 하기 위하여, 도 8에 도시된 바와 같이 영상 중심에서 높이 방향의 마지막 픽셀 위치에 영상 데이터가 존재하도록 보정할 수 있다.
왜곡 영상 보정 장치는 영상 중심에서 높이 방향의 마지막 픽셀 위치에 왜곡된 영상 데이터가 존재하도록 하기 위해, 왜곡 보정된 좌표계에서 영상 중심에서부터의 거리 ru가 (영상의 높이/2)인 부분에서 왜곡된 좌표계의 거리 rd의 값이 (영상의 높이/2)인 값이 존재하도록 연산을 수행할 수 있다.
왜곡 영상 보정 장치는 사용자가 왜곡 보정 계수를 설정한 경우, 다음과 같은 과정을 통해 모핑을 수행할 수 있다.
왜곡 영상 보정 장치는 상기 수학식 3을 참고하여 ru는 영상의 높이/2 이며, 초기에 설정된
Figure PCTKR2013003296-appb-I000017
(예를 들어, 0.5625에 대응될 수 있음)와 곱하고(단계 1), 해당 값을 역탄젠트 롬 테이블에 적용하여 데이터를 추출할 수 있다(단계 2).
본 발명의 일측에 따르면, 추출된 값을 k라고 할때, rd=
Figure PCTKR2013003296-appb-I000018
*k로 표현할 수 있으며, rd를 (영상의 높이/2) 로 적용하면
Figure PCTKR2013003296-appb-I000019
를 유추할 수 있다(단계 3).
본 발명의 일측에 따르면, 유추된
Figure PCTKR2013003296-appb-I000020
와
Figure PCTKR2013003296-appb-I000021
를 적용하면 첫번째 왜곡 보정된 영상이 변환될 수 있으며(단계 4),
Figure PCTKR2013003296-appb-I000022
를 증가시키며
Figure PCTKR2013003296-appb-I000023
가 최종 보정 계수와 같아 질 때까지 단계 1 ~ 단계 4를 반복 수행할 수 있다.
본 발명의 일측에 따르면, 왜곡 보정된 영상에서 원 영상으로 변환할 땐
Figure PCTKR2013003296-appb-I000024
를 감소하면서 위와 같은 과정을 반복하여 수행할 수 있으며, 출력 영상 기준으로 매 프레임 별로 모핑에 필요한 왜곡 보정 계수와 초점 계수를 얻는다면 모핑 왜곡 보정을 수행 할 수 있다.
도 9a 내지 도 9d는
Figure PCTKR2013003296-appb-I000025
가 변화하면서 왜곡 보정 모핑이 진행되는 예를 도시한 도면이다.
왜곡 영상 보정 장치는 도 9a의 왜곡된 영상을
Figure PCTKR2013003296-appb-I000026
를 점진적으로 변화 시킴에 따라 도 9b 내지 9d와 같이 순차적으로 왜곡 보정 모핑시킬 수 있으며, 도 9d와 같이 완전한 보정 영상을 얻을 수 있다.
아래에서는 본 발명의 일실시예에 따른 왜곡 영상 보정 방법을 설명하도록 한다.
도 10은 본 발명의 일실시예에 따른 왜곡 영상 보정 방법을 도시한 흐름도이다.
도 10을 참조하면, 왜곡 영상 보정 장치는 실시간 왜곡 보정을 위해 하드웨어에 적용 가능한 왜곡 보정 방법을 수행할 수 있으며, 하드웨어 연산에 적합한 비다항식(Non-Polynomial) 추정 함수를 사용하여 영상의 왜곡을 보정하고(1010), 모핑(morphing) 형태를 활용하여 상기 영상의 왜곡을 보정한다(1020).
왜곡 영상 보정 장치는 정확도가 높은 유한한 추정 함수를 사용하여 영상의 왜곡을 보정할 수 있으며, 초기 설정된 왜곡 보정 계수로부터 최종 설정된 왜곡 보정 계수로 순차적으로 계수를 변경하여 영상의 왜곡을 보정할 수 있다.
도 11은 본 발명의 일실시예에 따른 왜곡 영상을 보정하는 상세 방법을 도시한 흐름도이다.
도 11을 참조하면, 왜곡 영상 보정 장치는 어안 렌즈를 통하여 왜곡 영상을 입력 받고(1110), 왜곡 영상을 실시간으로 저장한다(1120).
왜곡 영상 보정 장치는 왜곡 영상에 대한 영상 출력 신호를 구성하고(1130), 왜곡 영상에 대한 영상 좌표를 추정한다(1140).
왜곡 영상 보정 장치는 추정된 영상 좌표를 기반으로 영상 저장부로부터 영상 명암도를 추정하며(1150), 추정된 영상 명암도를 상기 영상 출력 신호에 동기화 하여 상기 왜곡 영상을 보정한다(1160).
본 발명의 일측에 따른 왜곡 영상 보정 방법은 어안 렌즈로 인한 방사성 왜곡 영상을 간단한 컨트롤로 하드웨어 구현의 이점을 이용하여 실시간 왜곡 보정을 수행할 수 있다. 또한, 본 발명의 일측에 따른 왜곡 영상 보정 방법은 일반적인 왜곡 보정뿐만이 아니라 왜곡 보정 과정을 모핑(morphing) 형태로 수행하는 것을 목적으로 한다.
본 발명의 일측에 따른 왜곡 영상 보정 방법은 보완된 비다항식 모델을 바탕으로 하드웨어로 구현된 왜곡 보정을 수행할 수 있다.
본 발명의 일측에 따른 왜곡 영상 보정 방법은 몇 개의 왜곡 보정 계수로 왜곡 보정을 수행하며 하드웨어 구조에 알맞은 추정 함수를 연산을 수행할 수 있으며, 특정 상황에 알맞은 왜곡 보정된 영상을 보여 줄 때 변환 시 발생하는 문제를 해결하기 위해 모핑 형태로 수행할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (19)

  1. 실시간 왜곡 보정을 위해 하드웨어에 적용 가능한 왜곡 보정 장치에 있어서,
    하드웨어 연산에 적합한 비다항식(Non-Polynomial) 추정 함수를 사용하여 영상의 왜곡을 보정하는 제1 왜곡 보정부; 및
    모핑(morphing) 형태를 활용하여 상기 영상의 왜곡을 보정하는 제2 왜곡 보정부
    를 포함하는 왜곡 영상 보정 장치.
  2. 제1항에 있어서,
    상기 제1 왜곡 보정부는,
    유한한 추정 함수를 사용하여 상기 영상의 왜곡을 보정하는 왜곡 영상 보정 장치.
  3. 제1항에 있어서,
    상기 제2 왜곡 보정부는,
    초기 설정된 왜곡 보정 계수로부터 최종 설정된 왜곡 보정 계수로 순차적으로 계수를 변경하여 상기 영상의 왜곡을 보정하는 왜곡 영상 보정 장치.
  4. 어안 렌즈를 통하여 왜곡 영상을 입력 받는 영상 입력부;
    상기 왜곡 영상을 실시간으로 저장하는 영상 저장부;
    상기 왜곡 영상에 대한 영상 출력 신호를 구성하는 영상 구성부;
    상기 왜곡 영상에 대한 영상 좌표를 추정하는 좌표 추정부; 및
    상기 추정된 영상 좌표를 기반으로 상기 영상 저장부로부터 영상 명암도를 추정하고, 상기 추정된 영상 명암도를 상기 영상 출력 신호에 동기화 하여 상기 왜곡 영상을 보정하는 영상 보정부
    를 포함하는 왜곡 영상 보정 장치.
  5. 제4항에 있어서,
    상기 영상 보정부는,
    상기 왜곡 영상을 모핑(morphing) 형태로 보정하는 왜곡 영상 보정 장치.
  6. 제4항에 있어서,
    상기 보정된 왜곡 영상을 출력하는 영상 출력부
    를 더 포함하는 왜곡 영상 보정 장치.
  7. 제4항에 있어서,
    상기 좌표 추정부는,
    하기 수학식 1을 통하여 상기 영상 좌표를 추정하는 왜곡 영상 보정 장치.
    Figure PCTKR2013003296-appb-I000027
    (여기서, 상기 ru는 상기 보정된 왜곡 영상의 중심에서부터 상기 영상 좌표까지의 거리, 상기 rd는 상기 왜곡 영상의 중심에서부터 상기 영상 좌표까지의 거리, 상기
    Figure PCTKR2013003296-appb-I000028
    는 상기 어안 렌즈의 초점 거리, 상기
    Figure PCTKR2013003296-appb-I000029
    는 상기 왜곡 영상의 보정 정도에 각각 대응 됨.)
  8. 제4항에 있어서,
    상기 왜곡 영상의 보정 계수를 추정하는 보정 계수 추정부
    를 더 포함하는 왜곡 영상 보정 장치.
  9. 제8항에 있어서,
    상기 영상 보정부는,
    상기 영상 좌표를 기반으로 삼각 함수를 검출하는 삼각 함수 검출부;
    상기 영상 좌표와 상기 삼각 함수를 곱하여, 상기 보정된 왜곡 영상의 중심에서부터 상기 영상 좌표까지의 거리인 제1 거리를 추정하는 제1 정규화부;
    상기 제1 거리와 상기 어안 렌즈의 초점 거리를 곱하여, 역탄젠트 값을 검출하는 역탄젠트 값 검출부; 및
    상기 역탄젠트 값과 상기 보정 계수를 곱하여, 상기 왜곡 영상의 중심에서부터 상기 영상 좌표까지의 거리인 제2 거리를 추정하는 제2 정규화부
    를 포함하는 왜곡 영상 보정 장치.
  10. 실시간 왜곡 보정을 위해 하드웨어에 적용 가능한 왜곡 보정 방법에 있어서,
    하드웨어 연산에 적합한 비다항식(Non-Polynomial) 추정 함수를 사용하여 영상의 왜곡을 보정하는 단계; 및
    모핑(morphing) 형태를 활용하여 상기 영상의 왜곡을 보정하는 단계
    를 포함하는 왜곡 영상 보정 방법.
  11. 제10항에 있어서,
    상기 하드웨어 연산에 적합한 비다항식 추정 함수를 사용하여 상기 영상의 왜곡을 보정하는 단계는,
    유한한 추정 함수를 사용하여 상기 영상의 왜곡을 보정하는 왜곡 영상 보정 방법.
  12. 제10항에 있어서,
    상기 모핑 형태를 활용하여 상기 영상의 왜곡을 보정하는 단계는,
    초기 설정된 왜곡 보정 계수로부터 최종 설정된 왜곡 보정 계수로 순차적으로 계수를 변경하여 상기 영상의 왜곡을 보정하는 왜곡 영상 보정 방법.
  13. 어안 렌즈를 통하여 왜곡 영상을 입력 받는 단계;
    상기 왜곡 영상을 실시간으로 영상 저장부에 저장하는 단계;
    상기 왜곡 영상에 대한 영상 출력 신호를 구성하는 단계;
    상기 왜곡 영상에 대한 영상 좌표를 추정하는 단계;
    상기 추정된 영상 좌표를 기반으로 상기 영상 저장부로부터 영상 명암도를 추정하는 단계; 및
    상기 추정된 영상 명암도를 상기 영상 출력 신호에 동기화 하여 상기 왜곡 영상을 보정하는 단계
    를 포함하는 왜곡 영상 보정 방법.
  14. 제13항에 있어서,
    상기 상기 왜곡 영상을 보정하는 단계는,
    상기 왜곡 영상을 모핑(morphing) 형태로 보정하는 단계인 왜곡 영상 보정 방법.
  15. 제13항에 있어서,
    상기 보정된 왜곡 영상을 출력하는 단계
    를 더 포함하는 왜곡 영상 보정 방법.
  16. 제13항에 있어서,
    상기 영상 좌표를 추정하는 단계는,
    하기 수학식 2를 통하여 상기 영상 좌표를 추정하는 단계
    를 더 포함하는 왜곡 영상 보정 방법.
    Figure PCTKR2013003296-appb-I000030
    (여기서, 상기 ru는 상기 보정된 왜곡 영상의 중심에서부터 상기 영상 좌표까지의 거리, 상기 rd는 상기 왜곡 영상의 중심에서부터 상기 영상 좌표까지의 거리, 상기
    Figure PCTKR2013003296-appb-I000031
    는 상기 어안 렌즈의 초점 거리, 상기
    Figure PCTKR2013003296-appb-I000032
    는 상기 왜곡 영상의 보정 정도에 각각 대응 됨.)
  17. 제13항에 있어서,
    상기 왜곡 영상의 보정 계수를 추정하는 단계
    를 더 포함하는 왜곡 영상 보정 장치.
  18. 제17항에 있어서,
    상기 왜곡 영상을 보정하는 단계는,
    상기 영상 좌표를 기반으로 삼각 함수를 검출하는 단계;
    상기 영상 좌표와 상기 삼각 함수를 곱하여, 상기 보정된 왜곡 영상의 중심에서부터 상기 영상 좌표까지의 거리인 제1 거리를 추정하는 단계;
    상기 제1 거리와 상기 어안 렌즈의 초점 거리를 곱하여, 역탄젠트 값을 검출하는 단계; 및
    상기 역탄젠트 값과 상기 보정 계수를 곱하여, 상기 왜곡 영상의 중심에서부터 상기 영상 좌표까지의 거리인 제2 거리를 추정하는 단계
    를 포함하는 왜곡 영상 보정 방법.
  19. 제10항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
PCT/KR2013/003296 2013-03-27 2013-04-18 왜곡 영상 보정 장치 및 방법 WO2014157765A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/779,585 US9569824B2 (en) 2013-03-27 2013-04-18 Distorted image correction apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130032737A KR101477900B1 (ko) 2013-03-27 2013-03-27 왜곡 영상 보정 장치 및 방법
KR10-2013-0032737 2013-03-27

Publications (1)

Publication Number Publication Date
WO2014157765A1 true WO2014157765A1 (ko) 2014-10-02

Family

ID=51624715

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/003296 WO2014157765A1 (ko) 2013-03-27 2013-04-18 왜곡 영상 보정 장치 및 방법

Country Status (3)

Country Link
US (1) US9569824B2 (ko)
KR (1) KR101477900B1 (ko)
WO (1) WO2014157765A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
KR101785027B1 (ko) 2016-01-14 2017-11-06 주식회사 라온텍 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법
US10354408B2 (en) 2016-07-20 2019-07-16 Harman International Industries, Incorporated Vehicle camera image processing
KR102070974B1 (ko) * 2018-01-17 2020-01-29 국방과학연구소 위치 왜곡 보정 방법 및 장치
CN112991164B (zh) * 2019-12-13 2023-05-09 视云融聚（广州）科技有限公司 一种基于模型的全景弯曲图像畸变矫正的方法
US11699216B2 (en) * 2020-03-09 2023-07-11 Nec Corporation Automatic fisheye camera calibration for video analytics

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070109406A1 (en) * 1993-02-26 2007-05-17 Donnelly Corporation, A Corporation Of The State Of Michigan Image sensing system for a vehicle
KR20080034720A (ko) * 2006-10-17 2008-04-22 현대자동차주식회사 Ｄｌｔ 알고리즘을 이용한 영상왜곡 보정방법
JP2010282295A (ja) * 2009-06-02 2010-12-16 Sony Corp 画像処理装置、画像処理方法及びプログラム
KR101053464B1 (ko) * 2010-05-27 2011-08-03 (주) 에투시스템 광각 카메라의 광학정보 획득 장치, 광각영상 보정 장치 및 그 방법
US20120314021A1 (en) * 2011-06-08 2012-12-13 City University Of Hong Kong Generating an aerial display of three-dimensional images from a single two-dimensional image or a sequence of two-dimensional images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001074266A1 (en) * 2000-03-30 2001-10-11 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for calibrating an endoscope
AU2001277110A1 (en) * 2000-07-21 2002-02-05 The Trustees Of Columbia University In The City Of New York Method and apparatus for reducing distortion in images
US7999842B1 (en) * 2004-05-28 2011-08-16 Ricoh Co., Ltd. Continuously rotating video camera, method and user interface for using the same
KR101014572B1 (ko) * 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
US8988525B2 (en) * 2009-08-27 2015-03-24 Robert Bosch Gmbh System and method for providing guidance information to a driver of a vehicle
EP2530647A1 (en) * 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
US9743002B2 (en) * 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070109406A1 (en) * 1993-02-26 2007-05-17 Donnelly Corporation, A Corporation Of The State Of Michigan Image sensing system for a vehicle
KR20080034720A (ko) * 2006-10-17 2008-04-22 현대자동차주식회사 Ｄｌｔ 알고리즘을 이용한 영상왜곡 보정방법
JP2010282295A (ja) * 2009-06-02 2010-12-16 Sony Corp 画像処理装置、画像処理方法及びプログラム
KR101053464B1 (ko) * 2010-05-27 2011-08-03 (주) 에투시스템 광각 카메라의 광학정보 획득 장치, 광각영상 보정 장치 및 그 방법
US20120314021A1 (en) * 2011-06-08 2012-12-13 City University Of Hong Kong Generating an aerial display of three-dimensional images from a single two-dimensional image or a sequence of two-dimensional images

Also Published As

Publication number Publication date
US9569824B2 (en) 2017-02-14
KR101477900B1 (ko) 2014-12-30
KR20140117876A (ko) 2014-10-08
US20160055629A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
WO2014157765A1 (ko) 왜곡 영상 보정 장치 및 방법
WO2016053067A1 (en) 3-dimensional model generation using edges
CN103369192A (zh) 多通道视频图像全硬件拼接方法及装置
JP2014002744A (ja) イベントベースイメージ処理装置及びその装置を用いた方法
EP3729363A1 (en) Electronic device and method for foveated domain storage and processing
EP2848002A1 (en) Apparatus and method for processing 3d information
WO2019171984A1 (ja) 信号処理装置、信号処理方法、及び、プログラム
CN109194878B (zh) 视频图像防抖方法、装置、设备和存储介质
KR101493946B1 (ko) 광각 렌즈 이미지 보정 방법 및 그 장치
WO2018040269A1 (zh) 一种图像处理方法及终端
US10104286B1 (en) Motion de-blurring for panoramic frames
WO2023169281A1 (zh) 图像配准方法、装置、存储介质及电子设备
CN115293999A (zh) 融合多时相信息和分通道密集卷积的遥感图像去云方法
WO2016204382A1 (ko) 모션 블러 이미지 복원 방법 및 장치
CN111294580B (zh) 基于gpu的摄像头视频投影方法、装置、设备及存储介质
WO2020101434A1 (ko) 영상의 리타겟팅을 위한 영상 처리 장치 및 방법
CN104166500A (zh) 镜头图像中提供参考坐标系的方法、系统及终端
WO2017209509A1 (ko) 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체
CN107645634A (zh) 一种无畸变广角网络摄像机及安防监控系统
JP2003169255A (ja) シェーディング補正方法
WO2020138630A1 (en) Display apparatus and image processing method thereof
WO2023210884A1 (ko) 비지역적 평균 기반의 노이즈 제거 장치 및 방법
CN113963000B (zh) 图像分割方法、装置、电子设备及程序产品
CN113724141B (zh) 一种图像校正方法、装置及电子设备
WO2022014831A1 (ko) 오브젝트 검출 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13880043

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14779585

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13880043

Country of ref document: EP

Kind code of ref document: A1