WO2015160052A1 - 광각 렌즈 이미지 보정 방법 및 그 장치 - Google Patents

광각 렌즈 이미지 보정 방법 및 그 장치 Download PDF

Info

Publication number
WO2015160052A1
WO2015160052A1 PCT/KR2014/009658 KR2014009658W WO2015160052A1 WO 2015160052 A1 WO2015160052 A1 WO 2015160052A1 KR 2014009658 W KR2014009658 W KR 2014009658W WO 2015160052 A1 WO2015160052 A1 WO 2015160052A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wide
reference line
angle
ellipse
Prior art date
Application number
PCT/KR2014/009658
Other languages
English (en)
French (fr)
Inventor
최영삼
김욱태
Original Assignee
하이네트(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하이네트(주) filed Critical 하이네트(주)
Priority to CN201480002041.2A priority Critical patent/CN105191278A/zh
Priority to EP14889357.1A priority patent/EP3133804A4/en
Priority to US15/304,635 priority patent/US20170041538A1/en
Publication of WO2015160052A1 publication Critical patent/WO2015160052A1/ko

Links

Images

Classifications

    • G06T3/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the present invention relates to a method and apparatus for correcting distortion of an image caused by a wide-angle lens, and an image correction method and apparatus capable of quickly correcting distortion of an image with a low resource due to low computation amount.
  • a fisheye lens generally refers to a lens having a wide field of view of about 180 degrees.
  • Cameras equipped with wide-angle lenses, such as fisheye lenses have a shorter focal length and a wider viewing angle than standard lenses, and the radial distortion of the acquired image is very severe.
  • Images acquired from wide-angle cameras have non-linearities, and in order to correct distortions caused by the wide angle cameras, a method of inversely analyzing optical principles is generally used.
  • the distortion factors such as the optical center, focal length, and refractive index and the distortion correction equation are difficult to appear accurately, so the linearization is not perfect.
  • it is difficult to implement an image in real time because a lot of resources are consumed in the distortion correction according to the distortion correction equation.
  • An object of the present invention is to provide a distortion correction method for correcting a distorted image with a small amount of resources and easily applying it to various types of wide-angle lenses without requiring a distortion factor.
  • Distortion correction method the distortion correction method of the imaging area by a wide-angle lens, comprising the steps of: setting a horizontal reference line and a vertical reference line passing through the center of the imaging area; Setting a part of an elliptic curve in which a part of the horizontal reference line is shortened and a part of the vertical reference line is shortened based on the center; Converting a y value of a pixel belonging to a part of the elliptic curve into a y value of the short axis; And storing the correspondence relationship between the coordinate values of the pixels belonging to a part of the elliptic curve and the converted coordinate values as an entry of the distortion correction table.
  • the difference between the short axis length of the first ellipse and the short axis length of the second ellipse may be a multiple of the first set value.
  • the difference between the long axis length of the first ellipse and the long axis length of the second ellipse may be a multiple of a second set value, and the second set value may be smaller than the first set value.
  • first ellipse and the second ellipse may have zero crossing points.
  • a part of the elliptic curve may be any one of quadrants of the Cartesian coordinate system.
  • correction area of the distortion correction table may belong to the display area.
  • the method may further include supplementing an additional entry symmetrical with respect to at least one of the horizontal and vertical reference lines based on the entry of the distortion correction table.
  • the method may further include setting new horizontal and vertical reference lines in response to at least one of a user's operation, a user's motion, and a display device's direction; And generating a second distortion correction table in which a coordinate value of an entry of the distortion correction table is rotated in correspondence to an angle between the existing horizontal reference line and the new horizontal reference line.
  • the second set value may vary within a preset range by at least one of the wide-angle lens and the distance between the wide-angle lens and the subject.
  • the image correcting apparatus divides an image pickup region in which an image is formed from a sample image acquired through a wide-angle lens and a non-image region in which the image is not formed, and sets a horizontal reference line and a vertical reference line passing through the center of the imaging region.
  • a reference setting unit Create a table for setting a part of the elliptic curve in which a part of the horizontal reference line is a short axis and a part of the vertical reference line as a short axis based on the center, and converts the y value of a pixel belonging to the part of the elliptic curve to the y value of the short axis. part;
  • a storage unit for storing a correspondence between coordinate values of pixels belonging to a part of the elliptic curve and the converted coordinate values as an entry of a distortion correction table.
  • Security control apparatus a plurality of cameras each having a wide-angle lens;
  • a main server configured to receive wide-angle images from the plurality of cameras so that at least one of the plurality of wide-angle images is displayed on a display device;
  • a subordinate server which, upon receiving a correction command from the main server, corrects at least one wide-angle image of the plurality of wide-angle images and transmits the corrected image to the main server.
  • One of the servers may include: a reference setting unit for dividing an image pickup area in which images of the image to be corrected from the plurality of wide-angle images into a non-image area, and setting a horizontal reference line and a vertical reference line passing through the center of the image pickup area; Create a table for setting a part of the elliptic curve in which a part of the horizontal reference line is a short axis and a part of the vertical reference line as a short axis based on the center, and converts the y value of a pixel belonging to the part of the elliptic curve to the y value of the short axis.
  • a storage unit for storing a correspondence between coordinate values of pixels belonging to the elliptic curve and the converted coordinate values as an entry of a distortion correction table;
  • an image corrector configured to correct the image to be corrected using the distortion correction table to generate a corrected image.
  • the main server may cause the display device to display at least one of the plurality of wide-angle images and the plurality of corrected images in which each of the plurality of wide-angle images is corrected, and the plurality of wide-angles according to a first command of a user.
  • the correction image correcting the first wide-angle image among the images and the wide-angle images except the first wide-angle image among the plurality of wide-angle images may be displayed, and the plurality of correction images may be displayed according to a second command of the user. .
  • the accessory server may be plural, and the main server may check the load of the main server and the load of each of the plurality of accessory servers, so that the plurality of original images may be corrected in the order of a small load.
  • the image correction method of the wide-angle lens according to the present invention does not require complicated calculations and the amount of calculation is small, so that it is possible to quickly correct the devices while consuming less resources, thereby displaying an image in real time.
  • it can be easily applied to the existing wide-angle lens, it can be applied to the existing wide-angle lens.
  • 1 is a sample image by a wide-angle lens
  • FIG. 2 is a diagram illustrating a correction standard by a reference setting unit according to an embodiment of the present invention
  • 3 to 7 are diagrams illustrating the principle of table generation by a table generator according to an embodiment of the present invention.
  • FIG. 9 is a block diagram illustrating an image distortion correction system according to an embodiment of the present invention.
  • FIG. 10 is a diagram showing the basis of table generation for an imaging area according to another embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating an image correction method according to an embodiment of the present invention.
  • FIG. 13 is a block diagram showing a security control system according to an embodiment of the present invention.
  • FIG. 14 is a view showing an embodiment of a screen of the security control system according to the present invention.
  • 15 is a flowchart illustrating an image processing method in a security control system according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • a component When a component is referred to as being “connected” or “connected” to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be “directly connected” or “directly connected” to another component, it should be understood that there is no other component in between.
  • first component and the second component on the network are connected or connected, it means that data can be exchanged between the first component and the second component by wire or wirelessly.
  • module and “unit” for the components used in the following description are merely given in consideration of ease of preparation of the present specification, and do not give particular meanings or roles by themselves. Therefore, the “module” and “unit” may be used interchangeably.
  • Such components may be configured by combining two or more components into one component, or by dividing one or more components into two or more components as necessary when implemented in an actual application.
  • the wide-angle lens image distortion correction method according to the present invention can be made in various devices.
  • FIG. 1 is a sample image by a wide-angle lens
  • Figure 2 is a view showing a correction reference by the reference setting unit according to an embodiment of the present invention
  • Figures 3 to 7 is a table generating unit according to an embodiment of the present invention
  • 8 is a diagram illustrating a principle of table generation according to the present invention
  • FIG. 8 is a distortion corrected image according to the present invention
  • FIG. 9 is a block diagram showing an image distortion correction system according to an embodiment of the present invention
  • FIG. FIG. 12 is a diagram illustrating the basis of table generation for an image capturing area according to another embodiment of the present invention
  • FIG. 12 is an image of an input screen for user motion processing.
  • the image distortion correction system includes a wide-angle lens 1 for capturing an image, an image correction device 2 for correcting an image received from the wide-angle lens 1, and a correction of the image correction device 2. It may include a display device 5 for displaying an image.
  • the image correcting apparatus 2 may include a reference setter 10, a table generator 20, an image corrector 30, and a storage 50.
  • the storage unit 50 may store a program for processing and controlling the reference setting unit 10, the table generating unit 20, and the image correcting unit 30, and input or output data (eg, , An image of the wide-angle lens, a table generated by the table generator 20, a corrected image, etc.) may be temporarily or permanently stored.
  • the storage unit 50 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), It may include a storage medium of at least one type of RAM and ROM. It is also possible to use remote devices such as web straw over the Internet.
  • the reference setting unit 10 may be divided into an imaging area in which an image is formed and a non-imaging area in which the image is not formed among the sample images acquired through the wide-angle lens.
  • the outer black portion of FIG. 1 is a non-photographing area, which corresponds to the inner circumferential surface of the housing of the camera module, which is typically configured in a barrel shape.
  • the imaging area acquired by the camera module has a circular shape, but is not limited thereto.
  • the imaging area may have a long elliptical shape in which the horizontal axis is longer than the vertical axis, or may be a shape in which a part of a circular or elliptical shape is cut off.
  • sample images can be used to obtain the outermost outline that separates the appropriate imaged and non-imaged regions, or to obtain the appropriate outlines using points that are vertically symmetrical or point-symmetrical.
  • the outermost line 100 of the imaging area obtained by the reference setting unit 10 may be circular.
  • the reference setting unit 10 may determine the center O of the imaging area.
  • the reference setting unit 10 sets the center of the sample image as the center O of the imaging area, calculates the center O by calculating the coordinates of the outermost line 100, or sets the center selected by the user as the center ( O) can be set.
  • the case where the imaging area is an ellipse is shown in Fig. 10A.
  • the reference setting unit 10 may set horizontal and vertical reference lines that are perpendicular to each other passing through the center O of the imaging area.
  • the horizontal and vertical reference lines may correspond to any one of a preset value, a user manipulation, a user's motion, and a direction of the display apparatus.
  • the reference setter 10 may set horizontal and vertical reference lines of the image itself acquired from an image sensor that detects light incident through a wide-angle lens as horizontal and vertical reference lines, or set horizontal and vertical reference lines in a predetermined direction. Can be.
  • Horizontal and vertical reference lines can be set to one or more than one for distortion correction.
  • the reference setting unit 10 may set horizontal and vertical reference lines in response to an input value received through a user's manipulation, for example, a mouse, a keyboard, or a touch panel.
  • the reference setting unit 10 may set horizontal and vertical reference lines in response to the motion of the user, for example, the movement of the user's arm analyzing the image received through the camera, or the movement of the pupil shown in FIG. 12. .
  • the reference setting unit 10 may set horizontal and vertical reference lines so that a screen corresponding to a direction of a user's pupil is displayed on a part of the large screen.
  • the image correcting apparatus 2 may further include an image receiver (camera) (not shown) for capturing a user's movement or eyes.
  • the reference setting unit 10 may set horizontal and vertical reference lines in correspondence with the direction of the display device 5. To this end, the display device 5 may transmit the direction indicated by the direction in which the screen is displayed to the distortion correction device 3 using the built-in compass.
  • the reference setting unit 10 may obtain the coordinates that are the reference for the long axis and the short axis.
  • the reference long axis may be the diameter of the horizontal reference line by the outermost line 100, that is, the outermost line 100 of the horizontal axis
  • the reference short axis may be the vertical reference line by the outermost line 100, that is, the outermost line 100 of the vertical axis.
  • the reference setting unit 10 may obtain the length from the coordinates of the long axis a and the short axis b.
  • the center O is the origin of the rectangular coordinate system.
  • the table generator 20 may set a plurality of curves inside the outermost line 100. Any two of the outermost line 100 and the inner curves 110, 120,..., 190 may be missing or two intersections.
  • the plurality of curves 100, 110, 120,..., 190 may have a short axis equal to or less than the long axis length of the outermost line 100 and shorter than the short axis length of the outermost line 100.
  • Each long axis of the inner curves 110, 120,..., 190 is preferably smaller than the long axis of the outermost line 100.
  • the circle (outermost line 100) is viewed as an ellipse with the same length of the major axis and the short axis, and the straight line 190 is viewed as an ellipse with the length of the axis short.
  • the difference between the short axis lengths of the first and second curves 110 and 120 adjacent to each other is preferably a predetermined constant.
  • the length of the short axis of the highest internal curve 190 is preferably zero.
  • the length of the major axis of any of the internal curves 110, 120,..., 190 is preferably 0.95 or more and less than 1 of the major axis length of the outermost line 100. This ratio may vary depending on the characteristics or type of the wide-angle lens, the distance to the subject, and the like.
  • the difference between the major axis lengths of the first and second curves 110 and 120 adjacent to each other may be a predetermined constant.
  • the difference in the major axis lengths of the inner curves adjacent to each other is preferably smaller than the difference in the minor axis lengths.
  • the table generator 20 may generate a lookup table (distortion correction table) for coordinates of one quadrant. This is because resource saving and load can be reduced.
  • the table generator 20 may obtain the long axis coordinates a0 to a9 and the short axis coordinates b0 to b8 and O of the internal curve.
  • the table generation unit 20 vertically shifts coordinates of pixels belonging to the same curve to a horizontal line passing through a short axis of the corresponding curve, thereby setting a distortion correction table for setting the coordinates before and after the movement as one entry. Can be generated.
  • the table generation unit 20 may know that the coordinates of one end of the long axis of the fourth curve are (a4, 0) and the coordinates of the one end of the short axis are (0, b4).
  • the coordinates of the point P4-0 of the fourth curve and the coordinates of the point Q4-0 in which the point P4-0 is vertically shifted are set as one entry, and the coordinates of the vertically shifted point Q4-j of the point P4-j are set.
  • the table generator 20 may set the coordinates of the point P4-0 on the horizontal reference line as (a4, 0) and the coordinates of Q4-0 as (a4, b4).
  • the table generator 20 may calculate the arbitrary point P4-j in a rectangular coordinate system using the polar coordinate system of the elliptic equation.
  • the coordinate of point P4-j by this is (a4 * cos (theta) j, b4 * sin (theta) j).
  • the coordinate of the vertically shifted point Q4-j of the point P4-j is (a4 * cos ⁇ j, b4).
  • the table generator 20 may generate a lookup table by obtaining the coordinates of the imaging area and the coordinates of the correction plane, respectively, by the following coding.
  • n is the number of internal curves
  • m is the number of coordinates to obtain in one quadrant of each internal curve
  • the table generation unit 20 may generate each entry P [i] [j]-> Q [i] [j] of the distortion correction table.
  • the distortion correction table may be configured such that when the y value of each pixel belonging to the same plurality of curves (100, 110, 120, ..., 190) is changed to the maximum y value of the corresponding group, the image acquired through the wide-angle lens is changed. It is based on what changes in the eyes of the user. Since the wide-angle lens is more distorted toward the outside than the center, it seems that if the image near the outer area is moved away from the center of the imaging area, the distorted image that is difficult to recognize is corrected to the easy-to-understand image.
  • the long axis length of the inner curves 110, 120, ..., 190 is better corrected for distortion when the length of the long axis is slightly smaller than the length of the outermost axis.
  • Fig. 6A is a correction area after setting a horizontal line as a horizontal reference line
  • Fig. 6B is a correction area after setting a vertical line as a horizontal reference line.
  • the pixel coordinates of each line of FIG. 6A are associated with the plurality of curves 100, 110, 120,..., 190 of FIG. 3.
  • the table generator 20 horizontally symmetrics each entry of the distortion correction table obtained through FIGS. 4 and 5 without performing the above-mentioned calculation to generate a correction region as shown in FIGS. 6A and 6B.
  • Vertical symmetry, and 90 degree rotational symmetry. 10 (b) and 10 (c) show the case where the imaging area is an ellipse.
  • the table generator 20 may modify the distortion correction table such that only a partial region is displayed without displaying the entire image of the correction region.
  • the table generator 20 may set the display areas 210 and 230 to be the display areas 210 and 230 around the vertical reference line. The further away from the center, the worse the distortion. In addition, since the image through the wide-angle lens covers a very wide range, it is preferable to display on multiple screens.
  • the display areas 220 and 240 of FIG. 7B are also set for display near the center and for various ranges of display. This is because the degree of distortion of the image far from the vertical reference line of the first display area 210 is high.
  • the table generator 20 may set the display areas 210, 220, 230, and 240 by deleting an entry of the distortion correction table whose coordinates of the correction plane do not belong to the display area of FIG. 7.
  • the image corrector 30 may generate a corrected image by correcting the image of FIG. 1 acquired through the wide-angle lens using the distortion correction table.
  • the distortion correction table has coordinates of each pixel of the original image (wide angle image) and corresponding coordinates to be moved to the correction image corresponding to each pixel coordinate.
  • the pixel coordinates of the original image may consist of the coordinates of the imaging area, in particular the area to be displayed.
  • the image corrector 30 may generate the corrected image by recording a value corresponding to the coordinate of the pixel of the original image of the distortion correction table of the original image in the coordinate corresponding to the corresponding coordinate of the distortion correction table of the new image. .
  • the image corrector 30 may use a corresponding region of the corrected image of the previous frame without using a distortion correction table in an area that does not differ from the previous frame image of the original image. For example, when the original image has a point (P d-1 ) where the pixel is different from the image of the previous frame, the image correction unit 30 uses the distortion correction table at that point (P d-1 ). Obtain the coordinates (Q d-1 ) and pixel values (V d ) of the corrected image corresponding to, and replace the corresponding coordinates (Q d-1 ) with differences among the corrected images of the previous frame with the corresponding pixel values (V d ). This can be generated as a corrected image of the current frame.
  • the image corrector 30 may display the corrected image on the display device 5 as shown in FIG. 8.
  • the second and fourth display areas 220 and 240 may change the direction so that the vertical reference line is vertical as shown in FIG. 8 so that the user may intuitively see the image.
  • the reference setting unit 10 may set the center O, the outermost line, the horizontal reference line, and the vertical reference line by dividing the image pickup area and the non-image area of the image of the wide-angle lens (S310).
  • the table generator 20 may set a plurality of internal curves inside the outermost line (S320).
  • the inner curve is preferably elliptical.
  • the table generating unit 20 calculates coordinates obtained by moving coordinates located in a plurality of curves of a quadrant to the short axis of each curve, generates an entry in which coordinates located in the plurality of curves and the coordinates moved are correlated with each other.
  • a distortion correction table composed of entries may be generated (S320).
  • the table generating unit 20 adds an entry in which the coordinates of each entry of the distortion correction table are symmetrical to a vertical or horizontal reference line and a rotated entry, so that the corrected screen to be displayed according to the movement of the horizontal reference line according to all areas and user operations is added. It may be prepared to generate (S340).
  • the image corrector 30 may correct the image acquired from the wide-angle lens by using the distortion correction table generated by the table generator 20 and stored in the storage unit 50 (S350).
  • FIG. 13 is a block diagram showing a security control system according to an embodiment of the present invention
  • FIG. 14 is a view showing an embodiment of a screen of the security control system according to the present invention
  • FIG. 15 is a view of the present invention.
  • the security control system may include a plurality of cameras C1 to C4, a main server 400, and a plurality of accessory servers 410, 412, and 414.
  • Each of the plurality of cameras C1 to C4 is a camera equipped with the wide-angle lens 1 of FIG. 1, and converts light incident through the wide-angle lens 1 into a digital image through an image sensor such as an internal CCD or CMOS.
  • To the main server 400 In the present embodiment, communication between the plurality of cameras C1 to C4 and the main server 400 or between the main server 400 and the plurality of accessory servers 410, 412, and 414 may communicate by wire or wirelessly. have.
  • the plurality of cameras C1 to C4 may be appropriately disposed where security, surveillance or control is required. Although four cameras are shown in this drawing, the number of cameras is not limited.
  • the main server 400 may display the original image or display the corrected image on the display device connected to the main server 400 by distorting the image by the wide-angle lens, that is, the image before correction (hereinafter, referred to as 'original image') data. Can be.
  • the main server 400 may transmit the original image or the corrected image data to at least one of the plurality of accessory servers 410, 412, and 414.
  • the first accessory server 410 may display at least one of an original image and a corrected image on a display device connected to the first accessory server 410.
  • the correction of the original image may be performed in at least one of the main server 400 and the plurality of subordinate servers 410, 412, and 414.
  • the first original image (image by the camera C1) among the plurality of original images is the second to fourth original images (images by the cameras C2, C3, and C4) in the main server 400.
  • the correction may be made at the attached servers 410, 412, 414.
  • the present invention is not limited thereto, and a plurality of original images may be corrected in one server, or one server may correct two or more original images.
  • the main server 400 and the plurality of subordinate servers 410, 412, and 414 may be installed where security or surveillance personnel are arranged. Only one server may be needed for centralized management, but large ones can be controlled from multiple locations. In this case, the central server may be arranged in the central control room, and the attached server may be arranged elsewhere (for example, the entrance to the building).
  • the plurality of accessory servers 410, 412, 414 are not limited to being arranged in a kind of simple control room, and may exist as spare resources.
  • the attached server may perform local area communication with the main server 400 or remotely, and may be provided to the virtual machine (VM) as a clouding service.
  • VM virtual machine
  • the main server 400 or the first subordinate server 410 divides and displays the first to fourth original images A, B, C, and D on a connected display device. You can do that.
  • the main server 400 may correct the first image A by a user's command so that the corrected images A1 to A4 are displayed on a part of the divided region of the display apparatus (see FIG. 14B). ).
  • the main server 400 may display the corrected images A1 to A4 together with other second to fourth original images B to D or to be displayed on the full screen.
  • the main server 400 automatically corrects the first original image A or transmits the original image to the first accessory server 410, receives the corrected image, and displays the received corrected images A1 to A4. You can do that.
  • the first accessory server 410 When displaying the first corrected images A1 to A4 of the first accessory server 410, the first accessory server 410 may be operated to correspond to that of the main server 400.
  • the main server 400 in response to a user's command, the main server 400 may include first to fourth corrected images A1 to A4, in which the entire first to fourth original images A to D are corrected. B1 to B4, C1 to C4, and D1 to D4) may be displayed on the display device.
  • the correction operation may be shared by the main server 400 and the plurality of subordinate servers 410, 412, and 414, or may be processed according to the load of each server.
  • the main server 400 may receive first to fourth original images A to D from the plurality of cameras C1 to C4 and store them in a storage unit (not shown) (S610).
  • the storage unit may be disposed in the main server 400 or in a remote web server or cloud server.
  • the main server 400 preferably stores only the original image.
  • the main server 400 may determine the weight of the load of the main server 400 and the plurality of subordinate servers 410, 412, and 414 to determine which server the image correction process is to be performed (S620). Through this, the main server 400 is capable of controlling the load to prevent the server from transferring the load from the server under heavy load to another server or idle. For example, when there is only one image job to be corrected, the main server 400 may select an idle server or a server having the least load as the server to be corrected. If there are a large number of image jobs to be corrected, the main server 400 may cause the first calibration job to be loaded on the server with the lowest idle load or the least load, and again check the load so that the second calibration job is loaded on the lowest server. have. When there are a large number of image jobs to be corrected, the main server 400 may allow the correction jobs to be distributed as much as the processing capacity in the order of low load.
  • the main server 400 may issue a correction instruction to the server on which the correction process is to be performed (S630). Thereafter, the main server 400 may receive the corrected image data (S640) and display it on the display device (S650). When the correction is performed in the main server 400, the correction instruction step S630 and the correction image data reception step S640 may be omitted.
  • the present invention can also be embodied as computer readable code on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which are also implemented in the form of carrier waves (for example, transmission over the Internet). Include.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. And functional programs, codes and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.

Abstract

본 발명은 광각 렌즈에 의한 이미지의 왜곡을 보정하는 방법 및 그 장치에 관한 것으로서, 연산량이 적어 낮은 자원으로 신속하게 이미지의 왜곡을 보정할 수 있는 이미지 보정 방법 및 그 장치이다.

Description

광각 렌즈 이미지 보정 방법 및 그 장치
본 발명은 광각 렌즈에 의한 이미지의 왜곡을 보정하는 방법 및 그 장치에 관한 것으로서, 연산량이 적어 낮은 자원으로 신속하게 이미지의 왜곡을 보정할 수 있는 이미지 보정 방법 및 그 장치이다.
어안 렌즈는 일반적으로 시야각이 180도 정도의 넓은 시야를 갖는 렌즈를 말한다. 어안 렌즈와 같은 광각 렌즈를 장착한 카메라는 표준 렌즈를 이용했을 때에 비해 초점거리가 짧고 시야각이 넓다는 특성을 가지며, 취득된 영상의 방사형 왜곡은 매우 심하게 나타난다. 광각 카메라에서 취득한 영상은 비선형성을 가지며, 이로 인하여 발생한 왜곡을 보정하기 위해 일반적으로 광학적 원리를 역분석하는 방법이 사용되고 있다. 그러나 광중심이나 초점거리, 굴절율 등의 왜곡 인자와 왜곡 보정식은 정확하게 나타나기 힘들어 선형화가 완벽하게 이루어지지 않는 경향이다. 아울러, 왜곡 보정식에 따른 왜곡 보정에 많은 자원이 소모되어 실시간으로 영상을 구현하기가 곤란하였다.
본 발명은 적은 자원으로 왜곡 영상의 보정이 이루어지도록 하며, 왜곡 인자를 취득할 필요가 없어 여러 종류의 광각 렌즈에 쉽게 적용될 수 있도록 하는 왜곡 보정 방법을 제공함을 목적으로 한다.
본 발명에 따른 왜곡 보정 방법은, 광각 렌즈에 의한 촬상 영역의 왜곡 보정 방법으로서, 상기 촬상 영역의 중심을 지나는 수평 기준선 및 수직 기준선을 설정하는 단계; 상기 중심을 기준으로 상기 수평 기준선의 일부를 장축으로 상기 수직 기준선의 일부를 단축으로 하는 타원 곡선 일부를 설정하는 단계; 상기 타원 곡선 일부에 속하는 픽셀의 y 값을 상기 단축의 y 값으로 변환하는 단계; 및 상기 타원 곡선 일부에 속하는 픽셀의 좌표값과 상기 변환된 좌표값의 대응 관계를 왜곡 보정 테이블의 엔트리로 저장하는 단계를 포함할 수 있다.
또한, 상기 타원 중 제1 타원의 단축 길이와 제2 타원의 단축 길이의 차는 제1 설정 값의 배수일 수 있다.
또한, 상기 제1 타원의 장축 길이와 상기 제2 타원의 장축 길이의 차는 제2 설정 값의 배수이며, 상기 제2 설정 값은 상기 제1 설정 값 보다 작을 수 있다.
또한, 상기 제1 타원 및 상기 제2 타원은 교차점이 0 개일 수 있다.
또한, 상기 타원 곡선의 일부는 직교 좌표계의 사분면 중 어느 하나일 수 있다.
또한, 상기 왜곡 보정 테이블의 보정 영역은 디스플레이 영역에 속할 수 있다.
또한, 상기 왜곡 보정 테이블의 엔트리를 기초로 상기 수평 및 수직 기준선 중 적어도 하나의 기준선에 대해 대칭인 추가 엔트리를 보충하는 단계를 더 포함할 수 있다.
또한, 사용자 조작, 사용자의 모션, 및 디스플레이 기기의 방향 중 적어도 어느 하나에 대응하여, 새로운 수평 및 수직 기준선을 설정하는 단계; 및 상기 기존의 수평 기준선과 상기 새로운 수평 기준선 사이의 각도에 대응하여 상기 왜곡 보정 테이블의 엔트리의 좌표값이 회전 이동된 제2 왜곡 보정 테이블을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 제2 설정값은 상기 광각 렌즈 및 상기 광각 렌즈와 피사체의 거리 중 적어도 하나에 의해 기설정 범위 내에서 변동할 수 있다.
본 발명의 일 실시예에 따른 이미지 보정 장치는, 광각 렌즈를 통해 획득한 샘플 이미지 중 상이 맺히는 촬상 영역과 그러지 않은 비촬상 영역으로 구분하고, 상기 촬상 영역의 중심을 지나는 수평 기준선 및 수직 기준선을 설정하는 기준 설정부; 상기 중심을 기준으로 상기 수평 기준선의 일부를 장축으로 상기 수직 기준선의 일부를 단축으로 하는 타원 곡선 일부를 설정하고, 상기 타원 곡선 일부에 속하는 픽셀의 y 값을 상기 단축의 y 값으로 변환하는 테이블 생성부; 및 상기 타원 곡선 일부에 속하는 픽셀의 좌표값과 상기 변환된 좌표값의 대응 관계를 왜곡 보정 테이블의 엔트리로 저장하는 저장부를 포함할 수 있다.
본 발명의 일 실시예에 따른 보안 관제 장치는, 각기 광각 렌즈를 구비한 복수의 카메라; 상기 복수의 카메라로부터 각각 광각 이미지를 수신하여 상기 복수의 광각 이미지 중 적어도 하나를 디스플레이 장치에 디스플레이되도록 하는 메인 서버; 및 상기 메인 서버로부터 보정 명령을 수신하면, 상기 복수의 광각 이미지 중 적어도 하나의 광각 이미지를 보정하여 보정된 이미지를 상기 메인 서버로 전송하는 부속 서버를 포함하는 보안 관제 장치로서, 상기 메인 서버 및 부속 서버 중 어느 한 서버는, 상기 복수의 광각 이미지 중 보정할 이미지의 상이 맺히는 촬상 영역과 그러지 않은 비촬상 영역으로 구분하고, 상기 촬상 영역의 중심을 지나는 수평 기준선 및 수직 기준선을 설정하는 기준 설정부; 상기 중심을 기준으로 상기 수평 기준선의 일부를 장축으로 상기 수직 기준선의 일부를 단축으로 하는 타원 곡선 일부를 설정하고, 상기 타원 곡선 일부에 속하는 픽셀의 y 값을 상기 단축의 y 값으로 변환하는 테이블 생성부; 상기 타원 곡선 일부에 속하는 픽셀의 좌표값과 상기 변환된 좌표값의 대응 관계를 왜곡 보정 테이블의 엔트리로 저장하는 저장부; 및 상기 왜곡 보정 테이블을 이용하여 상기 보정할 이미지를 보정하여 보정된 이미지를 생성하는 영상 보정부를 포함할 수 있다.
또한, 상기 메인 서버는 상기 복수의 광각 이미지 및 상기 복수의 광각 이미지 각각이 보정된 복수의 보정 이미지 중 적어도 하나를 상기 디스플레이 장치에 디스플레되도록 할 수 있으며, 사용자의 제1 명령에 따라 상기 복수의 광각 이미지 중 제1 광각 이미지를 보정한 보정 이미지 및 상기 복수의 광각 이미지 중 상기 제1 광각 이미지를 제외한 광각 이미지들이 디스플레이 되도록 하고, 사용자의 제2 명령에 따라 상기 복수의 보정 이미지가 디스플레이 되도록 할 수 있다.
또한, 상기 부속 서버는 복수이고, 상기 메인 서버는 메인 서버의 부하량 및 상기 복수의 부속 서버 각각의 부하량을 체크하여, 부하량이 적은 순서대로 상기 복수의 원본 이미지의 보정 처리가 이루어지도록 할 수 있다.
본 발명에 따른 광각 렌즈의 이미지 보정 방법은 복잡한 계산이 필요 없고 그 연산량도 적어, 장치의 자원을 적게 소비하면서도 신속하게 보정 할 수 있어, 실시간으로 영상을 디스플레이 할 수 있다. 또한 기존의 광각렌즈에 쉽게 적용 가능하여, 기존에 설치된 광각렌즈에도 적용할 수 있다.
도 1은 광각 렌즈에 의한 샘플 이미지,
도 2는 본 발명의 일 실시예에 따른 기준 설정부에 의한 보정 기준이 도시된 도면,
도 3 내지 도 7은 본 발명의 일 실시예에 따른 테이블 생성부에 의한 테이블 생성의 원리를 도시한 도면,
도 8은 본 발명에 따른 왜곡 보정된 이미지,
도 9는 본 발명의 일 실시예에 따른 이미지 왜곡 보정 시스템을 도시한 블록 구성도,
도 10은 본 발명의 다른 실시예에 따른 촬상 영역에 대한 테이블 생성의 기초를 도시한 도면,
도 11은 본 발명의 일실시예에 따른 이미지 보정 방법에 대한 순서도,
도 12는 사용자 모션 처리용 입력 화면에 대한 이미지,
도 13은 본 발명의 일 실시예에 따른 보안 관제 시스템을 도시한 블록 구성도,
도 14는 본 발명에 따른 보안 관제 시스템의 화면에 대한 실시예를 도시한 도면, 및
도 15는 본 발명의 일 실시예에 다른 보안 관제 시스템에서의 영상 처리 방법에 대한 순서도이다.
이하, 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 또한 네트워크 상의 제1 구성요소와 제2 구성요소가 연결되어 있거나 접속되어 있다는 것은, 유선 또는 무선으로 제1 구성요소와 제2 구성요소 사이에 데이터를 주고 받을 수 있음을 의미한다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.
본 발명에 따른 광각 렌즈 이미지 왜곡 보정 방법은 다양한 장치에서 이루어 질 수 있다.
도 1은 광각 렌즈에 의한 샘플 이미지, 도 2는 본 발명의 일 실시예에 따른 기준 설정부에 의한 보정 기준이 도시된 도면, 도 3 내지 도 7은 본 발명의 일 실시예에 따른 테이블 생성부에 의한 테이블 생성의 원리를 도시한 도면, 도 8은 본 발명에 따른 왜곡 보정된 이미지, 도 9는 본 발명의 일 실시예에 따른 이미지 왜곡 보정 시스템을 도시한 블록 구성도, 도 10은 본 발명의 다른 실시예에 따른 촬상 영역에 대한 테이블 생성의 기초를 도시한 도면, 및 도 12는 사용자 모션 처리용 입력 화면에 대한 이미지이다.
도 9를 참조하면, 이미지 왜곡 보정 시스템은 이미지를 촬상하는 광각 렌즈(1), 광각 렌즈(1)로부터 수신한 이미지를 보정하는 이미지 보정 장치(2), 및 이미지 보정 장치(2)의 보정된 이미지를 디스플레이하는 디스플레이 장치(5)를 포함할 수 있다.
이미지 보정 장치(2)는 기준 설정부(10), 테이블 생성부(20), 영상 보정부(30), 및 저장부(50)를 포함할 수 있다.
저장부(50)는 기준 설정부(10), 테이블 생성부(20), 및 영상 보정부(30)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 광각 렌즈의 영상, 테이블 생성부(20)가 생성한 테이블, 보정된 영상 등)의 임시 또는 영구 저장을 위한 기능을 수행할 수 있다.
저장부(50)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 원격지의 장치, 예를 들어 인터넷을 통한 웹 스트로지 등을 이용할 수도 있다.
기준 설정부(10)는 광각 렌즈를 통해 획득한 샘플 이미지 중 상이 맺히는 촬상 영역과 그러지 않은 비촬상 영역으로 구분할 수 있다. 도 1의 외곽 검은색 부분이 비촬상 영역으로 이는 경통 형태로 통상적으로 구성되는 카메라 모듈의 하우징의 내주면에 해당한다. 본 예에서 카메라 모듈에 획득되는 촬상 영역은 원형의 형상을 가지지만 이에 한정되지 않는다. 예를 들어, 촬상 영역은 가로축이 세로축에 비해 긴 타원형 형상을 가지거나, 원형 또는 타원형의 일부가 잘린 형상일 수 있다.
촬상 및 비촬상 영역을 구분하기 위해 비촬상 영역의 검은색과 다양한 색상의 촬상 영역을 구분하기 위해 종래의 영상으로부터 에지를 검출하는 여러 가지 방법이 사용될 수 있다. 샘플 이미지는 흰색이 주를 이루는 것이 바람직하나 꼭 이에 한정되는 것은 아니다. 여러 샘플 이미지를 통해 적절한 촬상 및 비촬상 영역을 구분하는 최외곽선을 구하거나 상하 및 좌우 대칭 또는 점 대칭인 점을 이용하여 적절한 최외곽선을 구할 수 있다.
도 2를 참조하면, 기준 설정부(10)에 의해 구해지는 촬상 영역의 최외곽선(100)은 원형일 수 있다. 기준 설정부(10)는 촬상 영역의 중심(O)을 결정할 수 있다. 기준 설정부(10)는 샘플 이미지의 중심을 촬상 영역의 중심(O)으로 설정하거나, 최외곽선(100)의 좌표들로부터 계산하여 중심(O)을 구하거나, 사용자에 의해 선택된 좌표를 중심(O)으로 설정할 수 있다. 촬상 영역이 타원인 경우는 도 10(a)에 도시되어 있다.
기준 설정부(10)는 촬상 영역의 중심(O)을 지나는 서로 수직인 수평 및 수직 기준선을 설정할 수 있다. 수평 및 수직 기준선은 기설정된 값, 사용자 조작, 사용자의 모션, 및 디스플레이 장치의 방향 중 어느 하나에 대응될 수 있다. 예를 들어, 기준 설정부(10)는 광각 렌즈를 통해 입사한 빛을 감지하는 이미지 센서에서 취득한 이미지 자체의 수평선 및 수직선을 수평 및 수직 기준선으로 설정하거나, 기설정된 방향으로 수평 및 수직 기준선으로 설정할 수 있다. 수평 및 수직 기준선은 왜곡 보정을 위해 하나 또는 둘 이상을 설정할 수 있다.
기준 설정부(10)는 사용자의 조작, 예를 들어, 마우스나 키보드, 터치 패널 등의 인터페이스를 통해 수신한 입력 값에 대응하여 수평 및 수직 기준선을 설정할 수 있다. 기준 설정부(10)는 사용자의 모션, 예를 들어, 카메라를 통해 수신한 영상을 분석한 사용자의 팔의 움직임이나 도 12에 도시된 눈동자의 움직임 등에 대응하여, 수평 및 수직 기준선을 설정할 수 있다. 디스플레이 장치(5)가 대화면인 경우, 사용자의 눈동자가 지시하는 곳의 방향과 대응하는 화면이 대화면의 일부에 디스플레이되도록, 기준 설정부(10)는 수평 및 수직 기준선을 설정할 수 있다. 이미지 보정 장치(2)는 사용자의 움직임이나 눈동자를 캡쳐하기 위한 영상 수신부(카메라)(미도시)를 더 포함할 수 있다. 영상 보정부(30)에 의해 영상을 표시하는 디스플레이 장치(5)가 휴대용 장치인 경우, 기준 설정부(10)는 디스플레이 장치(5)의 방향에 대응하여 수평 및 수직 기준선을 설정할 수 있다. 이를 위해, 디스플레이 장치(5)는 내장된 나침반을 이용하여 화면이 표시되는 방향이 가리키는 방위를 왜곡 보정 장치(3)로 전송할 수 있다.
수평 및 수직 기준선를 설정되면, 기준 설정부(10)는 장축과 단축의 기준이 되는 좌표를 구할 수 있다. 기준 장축은 최외곽선(100)에 의한 수평 기준선, 즉 가로축의 최외곽선(100)의 지름이 될 수 있으며, 기준 단축은 최외곽선(100)에 의한 수직 기준선, 즉 세로축의 최외곽선(100)의 지름이 될 수 있다. 기준 설정부(10)는 장축(a) 및 단축(b)의 좌표로부터 길이를 구할 수 있다.
본 실시예에서, 설명의 편의를 위해 중심(O)을 직교좌표계의 원점으로 가정한다.
도 3을 참조하면, 테이블 생성부(20)는 최외곽선(100) 내부에 복수의 곡선을 설정할 수 있다. 최외곽선(100) 및 내부 곡선(110, 120, ..., 190) 중 임의의 두 곡선은 교점이 없거나 두 개일 수 있다. 복수의 곡선(100, 110, 120, ..., 190)은 최외곽선(100)의 장축 길이와 같거나 작은 장축 및 최외곽선(100)의 단축 길이 보다 작은 단축을 가질 수 있다. 내부 곡선(110, 120, ..., 190)의 각 장축은 최외곽선(100)의 장축 보다 작은 것이 바람직하다. 본 실시예에서, 원(최외곽선(100))은 장축과 단축의 길이가 동일한 타원으로 보며, 직선(190)은 단축의 길이가 0인 타원으로 본다.
서로 인접하는 제1 및 제2 곡선(110, 120)의 단축 길이의 차는 기설정된 상수인 것이 바람직하다. 최고 내부 곡선(190)의 단축의 길이는 0인 것이 바람직하다.
내부 곡선(110, 120, ..., 190) 중 임의의 곡선의 장축의 길이는 최외곽선(100) 장축 길이의 0.95 이상 1 미만인 것이 바람직하다. 이러한 비율은 광각 렌즈의 특성이나 종류, 피사체와의 거리 등에 따라 달라질 수 있다. 서로 인접하는 제1 및 제2 곡선(110, 120)의 장축 길이의 차는 기설정된 상수일 수 있다. 서로 인접하는 내부 곡선의 장축 길이의 차는 단축 길이의 차 보다 작은 것이 바람직하다.
도 4를 참조하면, 테이블 생성부(20)는 한 개 사분면의 좌표에 대해 룩업 테이블(왜곡 보정 테이블)을 생성할 수 있다. 자원 절감 및 부하를 줄일 수 있기 때문이다. 테이블 생성부(20)는 내부 곡선의 장축 좌표(a0 ~ a9) 및 단축 좌표(b0 ~ b8, O)를 구할 수 있다.
도 5를 참조하면, 테이블 생성부(20)는 동일한 곡선에 속한 픽셀의 좌표를 해당 곡선의 단축을 지나는 수평선으로 수직 이동하여, 이동 전 좌표와 이동 후 자표를 하나의 엔트리로 설정하는 왜곡 보정 테이블을 생성할 수 있다. 테이블 생성부(20)는 제4 곡선의 장축 일단의 좌표가 (a4, 0)이며, 단축 일단의 좌표가 (0, b4)임을 알 수 있다. 엔트리의 예로, 제4 곡선의 점 P4-0의 좌표 및 점 P4-0이 수직 이동된 점 Q4-0의 좌표를 하나의 엔트리로 설정되며, 점 P4-j의 수직 이동된 점 Q4-j의 각 좌표를 하나의 엔트리로 설정될 수 있다. 수평 기준선 위의 점 P4-0의 좌표를 (a4, 0)이며, Q4-0의 좌표를 (a4, b4)로 테이블 생성부(20)는 설정할 수 있다. 테이블 생성부(20)는 임의의 점 P4-j는 타원 방정식의 극좌표계를 이용하여 직교좌표계로 계산할 수 있다. 이로 인한 점 P4-j의 좌표는 (a4*cosθj, b4*sinθj)이다. 점 P4-j의 수직이동된 점 Q4-j의 좌표는 (a4*cosθj, b4)이다.
테이블 생성부(20)는 다음과 같은 코딩으로 촬상 영역의 좌표와 보정 평면의 좌표를 각각 구하여 룩업 테이블을 생성할 수 있다.
1. 정의
n은 내부 곡선의 개수;
m은 각 내부 곡선의 일사분면에서 구할 좌표의 개수;
Δx는 내부 곡선의 x축 감소분 (a/n > Δx >= 0.95 a/n);
Δy는 내부 곡선의 y축 감소분 (Δy = b/n);
2. 촬상 영역(P(x, y))의 좌표
for i = 0 ~ n
{ for j = 0 ~ m
{ θ = π/2 * j/m
x[i][j] = (a - Δx * i) * cos θ
y[i][j] = (b - Δy * i) * sin θ
}
}
3. 보정 영역(Q(u, v))의 좌표
for i = 0 ~ n
{ for j = 0 ~ m
Q(u[i][j], v[i][j]) = P(x[i][j], b - Δy * i)
}
위와 같은 코딩을 이용하여, 테이블 생성부(20)는 왜곡 보정 테이블의 각 엔트리 (P[i][j] -> Q[i][j])를 생성할 수 있다.
이와 같은 왜곡 보정 테이블은 동일한 복수의 곡선(100, 110, 120, ..., 190)에 속하는 각 픽셀의 y 값을 해당 그룹의 최대 y값으로 변경하는 경우, 광각 렌즈를 통해 획득한 영상이 사용자의 눈에 보기 좋게 변한다는 것에 기초하였다. 광각 렌즈는 중심 보다는 외곽으로 갈 수록 왜곡이 심하기 때문에 외곽 영역에 가까운 이미지를 촬상 영역의 중심에서 멀어지게 하면 알아보기 힘든 왜곡 영상이 알아보기 쉬운 영상으로 보정되는 것으로 보인다. 내부 곡선(110, 120, ..., 190)의 장축 길이는 최외곽선의 장축 길이 보다 조금 작은 경우에 왜곡 보정이 더 잘 되었다.
도 6을 참조하면, 원형의 촬상 영역이 사각형 형상의 보정 영역으로 변환된 것을 알 수 있다. 도 6(a)는 수평선을 수평 기준선으로 설정한 후의 보정 영역이며, 도 6(b)는 수직선을 수평 기준선으로 설정한 후의 보정 영역이다. 도 6(a)의 각 라인들의 픽셀 좌표는 도 3의 복수의 곡선(100, 110, 120, ..., 190)과 연관된다.
테이블 생성부(20)는 도 6의 (a) 및 (b)와 같은 보정 영역을 생성하기 위해, 위에서 언급한 계산을 하지 않고 도 4 및 도 5를 통해 구한 왜곡 보정 테이블의 각 엔트리를 수평 대칭, 수직 대칭, 및 90 도 회전 대칭하여 얻을 수 있다. 도 10(b) 및 도 10(c)는 촬상 영역이 타원인 경우를 도시한다.
도 7을 참조하면, 보정 영역의 이미지 전체를 디스플레이 하지 않고 일부 영역만 디스플레이되도록, 테이블 생성부(20)는 왜곡 보정 테이블을 수정할 수 있다.
도 7(a)를 참조하면, 보정 영역 중 수직 기준선을 중심으로 일부 영역만 디스플레이 영역(210, 230)으로 되도록, 테이블 생성부(20)는 설정할 수 있다. 중심에서 거리가 멀 수록 왜곡이 심해지기 때문이다. 또한 광각 렌즈를 통한 이미지는 매우 넓은 범위를 커버하기 때문에, 여러 화면으로 디스플레이하는 것이 바람직하기 때문이다. 도 7(b)의 디스플레이 영역(220, 240) 또한 중심에 가까운 영역 위주의 디스플레이 및 다양한 범위의 디스플레이를 위해 설정된다. 제1 디스플레이 영역(210)의 세로 기준선에서 먼 위치의 이미지의 왜곡 정도가 높기 때문이다.
테이블 생성부(20)는 왜곡 보정 테이블의 엔트리 중 보정 평면의 좌표가 도 7의 디스플레이 영역에 속하지 않는 엔트리는 삭제하여 디스플레이 영역(210, 220, 230, 240)을 설정할 수 있다.
영상 보정부(30)는 왜곡 보정 테이블을 이용하여, 광각 렌즈를 통해 취득한 도 1의 이미지를 보정하여 보정된 이미지를 생성할 수 있다. 왜곡 보정 테이블은 원본 이미지(광각 이미지)의 각 픽셀의 좌표 및 각각의 픽셀 좌표와 대응하는 보정 이미지로 이동될 대응 좌표를 구비하고 있다. 원본 이미지의 픽셀 좌표들은 촬상 영역 특히, 디스플레이될 영역의 좌표들로 구성될 수 있다. 영상 보정부(30)는 원본 이미지의 왜곡 보정 테이블의 원본 이미지의 픽셀의 좌표에 해당하는 값을 새로운 이미지의 왜곡 보정 테이블의 대응 좌표에 해당하는 좌표에 기록하는 방식으로 보정 이미지를 생성할 수 있다. 영상 보정부(30)는 원본 이미지의 이전 프레임 이미지와의 차이가 나지 않는 영역은 왜곡 보정 테이블을 이용하지 않고 이전 프레임의 보정 이미지의 대응하는 영역을 그대로 이용할 수 있다. 예를 들어, 원본 이미지가 이전 프레임의 이미지와 픽셀 차이가 있는 곳이 한 점(Pd-1)인 경우, 영상 보정부(30)는 왜곡 보정 테이블을 이용하여 그 점(Pd-1)에 대응하는 보정 이미지의 좌표(Qd-1)와 픽셀값(Vd)을 구하고, 이전 프레임의 보정 이미지 중 차이가 있는 해당 좌표(Qd-1)를 해당 픽셀값(Vd)으로 대체하여 이를 현재 프레임의 보정 이미지로 생성할 수 있다.
영상 보정부(30)는 보정된 이미지를 도 8과 같이 디스플레이 장치(5)에 디스플레이되도록 할 수 있다. 영상 보정부(30)는 제2 및 제4 디스플레이 영역(220, 240)은 도 8과 같이 수직 기준선이 수직으로 보이도록 방향을 변환하여 사용자가 직관적으로 볼 수 있도록 하는 것이 바람직하다.
도 11은 본 발명의 일실시예에 따른 이미지 보정 방법에 대한 순서도이다. 도 1 내지 도 10을 참조한다.
도 11을 참조하면, 기준 설정부(10)는 광각 렌즈의 이미지의 촬상 영역과 비촬상 영역으로 구분하여, 중심(O), 최외곽선, 수평 기준선, 및 수직 기준선을 설정할 수 있다(S310).
테이블 생성부(20)는 최외곽선 내부에 복수의 내부 곡선을 설정할 수 있다(S320). 내부 곡선은 타원형인 것이 바람직하다.
테이블 생성부(20)는 일사분면의 복수의 곡선에 위치한 좌표를 각 곡선의 단축으로 이동 시킨 좌표를 산출하여, 복수의 곡선에 위치한 좌표와 이동된 좌표를 서로 연관시킨 엔트리를 생성하여, 복수의 엔트리로 구성된 왜곡 보정 테이블을 생성할 수 있다(S320).
테이블 생성부(20)는 왜곡 보정 테이블의 각 엔트리의 좌표를 수직 또는 수평 기준선에 대칭되는 엔트리 및 회전 시킨 엔트리를 추가하여, 모든 영역 및 사용자 조작 등에 따른 수평 기준선의 이동에 따른 보정된 디스플레이될 화면을 생성할 준비를 할 수 있다(S340).
영상 보정부(30)는 테이블 생성부(20)에 의해 생성되어 저장부(50)에 저장된 왜곡 보정 테이블을 이용하여, 광각 렌즈로부터 취득하는 이미지를 보정하여 디스플레이 장치로 전송할 수 있다(S350).
도 13은 본 발명의 일 실시예에 따른 보안 관제 시스템을 도시한 블록 구성도, 도 14는 본 발명에 따른 보안 관제 시스템의 화면에 대한 실시예를 도시한 도면, 및 도 15는 본 발명의 일 실시예에 다른 보안 관제 시스템에서의 영상 처리 방법에 대한 순서도이다. 도 1 내지 도 12를 참조한다.
도 13을 참조하면, 보안 관제 시스템은 복수의 카메라(C1 ~ C4), 메인 서버(400), 및 복수의 부속 서버(410, 412, 414)를 포함할 수 있다.
복수의 카메라(C1 ~ C4) 각각은 도 1의 광각 렌즈(1)가 장착된 카메라로, 광각 렌즈(1)를 통해 입사한 광을 내부의 CCD나 CMOS 등의 이미지 센서를 통해 디지털 이미지로 변환하여, 메인 서버(400)으로 전송할 수 있다. 본 실시예에서 복수의 카메라(C1 ~ C4)와 메인 서버(400) 사이의 통신 또는 메인 서버(400)와 복수의 부속 서버(410, 412, 414) 사이의 통신은 유선 또는 무선으로 통신할 수 있다. 복수의 카메라(C1 ~ C4)는 보안, 감시 또는 관제가 필요한 곳에 적절히 배치될 수 있다. 본 도면에서 카메라는 4개로 도시하였지만, 카메라 대 수는 한정되지 않는다.
메인 서버(400)는 광각 렌즈에 의한 왜곡된 이미지 즉, 보정 전의 이미지(이하, '원본 이미지') 데이터를 메인 서버(400)에 연결된 디스플레이 장치에 원본 이미지를 디스플레이하거나 보정된 이미지를 디스플레이하도록 할 수 있다. 메인 서버(400)는 원본 이미지 또는 보정된 이미지 데이터를 복수의 부속 서버(410, 412, 414) 중 적어도 하나에 전송할 수 있다. 제1 부속 서버(410)는 제1 부속 서버(410)에 연결된 디스플레이 장치에 원본 이미지 및 보정 이미지 중 적어도 어느 하나를 디스플레이되도록 할 수 있다.
원본 이미지의 보정은 메인 서버(400) 및 복수의 부속 서버(410, 412, 414) 중 적어도 어느 하나에서 이루어 질 수 있다. 예를 들어, 복수의 원본 이미지 중 제1 원본 이미지(카메라 C1에 의한 이미지)는 메인 서버(400)에서 제2 내지 제4 원본 이미지(카메라 C2, C3, C4에 의한 이미지)는 제1 내지 제3 부속 서버(410, 412, 414)에서 보정이 이루어 질 수 있다. 다만 이에 한정되지 않고, 복수의 원본 이미지가 하나의 서버에서 보정되거나, 하나의 서버가 2 이상의 원본 이미지를 보정할 수 있다.
메인 서버(400) 및 복수의 부속 서버(410, 412, 414)는 보안 또는 감시 인원이 배치된 곳에 설치될 수 있다. 중앙 관제를 위해 하나의 서버만 필요할 수 있지만, 규모가 큰 경우 여러 위치에서 관제할 수 있다. 이 경우, 중앙 관제실에 중앙 서버가 배치되며, 다른 곳(예를 들어, 건물 입구 등)에 부속 서버가 배치될 수 있다. 복수의 부속 서버(410, 412, 414)는 일종의 간이 관제실에서 배치되는 것에 한정되지 않고, 예비 자원으로서 존재할 수 있다. 부속 서버는 메인 서버(400)와 근거리 통신을 하거나 원거리로 통신할 수 있으며, 클라우딩 서비스로서 가상 머신(VM)으로 제공될 수 있다.
도 14(a)를 참조하면, 메인 서버(400) 또는 제1 부속 서버(410)는 기본으로 제1 내지 제4 원본 이미지(A, B, C, D)를 연결된 디스플레이 장치에 화면 분할하여 디스플레이되도록 할 수 있다. 메인 서버(400)는 사용자의 명령에 의하 제1 이미지(A)를 보정하여 보정된 이미지(A1 ~ A4)를 디스플레이 장치의 분할된 영역의 일부에 디스플레이되도록 할 수 있다(도 14(b) 참조). 메인 서버(400)는 보정된 이미지(A1 ~ A4)를 다른 제2 내지 제4 원본 이미지(B ~ D)와 함께 디스플레이되거나, 전체 화면에서 디스플레이되도록 할 수 있다. 메인 서버(400)는 제1 원본 이미지(A)를 자체적으로 보정하거나 제1 부속 서버(410)에 원본 이미지를 전송한 후 보정된 이미지를 수신하여, 수신한 보정 이미지(A1 ~ A4)를 디스플레이되도록 할 수 있다. 제1 부속 서버(410)에서의 제1 보정 이미지(A1 ~ A4)를 디스플레이하는 경우, 메인 서버(400)에서와 대응되게 작동될 수 있다. 도 14(c)를 참조하면, 메인 서버(400)는 사용자의 명령에 대응하여, 제1 내지 제4 원본 이미지(A ~ D) 전체가 보정된 제1 내지 제4 보정 이미지(A1 ~ A4, B1 ~ B4, C1 ~ C4, D1 ~ D4)가 디스플레이 장치에 디스플레이되도록 할 수 있다. 보정 작업은 메인 서버(400)와 복수의 부속 서버(410, 412, 414)에서 분담하여 처리되거나, 각 서버의 부하에 대응하여 처리될 수 있다.
도 15는 메인 서버(400)의 이미지 왜곡 보정 및 디스플레이 절차에 대한 방법을 도시한다. 도 15를 참조하면, 메인 서버(400)는 복수의 카메라(C1 ~ C4)로부터 제1 내지 제4 원본 이미지(A~D)를 수신하여 저장부(미도시)에 저장할 수 있다(S610). 저장부는 메인 서버(400)의 내부에 배치되거나, 원격의 웹 서버 또는 클라우딩 서버에 배치될 수 있다. 저장 용량의 부담을 덜기 위해, 메인 서버(400)는 원본 이미지만 저장하는 것이 바람직하다.
메인 서버(400)는 메인 서버(400) 및 복수의 부속 서버(410, 412, 414)의 부하의 경중를 판단하여 어느 서버에서 이미지 보정 처리를 할 것인지 결정할 수 있다(S620). 이를 통해, 메인 서버(400)는 이를 통해 과중하게 부하를 받고 있는 서버에서 다른 서버로 부하를 전달하거나 유휴상태에 있는 서버를 방지하는 부하 조절이 가능하다. 예를 들어, 메인 서버(400)는 보정할 이미지 작업이 하나인 경우, 유휴 상태의 서버 또는 부하량이 제일 적은 서버를 보정 처리할 서버로 선택할 수 있다. 보정할 이미지 작업이 다수인 경우, 메인 서버(400)는 유휴 상태 도는 부하량이 제일 적은 서버에 제1 보정 작업이 로드되도록 하고, 다시 부하량를 체크하여 제일 낮은 서버에 제2 보정 작업이 로드되도록 할 수 있다. 보정할 이미지 작업이 다수인 경우, 메인 서버(400)는 부하량이 적은 순서대로 보정 작업을 처리 능력 만큼 분배되도록 할 수도 있다.
메인 서버(400)는 보정 처리가 이루어질 서버에 보정 지시를 할 수 있다(S630). 그 후 메인 서버(400)는 보정된 이미지 데이터를 수신하여(S640), 이를 디스플레이 장치에 디스플레이되도록 할 수 있다(S650). 보정이 메인 서버(400)에서 이루어지는 경우, 보정 지시 단계(S630), 및 보정 이미지 데이터 수신 단계(S640)는 생략될 수 있다.
상기 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.

Claims (12)

  1. 광각 렌즈에 의한 촬상 영역의 왜곡 보정 방법으로서,
    상기 촬상 영역의 중심을 지나는 수평 기준선 및 수직 기준선을 설정하는 단계;
    상기 중심을 기준으로 상기 수평 기준선의 일부를 장축으로 상기 수직 기준선의 일부를 단축으로 하는 타원 곡선 일부를 설정하는 단계;
    상기 타원 곡선 일부에 속하는 픽셀의 y 값을 상기 단축의 y 값으로 변환하는 단계; 및
    상기 타원 곡선 일부에 속하는 픽셀의 좌표값과 상기 변환된 좌표값의 대응 관계를 왜곡 보정 테이블의 엔트리로 저장하는 단계를 포함하는 왜곡 보정 방법.
  2. 제 1 항에 있어서,
    상기 타원 중 제1 타원의 단축 길이와 제2 타원의 단축 길이의 차는 제1 설정 값의 배수인 것인, 왜곡 보정 방법.
  3. 제 2 항에 있어서,
    상기 제1 타원의 장축 길이와 상기 제2 타원의 장축 길이의 차는 제2 설정 값의 배수이며, 상기 제2 설정 값은 상기 제1 설정 값 보다 작고,
    상기 제1 타원 및 상기 제2 타원은 교차점이 0 개인 것을 특징으로 하는, 왜곡 보정 방법.
  4. 제 1 항에 있어서,
    상기 타원 곡선의 일부는 직교 좌표계의 사분면 중 어느 하나이고,
    상기 왜곡 보정 테이블의 보정 영역은 디스플레이 영역에 속하는 것을 특징으로 하는, 왜곡 보정 방법.
  5. 제 4 항에 있어서,
    상기 왜곡 보정 테이블의 엔트리를 기초로 상기 수평 및 수직 기준선 중 적어도 하나의 기준선에 대해 대칭인 추가 엔트리를 보충하는 단계를 더 포함하는 왜곡 보정 방법.
  6. 제 1 항에 있어서,
    사용자 조작, 사용자의 모션, 및 디스플레이 기기의 방향 중 적어도 어느 하나에 대응하여, 새로운 수평 및 수직 기준선을 설정하는 단계; 및
    상기 기존의 수평 기준선과 상기 새로운 수평 기준선 사이의 각도에 대응하여 상기 왜곡 보정 테이블의 엔트리의 좌표값이 회전 이동된 제2 왜곡 보정 테이블을 생성하는 단계를 더 포함하는 왜곡 보정 방법.
  7. 제 3 항에 있어서,
    상기 제2 설정값은 상기 광각 렌즈 및 상기 광각 렌즈와 피사체의 거리 중 적어도 하나에 의해 기설정 범위 내에서 변동하는, 왜곡 보정 방법.
  8. 광각 렌즈를 통해 획득한 샘플 이미지 중 상이 맺히는 촬상 영역과 그러지 않은 비촬상 영역으로 구분하고, 상기 촬상 영역의 중심을 지나는 수평 기준선 및 수직 기준선을 설정하는 기준 설정부;
    상기 중심을 기준으로 상기 수평 기준선의 일부를 장축으로 상기 수직 기준선의 일부를 단축으로 하는 타원 곡선 일부를 설정하고, 상기 타원 곡선 일부에 속하는 픽셀의 y 값을 상기 단축의 y 값으로 변환하는 테이블 생성부; 및
    상기 타원 곡선 일부에 속하는 픽셀의 좌표값과 상기 변환된 좌표값의 대응 관계를 왜곡 보정 테이블의 엔트리로 저장하는 저장부를 포함하는 이미지 보정 장치.
  9. 제 8 항에 있어서,
    상기 타원 중 제1 타원의 단축 길이와 제2 타원의 단축 길이의 차는 제1 설정 값의 배수이고,
    상기 제1 타원의 장축 길이와 상기 제2 타원의 장축 길이의 차는 제2 설정 값의 배수이며, 상기 제2 설정 값은 상기 제1 설정 값 보다 작고,
    상기 제1 타원 및 상기 제2 타원은 교차점이 0 개이고,
    상기 타원 곡선의 일부는 직교 좌표계의 사분면 중 어느 하나이고,
    상기 왜곡 보정 테이블의 보정 영역은 디스플레이 영역에 속하는 것을 특징으로 하는, 이미지 보정 장치.
  10. 각기 광각 렌즈를 구비한 복수의 카메라;
    상기 복수의 카메라로부터 각각 광각 이미지를 수신하여 상기 복수의 광각 이미지 중 적어도 하나를 디스플레이 장치에 디스플레이되도록 하는 메인 서버; 및
    상기 메인 서버로부터 보정 명령을 수신하면, 상기 복수의 광각 이미지 중 적어도 하나의 광각 이미지를 보정하여 보정된 이미지를 상기 메인 서버로 전송하는 부속 서버를 포함하는 보안 관제 장치로서,
    상기 메인 서버 및 부속 서버 중 어느 한 서버는,
    상기 복수의 광각 이미지 중 보정할 이미지의 상이 맺히는 촬상 영역과 그러지 않은 비촬상 영역으로 구분하고, 상기 촬상 영역의 중심을 지나는 수평 기준선 및 수직 기준선을 설정하는 기준 설정부;
    상기 중심을 기준으로 상기 수평 기준선의 일부를 장축으로 상기 수직 기준선의 일부를 단축으로 하는 타원 곡선 일부를 설정하고, 상기 타원 곡선 일부에 속하는 픽셀의 y 값을 상기 단축의 y 값으로 변환하는 테이블 생성부;
    상기 타원 곡선 일부에 속하는 픽셀의 좌표값과 상기 변환된 좌표값의 대응 관계를 왜곡 보정 테이블의 엔트리로 저장하는 저장부; 및
    상기 왜곡 보정 테이블을 이용하여 상기 보정할 이미지를 보정하여 보정된 이미지를 생성하는 영상 보정부를 포함하는, 보안 관제 장치.
  11. 제 10 항에 있어서,
    상기 메인 서버는 상기 복수의 광각 이미지 및 상기 복수의 광각 이미지 각각이 보정된 복수의 보정 이미지 중 적어도 하나를 상기 디스플레이 장치에 디스플레되도록 할 수 있으며, 사용자의 제1 명령에 따라 상기 복수의 광각 이미지 중 제1 광각 이미지를 보정한 보정 이미지 및 상기 복수의 광각 이미지 중 상기 제1 광각 이미지를 제외한 광각 이미지들이 디스플레이 되도록 하고, 사용자의 제2 명령에 따라 상기 복수의 보정 이미지가 디스플레이 되도록 하는, 보안 관제 장치.
  12. 제 11 항에 있어서,
    상기 부속 서버는 복수이고,
    상기 메인 서버는 메인 서버의 부하량 및 상기 복수의 부속 서버 각각의 부하량을 체크하여, 부하량이 적은 순서대로 상기 복수의 원본 이미지의 보정 처리가 이루어지도록 하는, 보안 관제 장치.
PCT/KR2014/009658 2014-04-16 2014-10-15 광각 렌즈 이미지 보정 방법 및 그 장치 WO2015160052A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480002041.2A CN105191278A (zh) 2014-04-16 2014-10-15 广角镜头图像校正方法及其装置
EP14889357.1A EP3133804A4 (en) 2014-04-16 2014-10-15 Method for correcting image from wide-angle lens and device therefor
US15/304,635 US20170041538A1 (en) 2014-04-16 2014-10-15 Method for correcting image from wide-angle lens and device therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0045611 2014-04-16
KR20140045611A KR101493946B1 (ko) 2014-04-16 2014-04-16 광각 렌즈 이미지 보정 방법 및 그 장치

Publications (1)

Publication Number Publication Date
WO2015160052A1 true WO2015160052A1 (ko) 2015-10-22

Family

ID=52593830

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/009658 WO2015160052A1 (ko) 2014-04-16 2014-10-15 광각 렌즈 이미지 보정 방법 및 그 장치

Country Status (5)

Country Link
US (1) US20170041538A1 (ko)
EP (1) EP3133804A4 (ko)
KR (1) KR101493946B1 (ko)
CN (1) CN105191278A (ko)
WO (1) WO2015160052A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6568374B2 (ja) * 2015-03-27 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6552255B2 (ja) * 2015-04-23 2019-07-31 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及び、コンピュータプログラム
CN106993133B (zh) * 2015-06-30 2019-08-30 Oppo广东移动通信有限公司 一种畸变校正方法及终端
KR102468729B1 (ko) 2017-09-29 2022-11-21 삼성전자주식회사 전자 장치 및 전자 장치의 객체 센싱 방법
JP6895403B2 (ja) * 2018-03-20 2021-06-30 株式会社東芝 画像処理装置、運転支援システム、及び画像処理方法
US10757324B2 (en) * 2018-08-03 2020-08-25 Semiconductor Components Industries, Llc Transform processors for gradually switching between image transforms
CN112312056A (zh) * 2019-08-01 2021-02-02 普兰特龙尼斯公司 利用自适应镜头失真校正和图像变形减少的视频会议

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190097A (ja) * 2003-12-25 2005-07-14 Noritsu Koki Co Ltd 画像補正決定方法とその方法を用いた画像処理装置
KR100859001B1 (ko) * 2007-03-26 2008-09-18 주식회사 아이닉스 영상 왜곡 보정방법 및 보정장치
KR20090021627A (ko) * 2007-08-27 2009-03-04 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
KR101011704B1 (ko) * 2009-09-04 2011-01-31 씨엠아이텍주식회사 광각의 이미지를 생성하는 영상 처리 장치 및 방법
KR20110116387A (ko) * 2010-04-19 2011-10-26 클레어픽셀 주식회사 촬상 장치 및 영상 왜곡 보정 방법
US20140009568A1 (en) * 2012-07-03 2014-01-09 Digitaloptcs Corporation Europe Limited Method and System for Correcting a Distorted Input Image

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2827680B1 (fr) * 2001-07-20 2003-10-10 Immervision Internat Pte Ltd Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire
JP4911628B2 (ja) * 2008-01-28 2012-04-04 株式会社リコー 画像処理方法、画像処理装置及び画像撮像装置
JP5544277B2 (ja) * 2010-10-29 2014-07-09 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム
CN102682431B (zh) * 2012-05-04 2015-04-15 中国科学院深圳先进技术研究院 广角图像校正方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190097A (ja) * 2003-12-25 2005-07-14 Noritsu Koki Co Ltd 画像補正決定方法とその方法を用いた画像処理装置
KR100859001B1 (ko) * 2007-03-26 2008-09-18 주식회사 아이닉스 영상 왜곡 보정방법 및 보정장치
KR20090021627A (ko) * 2007-08-27 2009-03-04 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
KR101011704B1 (ko) * 2009-09-04 2011-01-31 씨엠아이텍주식회사 광각의 이미지를 생성하는 영상 처리 장치 및 방법
KR20110116387A (ko) * 2010-04-19 2011-10-26 클레어픽셀 주식회사 촬상 장치 및 영상 왜곡 보정 방법
US20140009568A1 (en) * 2012-07-03 2014-01-09 Digitaloptcs Corporation Europe Limited Method and System for Correcting a Distorted Input Image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3133804A4 *

Also Published As

Publication number Publication date
US20170041538A1 (en) 2017-02-09
KR101493946B1 (ko) 2015-02-17
EP3133804A1 (en) 2017-02-22
EP3133804A4 (en) 2017-04-12
CN105191278A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
WO2015160052A1 (ko) 광각 렌즈 이미지 보정 방법 및 그 장치
WO2015163671A1 (en) Image pickup apparatus including lens elements having different diameters
WO2018084516A1 (ko) 전지 장치, 디스플레이 장치 및 그의 제어 방법
WO2011139070A2 (en) Method and apparatus for recognizing location of user
WO2012161431A9 (ko) 차량 어라운드 뷰 영상 생성 방법
WO2020027607A1 (ko) 객체 탐지 장치 및 제어 방법
WO2015037957A1 (ko) 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법
WO2015126006A1 (en) Head mounted display and method for controlling the same
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2017095179A1 (en) Method and apparatus for image enhancement of virtual reality images
WO2014157765A1 (ko) 왜곡 영상 보정 장치 및 방법
WO2019221340A1 (ko) 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2016129722A1 (ko) 안테나 모니터링 장치 및 시스템
WO2017073804A1 (ko) 디지털 사이니지 이상 검출 방법 및 이를 위한 장치
WO2017213335A1 (ko) 실시간 영상 합성 방법
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2017204598A1 (ko) 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법
WO2017142364A1 (ko) 가상 현실 시스템에서 이미지 처리 방법 및 장치
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
WO2019231119A1 (ko) 혼잡도 시각화 장치 및 방법
KR20160097640A (ko) 광각 렌즈를 이용한 보안 관제 장치
WO2014035053A1 (ko) 초광각 카메라를 이용한 카메라 시스템
WO2019182357A1 (en) Method for adjusting focus based on spread-level of display object and electronic device supporting the same
WO2019124750A1 (ko) 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법 및 이를 위한 장치
WO2018212437A1 (ko) 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480002041.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15304635

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14889357

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014889357

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014889357

Country of ref document: EP