WO2022239907A1 - 이미지의 편위 수정 방법 및 시스템 - Google Patents

이미지의 편위 수정 방법 및 시스템 Download PDF

Info

Publication number
WO2022239907A1
WO2022239907A1 PCT/KR2021/010149 KR2021010149W WO2022239907A1 WO 2022239907 A1 WO2022239907 A1 WO 2022239907A1 KR 2021010149 W KR2021010149 W KR 2021010149W WO 2022239907 A1 WO2022239907 A1 WO 2022239907A1
Authority
WO
WIPO (PCT)
Prior art keywords
cells
image
deviation correction
deviation
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/010149
Other languages
English (en)
French (fr)
Inventor
구형일
신동원
김광진
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ajou University Industry Academic Cooperation Foundation
Original Assignee
Ajou University Industry Academic Cooperation Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210060064A external-priority patent/KR102440898B1/ko
Priority claimed from KR1020210065612A external-priority patent/KR102450166B1/ko
Application filed by Ajou University Industry Academic Cooperation Foundation filed Critical Ajou University Industry Academic Cooperation Foundation
Priority to US18/290,230 priority Critical patent/US20240394854A1/en
Publication of WO2022239907A1 publication Critical patent/WO2022239907A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the technical idea of the present disclosure relates to a method and system for correcting deviation of an image.
  • One problem to be solved by the present invention is to implement a method of performing deviation correction for various types of distortion existing in an image.
  • an image deviation correction system divides an input image into a plurality of cells, and calculates distortion characteristics of each of the divided cells
  • a distortion characteristic estimation module that estimates, a deviation correction information generation module that generates deviation correction information for each of the plurality of cells based on the estimated distortion characteristics and reference information for deviation correction, and the deviation correction information based on the generated deviation correction information.
  • an image conversion module that obtains parameters for shift correction for each of the plurality of cells and alignment of the shift-corrected cells, and performs deviation correction on the input image based on the acquired parameters.
  • the distortion characteristic estimation module is based on deep learning learned to estimate a polygon representing the distortion characteristic of the cell centered on any one pixel included in the cell, for each of the plurality of divided cells.
  • the reference information includes vertex coordinates of a reference polygon corresponding to a state in which distortion does not exist
  • the deviation correction information generating module includes vertex coordinates of the polygon estimated for each of the plurality of cells.
  • the deviation correction information may be generated based on a difference between coordinates of vertices of the reference polygon.
  • the deviation correction information generating module obtains vertex coordinates of a reference polygon to which an aspect ratio calculated based on the focus position is applied when information on the focus position of the input image exists, and the plurality of The deviation correction information may be generated based on a difference between the coordinates of the vertices of the polygon estimated for each of the cells of and the coordinates of the vertices of the reference polygon to which the aspect ratio is applied.
  • the deviation correction information generation module may include a first side of a first polygon estimated for a first cell among the plurality of cells and an image obtained by rotating the input image by a predetermined angle, and Reliability based on a gradient difference between a second side corresponding to the first side among sides of a second polygon estimated for a second cell corresponding to 1 cell is estimated, and when the estimated reliability is equal to or greater than a reference value, the first cell is determined as a cell in which a deviation correction operation is to be performed, and the reliability may be higher as the slope difference is closer to the preset angle.
  • the image deviation correction system may further include a database for storing coordinates of vertices of the polygon estimated for each of the plurality of cells and coordinates of the vertex of the reference polygon.
  • the deviation correction information includes a homography matrix
  • the image conversion module performs homography conversion on each of the plurality of cells based on the homography matrix of each of the plurality of cells.
  • the image conversion module calculates the parameter for aligning the plurality of cells by transforming the plurality of cells so that adjacent sides are in contact with each of the plurality of homography-converted cells, and the The parameter may include a value indicating a location to which pixels of each of the cells of the input image are moved for deviation correction.
  • the image transformation module may perform deviation correction on the input image through barycentric transformation using the parameters.
  • the image conversion module may perform low rank texture conversion on the bias-corrected image.
  • An image deviation correction method includes dividing an input image into a plurality of cells, estimating distortion characteristics of each of the divided cells, and correcting the estimated distortion characteristics and deviation Based on reference information for rectification, generating shift correction information for each of the plurality of cells, shift correction for each of the plurality of cells based on the generated shift correction information, and sorting the shift-corrected cells. obtaining parameters for the input image, and performing bias correction on the input image based on the acquired parameters.
  • An image deviation correction method estimates distortion characteristics for each region (cell) of an input image and performs deviation correction for each region according to the estimated distortion characteristics, thereby eliminating various types of distortion existing in an image. can be effectively corrected.
  • the image deviation correction method of the present disclosure acquires parameters for alignment of the deviation-corrected cells, performs deviation correction by applying the acquired parameters to an input image, and applies various transformation techniques to more naturally correct the deviation. You can provide images.
  • the image deviation correction method divides an input image into a plurality of regions (cells) and estimates distortion characteristics for each cell, thereby more accurately detecting a plurality of distortion characteristics present in an image.
  • the image deviation correction method of the present disclosure clusters cells or pixels having similar distortion characteristics and performs deviation correction through homography transformation using a representative homography matrix of the clusters, thereby providing a more efficient deviation correction process.
  • FIG. 1 is a diagram schematically illustrating an image deviation correction operation using an image deviation correction system according to an exemplary embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an example configuration of a deviation correction information generation module and an image conversion module included in the image deviation correction system shown in FIG. 1 .
  • FIG. 3 is a flowchart schematically illustrating a method for correcting image deviation according to an exemplary embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a detailed embodiment of the distortion characteristic estimation step and the deviation correction information acquisition step shown in FIG. 3 .
  • 5 to 8 are exemplary views related to the embodiment shown in FIG. 4 .
  • FIG. 9 is a flowchart showing a specific embodiment of the deviation correction and optimization steps shown in FIG. 3 .
  • FIG. 10 to 13 are exemplary views related to the embodiment shown in FIG. 9 .
  • FIG. 14 is a diagram schematically illustrating an image deviation correction operation through an image deviation correction system according to an exemplary embodiment of the present disclosure.
  • FIG. 15 is a diagram showing an example configuration of a deviation correction information generating module included in the image deviation correction system shown in FIG. 14 .
  • 16 is a flowchart schematically illustrating a method for correcting image deviation according to an exemplary embodiment of the present disclosure.
  • FIG. 17 is a flowchart illustrating a detailed embodiment of the distortion characteristic estimation step and the deviation correction information acquisition and clustering steps shown in FIG. 16 .
  • 18 to 21 are exemplary diagrams related to the clustering step of FIG. 17 .
  • 22 is an exemplary diagram of deviation-corrected images provided according to a method for correcting image deviation of the present disclosure.
  • Fig. 23 is a schematic block diagram of a device performing a method for correcting image deviation according to an exemplary embodiment of the present disclosure.
  • first and second are used in this disclosure to describe various members, regions, layers, regions and/or components, these members, parts, regions, layers, regions and/or components do not refer to these terms. It is self-evident that it should not be limited by These terms do not imply any particular order, top or bottom, or superiority or inferiority, and are used only to distinguish one member, region, region, or component from another member, region, region, or component. Accordingly, a first member, region, region, or component to be described in detail below may refer to a second member, region, region, or component without departing from the teachings of the technical concept of the present disclosure. For example, a first element may be termed a second element, and similarly, the second element may be termed a first element, without departing from the scope of the present disclosure.
  • FIG. 1 is a diagram schematically illustrating an image deviation correction operation using an image deviation correction system according to an exemplary embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an example configuration of a deviation correction information generation module and an image conversion module included in the image deviation correction system shown in FIG. 1 .
  • the image deviation correcting system 100 may estimate distortion characteristics present in an input image and provide a deviation-corrected image.
  • the image deviation correcting system 100 according to the present disclosure can estimate distortion characteristics of each of the distortions even if two or more different types of distortion exist in an input image and effectively provide one deviation-corrected image.
  • the image deviation correction system 100 may include at least one computing device.
  • each of the at least one computing device corresponds to a hardware-based device including a processor, memory, communication interface, input unit, and/or output unit.
  • components (modules) included in the image deviation correcting system 100 may be implemented as hardware, software, or a combination thereof, and may be implemented by being integrated or divided into the at least one computing device.
  • the image deviation correction system 100 includes a distortion characteristic estimation module 110, a deviation correction information generation module 120, an image conversion module 130, a database 140, and a learning module 150. ), but is not limited thereto, and may include more or less configurations.
  • the distortion characteristic estimation module 110 may estimate distortion characteristics existing in the input image 10 .
  • the distortion characteristics may be based on a positional relationship between a camera and an object, or may be based on a geometrical shape, deformation, twist, or distortion of a surface of an object.
  • the distortion characteristic estimating module 110 according to an embodiment of the present disclosure divides the image 10 into a plurality of cells and estimates distortion characteristics for each of the cells so that different values existing in the input image 10 Various distortion characteristics can be estimated.
  • the distortion characteristic estimation module 110 may be implemented to output coordinate information about vertices of polygons (rectangles, etc.) representing the estimated distortion characteristics. A specific estimation operation of the distortion characteristic estimation module 110 will be described in more detail with reference to FIGS. 3 to 6 later.
  • the distortion characteristic estimation module 110 includes a network (artificial neural network) learned based on deep learning, and may estimate distortion characteristics from the input image 10 using the network.
  • the network may be implemented as a convolutional neural network (CNN), but is not limited thereto.
  • the CNN may be composed of one or more convolutional layers, pooling layers, and fully connected layers.
  • the CNN acquires features (obtains an output feature map) from the data while repeating convolution and pooling processes on data having a two-dimensional form, such as images, and uses the extracted features Results can be output by performing a classification process.
  • the deviation correction information generation module 120 may generate deviation correction information for performing deviation correction of the input image 10 based on the distortion characteristics estimated by the distortion characteristic estimation module 110 .
  • the deviation correction information generation module 120 may generate the deviation correction information based on a difference between information corresponding to the estimated distortion characteristic and reference information for deviation correction.
  • the information corresponding to the estimated distortion characteristic includes coordinates of the vertices of a rectangle representing the distortion characteristic
  • the reference information is coordinates of the vertices of a predefined rectangle (or square), which is a deviation-corrected rectangle, that is, distortion. may correspond to the coordinates of the vertices of the rectangle representing the non-existent state.
  • the 'deviation-corrected rectangle' will be described as a 'reference rectangle'.
  • the image conversion module 130 may provide a deviation-corrected image 15 by transforming the input image 10 based on the generated deviation-correction information.
  • deviation correction information generation module 120 A detailed implementation example of the deviation correction information generation module 120 and the image conversion module 130 will be described below with reference to FIG. 2 .
  • the deviation correction information generation module 120 may include an aspect ratio application module 122 , a homography matrix generation module 124 , and a reliability estimation module 126 .
  • the aspect ratio application module 122 and/or the reliability estimation module 126 may not be included.
  • the aspect ratio application module 122 may obtain the reference information based on the focus position information when there is focus position information for the input image 10 . Specifically, the aspect ratio application module 122 calculates an aspect ratio to be applied to the reference rectangle based on the coordinates of the vertices of the rectangle representing the distortion characteristics and the focal position of the input image 10, and applies the calculated aspect ratio. Coordinates (reference information) of vertices of the reference rectangle may be obtained.
  • the reference information may correspond to coordinates of vertices of a reference rectangle having a predefined aspect ratio.
  • the homography matrix generation module 124 may generate shift correction information for shift correction for the distortion characteristic based on the distortion characteristic and the reference information.
  • the deviation correction information may correspond to a homography matrix calculated based on a difference between a rectangle representing the estimated distortion characteristic and the reference rectangle.
  • the homography matrix corresponds to information for conversion between two images formed based on different viewpoints. According to an embodiment of the present disclosure, when a plurality of different distortion characteristics are estimated from the input image 10, different homography matrices for each of the plurality of distortion characteristics may be generated.
  • the reliability estimation module 126 may determine whether to perform deviation correction on a pixel or cell corresponding to the shift correction information by estimating the reliability of the generated deviation correction information (eg, a homography matrix). For example, the reliability estimation module 126 may rotate the input image 10 by a predetermined angle (eg, 45°) and estimate distortion characteristics of the rotated image. Estimation of distortion characteristics for the rotated image may be performed by the distortion characteristic estimation module 110 or the reliability estimation module 126 . The reliability estimation module 126 may estimate reliability based on a difference between the distortion characteristics estimated for the image 10 before rotation and the distortion characteristics estimated for the rotated image.
  • a predetermined angle eg, 45°
  • the reliability estimation module 126 determines to perform bias correction on the corresponding pixel or cell if the estimated reliability is greater than or equal to a reference value, and to not perform bias correction on the corresponding pixel or cell if the reliability is less than the reference value.
  • a reference value can be described with reference to FIG. 8 later.
  • the image conversion module 130 may include a homography conversion module 132 and an image optimization module 134 .
  • the homography conversion module 132 may perform homography conversion on each cell based on the deviation correction information (homography matrix) of each cell generated by the deviation correction information generation module 120 . As a result, the distortion characteristics of each of the cells can be removed, but spacing may occur between the cells due to deformation of the cells.
  • the image optimization module 134 may estimate or calculate parameters for alignment of spaced cells according to the homography conversion. For example, the image optimization module 134 may estimate or calculate parameters related to the position, size, and/or movement of each of the cells in order to naturally connect the separated cells.
  • the image conversion module 130 may change pixel values of the input image 10 based on the estimated or calculated parameters, and provide a deviation-corrected image 15 through a process such as rendering.
  • the database 140 includes data representing distortion characteristics (rectangular vertex coordinates) estimated for each of at least some pixels in the input image 10, and information for each of the at least some pixels. It may be implemented to store reference information (vertex coordinates of a reference rectangle) for deviation correction.
  • the learning module 150 may perform a learning operation of the network included in the distortion characteristic estimation module 110 .
  • the learning module 150 may include an objective function for learning the network. For example, the learning module 150 determines a weight between nodes included in the network based on a difference between an estimation result of a distortion characteristic of an image for learning (an input image, etc.) and correct answer data for the distortion characteristic. etc., learning of the network can be performed.
  • 'learning' used in this specification may have the same meaning as learning and training (or training), and the meaning of performing learning means that the network performs learning or the network learns both can include
  • FIG. 3 is a flowchart schematically illustrating a method for correcting image deviation according to an exemplary embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a detailed embodiment of the distortion characteristic estimation step and the deviation correction information acquisition step shown in FIG. 3 .
  • 5 to 8 are exemplary views related to the embodiment shown in FIG. 4 .
  • the image deviation correction method includes estimating distortion characteristics of an input image (S300), obtaining deviation correction information based on the estimated distortion characteristics (S310), and A step of performing deviation correction and optimization of the input image based on the obtained deviation correction information ( S320 ) may be included. Step S320 will be described later with reference to FIGS. 9 to 13, and steps S300 to S310 will be described below.
  • estimating distortion characteristics of an input image includes dividing the input image into a plurality of cells (S302), and distorting characteristics of each of the divided cells.
  • a step S304 of estimating the indicated rectangle (distorted rectangle) may be included.
  • an input image 500 includes a first area 502 rotated by a first angle in a counterclockwise direction and a second area 504 rotated by a second angle in a clockwise direction.
  • the deviation correction of the input image 500 includes a process of rotating the first area 502 clockwise by a first angle and rotating the second area 504 counterclockwise by a second angle. process can be included. That is, since the pixels included in the first region 502 and the pixels included in the second region 504 have different distortion characteristics, it is necessary to accurately estimate each distortion characteristic.
  • the distortion characteristic estimation module 110 may be implemented to divide the input image 500 into a plurality of cells and estimate distortion characteristics of each cell. Since the size of each of the plurality of cells may be set in various ways, a case in which a cell includes only one pixel may be included. Specifically, the distortion characteristic estimation module 110 divides the input image 500 into a plurality of cells, and selects any one of the pixels 510 and 520 (eg, the center position or the cell) among the pixels included in each cell. It may include a network (deep learning-based artificial neural network) trained to estimate a square representing a distortion characteristic of each cell centered on a pixel existing at a predefined position within the cell.
  • a network deep learning-based artificial neural network
  • the distortion characteristic estimation module 110 fixes two vertices 512a and 512b (522a and 522b) that are symmetric about the pixel 510 and 520, and fixes the other two vertices.
  • estimating fields 514a and 514b (524a and 524b) it is possible to estimate a square representing distortion characteristics.
  • a rectangle estimated for a pixel 510 existing in the first region 502 may correspond to a distortion characteristic of the first region 502 and a
  • the rectangle estimated for the pixel 520 may correspond to the distortion characteristics of the second region 504 .
  • the square representing the distortion characteristic of each cell may be obtained based on the squares estimated from each of a plurality of pixels included in the cell (average, median value, mode, etc. of corresponding vertices). .
  • a straight line connected between the two fixed vertices 512a and 512b (522a and 522b) may correspond to the diagonal of the estimated quadrangle.
  • the distortion characteristic estimation module 110 fixes the two vertices 512a, 512b (522a, 522b) so that the diagonal line forms a predetermined first angle (eg, 45°) with respect to the horizontal line, and the distortion characteristic According to the estimation result, the remaining two vertices 514a and 514b 524a and 524b may be obtained.
  • the first area 602 of the input image 600 has a distortion characteristic of a form rotated at the same angle as the preset first angle
  • the second area 604 It is assumed that is rotated at an angle similar to the preset first angle and has a distortion characteristic.
  • the two vertices 612a and 612b fixed to the first pixel 610 and the other two vertices 614a and 614b obtained as a result of estimating the distortion characteristics may be located at the same point. have.
  • the two vertices 622a and 622b fixed to the second pixel 620 and the remaining two vertices 624a and 624b obtained as a result of estimating the distortion characteristic may be close to each other within a predetermined distance. .
  • a problem may occur in that a quadrangle formed by four vertices does not accurately express distortion characteristics.
  • the distortion characteristic estimation module 110 when the two fixed vertices and the remaining two vertices are close to each other within a predetermined distance, changes the positions of the two fixed vertices and then The remaining two vertices can be estimated again.
  • the distortion characteristic estimation module 110 fixes the two vertices 612c, 612d, 622c, 622d so that the straight line connecting the two vertices forms a preset second angle (eg, 0°) with respect to the horizontal line, , the remaining two vertices 614c and 614d (624c and 624d) can be estimated based on the distortion characteristics.
  • the database 140 may store vertex coordinates of a rectangle estimated for each pixel of at least some of the pixels of the input image.
  • the at least some pixels may refer to any one of pixels 510 and 520 of each of a plurality of cells, but may include all pixels of an input image according to embodiments.
  • the It may include obtaining a deviation-corrected rectangle (reference rectangle) whose aspect ratio is adjusted based on the information (S314).
  • the aspect ratio application module 122 determines the number of vertices of the rectangle representing the distortion characteristics estimated by the distortion characteristic estimation module 110. Using the coordinates and the focal position, an aspect ratio to be applied to the reference rectangle can be calculated. The aspect ratio application module 122 may obtain coordinates of vertices of the reference rectangle to which the calculated aspect ratio is applied.
  • the deviation-corrected image 720 may be provided to have a similar aspect ratio to that of the input image.
  • a reference rectangle of a predefined shape to which the aspect ratio is not applied there is a possibility that the deviation-corrected image 740 is provided to have a different aspect ratio from the input image 700 .
  • a first region 722 of an image 720 that is biased using a reference rectangle to which an aspect ratio is applied has a similar aspect ratio to that of the first region 702 of an input image 700 can confirm.
  • the first area 742 of the image 740 which has been corrected for deviation using a reference rectangle having a predefined shape, has a different aspect ratio than the first area 702 of the input image 700. .
  • the image deviation correction method may calculate a homography matrix of each of a plurality of cells based on a rectangle representing a distortion characteristic (distorted rectangle) and a deviation-corrected rectangle (reference rectangle) (S318). .
  • the homography matrix generation module 124 may calculate a homography matrix based on a difference between a rectangle representing an estimated distortion characteristic and the reference rectangle for each of a plurality of cells. .
  • the reliability estimation module 126 may distinguish between cells to be subjected to deviation correction and cells not to be subjected to deviation correction among a plurality of cells by estimating the reliability of the calculated homography matrix.
  • the reliability estimation module 126 rotates the estimated distortion characteristics of the input image 800 and the input image 800 by a predetermined angle (eg, 45 °). Distortion characteristics estimated from the image 810 may be compared.
  • the reliability estimation module 126 generates a first rectangle 802 representing a distortion characteristic estimated for a predetermined position (cell or pixel) of the input image 800 and a corresponding position of the image 810 rotated by a predetermined angle (A second rectangle 812 representing the distortion characteristics estimated for each cell or pixel may be compared. Information on the second rectangle 812 may be obtained by the distortion characteristic estimation module 110 or the reliability estimation module 126 .
  • the reliability estimation module 126 estimates that the reliability is higher as the difference in inclination between one side of the first rectangle 802 and the corresponding side of the second rectangle 812 is closer to the predetermined angle (eg, 45°). It can be estimated that the reliability is lower as the distance from the predetermined angle increases.
  • the predetermined angle eg, 45°
  • the reliability estimation module 126 may estimate the reliability of each of the pixels or cells of the image 820 .
  • the reliability estimation result 820a pixels (or cells) located in regions 822 and 824 where text exists may have high reliability, and pixels (or cells) located in regions where text does not exist ), the reliability may be relatively low.
  • the image deviation correction system 100 may improve efficiency in correcting image deviation by performing a deviation correction operation only on pixels (or cells) having a reliability equal to or greater than a reference value.
  • FIG. 9 is a flowchart showing a specific embodiment of the deviation correction and optimization steps shown in FIG. 3 .
  • 10 to 13 are exemplary views related to the embodiment shown in FIG. 9 .
  • the image shift correction method may perform shift correction and optimization of an input image based on the obtained shift correction information (homography matrix) (S320).
  • step S320 includes performing homography transformation based on a homography matrix for each of a plurality of cells (S322), estimating parameters for sorting the transformed cells (S324), and based on the estimated parameters. It may include transforming and rendering the image (input image) before correction for deviation (S326), and optimizing the deviation-corrected image generated by the transformation and rendering (S328).
  • the homography conversion module 132 may perform homography conversion on each of the cells 1000 based on a homography matrix generated for each of the plurality of cells 1000. have.
  • distortion of the partial image corresponding to each of the cells 1000 may be removed, but separation and/or overlap due to deformation of the cells may occur.
  • the first cell 1001 and the second cell 1002 are connected to each other before homography conversion, so there is no separation or overlap, but between the first cell 1011 and the second cell 1012 where homography conversion is performed. Separation and/or overlap may occur due to deformation.
  • cells included in the first area 1102 of the input image 1100 may have distortion characteristics in a form rotated by a predetermined angle in a counterclockwise direction. have.
  • distortion of each cell can be removed, but spaced apart and/or overlapped with adjacent cells occurs, so that the entire image 1110 is negative. may appear natural.
  • the image optimization module 134 may estimate or calculate parameters for alignment of spaced apart and/or overlapping cells according to homography conversion. For example, the image optimization module 134 may perform non-rigid transformation to move (align) the cells 1010 so that overlapping with each other is removed as the cells 1010 come closer to each other within a predetermined distance. A distance between the first cell 1021 and the second cell 1022 aligned through non-rigid transformation may be smaller than the distance between the first cell 1011 and the second cell 1012 before movement.
  • the image optimization module 134 may calculate vertex coordinates of cells to naturally connect cells by making the vertices of adjacent cells contact each other. By moving and transforming the cells 1030 according to the calculated vertex coordinates, a gap between the cells (eg, a gap between the first cell 1031 and the second cell 1032) may be removed and a natural connection may be made possible.
  • the first region 1122 of the non-rigid transformation-performed image 1120 may be aligned within a predetermined distance without overlapping.
  • the image optimization module 134 calculates vertex coordinates such that the vertices of the cells come into contact with each other, a more naturally connected image 1130 may be provided by transforming the cells based on the calculated vertex coordinates. Accordingly, it can be confirmed that the distortion of the first region 1132 of the image 1130 is removed by the deviation correction.
  • vertex coordinates of cells 1200 before shift correction and vertex coordinates of cells 1210 after shift correction and alignment have been obtained may be obtained according to the processes of FIGS. 10 to 11 .
  • the image optimization module 134 may calculate parameters for each of the cells.
  • the parameter may include a value for a position (horizontal coordinates and vertical coordinates) and/or a size of cells for each pixel of the cells of the image before the shift correction, and the like.
  • the image conversion module 130 may perform conversion and rendering operations to obtain a deviation-corrected image from an input image based on the acquired parameters.
  • the image transformation module 130 may perform transformation according to a method for more naturally correcting the deviation of the input image based on the acquired parameters.
  • the image conversion module 130 converts the input image according to barycentric transformation using the center of gravity obtained from the coordinates of the vertices of each of the shift-corrected cells, and then renders the image to obtain a more naturally connected image 1230. .
  • the image conversion module 130 may additionally perform a process of converting the transformed and rendered image 1300 into a low rank texture.
  • Low rank texture conversion means converting the image 1300 by acquiring textual information and geometric information from a two-dimensional image, and the obtained information includes not only local structures such as edges, but also regular and symmetrical patterns in the image. can include
  • FIG. 14 is a diagram schematically illustrating an image deviation correction operation through an image deviation correction system according to an exemplary embodiment of the present disclosure.
  • FIG. 15 is a diagram showing an example configuration of a deviation correction information generating module included in the image deviation correction system shown in FIG. 14 .
  • the image deviation correction system 1400 may estimate distortion characteristics present in an input image and provide a deviation-corrected image.
  • the image deviation correcting system 1400 according to the present disclosure can effectively provide deviation-corrected images by estimating distortion characteristics even if two or more different types of distortion exist in an input image.
  • the image deviation correction system 1400 may include at least one computing device.
  • each of the at least one computing device corresponds to a hardware-based device including a processor, memory, communication interface, input unit, and/or output unit.
  • components (modules) included in the image deviation correcting system 1400 may be implemented as hardware, software, or a combination thereof, and may be implemented by being integrated or divided into the at least one computing device.
  • the image deviation correction system 1400 includes a distortion characteristic estimation module 1410, a deviation correction information generation module 1420, an image conversion module 1430, a database 1440, and a learning module 1450. ), but is not limited thereto, and may include more or less configurations.
  • the distortion characteristic estimation module 1410 may estimate distortion characteristics existing in the input image 20 .
  • the distortion characteristics may be based on a positional relationship between a camera and an object, or may be based on a geometrical shape, deformation, twist, or distortion of a surface of an object.
  • the distortion characteristic estimating module 1410 according to an embodiment of the present disclosure divides the image 20 into a plurality of cells and estimates distortion characteristics for each of the cells, so that different values existing in the input image 20 Various distortion characteristics can be estimated. Taking the image 20 shown in FIG. 14 as an example, it can be seen that the distortion characteristics of the first region 21 and the distortion characteristics of the second region 22 are different from each other.
  • Distortion characteristics of the cells included in the first region 21 among the plurality of cells classified above will correspond to the distortion characteristics of the first region 21, and distortion characteristics of the cells included in the second region 22 will correspond to the first region 21. 2 will correspond to the distortion characteristics of region 22 .
  • the distortion characteristic estimation module 1410 may be implemented to output coordinate information about vertices of polygons (rectangles, etc.) representing the estimated distortion characteristics. Since the detailed estimation operation of the distortion characteristic estimation module 1410 has been described above with reference to FIGS. 5 and 6 , redundant description thereof will be omitted.
  • the distortion characteristic estimation module 1410 includes a network (artificial neural network) learned based on deep learning, and the distortion characteristic from the image 20 input using the network. can be estimated.
  • a network artificial neural network learned based on deep learning
  • the deviation correction information generation module 1420 may generate deviation correction information for performing deviation correction of the input image 20 based on the distortion characteristics estimated by the distortion characteristic estimation module 1410 .
  • Basic contents of the deviation correction information generation module 1420 may be substantially the same as those of the deviation correction information generation module 120 of FIG. 1 .
  • the image conversion module 1430 may provide deviation-corrected images 31 and 32 by transforming the input image 20 based on the generated deviation correction information.
  • deviation correction information generation module 1420 and the image conversion module 1430 will be described below with reference to FIG. 15 .
  • the bias correction information generation module 1420 includes a homography matrix generation module 1422, a clustering module 1424, a reliability estimation module 1426, and a representative homography matrix generation module 1428 for each cluster. can include
  • the homography matrix generation module 1422 may generate shift correction information for shift correction for the distortion characteristic based on the distortion characteristic and the reference information.
  • the deviation correction information may correspond to a homography matrix calculated based on a difference between a rectangle representing the estimated distortion characteristic and the reference rectangle.
  • the homography matrix corresponds to information for conversion between two images formed based on different viewpoints. According to an embodiment of the present disclosure, when a plurality of different distortion characteristics are estimated from the input image 20, different homography matrices for each of the plurality of distortion characteristics may be generated.
  • the clustering module 1424 may cluster the cells (or pixels) based on the similarity (or dissimilarity) of each homography matrix of the cells (or pixels) generated by the homography matrix generation module 1422.
  • the reliability estimation module 1426 may determine whether to perform deviation correction on a pixel or cell corresponding to the shift correction information by estimating the reliability of the generated deviation correction information (eg, a homography matrix).
  • the reliability estimation module 1426 is substantially the same as the reliability estimation module 126 of FIG. 2 , and an example related to a specific operation has been described above with reference to FIG. 8 .
  • the representative homography matrix generation module 1428 for each cluster may generate a representative homography matrix for each of the clusters classified by the clustering module 1424 .
  • the representative homography matrix may be generated based on an average value, a mode value, a median value, and the like of homography matrices of cells (pixels) included in the cluster.
  • the representative homography matrix generation module 1428 for each cluster may generate a representative homography matrix only for a cluster whose reliability estimated by the reliability estimation module 1426 is equal to or greater than a reference value.
  • the image transformation module 1430 performs homography transformation on the input image 20 based on the generated representative homography matrix to provide bias-corrected images 31 and 32.
  • the image transformation module 1430 performs homography transformation on the image 20 using each of the plurality of representative homography matrices, thereby performing a plurality of deviation-corrected images 31 . , 32) can be provided.
  • the image conversion module 1430 may provide shift-corrected images 31 and 32 for each of the distorted regions 21 and 22 in the input image 20 .
  • the first image 31 may correspond to an image shift-corrected with respect to the first area 21
  • the second image 32 may correspond to an image shift-corrected with respect to the second area 22 .
  • the database 1440 and the learning module 1450 are substantially the same as the database 140 and the learning module 150 described above with reference to FIG. 1, and thus descriptions thereof are omitted.
  • FIG. 16 is a flowchart schematically illustrating a method for correcting image deviation according to an exemplary embodiment of the present disclosure.
  • FIG. 17 is a flowchart illustrating a detailed embodiment of the distortion characteristic estimation step and the deviation correction information acquisition and clustering steps shown in FIG. 16 .
  • 18 to 21 are exemplary diagrams related to the clustering step of FIG. 17 .
  • 22 is an exemplary diagram of deviation-corrected images provided according to a method for correcting image deviation of the present disclosure.
  • a method for correcting image deviation includes estimating distortion characteristics of each pixel (or cell) of an input image (S500), and obtaining deviation correction information based on the estimated distortion characteristics. and clustering pixels (or cells) (S510).
  • Steps S500 to S510 will be described in detail with reference to FIGS. 17 to 21 below.
  • estimating distortion characteristics of each pixel (or cell) of an input image (S500) includes dividing the input image into a plurality of cells (S502), and the distortion characteristics of each of the divided cells It may include estimating the indicated rectangle (distorted rectangle) (S504). Steps S502 and S504 are substantially the same as steps S302 and S304 of FIG. 4 , and specific embodiments have been described with reference to FIGS. 5 to 6 .
  • a homography matrix of each of a plurality of cells is formed based on a rectangle representing the distortion characteristics (distorted rectangle) and a deviation-corrected rectangle (reference rectangle). It may include calculating (S512) and clustering a plurality of cells based on similarity (or dissimilarity) of homography matrices (S514).
  • the homography matrix generation module 1424 may calculate a homography matrix based on a difference between a rectangle representing an estimated distortion characteristic and the reference rectangle for each of a plurality of cells. .
  • the clustering module 1424 may classify (or cluster) the cells into at least one cluster based on the similarity (or dissimilarity) of the homography matrix of each of the cells generated by the homography matrix generation module 1422.
  • a clustering module 1424 may cluster cells having similar homography matrices among a plurality of cells included in an image 1800 .
  • the image 1800 may have three regions with different distortion characteristics.
  • the cells 1810 of the image 1800 include a first cluster 1811 including cells corresponding to the first region, and a second cluster 1811 including cells corresponding to the first region. It may be divided into a second cluster 1812 including cells corresponding to the region and a third cluster 1813 including cells corresponding to the third region.
  • a method for the clustering module 1424 to determine whether homography matrices are similar will be described in detail with reference to FIGS. 19 to 21 below.
  • the The vanishing point (VP) position may be the same.
  • the vanishing point VP may include a horizontal vanishing point and a vertical vanishing point.
  • the two cells may be subjected to deviation correction through homography transformation using the same homography matrix.
  • the clustering module 1424 may measure dissimilarity between the two rectangles and cluster cells corresponding to the rectangles having low dissimilarity into the same cluster. For example, in order to calculate dissimilarity between the first rectangle (x 1 ) and the second rectangle (x 2 ), the clustering module 1424 calculates the positions of the vanishing points (VP) of the first rectangle (x 1 ), Dissimilarity is calculated by calculating the distance between straight lines connecting fixed vertices among the vertices of the second rectangle (x 2 ) and the vanishing points (VP) of the first rectangle (x 1 ) and the estimated vertices.
  • the clustering module 1424 determines that the first rectangle (x 1 ) and the second rectangle (x 2 ) have the same homography matrix, and determines that the first cell corresponding to the first rectangle (x 1 ) and the second rectangle (x 1 ) have the same homography matrix.
  • the second cells corresponding to 2 squares (x 2 ) may be clustered into the same cluster.
  • the clustering module 1424 determines that the first rectangle (x 1 ) and the third rectangle (x 3 ) have different homography matrices, and the third cell corresponding to the third rectangle (x 3 ) is the above. It may be clustered into a different cluster from the first cell.
  • the clustering module 1424 uses dissimilarity designed based on the property that the vanishing point is located at the same location when two rectangles representing distortion characteristics exist on the same plane. , a similarity matrix between pairs of cells (or pixels) in the image may be generated, and clustering may be performed using the generated similarity matrix.
  • the clustering module 1424 may calculate horizontal points (t h ) and vertical points (t v ) according to the equation shown in FIG. 20 .
  • the points (t h , t v ) are the sum of the squares of the distance between p i and the straight line connecting t h and q i and the square of the distance between p k and the straight line connecting t v and q i may correspond to a point that minimizes (i and k are each a natural number).
  • the clustering module 1424 may calculate dissimilarity based on the calculated points (t h , t v ) and coordinates of the vertices of the rectangles. The degree of dissimilarity may be calculated by the formula shown in (a) of FIG. 21, but is not limited thereto.
  • the clustering module 1424 calculates the dissimilarity for all pairs of cells (or pixels), generates a distance matrix (x i , x j ) including the calculation result for each pair, and generates the distance matrix
  • a similarity matrix (W ij ) may be generated by applying the Gaussian kernel or the like shown in (b) of FIG. 21 to .
  • the clustering module 1424 may classify cells (pixels) of the image into at least one cluster based on the generated similarity matrix.
  • step S510 includes estimating the reliability of each cluster (S516) and generating a representative homography matrix of each of the clusters to be subjected to bias correction based on the estimated reliability (S518). can include Depending on the embodiment, step S516 may be omitted.
  • the reliability estimating module 1426 may classify a group to be subjected to bias correction and a group not to be subjected to bias correction among clusters by estimating the reliability of the calculated homography matrix.
  • the reliability estimation operation of the reliability estimation module 126 has been described in detail with reference to FIG. 8 and the like.
  • the cluster-specific representative homography matrix generation module 1428 may generate a representative homography matrix for each of the clusters classified as a cluster to be subjected to bias correction according to a reliability estimation result.
  • the representative homography matrix generation module 1428 for each cluster may generate the representative homography matrix based on an average value, a mode value, and a median value of homography matrices of cells in the cluster, but is not limited thereto.
  • the image deviation correction method may include providing a deviation-corrected image based on each cluster based on the obtained deviation correction information ( S520 ).
  • the image conversion module 132 performs homography conversion on the image 20 based on a representative homography matrix generated for a cluster of image 20 to be subjected to bias correction. By doing so, it is possible to provide a bias-corrected image.
  • a plurality of representative homography matrices may also be provided.
  • the image conversion module 132 performs homography conversion on the image 20 a plurality of times using each of a plurality of representative homography matrices, thereby generating the shift-corrected images 31 and 32 based on each cluster.
  • the image conversion module 132 performs a Through homography conversion, a shift-corrected first image 31 may be provided. Looking at the first image 31, it can be seen that the area corresponding to the first cluster 21 has been smoothed. In addition, the image conversion module 132 may provide the second image 32 , which is shift-corrected, through homography conversion based on the representative homography matrix of the second cluster 22 . Looking at the second image 32, it can be seen that the area corresponding to the second cluster 22 has been smoothed.
  • the image deviation correcting system 1400 clusters pixels having similar distortion characteristics and provides deviation-corrected images based on each cluster, thereby smoothly even when various distortion characteristics exist in the image. and provide an efficient deviation correction function.
  • FIG. 23 is a schematic block diagram of a device performing a method for correcting image deviation according to exemplary embodiments of the present disclosure.
  • a device 2300 may correspond to any one of at least one computing device constituting the image deviation correction systems 100 and 1400 described above with reference to FIGS. 1 and/or 14 .
  • the device 2300 performs the operations of estimating the distortion characteristics of the image described above in this specification, obtaining deviation correction information based on the estimated distortion characteristics, and providing a deviation-corrected image based on the deviation correction information.
  • the device 2300 may correspond to a device that performs an operation of obtaining deviation correction information based on the estimated distortion characteristics and clustering, and an operation of providing bias-corrected images based on each cluster.
  • Such a device 2300 may include a processor 2310 and a memory 2320.
  • the components of the device 2300 are not limited to the above example.
  • the device 2300 may include more or fewer components than the aforementioned components.
  • at least one processor 2310 may be included, and at least one memory 2320 may also be provided.
  • two or more of the processor 2310 and the memory 2320 may be combined into a single chip.
  • the processor 2310 includes the aforementioned distortion characteristic estimation modules 110 and 1410, the deviation correction information generation module 120 and 1420, the image conversion module 130 and 1430, and the learning modules 150 and 1450. ), or may execute or control at least one of the above modules.
  • the processor 2310 includes hardware such as a CPU, an application processor (AP), an integrated circuit, a microcomputer, an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), and/or a neural processing unit (NPU). can do.
  • AP application processor
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • NPU neural processing unit
  • the memory 2320 may store programs and data necessary for the operation of the device 2300.
  • the memory 2320 may store at least one of data generated or obtained through the processor 2310 .
  • the memory 2320 may include a distortion characteristic estimation module 110 or 1410, a deviation correction information generation module 120 or 1420, an image conversion module 130 or 1430, and/or a learning module 150 or 1450. It can store related data, commands, algorithms, etc.
  • the memory 2320 may be understood as a concept including the databases 140 and 1440 of FIGS. 1 and/or 14 .
  • the memory 2320 may include a storage medium such as ROM, RAM, flash memory, SSD, HDD, or a combination of storage media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

본 개시의 기술적 사상에 의한 일 양태에 따른 이미지 편위 수정 시스템은, 입력된 이미지를 복수의 셀들로 분할하고, 분할된 복수의 셀들 각각의 왜곡 특성을 추정하는 왜곡 특성 추정 모듈, 추정된 왜곡 특성 및 편위 수정을 위한 기준 정보에 기초하여, 상기 복수의 셀들 각각의 편위 수정 정보를 생성하는 편위 수정 정보 생성 모듈, 및 생성된 편위 수정 정보에 기초하여 상기 복수의 셀들 각각에 대한 편위 수정 및 편위 수정된 셀들의 정렬을 위한 파라미터를 획득하고, 획득된 파라미터에 기초하여 상기 입력된 이미지에 대한 편위 수정을 수행하는 이미지 변환 모듈을 포함한다.

Description

이미지의 편위 수정 방법 및 시스템
본 개시의 기술적 사상은 이미지의 편위 수정 방법 및 시스템에 관한 것이다.
최근에는 다양한 산업 분야에 카메라가 사용되고, 카메라를 통해 획득한 이미지 내의 문자나 객체 등을 인식하는 이미지 인식 기술이 요구되고 있다. 그러나, 카메라를 통해 획득되는 이미지에는, 카메라와 대상 간의 위치 관계나 대상 표면의 기하학적 형태로 인한 왜곡이 발생할 수 있다. 이러한 왜곡은 인식 정확도를 떨어뜨리는 요인이 되는 바, 이미지 인식의 수행 전에 상기 이미지에 포함된 왜곡을 제거하는 편위 수정(rectification) 과정이 필요할 수 있다.
한편, 종래의 이미지 편위 수정 방법은 대부분 이미지 당 하나의 왜곡 특성을 추정하여 편위 수정을 수행하는 바, 이미지 내에 다양한 왜곡 특성이 존재하는 경우에는 올바른 편위 수정을 수행하지 못하는 문제점을 갖는다.
본 발명이 해결하고자 하는 일 과제는, 이미지 내에 존재하는 다양한 형태의 왜곡에 대한 편위 수정을 수행하는 방법을 구현하는 것이다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상에 의한 일 양태(aspect)에 따른 이미지 편위 수정 시스템은, 입력된 이미지를 복수의 셀들로 분할하고, 분할된 복수의 셀들 각각의 왜곡 특성을 추정하는 왜곡 특성 추정 모듈, 추정된 왜곡 특성 및 편위 수정을 위한 기준 정보에 기초하여, 상기 복수의 셀들 각각의 편위 수정 정보를 생성하는 편위 수정 정보 생성 모듈, 및 생성된 편위 수정 정보에 기초하여 상기 복수의 셀들 각각에 대한 편위 수정 및 편위 수정된 셀들의 정렬을 위한 파라미터를 획득하고, 획득된 파라미터에 기초하여 상기 입력된 이미지에 대한 편위 수정을 수행하는 이미지 변환 모듈을 포함한다.
일 실시 예에 따라, 상기 왜곡 특성 추정 모듈은 상기 분할된 복수의 셀들 각각에 대해, 셀에 포함된 어느 하나의 픽셀을 중심으로 상기 셀의 왜곡 특성을 나타내는 다각형을 추정하도록 학습된 딥러닝 기반의 네트워크를 포함할 수 있다.
일 실시 예에 따라, 상기 기준 정보는 왜곡이 존재하지 않는 상태에 대응하는 기준 다각형의 꼭짓점 좌표들을 포함하고, 상기 편위 수정 정보 생성 모듈은, 상기 복수의 셀들 각각에 대해 추정된 다각형의 꼭짓점 좌표들과, 상기 기준 다각형의 꼭짓점 좌표들 간의 차이에 기초하여 상기 편위 수정 정보를 생성할 수 있다.
일 실시 예에 따라, 상기 편위 수정 정보 생성 모듈은 상기 입력된 이미지의 초점 위치에 대한 정보가 존재하는 경우, 상기 초점 위치에 기초하여 계산되는 종횡비가 적용된 기준 다각형의 꼭짓점 좌표들을 획득하고, 상기 복수의 셀들 각각에 대해 추정된 다각형의 꼭짓점 좌표들과, 상기 종횡비가 적용된 기준 다각형의 꼭짓점 좌표들 간의 차이에 기초하여 상기 편위 수정 정보를 생성할 수 있다.
일 실시 예에 따라, 상기 편위 수정 정보 생성 모듈은, 상기 복수의 셀들 중 제1 셀에 대해 추정된 제1 다각형의 제1 변과, 상기 입력된 이미지를 기 설정된 각도만큼 회전시킨 이미지 중 상기 제1 셀에 대응하는 제2 셀에 대해 추정된 제2 다각형의 변들 중 상기 제1 변에 대응하는 제2 변 사이의 기울기 차이에 기초한 신뢰도를 추정하고, 추정된 신뢰도가 기준치 이상인 경우 상기 제1 셀을 편위 수정 동작이 수행될 셀로 결정하고, 상기 신뢰도는 상기 기울기 차이가 상기 기 설정된 각도에 가까울수록 높을 수 있다.
일 실시 예에 따라, 상기 이미지 편위 수정 시스템은 상기 복수의 셀들 각각에 대해 추정된 다각형의 꼭짓점 좌표들과, 상기 기준 다각형의 꼭짓점 좌표들을 저장하는 데이터베이스를 더 포함할 수 있다.
일 실시 예에 따라, 상기 편위 수정 정보는 호모그래피 행렬을 포함하고, 상기 이미지 변환 모듈은, 상기 복수의 셀들 각각의 호모그래피 행렬에 기초하여, 상기 복수의 셀들 각각에 대한 호모그래피 변환을 수행할 수 있다.
일 실시 예에 따라, 상기 이미지 변환 모듈은 상기 호모그래피 변환된 복수의 셀들 각각에 대해, 인접 변들이 접하도록 상기 복수의 셀들을 변형함으로써 상기 복수의 셀들을 정렬하기 위한 상기 파라미터를 산출하고, 상기 파라미터는, 상기 입력된 이미지의 셀들의 픽셀들 각각의 편위 수정을 위해 이동되는 위치를 나타내는 값을 포함할 수 있다.
일 실시 예에 따라, 상기 이미지 변환 모듈은 상기 파라미터를 이용한 barycentric 변환을 통해 상기 입력된 이미지에 대한 편위 수정을 수행할 수 있다.
일 실시 예에 따라, 상기 이미지 변환 모듈은 편위 수정된 이미지에 대한 low rank texture 변환을 수행할 수 있다.
본 개시의 기술적 사상에 의한 일 양태에 따른 이미지 편위 수정 방법은, 입력된 이미지를 복수의 셀들로 분할하고, 분할된 복수의 셀들 각각에 대한 왜곡 특성을 추정하는 단계, 추정된 왜곡 특성 및 편위 수정(rectification)을 위한 기준 정보에 기초하여, 상기 복수의 셀들 각각의 편위 수정 정보를 생성하는 단계, 생성된 편위 수정 정보에 기초하여 상기 복수의 셀들 각각의 편위 수정, 및 편위 수정된 셀들의 정렬을 위한 파라미터를 획득하는 단계, 및 획득된 파라미터에 기초하여, 상기 입력된 이미지에 대한 편위 수정을 수행하는 단계를 포함한다.
본 개시의 실시 예에 따른 이미지 편위 수정 방법은 입력된 이미지의 영역별(셀별) 왜곡 특성을 추정하고, 추정된 왜곡 특성에 따라 영역별 편위 수정을 수행함으로써, 이미지에 존재하는 다양한 형태의 왜곡들을 효과적으로 보정할 수 있다.
또한, 본 개시의 이미지 편위 수정 방법은 편위 수정된 셀들의 정렬을 위한 파라미터를 획득하고, 획득된 파라미터를 입력된 이미지에 적용하여 편위 수정을 수행하고, 다양한 변환 기법을 적용함으로써 보다 자연스럽게 편위 수정된 이미지를 제공할 수 있다.
뿐만 아니라, 본 개시의 이미지 편위 수정 방법은 입력된 이미지를 복수의 영역(셀)으로 구분하여 셀별 왜곡 특성을 추정함으로써, 이미지 내에 존재하는 복수의 왜곡 특성을 보다 정확히 검출할 수 있다.
또한, 본 개시의 이미지 편위 수정 방법은 왜곡 특성이 유사한 셀들 또는 픽셀들을 군집화하고, 군집의 대표 호모그래피 행렬을 이용한 호모그래피 변환을 통해 편위 수정을 수행함으로써, 보다 효율적인 편위 수정 프로세스를 제공할 수 있다.
본 개시의 기술적 사상에 따른 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 시스템을 통한 이미지의 편위 수정 동작이 개략적으로 도시된 도면이다.
도 2는 도 1에 도시된 이미지 편위 수정 시스템에 포함된 편위 수정 정보 생성 모듈 및 이미지 변환 모듈의 일 구성 예를 나타낸 도면이다.
도 3은 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 방법을 개략적으로 설명하기 위한 플로우차트이다.
도 4는 도 3에 도시된 왜곡 특성 추정 단계와 편위 수정 정보 획득 단계의 구체화된 일 실시 예를 나타내는 플로우차트이다.
도 5 내지 도 8은 도 4에 도시된 실시 예와 관련된 예시도들이다.
도 9는 도 3에 도시된 편위 수정 및 최적화 단계의 구체화된 일 실시 예를 나타내는 플로우차트이다.
도 10 내지 도 13은 도 9에 도시된 실시 예와 관련된 예시도들이다.
도 14는 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 시스템을 통한 이미지의 편위 수정 동작이 개략적으로 도시된 도면이다.
도 15는 도 14에 도시된 이미지 편위 수정 시스템에 포함된 편위 수정 정보 생성 모듈의 일 구성 예를 나타낸 도면이다.
도 16은 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 방법을 개략적으로 설명하기 위한 플로우차트이다.
도 17는 도 16에 도시된 왜곡 특성 추정 단계, 및 편위 수정 정보 획득 및 군집화 단계의 구체화된 일 실시 예를 나타내는 플로우차트이다.
도 18 내지 도 21은 도 17의 군집화 단계와 관련된 예시도들이다.
도 22는 본 개시의 이미지 편위 수정 방법에 따라 제공되는 편위 수정된 이미지들의 예시도이다.
도 23은 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 방법을 수행하는 디바이스의 개략적인 블록도이다.
본 개시의 기술적 사상에 따른 예시적인 실시 예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 개시의 기술적 사상을 더욱 완전하게 설명하기 위하여 제공되는 것으로, 아래의 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 아래의 실시 예들로 한정되는 것은 아니다. 오히려, 이들 실시 예들은 본 개시를 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 제1, 제2 등의 용어가 다양한 부재, 영역, 층들, 부위 및/또는 구성 요소들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들, 부위 및/또는 구성 요소들은 이들 용어에 의해 한정되어서는 안 됨은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역, 부위, 또는 구성 요소를 다른 부재, 영역, 부위 또는 구성 요소와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역, 부위 또는 구성 요소는 본 개시의 기술적 사상의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역, 부위 또는 구성 요소를 지칭할 수 있다. 예를 들면, 본 개시의 권리 범위로부터 이탈되지 않은 채 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 개시의 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것이다.
어떤 실시 예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들면, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수도 있다.
첨부한 도면에 있어서, 예를 들면, 제조 기술 및/또는 공차에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 개시의 기술적 사상에 의한 실시 예들은 본 개시에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면, 제조 과정에서 초래되는 형상의 변화를 포함하여야 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고, 이들에 대한 중복된 설명은 생략한다.
여기에서 사용된 '및/또는' 용어는 언급된 부재들의 각각 및 하나 이상의 모든 조합을 포함한다.
이하에서는 첨부한 도면들을 참조하여 본 개시의 기술적 사상에 의한 실시 예들에 대해 상세히 설명한다.
도 1은 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 시스템을 통한 이미지의 편위 수정 동작이 개략적으로 도시된 도면이다. 도 2는 도 1에 도시된 이미지 편위 수정 시스템에 포함된 편위 수정 정보 생성 모듈 및 이미지 변환 모듈의 일 구성 예를 나타낸 도면이다.
도 1을 참조하면, 본 개시의 실시 예에 따른 이미지 편위 수정 시스템(100)은, 입력된 이미지에 존재하는 왜곡 특성을 추정하여 편위 수정된 이미지를 제공하는 동작을 수행할 수 있다. 특히, 본 개시에 따른 이미지 편위 수정 시스템(100)은 입력된 이미지 내에 둘 이상의 서로 다른 형태의 왜곡이 존재하더라도, 각각의 왜곡 특성을 추정하여 하나의 편위 수정된 이미지를 효과적으로 제공할 수 있다.
이러한 이미지 편위 수정 시스템(100)은 적어도 하나의 컴퓨팅 장치를 포함할 수 있다. 예컨대, 상기 적어도 하나의 컴퓨팅 장치 각각은 프로세서, 메모리, 통신 인터페이스, 입력부, 및/또는 출력부 등을 포함하는 하드웨어 기반의 장치에 해당한다. 이 경우, 이미지 편위 수정 시스템(100)에 포함되는 구성들(모듈들)은 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있으며, 상기 적어도 하나의 컴퓨팅 장치에 통합 또는 분할되어 구현될 수 있다.
본 개시의 일 실시 예에 따른 이미지 편위 수정 시스템(100)은 왜곡 특성 추정 모듈(110), 편위 수정 정보 생성 모듈(120), 이미지 변환 모듈(130), 데이터베이스(140), 및 학습 모듈(150)을 포함할 수 있으나, 이에 한정되는 것은 아니고 보다 많거나 적은 구성을 포함할 수도 있다.
왜곡 특성 추정 모듈(110)은, 입력된 이미지(10)에 존재하는 왜곡 특성을 추정할 수 있다. 상기 왜곡 특성은 카메라와 대상 간의 위치 관계에 기반하거나, 대상 표면의 기하학적 형태, 변형, 비틀림, 일그러짐 등에 기반할 수 있다. 본 개시의 실시 예에 따른 왜곡 특성 추정 모듈(110)은, 이미지(10)를 복수의 셀들로 구분하고, 셀들 각각에 대한 왜곡 특성을 추정함에 따라, 입력된 이미지(10) 내에 존재하는 서로 다른 다양한 왜곡 특성을 추정할 수 있다. 일례로, 상기 왜곡 특성 추정 모듈(110)은 추정된 왜곡 특성을 나타내는 다각형(사각형 등)의 꼭짓점에 대한 좌표 정보를 출력하도록 구현될 수 있다. 왜곡 특성 추정 모듈(110)의 구체적인 추정 동작에 대해서는 추후 도 3 내지 도 6을 통해 보다 상세히 설명하기로 한다.
일 실시 예에 따라, 왜곡 특성 추정 모듈(110)은 딥러닝 기반으로 학습된 네트워크(인공 신경망)를 포함하고, 상기 네트워크를 이용하여 입력된 이미지(10)로부터 왜곡 특성을 추정할 수 있다. 상기 네트워크는 콘볼루션 신경망(convolutional neural network (CNN))으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 상기 CNN은 하나 이상의 콘볼루션 계층(convolutional layer), 통합 계층(pooling layer), 및 완전하게 연결된 계층(fully connected layer)으로 구성될 수 있다. 상기 CNN은 이미지 등과 같이 2차원 형태를 갖는 데이터에 대해 콘볼루션(convolution) 및 풀링(pooling) 과정을 반복하면서, 상기 데이터로부터 특징들을 획득(출력 특징 맵을 획득)하고, 추출된 특징들을 이용하여 분류(classification) 과정을 수행함으로써 결과를 출력할 수 있다.
편위 수정 정보 생성 모듈(120)은, 왜곡 특성 추정 모듈(110)에 의해 추정된 왜곡 특성에 기초하여, 상기 입력된 이미지(10)의 편위 수정을 수행하기 위한 편위 수정 정보를 생성할 수 있다.
예컨대, 편위 수정 정보 생성 모듈(120)은 상기 추정된 왜곡 특성에 대응하는 정보와, 편위 수정을 위한 기준 정보 사이의 차이에 기초하여 상기 편위 수정 정보를 생성할 수 있다. 일례로, 상기 추정된 왜곡 특성에 대응하는 정보는, 왜곡 특성을 나타내는 사각형의 꼭짓점 좌표들을 포함하고, 상기 기준 정보는 기 정의된 직사각형(또는 정사각형)의 꼭짓점 좌표들로서, 편위 수정된 직사각형, 즉 왜곡이 존재하지 않는 상태를 나타내는 직사각형의 꼭짓점 좌표들에 해당할 수 있다. 이하에서는 '편위 수정된 직사각형'을 '기준 직사각형'으로 기재하여 설명한다.
이미지 변환 모듈(130)은 상기 생성된 편위 수정 정보에 기초하여 상기 입력된 이미지(10)를 변환함으로써, 편위 수정된 이미지(15)를 제공할 수 있다.
편위 수정 정보 생성 모듈(120) 및 이미지 변환 모듈(130)에 대한 구체적인 구현 예에 대해 이하 도 2를 참조하여 설명한다.
도 2를 참조하면, 편위 수정 정보 생성 모듈(120)은 종횡비 적용 모듈(122), 호모그래피 행렬 생성 모듈(124), 및 신뢰도 추정 모듈(126)을 포함할 수 있다. 실시 예에 따라 종횡비 적용 모듈(122) 및/또는 신뢰도 추정 모듈(126)은 포함되지 않을 수도 있다.
종횡비 적용 모듈(122)은, 입력된 이미지(10)에 대한 초점위치 정보가 존재하는 경우, 상기 초점위치 정보에 기초하여 상기 기준 정보를 획득할 수 있다. 구체적으로, 종횡비 적용 모듈(122)은 왜곡 특성을 나타내는 사각형의 꼭짓점 좌표들과 상기 입력된 이미지(10)의 초점위치에 기초하여, 기준 직사각형에 적용할 종횡비를 계산하고, 상기 계산된 종횡비를 적용한 기준 직사각형의 꼭짓점들의 좌표(기준 정보)를 획득할 수 있다.
한편, 입력된 이미지(10)에 대한 초점위치 정보가 존재하지 않는 경우, 상기 기준 정보는 기 정의된 종횡비를 갖는 기준 직사각형의 꼭짓점들의 좌표에 해당할 수 있다.
호모그래피 행렬 생성 모듈(124)은 상기 왜곡 특성과 상기 기준 정보에 기초하여, 상기 왜곡 특성에 대한 편위 수정을 위한 편위 수정 정보를 생성할 수 있다. 예컨대, 상기 편위 수정 정보는, 상기 추정된 왜곡 특성을 나타내는 사각형과 상기 기준 직사각형 간의 차이에 기초하여 계산되는 호모그래피(homography) 행렬에 해당할 수 있다. 호모그래피 행렬은 서로 다른 시점(viewpoint)을 기준으로 형성된 두 개의 이미지 간의 변환을 위한 정보에 해당한다. 본 개시의 실시 예에 따르면, 입력된 이미지(10)로부터 서로 다른 복수의 왜곡 특성들이 추정되는 경우, 상기 복수의 왜곡 특성들 각각에 대한 서로 다른 호모그래피 행렬이 생성될 수 있을 것이다.
신뢰도 추정 모듈(126)은, 생성된 편위 수정 정보(예컨대 호모그래피 행렬)에 대한 신뢰도를 추정함으로써, 상기 편위 수정 정보에 대응하는 픽셀 또는 셀에 대한 편위 수정의 수행 여부를 결정할 수 있다. 예컨대, 신뢰도 추정 모듈(126)은 입력된 이미지(10)를 소정 각도(예컨대 45°등) 회전시키고, 회전된 이미지에 대한 왜곡 특성을 추정할 수 있다. 회전된 이미지에 대한 왜곡 특성의 추정은 왜곡 특성 추정 모듈(110) 또는 신뢰도 추정 모듈(126)에 의해 수행될 수 있다. 신뢰도 추정 모듈(126)은 회전 전 이미지(10)에 대해 추정된 왜곡 특성과, 회전된 이미지에 대해 추정된 왜곡 특성 간의 차이에 기초하여 신뢰도를 추정할 수 있다. 신뢰도 추정 모듈(126)은 추정된 신뢰도가 기준치 이상인 경우, 대응하는 픽셀 또는 셀에 대해 편위 수정을 수행하도록 결정하고, 신뢰도가 기준치 미만인 경우, 대응하는 픽셀 또는 셀에 대해 편위 수정을 수행하지 않도록 결정할 수 있다. 신뢰도 추정 모듈(126)의 구체적인 동작과 관련된 예는 추후 도 8을 통해 설명하기로 한다.
이미지 변환 모듈(130)은 호모그래피 변환 모듈(132) 및 이미지 최적화 모듈(134)을 포함할 수 있다.
호모그래피 변환 모듈(132)은, 편위 수정 정보 생성 모듈(120)에 의해 생성된 셀들 각각의 편위 수정 정보(호모그래피 행렬)에 기초하여, 셀들 각각에 대한 호모그래피 변환을 수행할 수 있다. 그 결과, 셀들 각각에 대한 왜곡 특성은 제거될 수 있으나, 셀들의 변형에 의해 셀들 간에 이격이 발생할 수 있다.
이미지 최적화 모듈(134)은 호모그래피 변환에 따라 이격된 셀들의 정렬을 위한 파라미터를 추정 또는 산출할 수 있다. 예컨대 이미지 최적화 모듈(134)은 이격된 셀들이 자연스럽게 연결되도록 하기 위해, 셀들 각각의 위치, 크기, 및/또는 이동과 관련된 파라미터를 추정 또는 산출할 수 있다.
이미지 변환 모듈(130)은 추정 또는 산출된 파라미터에 기초하여, 입력된 이미지(10)의 픽셀값들을 변경하고, 렌더링 등의 과정을 통해 편위 수정된 이미지(15)를 제공할 수 있다.
다시 도 1을 참조하면, 데이터베이스(140)는 입력된 이미지(10) 내의 적어도 일부의 픽셀 각각에 대해 추정된 왜곡 특성을 나타내는 데이터(사각형의 꼭짓점 좌표들), 및 상기 적어도 일부의 픽셀 각각에 대한 편위 수정을 위한 기준 정보(기준 직사각형의 꼭짓점 좌표들)를 저장하도록 구현될 수 있다.
학습 모듈(150)은, 왜곡 특성 추정 모듈(110)에 포함된 네트워크의 학습 동작을 수행할 수 있다. 학습 모듈(150)은 상기 네트워크의 학습을 위한 목적 함수를 포함할 수 있다. 예컨대, 학습 모듈(150)은 학습용 이미지(입력된 이미지 등)에 대한 왜곡 특성의 추정 결과와, 상기 왜곡 특성에 대한 정답 데이터 사이의 차이에 기초하여 상기 네트워크에 포함된 노드들 간의 가중치(weight) 등을 변경함으로써, 상기 네트워크의 학습을 수행할 수 있다. 한편, 본 명세서에서 사용되는 '학습'은 러닝(learning), 훈련(또는 트레이닝(training))과 동일한 의미일 수 있으며, 학습을 수행한다는 의미는 네트워크가 학습을 수행하거나, 네트워크를 학습시키는 의미 모두를 포함할 수 있다.
이하 도 3 내지 도 13을 참조하여, 본 개시의 실시 예들에 따른 이미지 편위 수정 방법을 구체적으로 설명하기로 한다.
도 3은 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 방법을 개략적으로 설명하기 위한 플로우차트이다. 도 4는 도 3에 도시된 왜곡 특성 추정 단계와 편위 수정 정보 획득 단계의 구체화된 일 실시 예를 나타내는 플로우차트이다. 도 5 내지 도 8은 도 4에 도시된 실시 예와 관련된 예시도들이다.
도 3을 참조하면, 본 개시의 실시 예에 따른 이미지 편위 수정 방법은 입력된 이미지의 왜곡 특성을 추정하는 단계(S300), 추정된 왜곡 특성에 기초한 편위 수정 정보를 획득하는 단계(S310), 및 획득된 편위 수정 정보에 기초하여 상기 입력된 이미지의 편위 수정 및 최적화를 수행하는 단계(S320)를 포함할 수 있다. S320 단계에 대해서는 추후 도 9 내지 도 13을 통해 설명하고, 이하에서는 S300 단계 내지 S310 단계에 대해 설명하기로 한다.
도 4 내지 도 6의 실시 예를 참조하면, 입력된 이미지의 왜곡 특성을 추정하는 단계(S300)는 입력된 이미지를 복수의 셀들로 구분하는 단계(S302), 및 구분된 셀들 각각의 왜곡 특성을 나타내는 사각형(왜곡된 직사각형)을 추정하는 단계(S304)를 포함할 수 있다.
도 5를 참조하면, 입력된 이미지(500)에는 반시계 방향으로 제1 각도 회전된 형태의 제1 영역(502)과, 시계 방향으로 제2 각도 회전된 형태의 제2 영역(504)이 존재할 수 있다. 이 경우, 입력된 이미지(500)의 편위 수정은, 제1 영역(502)을 시계 방향으로 제1 각도만큼 회전시키는 프로세스와, 제2 영역(504)을 반시계 방향으로 제2 각도만큼 회전시키는 프로세스를 포함할 수 있다. 즉, 제1 영역(502)에 포함된 픽셀들과 제2 영역(504)에 포함된 픽셀들의 왜곡 특성이 상이하므로, 각각의 왜곡 특성을 정확히 추정할 필요성이 있다.
이를 위해, 왜곡 특성 추정 모듈(110)은 입력된 이미지(500)를 복수의 셀들로 구분하여 각각의 셀에 대한 왜곡 특성을 추정하도록 구현될 수 있다. 상기 복수의 셀들 각각의 사이즈는 다양하게 설정될 수 있는 바, 셀이 하나의 픽셀만을 포함하는 경우도 포함될 수 있을 것이다. 구체적으로, 왜곡 특성 추정 모듈(110)은 입력된 이미지(500)를 복수의 셀들로 구분하고, 각각의 셀에 포함된 픽셀들 중 어느 하나의 픽셀(510)(520)(예컨대 중심 위치 또는 셀 내의 기 정의된 위치에 존재하는 픽셀 등)을 중심으로 하고, 각각의 셀의 왜곡 특성을 나타내는 사각형을 추정하도록 학습된 네트워크(딥러닝 기반의 인공 신경망)를 포함할 수 있다.
구체적으로, 왜곡 특성 추정 모듈(110)(또는 네트워크)은 상기 픽셀(510)(520)을 중심으로 대칭되는 두 개의 꼭짓점들(512a, 512b)(522a, 522b)을 고정하고, 나머지 두 개의 꼭짓점들(514a, 514b)(524a, 524b)을 추정함으로써, 왜곡 특성을 나타내는 사각형을 추정할 수 있다. 도 5에 도시된 바와 같이, 제1 영역(502)에 존재하는 픽셀(510)에 대해 추정되는 사각형은 제1 영역(502)의 왜곡 특성에 대응할 수 있고, 제2 영역(504)에 존재하는 픽셀(520)에 대해 추정되는 사각형은 제2 영역(504)의 왜곡 특성에 대응할 수 있다. 실시 예에 따라, 각각의 셀의 왜곡 특성을 나타내는 사각형은, 셀에 포함된 복수의 픽셀들 각각으로부터 추정되는 사각형들에 기초하여(대응하는 꼭짓점들의 평균, 중간값, 최빈값 등) 획득될 수도 있다.
상기 고정되는 두 개의 꼭짓점들(512a, 512b)(522a, 522b) 사이에 연결되는 직선은, 상기 추정되는 사각형의 대각선에 대응할 수 있다. 왜곡 특성 추정 모듈(110)은 상기 대각선이 수평선에 대해 기 설정된 제1 각도(예컨대 45°등)를 이루도록 상기 두 개의 꼭짓점들(512a, 512b)(522a, 522b)을 고정하고, 상기 왜곡 특성의 추정 결과에 따라 나머지 두 개의 꼭짓점들(514a, 514b)(524a, 524b)을 획득할 수 있다.
한편, 도 6의 실시 예를 참조하면, 입력된 이미지(600)의 제1 영역(602)은 상기 기 설정된 제1 각도와 동일한 각도로 회전된 형태의 왜곡 특성을 갖고, 제2 영역(604)은 상기 기 설정된 제1 각도와 유사한 각도로 회전된 형태의 왜곡 특성을 갖는 것으로 가정한다. 이 경우, 제1 픽셀(610)에 대해 고정되는 두 개의 꼭짓점들(612a, 612b)과, 왜곡 특성의 추정 결과에 의해 획득되는 나머지 두 개의 꼭짓점들(614a, 614b)은 동일한 지점에 위치할 수 있다. 그리고, 제2 픽셀(620)에 대해 고정되는 두 개의 꼭짓점들(622a, 622b)과, 왜곡 특성의 추정 결과에 의해 획득되는 나머지 두 개의 꼭짓점들(624a, 624b)은 소정 거리 이내로 근접할 수 있다. 이 경우 네 개의 꼭짓점들에 의한 사각형이 왜곡 특성을 정확히 표현하지 못하는 문제가 발생할 수 있다.
상술한 문제를 해결하기 위해, 왜곡 특성 추정 모듈(110)은, 상기 고정되는 두 개의 꼭짓점들과 상기 나머지 두 개의 꼭짓점들이 소정 거리 이내로 근접하는 경우, 상기 고정되는 두 개의 꼭짓점들의 위치를 변경한 후 나머지 두 개의 꼭짓점들을 다시 추정할 수 있다. 왜곡 특성 추정 모듈(110)은 두 개의 꼭짓점들을 연결한 직선이 수평선에 대해 기 설정된 제2 각도(예컨대 0°등)를 이루도록 상기 두 개의 꼭짓점들(612c, 612d)(622c, 622d)을 고정하고, 왜곡 특성에 기초하여 나머지 두 개의 꼭짓점들(614c, 614d)(624c, 624d)을 추정할 수 있다.
데이터베이스(140)에는 입력된 이미지의 픽셀들 중 적어도 일부의 픽셀 각각에 대해 추정된 사각형의 꼭짓점 좌표들이 저장될 수 있다. 상기 적어도 일부의 픽셀은 복수의 셀들 각각의 픽셀들 중 어느 하나(510, 520)를 의미할 수 있으나, 실시 예에 따라서는 입력된 이미지의 모든 픽셀들을 포함할 수도 있다.
다시 도 4를 참조하면, 추정된 왜곡 특성에 기초한 편위 수정 정보를 획득하는 단계(S310)는, 입력된 이미지의 초점 거리(또는 초점 위치)에 대한 정보가 존재하는 경우(S312의 YES), 상기 정보에 기초하여 종횡비를 조절한 편위 수정된 직사각형(기준 직사각형)을 획득하는 단계(S314)를 포함할 수 있다.
반면, 이미지의 초점 거리(또는 위치)에 대한 정보가 존재하지 않는 경우에는(S312의 NO), 기 정의된 형태의 편위 수정된 직사각형(기준 직사각형)이 획득될 수 있다(S316).
도 7을 함께 참조하면, 입력된 이미지(700)의 초점 위치에 대한 정보가 존재하는 경우, 종횡비 적용 모듈(122)은 왜곡 특성 추정 모듈(110)에 의해 추정된 왜곡 특성을 나타내는 사각형의 꼭짓점들의 좌표와 초점 위치를 이용하여, 기준 직사각형에 적용할 종횡비를 계산할 수 있다. 종횡비 적용 모듈(122)은 계산된 종횡비를 적용한 기준 직사각형의 꼭짓점들의 좌표를 획득할 수 있다.
종횡비가 적용된 기준 직사각형이 획득되는 경우, 편위 수정된 이미지(720)가 입력된 이미지와 유사한 종횡비를 갖도록 제공될 수 있다. 반면, 종횡비가 적용되지 않은 기 정의된 형태의 기준 직사각형이 획득되는 경우에는, 편위 수정된 이미지(740)가 입력된 이미지(700)와 상이한 종횡비를 갖도록 제공될 가능성이 존재한다. 도 7에 도시된 바와 같이, 종횡비가 적용된 기준 직사각형을 이용하여 편위 수정된 이미지(720)의 제1 영역(722)은, 입력된 이미지(700)의 제1 영역(702)와 유사한 종횡비를 가짐을 확인할 수 있다. 반면, 기 정의된 형태의 기준 직사각형을 이용하여 편위 수정된 이미지(740)의 제1 영역(742)은, 입력된 이미지(700)의 제1 영역(702)과 상이한 종횡비를 가짐을 확인할 수 있다.
도 4를 계속 참조하면, 이미지 편위 수정 방법은 왜곡 특성을 나타내는 사각형(왜곡된 직사각형)과 편위 수정된 직사각형(기준 직사각형)에 기초하여, 복수의 셀들 각각의 호모그래피 행렬을 계산할 수 있다(S318).
도 1 내지 도 2에서 상술한 바와 같이, 호모그래피 행렬 생성 모듈(124)은 복수의 셀들 각각에 대해, 추정된 왜곡 특성을 나타내는 사각형과 상기 기준 직사각형 사이의 차이에 기초한 호모그래피 행렬을 계산할 수 있다.
실시 예에 따라, 신뢰도 추정 모듈(126)은 상기 계산된 호모그래피 행렬에 대한 신뢰도를 추정함으로써, 복수의 셀들 중 편위 수정을 수행할 셀들과 편위 수정을 수행하지 않을 셀들을 구분할 수 있다.
이와 관련하여 도 8의 (a)를 참조하면, 신뢰도 추정 모듈(126)은 입력된 이미지(800)에 대해 추정된 왜곡 특성과, 입력된 이미지(800)를 소정 각도(예컨대 45°) 회전시킨 이미지(810)로부터 추정되는 왜곡 특성을 비교할 수 있다.
신뢰도 추정 모듈(126)은 입력된 이미지(800)의 소정 위치(셀 또는 픽셀)에 대해 추정된 왜곡 특성을 나타내는 제1 사각형(802)과, 소정 각도 회전된 이미지(810)의 대응되는 위치(셀 또는 픽셀)에 대해 추정되는 왜곡 특성을 나타내는 제2 사각형(812)을 비교할 수 있다. 제2 사각형(812)에 대한 정보는 왜곡 특성 추정 모듈(110)에 의해 획득되거나, 신뢰도 추정 모듈(126)에 의해 획득될 수 있다.
신뢰도 추정 모듈(126)은 제1 사각형(802)의 한 변과, 제2 사각형(812)의 대응되는 변 사이의 기울기 차이가 상기 소정 각도(예컨대 45°)에 가까울수록 신뢰도가 높은 것으로 추정할 수 있고, 상기 소정 각도와 멀수록 신뢰도가 낮은 것으로 추정할 수 있다.
상술한 방식에 따라, 도 8의 (b)에 도시된 바와 같이 신뢰도 추정 모듈(126)은 이미지(820)의 픽셀들 또는 셀들 각각에 대해 신뢰도를 추정할 수 있다. 신뢰도 추정 결과(820a)를 참조하면, 텍스트가 존재하는 영역들(822, 824)에 위치한 픽셀들(또는 셀들)의 경우 신뢰도가 높을 수 있고, 텍스트가 존재하지 않는 영역에 위치한 픽셀들(또는 셀들)의 경우 상대적으로 신뢰도가 낮을 수 있다. 신뢰도 추정 결과에 기초하여, 이미지 편위 수정 시스템(100)은 신뢰도가 기준치 이상인 픽셀들(또는 셀들)에 대해서만 편위 수정 동작을 수행함으로써, 이미지 편위 수정 시의 효율성을 향상시킬 수 있다.
도 9는 도 3에 도시된 편위 수정 및 최적화 단계의 구체화된 일 실시 예를 나타내는 플로우차트이다. 도 10 내지 도 13은 도 9에 도시된 실시 예와 관련된 예시도들이다.
도 3 및 도 9를 참조하면, 이미지 편위 수정 방법은 획득된 편위 수정 정보(호모그래피 행렬)에 기초하여 입력된 이미지의 편위 수정 및 최적화를 수행할 수 있다(S320).
구체적으로, S320 단계는 복수의 셀들 각각에 대해, 호모그래피 행렬에 기초한 호모그래피 변환을 수행하는 단계(S322), 변환된 셀들의 정렬을 위한 파라미터를 추정하는 단계(S324), 추정된 파라미터에 기초하여 편위 수정 전 이미지(입력된 이미지)를 변환 및 렌더링하는 단계(S326), 및 변환 및 렌더링에 의해 생성된 편위 수정 이미지의 최적화를 수행하는 단계(S328)를 포함할 수 있다.
도 10의 (a)를 참조하면, 호모그래피 변환 모듈(132)은 복수의 셀들(1000) 각각에 대해 생성된 호모그래피 행렬에 기초하여, 셀들(1000) 각각에 대한 호모그래피 변환을 수행할 수 있다. 호모그래피 변환의 수행 결과, 셀들(1000) 각각에 대응하는 부분 이미지의 왜곡이 제거될 수 있으나, 셀들의 변형에 의한 이격 및/또는 중첩이 발생할 수 있다. 제1 셀(1001)과 제2 셀(1002)은 호모그래피 변환 이전에는 서로 연결되어 이격 또는 중첩이 존재하지 않으나, 호모그래피 변환이 수행된 제1 셀(1011)과 제2 셀(1012) 사이에는 변형에 의한 이격 및/또는 중첩이 발생할 수 있다.
도 10의 (b)를 참조하여 실제 이미지의 예를 살펴보면, 입력된 이미지(1100)의 제1 영역(1102)에 포함된 셀들은, 반시계 방향으로 소정 각도 회전된 형태의 왜곡 특성을 가질 수 있다. 제1 영역(1102)에 포함된 셀들에 대한 호모그래피 변환이 수행됨에 따라 셀들 각각의 왜곡은 제거될 수 있으나, 인접 셀과 이격 및/또는 중첩이 발생하게 되므로, 전체의 이미지(1110)는 부자연스러운 상태를 보일 수 있다.
도 11의 (a)를 참조하면, 이미지 최적화 모듈(134)은 호모그래피 변환에 따라 이격 및/또는 중첩된 셀들의 정렬을 위한 파라미터를 추정 또는 산출할 수 있다. 예컨대, 이미지 최적화 모듈(134)은 셀들(1010)이 소정 거리 이내로 가까워지면서, 상호간의 중첩이 제거되도록 이동(정렬)시키는 non-rigid 변환을 수행할 수 있다. Non-rigid 변환을 통해 정렬되는 제1 셀(1021)과 제2 셀(1022) 사이의 거리는, 이동 전의 제1 셀(1011)과 제2 셀(1012) 사이의 거리보다 가까울 수 있다.
한편, 제1 셀(1021)과 제2 셀(1022) 각각의 인접 변이 서로 접하지 않을 수 있다. 예컨대 제1 셀(1021)의 우측 변과 제2 셀(1022)의 좌측 변은, 제1 셀(1021)과 제2 셀(1022)의 연결 시 서로 접해야 하나, 상기 변들의 길이 및/또는 기울기가 다를 수 있다. 따라서, 이미지 최적화 모듈(134)은 인접한 셀들의 꼭짓점이 서로 접하도록 하여 셀들을 자연스럽게 연결하기 위한, 셀들의 꼭짓점 좌표를 산출할 수 있다. 산출된 꼭짓점 좌표에 따라 셀들(1030)이 이동 및 변형됨으로써, 셀들 사이의 이격(제1 셀(1031)과 제2 셀(1032) 사이의 이격 등)이 제거되어 자연스러운 연결이 가능해질 수 있다.
도 11의 (b)를 참조하면, 상술한 바와 같이 호모그래피 변환된 이미지(1110)에 대한 non-rigid 변환이 수행된 경우, non-rigid 변환이 수행된 이미지(1120)의 제1 영역(1122)에 존재하는 셀들이 소정 거리 이내로 중첩 없이 정렬될 수 있다. 이미지 최적화 모듈(134)이 각 셀들의 꼭짓점이 서로 접하도록 하는 꼭짓점 좌표들을 산출하면, 산출된 꼭짓점 좌표에 기초한 셀들의 변형에 의해 보다 자연스럽게 연결된 이미지(1130)가 제공될 수 있다. 이에 따라, 이미지(1130)의 제1 영역(1132)은 편위 수정에 의해 왜곡이 제거됨을 확인할 수 있다.
도 12의 (a)를 참조하면, 도 10 내지 도 11의 과정에 따라, 편위 수정 전의 셀들(1200)의 꼭짓점 좌표들과, 편위 수정 및 정렬 완료된 셀들(1210)의 꼭짓점 좌표들이 획득될 수 있다. 이에 기초하여, 이미지 최적화 모듈(134)은 셀들 각각에 대한 파라미터를 산출할 수 있다. 상기 파라미터는 편위 수정 전 이미지의 셀들의 픽셀들 각각에 대한, 편위 수정을 위해 이동되는 위치(가로 좌표 및 세로 좌표) 및/또는 셀들의 사이즈에 대한 값 등을 포함할 수 있다.
이미지 변환 모듈(130)은 획득된 파라미터에 기초하여, 입력된 이미지로부터 편위 수정된 이미지를 획득하는 변환 및 렌더링 동작을 수행할 수 있다. 한편, 도 12의 (b)에 도시된 바와 같이, 상기 파라미터에 기초하여 셀들 각각에 대한 호모그래피 변환이 수행되는 경우, 편위 수정된 이미지(1220)의 셀들 간의 경계 부분에서 텍스쳐 간의 연결이 끊기는 등의 부자연스러움이 발생할 수 있다. 이를 해결하기 위해, 이미지 변환 모듈(130)은 획득된 파라미터에 기초하여, 입력된 이미지를 보다 자연스럽게 편위 수정하기 위한 방식에 따른 변환을 수행할 수 있다. 예컨대 이미지 변환 모듈(130)은, 편위 수정된 셀들 각각의 꼭짓점 좌표로부터 획득되는 무게중심을 이용하는 barycentric 변환에 따라 입력된 이미지를 변환한 후 렌더링함으로써, 보다 자연스럽게 연결된 이미지(1230)를 획득할 수 있다.
도 13을 참조하면, 변환 및 렌더링된 이미지(1300)는 왜곡 특성의 추정에 기초하여 편위 수정된 것인 바, 일부 영역(1310)에서 불완전한 편위 수정이 이루어질 수 있다. 상기 불완전한 편위 수정을 제거하기 위해, 이미지 변환 모듈(130)은 변환 및 렌더링된 이미지(1300)를 low rank texture로 변환하는 과정을 추가 수행할 수 있다. Low rank texture 변환은 이차원 이미지에서 텍스츄얼 정보 및 기하학적 정보를 획득하여 이미지(1300)를 변환하는 것을 의미하며, 획득되는 정보는 엣지(edge)와 같은 로컬 구조뿐만 아니라 이미지 내의 규칙적이고 대칭적인 패턴 등을 포함할 수 있다.
이하, 도 14 내지 도 22를 참조하여, 본 개시의 다른 실시 예에 따른 이미지 편위 수정 방법에 대해 설명하기로 한다.
도 14는 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 시스템을 통한 이미지의 편위 수정 동작이 개략적으로 도시된 도면이다. 도 15는 도 14에 도시된 이미지 편위 수정 시스템에 포함된 편위 수정 정보 생성 모듈의 일 구성 예를 나타낸 도면이다.
도 14를 참조하면, 본 개시의 실시 예에 따른 이미지 편위 수정 시스템(1400)은, 입력된 이미지에 존재하는 왜곡 특성을 추정하여 편위 수정된 이미지를 제공하는 동작을 수행할 수 있다. 특히, 본 개시에 따른 이미지 편위 수정 시스템(1400)은 입력된 이미지 내에 둘 이상의 서로 다른 형태의 왜곡이 존재하더라도 각각의 왜곡 특성들을 추정하여 편위 수정된 이미지들을 효과적으로 제공할 수 있다.
도 1에서 상술한 이미지 편위 수정 시스템(100)과 마찬가지로, 이미지 편위 수정 시스템(1400)은 적어도 하나의 컴퓨팅 장치를 포함할 수 있다. 예컨대, 상기 적어도 하나의 컴퓨팅 장치 각각은 프로세서, 메모리, 통신 인터페이스, 입력부, 및/또는 출력부 등을 포함하는 하드웨어 기반의 장치에 해당한다. 이 경우, 이미지 편위 수정 시스템(1400)에 포함되는 구성들(모듈들)은 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있으며, 상기 적어도 하나의 컴퓨팅 장치에 통합 또는 분할되어 구현될 수 있다.
본 개시의 일 실시 예에 따른 이미지 편위 수정 시스템(1400)은 왜곡 특성 추정 모듈(1410), 편위 수정 정보 생성 모듈(1420), 이미지 변환 모듈(1430), 데이터베이스(1440), 및 학습 모듈(1450)을 포함할 수 있으나, 이에 한정되는 것은 아니고 보다 많거나 적은 구성을 포함할 수도 있다.
왜곡 특성 추정 모듈(1410)은, 입력된 이미지(20)에 존재하는 왜곡 특성을 추정할 수 있다. 상기 왜곡 특성은 카메라와 대상 간의 위치 관계에 기반하거나, 대상 표면의 기하학적 형태, 변형, 비틀림, 일그러짐 등에 기반할 수 있다. 본 개시의 실시 예에 따른 왜곡 특성 추정 모듈(1410)은, 이미지(20)를 복수의 셀들로 구분하고, 셀들 각각에 대한 왜곡 특성을 추정함에 따라, 입력된 이미지(20) 내에 존재하는 서로 다른 다양한 왜곡 특성을 추정할 수 있다. 도 14에 도시된 이미지(20)를 예로 들면, 제1 영역(21)의 왜곡 특성과 제2 영역(22)의 왜곡 특성이 서로 다름을 알 수 있다. 상기 구분된 복수의 셀들 중 제1 영역(21)에 포함된 셀들의 왜곡 특성은 제1 영역(21)의 왜곡 특성에 해당할 것이고, 제2 영역(22)에 포함된 셀들의 왜곡 특성은 제2 영역(22)의 왜곡 특성에 해당할 것이다.
일례로, 상기 왜곡 특성 추정 모듈(1410)은 추정된 왜곡 특성을 나타내는 다각형(사각형 등)의 꼭짓점에 대한 좌표 정보를 출력하도록 구현될 수 있다. 왜곡 특성 추정 모듈(1410)의 구체적인 추정 동작은 도 5 내지 도 6을 통해 상술한 바, 이에 대한 중복 설명은 생략하기로 한다.
도 1의 왜곡 특성 추정 모듈(110)과 마찬가지로, 왜곡 특성 추정 모듈(1410)은 딥러닝 기반으로 학습된 네트워크(인공 신경망)를 포함하고, 상기 네트워크를 이용하여 입력된 이미지(20)로부터 왜곡 특성을 추정할 수 있다.
편위 수정 정보 생성 모듈(1420)은, 왜곡 특성 추정 모듈(1410)에 의해 추정된 왜곡 특성에 기초하여, 상기 입력된 이미지(20)의 편위 수정을 수행하기 위한 편위 수정 정보를 생성할 수 있다. 편위 수정 정보 생성 모듈(1420)에 대한 기본적인 내용은 도 1의 편위 수정 정보 생성 모듈(120)에 대한 내용과 실질적으로 동일할 수 있다.
이미지 변환 모듈(1430)은 상기 생성된 편위 수정 정보에 기초하여 상기 입력된 이미지(20)를 변환함으로써, 편위 수정된 이미지(31, 32)를 제공할 수 있다.
편위 수정 정보 생성 모듈(1420) 및 이미지 변환 모듈(1430)에 대한 구체적인 구현 예에 대해 이하 도 15를 참조하여 설명한다.
도 15를 참조하면, 편위 수정 정보 생성 모듈(1420)은 호모그래피 행렬 생성 모듈(1422), 군집화 모듈(1424), 신뢰도 추정 모듈(1426), 및 군집별 대표 호모그래피 행렬 생성 모듈(1428)을 포함할 수 있다.
호모그래피 행렬 생성 모듈(1422)은 상기 왜곡 특성과 상기 기준 정보에 기초하여, 상기 왜곡 특성에 대한 편위 수정을 위한 편위 수정 정보를 생성할 수 있다. 예컨대, 상기 편위 수정 정보는, 상기 추정된 왜곡 특성을 나타내는 사각형과 상기 기준 직사각형 간의 차이에 기초하여 계산되는 호모그래피(homography) 행렬에 해당할 수 있다. 호모그래피 행렬은 서로 다른 시점(viewpoint)을 기준으로 형성된 두 개의 이미지 간의 변환을 위한 정보에 해당한다. 본 개시의 실시 예에 따르면, 입력된 이미지(20)로부터 서로 다른 복수의 왜곡 특성들이 추정되는 경우, 상기 복수의 왜곡 특성들 각각에 대한 서로 다른 호모그래피 행렬이 생성될 수 있을 것이다.
군집화 모듈(1424)은, 호모그래피 행렬 생성 모듈(1422)에 의해 생성된 셀들(또는 픽셀들) 각각의 호모그래피 행렬의 유사도(또는 비유사도)에 기초하여, 셀들(또는 픽셀들)을 군집화할 수 있다.
신뢰도 추정 모듈(1426)은, 생성된 편위 수정 정보(예컨대 호모그래피 행렬)에 대한 신뢰도를 추정함으로써, 상기 편위 수정 정보에 대응하는 픽셀 또는 셀에 대한 편위 수정의 수행 여부를 결정할 수 있다. 신뢰도 추정 모듈(1426)은 도 2의 신뢰도 추정 모듈(126)과 실질적으로 동일하고, 구체적인 동작과 관련된 예는 도 8에서 상술한 바 있다.
군집별 대표 호모그래피 행렬 생성 모듈(1428)은, 군집화 모듈(1424)에 의해 구분된 군집들 각각에 대한 대표 호모그래피 행렬을 생성할 수 있다. 예컨대, 상기 대표 호모그래피 행렬은, 군집에 포함된 셀들(픽셀들)의 호모그래피 행렬들의 평균값, 최빈값, 중앙값 등에 기초하여 생성될 수 있다.
실시 예에 따라, 군집별 대표 호모그래피 행렬 생성 모듈(1428)은, 신뢰도 추정 모듈(1426)에 의해 추정된 신뢰도가 기준값 이상인 군집에 대해서만 대표 호모그래피 행렬을 생성할 수도 있다.
다시 도 14를 참조하면, 이미지 변환 모듈(1430)은 생성된 대표 호모그래피 행렬에 기초하여 입력된 이미지(20)에 대한 호모그래피 변환을 수행함으로써, 편위 수정된 이미지(31, 32)를 제공할 수 있다. 예컨대, 상기 대표 호모그래피 행렬이 복수 개인 경우, 이미지 변환 모듈(1430)은 복수의 대표 호모그래피 행렬 각각을 이용하여 이미지(20)에 대한 호모그래피 변환을 수행함으로써, 복수의 편위 수정된 이미지(31, 32)를 제공할 수 있다. 따라서, 이미지 변환 모듈(1430)은 입력된 이미지(20) 내의 왜곡된 영역들(21, 22) 각각에 대한 편위 수정된 이미지(31, 32)를 제공할 수 있다. 제1 이미지(31)는 제1 영역(21)에 대해 편위 수정된 이미지에 해당할 수 있고, 제2 이미지(32)는 제2 영역(22)에 대해 편위 수정된 이미지에 해당할 수 있다.
한편, 데이터베이스(1440) 및 학습 모듈(1450)은 도 1에서 상술한 데이터베이스(140) 및 학습 모듈(150)과 실질적으로 동일한 바, 이에 대한 설명은 생략한다.
이하 도 16 내지 도 22를 참조하여, 본 개시의 실시 예들에 따른 이미지 편위 수정 방법을 구체적으로 설명하기로 한다.
도 16은 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 방법을 개략적으로 설명하기 위한 플로우차트이다. 도 17는 도 16에 도시된 왜곡 특성 추정 단계, 및 편위 수정 정보 획득 및 군집화 단계의 구체화된 일 실시 예를 나타내는 플로우차트이다. 도 18 내지 도 21은 도 17의 군집화 단계와 관련된 예시도들이다. 도 22는 본 개시의 이미지 편위 수정 방법에 따라 제공되는 편위 수정된 이미지들의 예시도이다.
도 16을 참조하면, 본 개시의 실시 예에 따른 이미지 편위 수정 방법은 입력된 이미지의 픽셀별(또는 셀별) 왜곡 특성을 추정하는 단계(S500), 및 추정된 왜곡 특성에 기초한 편위 수정 정보를 획득하고, 픽셀들(또는 셀들)을 군집화하는 단계(S510)를 포함할 수 있다.
S500 단계 내지 S510 단계에 대해서는 이하 도 17 내지 도 21을 통해 보다 구체적으로 설명한다.
도 17를 참조하면, 입력된 이미지의 픽셀별(또는 셀별) 왜곡 특성을 추정하는 단계(S500)는 입력된 이미지를 복수의 셀들로 구분하는 단계(S502), 및 구분된 셀들 각각의 왜곡 특성을 나타내는 사각형(왜곡된 직사각형)을 추정하는 단계(S504)를 포함할 수 있다. S502 단계 및 S504 단계는 도 4의 S302 단계 및 S304 단계와 실질적으로 동일하며, 구체적 실시 예는 도 5 내지 도 6을 통해 설명한 바 있다.
추정된 왜곡 특성에 기초한 편위 수정 정보를 획득하는 단계(S510)는, 왜곡 특성을 나타내는 사각형(왜곡된 직사각형)과 편위 수정된 직사각형(기준 직사각형)에 기초하여, 복수의 셀들 각각의 호모그래피 행렬을 계산하는 단계(S512), 및 호모그래피 행렬들의 유사도(또는 비유사도)에 기초하여 복수의 셀들을 군집화하는 단계(S514)를 포함할 수 있다.
도 14 내지 도 15에서 상술한 바와 같이, 호모그래피 행렬 생성 모듈(1424)은 복수의 셀들 각각에 대해, 추정된 왜곡 특성을 나타내는 사각형과 상기 기준 직사각형 사이의 차이에 기초한 호모그래피 행렬을 계산할 수 있다. 군집화 모듈(1424)은 호모그래피 행렬 생성 모듈(1422)에 의해 생성된 셀들 각각의 호모그래피 행렬의 유사도(또는 비유사도)에 기초하여, 셀들을 적어도 하나의 군집으로 구분(군집화)할 수 있다.
도 18을 참조하면, 군집화 모듈(1424)은 이미지(1800)에 포함된 복수의 셀들에 대해, 호모그래피 행렬이 유사한 셀들을 군집화할 수 있다. 예컨대 이미지(1800)는 왜곡 특성이 서로 다른 세 개의 영역이 존재할 수 있고, 이 경우 이미지(1800)의 셀들(1810)은 제1 영역에 대응하는 셀들을 포함하는 제1 군집(1811), 제2 영역에 대응하는 셀들을 포함하는 제2 군집(1812), 및 제3 영역에 대응하는 셀들을 포함하는 제3 군집(1813)으로 구분될 수 있을 것이다.
이하 도 19 내지 도 21을 참조하여 군집화 모듈(1424)이 호모그래피 행렬들의 유사 여부를 판단하는 방법에 대해 보다 상세히 설명한다.
도 19를 참조하면, 이미지의 제1 셀의 왜곡 특성을 나타내는 제1 사각형(x1)과 제2 셀의 왜곡 특성을 나타내는 제2 사각형(x2)이 같은 평면에 존재하는 경우, 각 사각형의 소실점(vanishing point (VP)) 위치가 동일할 수 있다. 상기 소실점(VP)은 가로 방향의 소실점 및 세로 방향의 소실점을 포함할 수 있다. 또한, 제1 사각형(x1)과 제2 사각형(x2)이 같은 평면에 존재한다면, 두 셀은 동일한 호모그래피 행렬을 이용한 호모그래피 변환을 통해 편위 수정이 수행될 수 있다.
이에 기초하여, 군집화 모듈(1424)은 두 개의 사각형들 간의 비유사도를 측정하고 비유사도가 낮은 사각형들에 대응하는 셀들을 동일 군집으로 군집화할 수 있다. 일례로 제1 사각형(x1)과 제2 사각형(x2)의 비유사도를 산출하기 위해, 군집화 모듈(1424)은 제1 사각형(x1)의 소실점들(VP)의 위치를 산출하고, 제2 사각형(x2)의 꼭짓점들 중 고정된 꼭짓점들과 상기 제1 사각형(x1)의 소실점들(VP)을 연결하는 직선들과, 추정된 꼭짓점들 사이의 거리를 산출하여 비유사도를 산출할 수 있다. 산출된 거리의 합이 0에 가까울수록 비유사도가 낮을 수 있고(유사도가 높음), 거리의 합이 클수록 비유사도가 높을 수 있다. 도 19의 예에 따르면 제2 사각형(x2)에 대해 산출되는 거리의 합은 0에 해당할 수 있다. 이 경우, 군집화 모듈(1424)은 제1 사각형(x1)과 제2 사각형(x2)이 동일한 호모그래피 행렬을 갖는 것으로 판단하고, 제1 사각형(x1)에 대응하는 제1 셀과 제2 사각형(x2)에 대응하는 제2 셀을 동일한 군집으로 군집화할 수 있다. 반면, 제3 사각형(x3)에 대해 산출되는 거리의 합은 0에 비해 매우 큰 값을 가질 수 있다. 이 경우 군집화 모듈(1424)은 제1 사각형(x1)과 제3 사각형(x3)이 서로 다른 호모그래피 행렬을 갖는 것으로 판단하고, 제3 사각형(x3)에 대응하는 제3 셀은 상기 제1 셀과는 다른 군집으로 군집화할 수 있다.
도 20 내지 도 21의 실시 예를 참조하면, 군집화 모듈(1424)은 왜곡 특성을 나타내는 두 사각형이 동일 평면에 존재하는 경우 소실점이 동일한 위치에 있다는 성질에 기초하여 설계된 비유사도(dissimilarity)를 이용하여, 이미지 내의 셀(또는 픽셀)의 쌍 간의 유사도 행렬을 생성하고, 생성된 유사도 행렬을 이용하여 군집화를 수행할 수 있다.
구체적으로, 군집화 모듈(1424)은 도 20에 도시된 수식에 따라 가로 방향 포인트(th) 및 세로 방향 포인트(tv)를 계산할 수 있다. 상기 포인트들(th, tv)은, th와 qi를 연결하는 직선과 pi 사이의 거리의 제곱과, tv와 qi를 연결하는 직선과 pk 사이의 거리의 제곱의 합을 최소로 하는 포인트에 해당할 수 있다(i, k는 각각 자연수). 군집화 모듈(1424)은 상기 계산된 포인트들(th, tv) 및 사각형들의 꼭짓점 좌표를 기초로 비유사도를 계산할 수 있다. 상기 비유사도는 도 21의 (a)에 도시된 수식에 의해 계산될 수 있으나, 이에 한정되는 것은 아니다.
군집화 모듈(1424)은 모든 셀(또는 픽셀)의 쌍에 대해 상기 비유사도를 계산하고, 각각의 쌍에 대한 계산 결과를 포함하는 거리 행렬(xi, xj)을 생성하고, 생성된 거리 행렬에 대해 도 21의 (b)에 도시된 Gaussian kernel 등을 적용하여 유사도 행렬(Wij)을 생성할 수 있다. 군집화 모듈(1424)은 생성된 유사도 행렬에 기초하여, 이미지의 셀들(픽셀들)을 적어도 하나의 군집으로 분류할 수 있다.
다시 도 17을 참조하면, S510 단계는 군집들 각각의 신뢰도를 추정하는 단계(S516) 및 추정된 신뢰도에 기초하여 편위 수정을 수행할 군집들 각각의 대표 호모그래피 행렬을 생성하는 단계(S518)를 포함할 수 있다. 실시 예에 따라, S516 단계는 생략될 수 있다.
신뢰도 추정 모듈(1426)은 계산된 호모그래피 행렬에 대한 신뢰도를 추정함으로써, 군집들 중 편위 수정을 수행할 군집과 편위 수정을 수행하지 않을 군집을 구분할 수 있다. 신뢰도 추정 모듈(126)의 신뢰도 추정 동작은 도 8 등에서 상술한 바 있다.
군집별 대표 호모그래피 행렬 생성 모듈(1428)은, 신뢰도 추정 결과에 따라 편위 수정을 수행할 군집으로 분류된 군집들 각각에 대한 대표 호모그래피 행렬을 생성할 수 있다. 예컨대 군집별 대표 호모그래피 행렬 생성 모듈(1428)은 군집 내 셀들의 호모그래피 행렬의 평균값, 최빈값, 중앙값 등에 기초하여 상기 대표 호모그래피 행렬을 생성할 수 있으나, 이에 한정되는 것은 아니다.
다시 도 16을 설명한다.
이미지 편위 수정 방법은, 획득된 편위 수정 정보에 기초하여 각 군집을 기준으로 편위 수정된 이미지를 제공하는 단계(S520)를 포함할 수 있다.
도 22를 함께 참조하면, 이미지 변환 모듈(132)은 이미지(20)의 군집들 중 편위 수정을 수행할 군집에 대해 생성된 대표 호모그래피 행렬에 기초하여, 이미지(20)에 대한 호모그래피 변환을 수행함으로써 편위 수정된 이미지를 제공할 수 있다.
실시 예에 따라, 편위 수정을 수행할 군집이 복수 개인 경우 대표 호모그래피 행렬 또한 복수 개일 수 있다. 이 경우, 이미지 변환 모듈(132)은 복수의 대표 호모그래피 행렬 각각을 이용하여 이미지(20)에 대한 호모그래피 변환을 복수 회 수행함으로써, 각 군집을 기준으로 편위 수정된 이미지(31, 32)를 제공할 수 있다.
구체적으로 이미지(20) 내에 편위 수정을 수행할 제1 군집(21) 및 제2 군집(22)이 존재하는 경우, 이미지 변환 모듈(132)은 제1 군집(21)의 대표 호모그래피 행렬에 기초한 호모그래피 변환을 통해, 편위 수정된 제1 이미지(31)를 제공할 수 있다. 제1 이미지(31)를 살펴보면, 제1 군집(21)에 해당하는 영역이 평활화된 것을 알 수 있다. 또한, 이미지 변환 모듈(132)은 제2 군집(22)의 대표 호모그래피 행렬에 기초한 호모그래피 변환을 통해, 편위 수정된 제2 이미지(32)를 제공할 수 있다. 제2 이미지(32)를 살펴보면, 제2 군집(22)에 해당하는 영역이 평활화된 것을 알 수 있다.
본 개시의 실시 예들에 따르면, 이미지 편위 수정 시스템(1400)은 유사한 왜곡 특성을 갖는 픽셀들을 군집화하고, 각 군집을 기준으로 편위 수정된 이미지들을 제공함으로써, 이미지 내에 다양한 왜곡 특성이 존재하는 경우에도 원활하고 효율적인 편위 수정 기능을 제공할 수 있다.
도 23은 본 개시의 예시적 실시 예들에 따른 이미지 편위 수정 방법을 수행하는 디바이스의 개략적인 블록도이다.
도 23을 참조하면, 본 개시의 실시 예에 따른 디바이스(2300)는 도 1 및/또는 도 14에서 상술한 이미지 편위 수정 시스템(100, 1400)을 구성하는 적어도 하나의 컴퓨팅 장치 중 어느 하나에 대응할 수 있다. 이 경우, 디바이스(2300)는 본 명세서에서 상술한 이미지의 왜곡 특성 추정 동작, 추정된 왜곡 특성에 기초한 편위 수정 정보 획득 및 상기 편위 수정 정보에 기초하여 편위 수정된 이미지를 제공하는 동작을 수행하는 디바이스일 수 있다. 또한, 디바이스(2300)는 추정된 왜곡 특성에 기초한 편위 수정 정보 획득 및 군집화 동작, 및 각 군집을 기준으로 편위 수정된 이미지들을 제공하는 동작을 수행하는 디바이스에 해당할 수 있다.
이러한 디바이스(2300)는 프로세서(2310) 및 메모리(2320)를 포함할 수 있다. 다만, 디바이스(2300)의 구성 요소가 전술한 예에 한정되는 것은 아니다. 예를 들어, 디바이스(2300)는 전술한 구성 요소들보다 더 많은 구성 요소를 포함하거나 더 적은 구성 요소를 포함할 수 있다. 또한, 프로세서(2310)는 적어도 하나일 수 있으며, 메모리(2320) 또한 적어도 하나일 수 있다. 또한, 프로세서(2310) 및 메모리(2320) 중 둘 이상이 하나의 칩으로 결합된 형태일 수도 있다.
일 실시 예에 따라, 프로세서(2310)는 상술한 왜곡 특성 추정 모듈(110, 1410), 편위 수정 정보 생성 모듈(120, 1420), 이미지 변환 모듈(130, 1430), 및 학습 모듈(150, 1450) 중 적어도 하나에 대응하거나, 상기 모듈들 중 적어도 하나를 실행 또는 제어할 수 있다.
이러한 프로세서(2310)는 CPU, AP(application processor), 집적 회로, 마이크로컴퓨터, ASIC(application specific integrated circuit), FPGA(field programmable gate array), 및/또는 NPU(neural processing unit) 등의 하드웨어를 포함할 수 있다.
본 개시의 일 실시 예에 따르면, 메모리(2320)는 디바이스(2300)의 동작에 필요한 프로그램 및 데이터를 저장할 수 있다.
또한, 메모리(2320)는 프로세서(2310)를 통해 생성되거나 획득된 데이터 중 적어도 하나를 저장할 수 있다. 실시 예에 따라, 메모리(2320)는 왜곡 특성 추정 모듈(110, 1410), 편위 수정 정보 생성 모듈(120, 1420), 이미지 변환 모듈(130, 1430), 및/또는 학습 모듈(150, 1450)과 관련된 데이터, 명령어, 알고리즘 등을 저장할 수 있다. 또한, 메모리(2320)는 도 1 및/또는 도 14의 데이터베이스(140, 1440)를 포함하는 개념으로 이해될 수도 있다.
메모리(2320)는 롬(ROM), 램(RAM), 플래시 메모리, SSD, HDD 등의 저장 매체 또는 저장 매체들의 조합으로 구성될 수 있다.
상기한 실시 예들의 설명은 본 개시의 더욱 철저한 이해를 위하여 도면을 참조로 예를 든 것들에 불과하므로, 본 개시의 기술적 사상을 한정하는 의미로 해석되어서는 안될 것이다.
또한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 개시의 기본적 원리를 벗어나지 않는 범위 내에서 다양한 변화와 변경이 가능함은 명백하다 할 것이다.

Claims (16)

  1. 입력된 이미지를 복수의 셀들로 분할하고, 분할된 복수의 셀들 각각의 왜곡 특성을 추정하는 왜곡 특성 추정 모듈;
    추정된 왜곡 특성 및 편위 수정(rectification)을 위한 기준 정보에 기초하여, 상기 복수의 셀들 각각의 편위 수정 정보를 생성하는 편위 수정 정보 생성 모듈; 및
    생성된 편위 수정 정보에 기초하여 상기 복수의 셀들 각각에 대한 편위 수정 및 편위 수정된 셀들의 정렬을 위한 파라미터를 획득하고, 획득된 파라미터에 기초하여 상기 입력된 이미지에 대한 편위 수정을 수행하는 이미지 변환 모듈을 포함하는,
    이미지 편위 수정 시스템.
  2. 제1항에 있어서,
    상기 왜곡 특성 추정 모듈은,
    상기 분할된 복수의 셀들 각각에 대해, 셀에 포함된 어느 하나의 픽셀을 중심으로 상기 셀의 왜곡 특성을 나타내는 다각형을 추정하도록 학습된 딥러닝 기반의 네트워크를 포함하는,
    이미지 편위 수정 시스템.
  3. 제2항에 있어서,
    상기 기준 정보는 왜곡이 존재하지 않는 상태에 대응하는 기준 다각형의 꼭짓점 좌표들을 포함하고,
    상기 편위 수정 정보 생성 모듈은,
    상기 복수의 셀들 각각에 대해 추정된 다각형의 꼭짓점 좌표들과, 상기 기준 다각형의 꼭짓점 좌표들 간의 차이에 기초하여 상기 편위 수정 정보를 생성하는,
    이미지 편위 수정 시스템.
  4. 제3항에 있어서,
    상기 편위 수정 정보 생성 모듈은,
    상기 입력된 이미지의 초점 위치에 대한 정보가 존재하는 경우, 상기 초점 위치에 기초하여 계산되는 종횡비가 적용된 기준 다각형의 꼭짓점 좌표들을 획득하고,
    상기 복수의 셀들 각각에 대해 추정된 다각형의 꼭짓점 좌표들과, 상기 종횡비가 적용된 기준 다각형의 꼭짓점 좌표들 간의 차이에 기초하여 상기 편위 수정 정보를 생성하는,
    이미지 편위 수정 시스템.
  5. 제3항에 있어서,
    상기 편위 수정 정보 생성 모듈은,
    상기 복수의 셀들 중 제1 셀에 대해 추정된 제1 다각형의 제1 변과, 상기 입력된 이미지를 기 설정된 각도만큼 회전시킨 이미지 중 상기 제1 셀에 대응하는 제2 셀에 대해 추정된 제2 다각형의 변들 중 상기 제1 변에 대응하는 제2 변 사이의 기울기 차이에 기초한 신뢰도를 추정하고,
    추정된 신뢰도가 기준치 이상인 경우 상기 제1 셀을 편위 수정 동작이 수행될 셀로 결정하고,
    상기 신뢰도는 상기 기울기 차이가 상기 기 설정된 각도에 가까울수록 높은,
    이미지 편위 수정 시스템.
  6. 제3항에 있어서,
    상기 복수의 셀들 각각에 대해 추정된 다각형의 꼭짓점 좌표들과, 상기 기준 다각형의 꼭짓점 좌표들을 저장하는 데이터베이스를 더 포함하는,
    이미지 편위 수정 시스템.
  7. 제3항에 있어서,
    상기 편위 수정 정보는 호모그래피 행렬을 포함하고,
    상기 이미지 변환 모듈은,
    상기 복수의 셀들 각각의 호모그래피 행렬에 기초하여, 상기 복수의 셀들 각각에 대한 호모그래피 변환을 수행하는,
    이미지 편위 수정 시스템.
  8. 제7항에 있어서,
    상기 이미지 변환 모듈은,
    상기 호모그래피 변환된 복수의 셀들 각각에 대해, 인접 변들이 접하도록 상기 복수의 셀들을 변형함으로써 상기 복수의 셀들을 정렬하기 위한 상기 파라미터를 산출하고,
    상기 파라미터는, 상기 입력된 이미지의 셀들의 픽셀들 각각의 편위 수정을 위해 이동되는 위치를 나타내는 값을 포함하는,
    이미지 편위 수정 시스템.
  9. 제8항에 있어서,
    상기 이미지 변환 모듈은,
    상기 파라미터를 이용한 barycentric 변환을 통해 상기 입력된 이미지에 대한 편위 수정을 수행하는,
    이미지 편위 수정 시스템.
  10. 제9항에 있어서,
    상기 이미지 변환 모듈은,
    편위 수정된 이미지에 대한 low rank texture 변환을 수행하는,
    이미지 편위 수정 시스템.
  11. 입력된 이미지를 복수의 셀들로 분할하고, 분할된 복수의 셀들 각각에 대한 왜곡 특성을 추정하는 단계;
    추정된 왜곡 특성 및 편위 수정(rectification)을 위한 기준 정보에 기초하여, 상기 복수의 셀들 각각의 편위 수정 정보를 생성하는 단계;
    생성된 편위 수정 정보에 기초하여 상기 복수의 셀들 각각의 편위 수정, 및 편위 수정된 셀들의 정렬을 위한 파라미터를 획득하는 단계; 및
    획득된 파라미터에 기초하여, 상기 입력된 이미지에 대한 편위 수정을 수행하는 단계를 포함하는,
    이미지 편위 수정 방법.
  12. 제11항에 있어서,
    상기 왜곡 특성을 추정하는 단계는,
    상기 복수의 셀들 각각에 대해, 셀에 포함된 어느 하나의 픽셀을 중심으로 상기 셀의 왜곡 특성을 나타내는 다각형을 추정하는 단계를 포함하는,
    이미지 편위 수정 방법.
  13. 제12항에 있어서,
    상기 기준 정보는 왜곡이 존재하지 않는 상태에 대응하는 기준 다각형의 꼭짓점 좌표들을 포함하고,
    상기 편위 수정 정보를 생성하는 단계는,
    상기 복수의 셀들 각각에 대해 추정된 다각형의 꼭짓점 좌표들과, 상기 기준 다각형의 꼭짓점 좌표들 간의 차이에 기초하여 상기 편위 수정 정보를 생성하는 단계를 포함하는,
    이미지 편위 수정 방법.
  14. 제13항에 있어서,
    상기 편위 수정 정보를 생성하는 단계는,
    상기 입력된 이미지의 초점 위치에 대한 정보가 존재하는 경우, 상기 초점 위치에 기초하여 계산되는 종횡비가 적용된 기준 다각형의 꼭짓점 좌표들을 획득하는 단계; 및
    상기 복수의 셀들 각각에 대해 추정된 다각형의 꼭짓점 좌표들과, 상기 종횡비가 적용된 기준 다각형의 꼭짓점 좌표들 간의 차이에 기초하여 상기 편위 수정 정보를 생성하는 단계를 포함하는,
    이미지 편위 수정 방법.
  15. 제13항에 있어서,
    상기 편위 수정 정보는 호모그래피 행렬을 포함하고,
    상기 파라미터를 획득하는 단계는,
    상기 복수의 셀들 각각의 호모그래피 행렬에 기초하여, 상기 복수의 셀들 각각에 대한 호모그래피 변환을 수행하는 단계; 및
    상기 호모그래피 변환된 복수의 셀들 각각에 대해, 인접 변들이 접하도록 상기 복수의 셀들을 변형함으로써 상기 복수의 셀들을 정렬하기 위한 상기 파라미터를 획득하는 단계를 포함하고,
    상기 파라미터는, 상기 입력된 이미지의 셀들의 픽셀들 각각의 편위 수정을 위해 이동되는 위치를 나타내는 값을 포함하는,
    이미지 편위 수정 방법.
  16. 제11항에 있어서,
    상기 편위 수정을 수행하는 단계는,
    상기 파라미터를 이용한 barycentric 변환을 통해 상기 입력된 이미지에 대한 편위 수정을 수행하는 단계; 및
    편위 수정된 이미지에 대한 low rank texture 변환을 수행하는 단계를 포함하는,
    이미지 편위 수정 방법.
PCT/KR2021/010149 2021-05-10 2021-08-03 이미지의 편위 수정 방법 및 시스템 Ceased WO2022239907A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/290,230 US20240394854A1 (en) 2021-05-10 2021-08-03 Method and system for rectifying image

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0060064 2021-05-10
KR1020210060064A KR102440898B1 (ko) 2021-05-10 2021-05-10 이미지의 편위 수정 방법 및 시스템
KR1020210065612A KR102450166B1 (ko) 2021-05-21 2021-05-21 이미지의 편위 수정 방법 및 시스템
KR10-2021-0065612 2021-05-21

Publications (1)

Publication Number Publication Date
WO2022239907A1 true WO2022239907A1 (ko) 2022-11-17

Family

ID=84029222

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010149 Ceased WO2022239907A1 (ko) 2021-05-10 2021-08-03 이미지의 편위 수정 방법 및 시스템

Country Status (2)

Country Link
US (1) US20240394854A1 (ko)
WO (1) WO2022239907A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121033241A (zh) * 2025-08-13 2025-11-28 上海秉匠信息科技有限公司 一种高效的倾斜摄影单体化渲染方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12591847B2 (en) * 2022-10-11 2026-03-31 Walmart Apollo, Llc Systems and methods of transforming image data to product storage facility location information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150142812A (ko) * 2014-06-11 2015-12-23 삼성전자주식회사 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서
KR101794993B1 (ko) * 2016-09-26 2017-11-07 현대오트론 주식회사 영상 왜곡 보정 장치 및 방법
KR101931819B1 (ko) * 2012-12-31 2018-12-26 (주)지오투정보기술 영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템
KR20210037620A (ko) * 2020-01-20 2021-04-06 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 왜곡된 문서 이미지의 교정 방법과 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101931819B1 (ko) * 2012-12-31 2018-12-26 (주)지오투정보기술 영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템
KR20150142812A (ko) * 2014-06-11 2015-12-23 삼성전자주식회사 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서
KR101794993B1 (ko) * 2016-09-26 2017-11-07 현대오트론 주식회사 영상 왜곡 보정 장치 및 방법
KR20210037620A (ko) * 2020-01-20 2021-04-06 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 왜곡된 문서 이미지의 교정 방법과 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
K. SHIN: "The Correction of Lens Distortion Based on Image Division Using Artificial Neural Network", JOURNAL OF THE KOREA SOCIETY OF COMPUTER AND INFORMATION, vol. 14, no. 4, 1 April 2009 (2009-04-01), pages 31 - 38, XP055724230 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121033241A (zh) * 2025-08-13 2025-11-28 上海秉匠信息科技有限公司 一种高效的倾斜摄影单体化渲染方法

Also Published As

Publication number Publication date
US20240394854A1 (en) 2024-11-28

Similar Documents

Publication Publication Date Title
EP4071713A1 (en) Parameter calibration method and apapratus
EP3417425A1 (en) Leveraging multi cues for fine-grained object classification
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
CN106204574A (zh) 基于目标平面运动特征的相机位姿自标定方法
CN112132907A (zh) 一种相机标定方法、装置、电子设备及存储介质
WO2022239907A1 (ko) 이미지의 편위 수정 방법 및 시스템
WO2017099510A1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
WO2021246821A1 (ko) 얼굴 이미지 개선 방법 및 장치
CN114742705B (zh) 一种基于halcon的图像拼接方法
CN113496526A (zh) 通过多个2d相机的3d姿态检测
CN115376028A (zh) 基于稠密特征点拼接和改进型yolov 5的目标检测方法
EP3539289A1 (en) Method of projecting image onto curved projection area and projection system therefor
WO2016104842A1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
CN105654474A (zh) 基于视觉引导的机械臂定位方法及装置
CN113222997A (zh) 神经网络的生成、图像处理方法、装置、电子设备及介质
CN113834638B (zh) 视场角确定方法、装置、设备及存储介质
CN108683897B (zh) 多投影显示系统畸变的智能校正方法
CN116363209B (zh) 一种图像自动标注方法、终端及可读存储介质
WO2024090665A1 (ko) 오목 렌즈 배열을 이용한 집적 영상의 3차원 재구성 방법
CN118229795A (zh) 一种长串绝缘子紫外放电图像优化方法、设备及存储介质
CN110956664A (zh) 一种手持式三维扫描系统的相机位置实时重定位方法
CN117038554A (zh) 芯片定位方法和芯片转移方法
JP2006146760A (ja) 画像変換方法及び画像変換装置
CN114693708A (zh) 一种锚网孔同行列中心点匹配方法及系统
JP2008287338A (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21942055

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21942055

Country of ref document: EP

Kind code of ref document: A1