KR102440898B1

KR102440898B1 - Method and system for rectifying image

Info

Publication number: KR102440898B1
Application number: KR1020210060064A
Authority: KR
Inventors: 구형일; 김광진
Original assignee: 아주대학교산학협력단
Priority date: 2021-05-10
Filing date: 2021-05-10
Publication date: 2022-09-06

Abstract

An image rectification system according to an aspect of the present disclosure includes: a distortion characteristic estimation module that divides an input image into a plurality of cells and estimates distortion characteristics of each of the divided cells; a deviation correction information generation module for generating rectification information of each of the plurality of cells based on the estimated distortion characteristics and reference information for rectification; and an image conversion module for obtaining parameters for alignment of the rectified cells and rectification for each of the plurality of cells based on the generated rectification information, and performing rectification on the input image based on the obtained parameters.

Description

METHOD AND SYSTEM FOR RECTIFYING IMAGE

본 개시(disclosure)의 기술적 사상은 이미지의 편위 수정 방법 및 시스템에 관한 것이다.The technical idea of the present disclosure relates to a method and system for correcting deviation of an image.

최근에는 다양한 산업 분야에 카메라가 사용되고, 카메라를 통해 획득한 이미지 내의 문자나 객체 등을 인식하는 이미지 인식 기술이 요구되고 있다. 그러나, 카메라를 통해 획득되는 이미지에는, 카메라와 대상 간의 위치 관계나 대상 표면의 기하학적 형태로 인한 왜곡이 발생할 수 있다. 이러한 왜곡은 인식 정확도를 떨어뜨리는 요인이 되는 바, 이미지 인식의 수행 전에 상기 이미지에 포함된 왜곡을 제거하는 편위 수정(rectification) 과정이 필요할 수 있다.Recently, cameras are used in various industrial fields, and image recognition technology for recognizing characters or objects in images acquired through the camera is required. However, distortion may occur in the image acquired through the camera due to the positional relationship between the camera and the object or the geometric shape of the object surface. Since such distortion is a factor of lowering recognition accuracy, a rectification process for removing distortion included in the image may be required before image recognition is performed.

한편, 종래의 이미지 편위 수정 방법은 대부분 이미지 당 하나의 왜곡 특성을 추정하여 편위 수정을 수행하는 바, 이미지 내에 다양한 왜곡 특성이 존재하는 경우에는 올바른 편위 수정을 수행하지 못하는 문제점을 갖는다.On the other hand, most conventional image deviation correction methods perform deviation correction by estimating one distortion characteristic per image. However, when various distortion characteristics exist in an image, correct deviation correction cannot be performed.

본 발명이 해결하고자 하는 일 과제는, 이미지 내에 존재하는 다양한 형태의 왜곡에 대한 편위 수정을 수행하는 방법을 구현하는 것이다.One problem to be solved by the present invention is to implement a method of performing deviation correction for various types of distortion existing in an image.

상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상에 의한 일 양태(aspect)에 따른 이미지 편위 수정 시스템은, 입력된 이미지를 복수의 셀들로 분할하고, 분할된 복수의 셀들 각각의 왜곡 특성을 추정하는 왜곡 특성 추정 모듈, 추정된 왜곡 특성 및 편위 수정을 위한 기준 정보에 기초하여, 상기 복수의 셀들 각각의 편위 수정 정보를 생성하는 편위 수정 정보 생성 모듈, 및 생성된 편위 수정 정보에 기초하여 상기 복수의 셀들 각각에 대한 편위 수정 및 편위 수정된 셀들의 정렬을 위한 파라미터를 획득하고, 획득된 파라미터에 기초하여 상기 입력된 이미지에 대한 편위 수정을 수행하는 이미지 변환 모듈을 포함한다.In order to achieve the above object, an image deviation correction system according to an aspect according to the technical idea of the present disclosure divides an input image into a plurality of cells, and adjusts distortion characteristics of each of the divided cells. an estimating distortion characteristic estimating module, an excursion correction information generating module configured to generate deviation correction information of each of the plurality of cells based on the estimated distortion characteristic and reference information for deviation correction, and the generated deviation correction information based on the and an image conversion module that acquires parameters for deviation correction and alignment of the deviation-corrected cells for each of a plurality of cells, and performs deviation correction on the input image based on the obtained parameters.

일 실시 예에 따라, 상기 왜곡 특성 추정 모듈은 상기 분할된 복수의 셀들 각각에 대해, 셀에 포함된 어느 하나의 픽셀을 중심으로 상기 셀의 왜곡 특성을 나타내는 다각형을 추정하도록 학습된 딥러닝 기반의 네트워크를 포함할 수 있다.According to an embodiment, the distortion characteristic estimation module is based on deep learning learned to estimate a polygon representing the distortion characteristic of the cell with respect to each of the divided plurality of cells, centering on any one pixel included in the cell. It may include networks.

일 실시 예에 따라, 상기 기준 정보는 왜곡이 존재하지 않는 상태에 대응하는 기준 다각형의 꼭짓점 좌표들을 포함하고, 상기 편위 수정 정보 생성 모듈은, 상기 복수의 셀들 각각에 대해 추정된 다각형의 꼭짓점 좌표들과, 상기 기준 다각형의 꼭짓점 좌표들 간의 차이에 기초하여 상기 편위 수정 정보를 생성할 수 있다.According to an embodiment, the reference information includes vertex coordinates of a reference polygon corresponding to a state in which distortion does not exist, and the deviation correction information generating module includes the vertex coordinates of the polygon estimated for each of the plurality of cells. and the deviation correction information may be generated based on a difference between the vertex coordinates of the reference polygon.

일 실시 예에 따라, 상기 편위 수정 정보 생성 모듈은 상기 입력된 이미지의 초점 위치에 대한 정보가 존재하는 경우, 상기 초점 위치에 기초하여 계산되는 종횡비가 적용된 기준 다각형의 꼭짓점 좌표들을 획득하고, 상기 복수의 셀들 각각에 대해 추정된 다각형의 꼭짓점 좌표들과, 상기 종횡비가 적용된 기준 다각형의 꼭짓점 좌표들 간의 차이에 기초하여 상기 편위 수정 정보를 생성할 수 있다.According to an embodiment, the deviation correction information generating module obtains vertex coordinates of a reference polygon to which an aspect ratio calculated based on the focal position is applied, when information on the focal position of the input image exists, and the plurality of The deviation correction information may be generated based on a difference between the vertex coordinates of the polygon estimated for each cell of , and the vertex coordinates of the reference polygon to which the aspect ratio is applied.

일 실시 예에 따라, 상기 편위 수정 정보 생성 모듈은, 상기 복수의 셀들 중 제1 셀에 대해 추정된 제1 다각형의 제1 변과, 상기 입력된 이미지를 기 설정된 각도만큼 회전시킨 이미지 중 상기 제1 셀에 대응하는 제2 셀에 대해 추정된 제2 다각형의 변들 중 상기 제1 변에 대응하는 제2 변 사이의 기울기 차이에 기초한 신뢰도를 추정하고, 추정된 신뢰도가 기준치 이상인 경우 상기 제1 셀을 편위 수정 동작이 수행될 셀로 결정하고, 상기 신뢰도는 상기 기울기 차이가 상기 기 설정된 각도에 가까울수록 높을 수 있다.According to an embodiment, the deviation correction information generating module may be configured to include a first side of a first polygon estimated with respect to a first cell among the plurality of cells, and the second image obtained by rotating the input image by a preset angle. Reliability is estimated based on a difference in inclination between a second side corresponding to the first side among sides of a second polygon estimated for a second cell corresponding to one cell, and when the estimated reliability is equal to or greater than a reference value, the first cell is determined as a cell in which the deviation correction operation is to be performed, and the reliability may be higher as the inclination difference is closer to the preset angle.

일 실시 예에 따라, 상기 이미지 편위 수정 시스템은 상기 복수의 셀들 각각에 대해 추정된 다각형의 꼭짓점 좌표들과, 상기 기준 다각형의 꼭짓점 좌표들을 저장하는 데이터베이스를 더 포함할 수 있다.According to an embodiment, the image deviation correction system may further include a database storing vertex coordinates of a polygon estimated for each of the plurality of cells and vertex coordinates of the reference polygon.

일 실시 예에 따라, 상기 편위 수정 정보는 호모그래피 행렬을 포함하고, 상기 이미지 변환 모듈은, 상기 복수의 셀들 각각의 호모그래피 행렬에 기초하여, 상기 복수의 셀들 각각에 대한 호모그래피 변환을 수행할 수 있다.According to an embodiment, the deviation correction information includes a homography matrix, and the image conversion module performs homography transformation on each of the plurality of cells based on the homography matrix of each of the plurality of cells. can

일 실시 예에 따라, 상기 이미지 변환 모듈은 상기 호모그래피 변환된 복수의 셀들 각각에 대해, 인접 변들이 접하도록 상기 복수의 셀들을 변형함으로써 상기 복수의 셀들을 정렬하기 위한 상기 파라미터를 산출하고, 상기 파라미터는, 상기 입력된 이미지의 셀들의 픽셀들 각각의 편위 수정을 위해 이동되는 위치를 나타내는 값을 포함할 수 있다.According to an embodiment, the image conversion module calculates the parameter for aligning the plurality of cells by transforming the plurality of cells so that adjacent sides are in contact with each of the plurality of homography-transformed cells, and The parameter may include a value indicating a position to which each pixel of the cells of the input image is moved for deviation correction.

일 실시 예에 따라, 상기 이미지 변환 모듈은 상기 파라미터를 이용한 barycentric 변환을 통해 상기 입력된 이미지에 대한 편위 수정을 수행할 수 있다.According to an embodiment, the image conversion module may perform deviation correction on the input image through barycentric transformation using the parameter.

일 실시 예에 따라, 상기 이미지 변환 모듈은 편위 수정된 이미지에 대한 low rank texture 변환을 수행할 수 있다.According to an embodiment, the image conversion module may perform low rank texture conversion on the deviation-corrected image.

본 개시의 기술적 사상에 의한 일 양태에 따른 이미지 편위 수정 방법은, 입력된 이미지를 복수의 셀들로 분할하고, 분할된 복수의 셀들 각각에 대한 왜곡 특성을 추정하는 단계, 추정된 왜곡 특성 및 편위 수정(rectification)을 위한 기준 정보에 기초하여, 상기 복수의 셀들 각각의 편위 수정 정보를 생성하는 단계, 생성된 편위 수정 정보에 기초하여 상기 복수의 셀들 각각의 편위 수정, 및 편위 수정된 셀들의 정렬을 위한 파라미터를 획득하는 단계, 및 획득된 파라미터에 기초하여, 상기 입력된 이미지에 대한 편위 수정을 수행하는 단계를 포함한다.An image deviation correction method according to an aspect according to the technical spirit of the present disclosure includes dividing an input image into a plurality of cells, estimating distortion characteristics for each of the plurality of divided cells, and correcting the estimated distortion characteristics and deviation Based on reference information for (rectification), generating deviation correction information of each of the plurality of cells, deviation correction of each of the plurality of cells based on the generated deviation correction information, and alignment of the deviation-corrected cells obtaining a parameter for , and performing deviation correction on the input image based on the obtained parameter.

본 개시의 실시 예에 따른 이미지 편위 수정 방법은 입력된 이미지의 영역별(셀별) 왜곡 특성을 추정하고, 추정된 왜곡 특성에 따라 영역별 편위 수정을 수행함으로써, 이미지에 존재하는 다양한 형태의 왜곡들을 효과적으로 보정할 수 있다.The image deviation correction method according to an embodiment of the present disclosure estimates distortion characteristics for each region (cell-by-cell) of an input image and performs distortion correction for each region according to the estimated distortion characteristics, thereby reducing distortions of various types existing in the image. can be effectively corrected.

또한, 본 개시의 이미지 편위 수정 방법은 편위 수정된 셀들의 정렬을 위한 파라미터를 획득하고, 획득된 파라미터를 입력된 이미지에 적용하여 편위 수정을 수행하고, 다양한 변환 기법을 적용함으로써 보다 자연스럽게 편위 수정된 이미지를 제공할 수 있다.In addition, the image deviation correction method of the present disclosure obtains a parameter for alignment of the deviation-corrected cells, performs deviation correction by applying the obtained parameter to an input image, and applies various transformation techniques to achieve more natural deviation correction. You can provide an image.

본 개시의 기술적 사상에 따른 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Effects according to the technical spirit of the present disclosure are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. There will be.

본 개시에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 시스템을 통한 이미지의 편위 수정 동작이 개략적으로 도시된 도면이다.
도 2는 도 1에 도시된 이미지 편위 수정 시스템에 포함된 편위 수정 정보 생성 모듈 및 이미지 변환 모듈의 일 구성 예를 나타낸 도면이다.
도 3은 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 방법을 개략적으로 설명하기 위한 플로우차트이다.
도 4는 도 3에 도시된 왜곡 특성 추정 단계와 편위 수정 정보 획득 단계의 구체화된 일 실시 예를 나타내는 플로우차트이다.
도 5 내지 도 8은 도 4에 도시된 실시 예와 관련된 예시도들이다.
도 9는 도 3에 도시된 편위 수정 및 최적화 단계의 구체화된 일 실시 예를 나타내는 플로우차트이다.
도 10 내지 도 13은 도 9에 도시된 실시 예와 관련된 예시도들이다.
도 14는 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 방법을 수행하는 디바이스의 개략적인 블록도이다.In order to more fully understand the drawings cited in this disclosure, a brief description of each drawing is provided.
1 is a diagram schematically illustrating an image deviation correction operation through an image deviation correction system according to an exemplary embodiment of the present disclosure.
FIG. 2 is a diagram illustrating an example configuration of an deviation correction information generating module and an image conversion module included in the image deviation correction system illustrated in FIG. 1 .
3 is a flowchart schematically illustrating an image deviation correction method according to an exemplary embodiment of the present disclosure.
FIG. 4 is a flowchart illustrating a detailed embodiment of the distortion characteristic estimation step and the deviation correction information acquisition step shown in FIG. 3 .
5 to 8 are exemplary views related to the embodiment shown in FIG. 4 .
9 is a flowchart illustrating an exemplary embodiment of the deviation correction and optimization steps shown in FIG. 3 .
10 to 13 are exemplary views related to the embodiment shown in FIG. 9 .
14 is a schematic block diagram of a device performing an image deviation correction method according to an exemplary embodiment of the present disclosure.

본 개시의 기술적 사상에 따른 예시적인 실시 예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 개시의 기술적 사상을 더욱 완전하게 설명하기 위하여 제공되는 것으로, 아래의 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 아래의 실시 예들로 한정되는 것은 아니다. 오히려, 이들 실시 예들은 본 개시를 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.Exemplary embodiments according to the technical spirit of the present disclosure are provided to more completely explain the technical spirit of the present disclosure to those of ordinary skill in the art, and the following embodiments are modified in various other forms may be, and the scope of the technical spirit of the present disclosure is not limited to the following embodiments. Rather, these embodiments are provided to more fully and complete the present disclosure, and to fully convey the technical spirit of the present invention to those skilled in the art.

본 개시에서 제1, 제2 등의 용어가 다양한 부재, 영역, 층들, 부위 및/또는 구성 요소들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들, 부위 및/또는 구성 요소들은 이들 용어에 의해 한정되어서는 안 됨은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역, 부위, 또는 구성 요소를 다른 부재, 영역, 부위 또는 구성 요소와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역, 부위 또는 구성 요소는 본 개시의 기술적 사상의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역, 부위 또는 구성 요소를 지칭할 수 있다. 예를 들면, 본 개시의 권리 범위로부터 이탈되지 않은 채 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Although the terms first, second, etc. are used in this disclosure to describe various members, regions, layers, regions, and/or components, these members, parts, regions, layers, regions, and/or components refer to these terms. It is obvious that it should not be limited by These terms do not imply a specific order, upper and lower, or superiority, and are used only to distinguish one member, region, region, or component from another member, region, region, or component. Accordingly, a first member, region, region, or component to be described below may refer to a second member, region, region, or component without departing from the teachings of the present disclosure. For example, without departing from the scope of the present disclosure, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 개시의 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것이다.Unless defined otherwise, all terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the concepts of this disclosure belong, including technical and scientific terms. In addition, commonly used terms as defined in the dictionary should be construed as having a meaning consistent with their meaning in the context of the relevant technology, and unless explicitly defined herein, in an overly formal sense. shall not be interpreted.

어떤 실시 예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들면, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수도 있다.In cases where certain embodiments may be implemented differently, a specific process sequence may be performed differently from the described sequence. For example, two processes described in succession may be performed substantially simultaneously, or may be performed in an order opposite to the order described.

첨부한 도면에 있어서, 예를 들면, 제조 기술 및/또는 공차에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 개시의 기술적 사상에 의한 실시 예들은 본 개시에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면, 제조 과정에서 초래되는 형상의 변화를 포함하여야 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고, 이들에 대한 중복된 설명은 생략한다.In the accompanying drawings, variations of the illustrated shapes can be expected, for example depending on manufacturing technology and/or tolerances. Accordingly, embodiments according to the technical spirit of the present disclosure should not be construed as being limited to the specific shape of the region shown in the present disclosure, but should include, for example, a change in shape resulting from a manufacturing process. The same reference numerals are used for the same components in the drawings, and duplicate descriptions thereof are omitted.

여기에서 사용된 '및/또는' 용어는 언급된 부재들의 각각 및 하나 이상의 모든 조합을 포함한다.As used herein, the term 'and/or' includes each and every combination of one or more of the recited elements.

이하에서는 첨부한 도면들을 참조하여 본 개시의 기술적 사상에 의한 실시 예들에 대해 상세히 설명한다.Hereinafter, embodiments according to the technical spirit of the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 시스템을 통한 이미지의 편위 수정 동작이 개략적으로 도시된 도면이다. 도 2는 도 1에 도시된 이미지 편위 수정 시스템에 포함된 편위 수정 정보 생성 모듈 및 이미지 변환 모듈의 일 구성 예를 나타낸 도면이다.1 is a diagram schematically illustrating an image deviation correction operation through an image deviation correction system according to an exemplary embodiment of the present disclosure. FIG. 2 is a diagram illustrating an example configuration of an deviation correction information generating module and an image conversion module included in the image deviation correction system illustrated in FIG. 1 .

도 1을 참조하면, 본 개시의 실시 예에 따른 이미지 편위 수정 시스템(100)은, 입력된 이미지에 존재하는 왜곡 특성을 추정하여 편위 수정된 이미지를 제공하는 동작을 수행할 수 있다. 특히, 본 개시에 따른 이미지 편위 수정 시스템(100)은 입력된 이미지 내에 둘 이상의 서로 다른 형태의 왜곡이 존재하더라도, 각각의 왜곡 특성을 추정하여 하나의 편위 수정된 이미지를 효과적으로 제공할 수 있다.Referring to FIG. 1 , the image deviation correction system 100 according to an embodiment of the present disclosure may perform an operation of providing an deviation-corrected image by estimating distortion characteristics existing in an input image. In particular, the image deviation correction system 100 according to the present disclosure can effectively provide one deviation-corrected image by estimating respective distortion characteristics even when two or more different types of distortion exist in the input image.

이러한 이미지 편위 수정 시스템(100)은 적어도 하나의 컴퓨팅 장치를 포함할 수 있다. 예컨대, 상기 적어도 하나의 컴퓨팅 장치 각각은 프로세서, 메모리, 통신 인터페이스, 입력부, 및/또는 출력부 등을 포함하는 하드웨어 기반의 장치에 해당한다. 이 경우, 이미지 편위 수정 시스템(100)에 포함되는 구성들(모듈들)은 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있으며, 상기 적어도 하나의 컴퓨팅 장치에 통합 또는 분할되어 구현될 수 있다.The image deviation correction system 100 may include at least one computing device. For example, each of the at least one computing device corresponds to a hardware-based device including a processor, a memory, a communication interface, an input unit, and/or an output unit. In this case, the components (modules) included in the image deviation correction system 100 may be implemented as hardware, software, or a combination thereof, and may be implemented by being integrated or divided into the at least one computing device.

본 개시의 일 실시 예에 따른 이미지 편위 수정 시스템(100)은 왜곡 특성 추정 모듈(110), 편위 수정 정보 생성 모듈(120), 이미지 변환 모듈(130), 데이터베이스(140), 및 학습 모듈(150)을 포함할 수 있으나, 이에 한정되는 것은 아니고 보다 많거나 적은 구성을 포함할 수도 있다.The image deviation correction system 100 according to an embodiment of the present disclosure includes the distortion characteristic estimation module 110 , the deviation correction information generation module 120 , the image conversion module 130 , the database 140 , and the learning module 150 . ), but is not limited thereto, and may include more or fewer components.

왜곡 특성 추정 모듈(110)은, 입력된 이미지(10)에 존재하는 왜곡 특성을 추정할 수 있다. 상기 왜곡 특성은 카메라와 대상 간의 위치 관계에 기반하거나, 대상 표면의 기하학적 형태, 변형, 비틀림, 일그러짐 등에 기반할 수 있다. 본 개시의 실시 예에 따른 왜곡 특성 추정 모듈(110)은, 이미지(10)를 복수의 셀들로 구분하고, 셀들 각각에 대한 왜곡 특성을 추정함에 따라, 입력된 이미지(10) 내에 존재하는 서로 다른 다양한 왜곡 특성을 추정할 수 있다. 일례로, 상기 왜곡 특성 추정 모듈(110)은 추정된 왜곡 특성을 나타내는 다각형(사각형 등)의 꼭짓점에 대한 좌표 정보를 출력하도록 구현될 수 있다. 왜곡 특성 추정 모듈(110)의 구체적인 추정 동작에 대해서는 추후 도 3 내지 도 6을 통해 보다 상세히 설명하기로 한다.The distortion characteristic estimation module 110 may estimate distortion characteristics existing in the input image 10 . The distortion characteristic may be based on a positional relationship between the camera and the target, or based on a geometric shape, deformation, distortion, distortion, or the like of the target surface. The distortion characteristic estimation module 110 according to an embodiment of the present disclosure divides the image 10 into a plurality of cells and estimates distortion characteristics for each of the cells, so that different Various distortion characteristics can be estimated. As an example, the distortion characteristic estimation module 110 may be implemented to output coordinate information about a vertex of a polygon (eg, a rectangle) representing the estimated distortion characteristic. A detailed estimation operation of the distortion characteristic estimation module 110 will be described in more detail later with reference to FIGS. 3 to 6 .

일 실시 예에 따라, 왜곡 특성 추정 모듈(110)은 딥러닝 기반으로 학습된 네트워크(인공 신경망)를 포함하고, 상기 네트워크를 이용하여 입력된 이미지(10)로부터 왜곡 특성을 추정할 수 있다. 상기 네트워크는 콘볼루션 신경망(convolutional neural network (CNN))으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 상기 CNN은 하나 이상의 콘볼루션 계층(convolutional layer), 통합 계층(pooling layer), 및 완전하게 연결된 계층(fully connected layer)으로 구성될 수 있다. 상기 CNN은 이미지 등과 같이 2차원 형태를 갖는 데이터에 대해 콘볼루션(convolution) 및 풀링(pooling) 과정을 반복하면서, 상기 데이터로부터 특징들을 획득(출력 특징 맵을 획득)하고, 추출된 특징들을 이용하여 분류(classification) 과정을 수행함으로써 결과를 출력할 수 있다. According to an embodiment, the distortion characteristic estimation module 110 includes a network (artificial neural network) learned based on deep learning, and may estimate the distortion characteristic from the input image 10 using the network. The network may be implemented as a convolutional neural network (CNN), but is not limited thereto. The CNN may include one or more convolutional layers, a pooling layer, and a fully connected layer. The CNN repeats convolution and pooling processes for data having a two-dimensional shape such as an image, and acquires features from the data (obtains an output feature map), and uses the extracted features The result can be output by performing the classification process.

편위 수정 정보 생성 모듈(120)은, 왜곡 특성 추정 모듈(110)에 의해 추정된 왜곡 특성에 기초하여, 상기 입력된 이미지(10)의 편위 수정을 수행하기 위한 편위 수정 정보를 생성할 수 있다. The deviation correction information generating module 120 may generate deviation correction information for performing deviation correction of the input image 10 based on the distortion characteristic estimated by the distortion characteristic estimation module 110 .

예컨대, 편위 수정 정보 생성 모듈(120)은 상기 추정된 왜곡 특성에 대응하는 정보와, 편위 수정을 위한 기준 정보 사이의 차이에 기초하여 상기 편위 수정 정보를 생성할 수 있다. 일례로, 상기 추정된 왜곡 특성에 대응하는 정보는, 왜곡 특성을 나타내는 사각형의 꼭짓점 좌표들을 포함하고, 상기 기준 정보는 기 정의된 직사각형(또는 정사각형)의 꼭짓점 좌표들로서, 편위 수정된 직사각형, 즉 왜곡이 존재하지 않는 상태를 나타내는 직사각형의 꼭짓점 좌표들에 해당할 수 있다. 이하에서는 '편위 수정된 직사각형'을 '기준 직사각형'으로 기재하여 설명한다.For example, the deviation correction information generating module 120 may generate the deviation correction information based on a difference between the information corresponding to the estimated distortion characteristic and reference information for the deviation correction. For example, the information corresponding to the estimated distortion characteristic includes vertex coordinates of a rectangle indicating the distortion characteristic, and the reference information is a vertex coordinates of a predefined rectangle (or square), which is an offset-corrected rectangle, that is, distortion. This may correspond to the coordinates of the vertices of the rectangle indicating the non-existent state. Hereinafter, a 'deviation-corrected rectangle' will be described as a 'reference rectangle'.

이미지 변환 모듈(130)은 상기 생성된 편위 수정 정보에 기초하여 상기 입력된 이미지(10)를 변환함으로써, 편위 수정된 이미지(15)를 제공할 수 있다.The image conversion module 130 may provide the deviation-corrected image 15 by converting the input image 10 based on the generated deviation correction information.

편위 수정 정보 생성 모듈(120) 및 이미지 변환 모듈(130)에 대한 구체적인 구현 예에 대해 이하 도 2를 참조하여 설명한다.A specific implementation example of the deviation correction information generating module 120 and the image conversion module 130 will be described below with reference to FIG. 2 .

도 2를 참조하면, 편위 수정 정보 생성 모듈(120)은 종횡비 적용 모듈(122), 호모그래피 행렬 생성 모듈(124), 및 신뢰도 추정 모듈(126)을 포함할 수 있다. 실시 예에 따라 종횡비 적용 모듈(122) 및/또는 신뢰도 추정 모듈(126)은 포함되지 않을 수도 있다.Referring to FIG. 2 , the deviation correction information generation module 120 may include an aspect ratio application module 122 , a homography matrix generation module 124 , and a reliability estimation module 126 . According to an embodiment, the aspect ratio application module 122 and/or the reliability estimation module 126 may not be included.

종횡비 적용 모듈(122)은, 입력된 이미지(10)에 대한 초점위치 정보가 존재하는 경우, 상기 초점위치 정보에 기초하여 상기 기준 정보를 획득할 수 있다. 구체적으로, 종횡비 적용 모듈(122)은 왜곡 특성을 나타내는 사각형의 꼭짓점 좌표들과 상기 입력된 이미지(10)의 초점위치에 기초하여, 기준 직사각형에 적용할 종횡비를 계산하고, 상기 계산된 종횡비를 적용한 기준 직사각형의 꼭짓점들의 좌표(기준 정보)를 획득할 수 있다.The aspect ratio application module 122 may obtain the reference information based on the focal position information when there is focal position information for the input image 10 . Specifically, the aspect ratio application module 122 calculates the aspect ratio to be applied to the reference rectangle based on the vertex coordinates of the rectangle indicating the distortion characteristic and the focal position of the input image 10, and applies the calculated aspect ratio. Coordinates (reference information) of vertices of the reference rectangle may be obtained.

한편, 입력된 이미지(10)에 대한 초점위치 정보가 존재하지 않는 경우, 상기 기준 정보는 기 정의된 종횡비를 갖는 기준 직사각형의 꼭짓점들의 좌표에 해당할 수 있다.Meanwhile, when there is no focal position information for the input image 10 , the reference information may correspond to coordinates of vertices of a reference rectangle having a predefined aspect ratio.

호모그래피 행렬 생성 모듈(124)은 상기 왜곡 특성과 상기 기준 정보에 기초하여, 상기 왜곡 특성에 대한 편위 수정을 위한 편위 수정 정보를 생성할 수 있다. 예컨대, 상기 편위 수정 정보는, 상기 추정된 왜곡 특성을 나타내는 사각형과 상기 기준 직사각형 간의 차이에 기초하여 계산되는 호모그래피(homography) 행렬에 해당할 수 있다. 호모그래피 행렬은 서로 다른 시점(viewpoint)을 기준으로 형성된 두 개의 이미지 간의 변환을 위한 정보에 해당한다. 본 개시의 실시 예에 따르면, 입력된 이미지(10)로부터 서로 다른 복수의 왜곡 특성들이 추정되는 경우, 상기 복수의 왜곡 특성들 각각에 대한 서로 다른 호모그래피 행렬이 생성될 수 있을 것이다.The homography matrix generation module 124 may generate deviation correction information for correcting the deviation of the distortion characteristic based on the distortion characteristic and the reference information. For example, the deviation correction information may correspond to a homography matrix calculated based on a difference between a rectangle representing the estimated distortion characteristic and the reference rectangle. The homography matrix corresponds to information for transformation between two images formed based on different viewpoints. According to an embodiment of the present disclosure, when a plurality of different distortion characteristics are estimated from the input image 10 , different homography matrices for each of the plurality of distortion characteristics may be generated.

신뢰도 추정 모듈(126)은, 생성된 편위 수정 정보(예컨대 호모그래피 행렬)에 대한 신뢰도를 추정함으로써, 상기 편위 수정 정보에 대응하는 픽셀 또는 셀에 대한 편위 수정의 수행 여부를 결정할 수 있다. 예컨대, 신뢰도 추정 모듈(126)은 입력된 이미지(10)를 소정 각도(예컨대 45°등) 회전시키고, 회전된 이미지에 대한 왜곡 특성을 추정할 수 있다. 회전된 이미지에 대한 왜곡 특성의 추정은 왜곡 특성 추정 모듈(110) 또는 신뢰도 추정 모듈(126)에 의해 수행될 수 있다. 신뢰도 추정 모듈(126)은 회전 전 이미지(10)에 대해 추정된 왜곡 특성과, 회전된 이미지에 대해 추정된 왜곡 특성 간의 차이에 기초하여 신뢰도를 추정할 수 있다. 신뢰도 추정 모듈(126)은 추정된 신뢰도가 기준치 이상인 경우, 대응하는 픽셀 또는 셀에 대해 편위 수정을 수행하도록 결정하고, 신뢰도가 기준치 미만인 경우, 대응하는 픽셀 또는 셀에 대해 편위 수정을 수행하지 않도록 결정할 수 있다. 신뢰도 추정 모듈(126)의 구체적인 동작과 관련된 예는 추후 도 8을 통해 설명하기로 한다.The reliability estimation module 126 may determine whether to perform deviation correction on a pixel or cell corresponding to the deviation correction information by estimating the reliability of the generated deviation correction information (eg, a homography matrix). For example, the reliability estimation module 126 may rotate the input image 10 by a predetermined angle (eg, 45°, etc.) and estimate distortion characteristics of the rotated image. The estimation of the distortion characteristic of the rotated image may be performed by the distortion characteristic estimation module 110 or the reliability estimation module 126 . The reliability estimation module 126 may estimate reliability based on a difference between the distortion characteristic estimated with respect to the image 10 before rotation and the distortion characteristic estimated with respect to the rotated image. The confidence estimation module 126 determines to perform the deviation correction on the corresponding pixel or cell when the estimated confidence is greater than or equal to the reference value, and determines not to perform the deviation correction on the corresponding pixel or cell when the confidence is less than the reference value. can An example related to a specific operation of the reliability estimation module 126 will be described later with reference to FIG. 8 .

이미지 변환 모듈(130)은 호모그래피 변환 모듈(132) 및 이미지 최적화 모듈(134)을 포함할 수 있다. The image conversion module 130 may include a homography conversion module 132 and an image optimization module 134 .

호모그래피 변환 모듈(132)은, 편위 수정 정보 생성 모듈(120)에 의해 생성된 셀들 각각의 편위 수정 정보(호모그래피 행렬)에 기초하여, 셀들 각각에 대한 호모그래피 변환을 수행할 수 있다. 그 결과, 셀들 각각에 대한 왜곡 특성은 제거될 수 있으나, 셀들의 변형에 의해 셀들 간에 이격이 발생할 수 있다.The homography transformation module 132 may perform homography transformation on each of the cells based on the deviation correction information (homography matrix) of each of the cells generated by the deviation correction information generation module 120 . As a result, the distortion characteristic of each of the cells may be removed, but separation between the cells may occur due to the deformation of the cells.

이미지 최적화 모듈(134)은 호모그래피 변환에 따라 이격된 셀들의 정렬을 위한 파라미터를 추정 또는 산출할 수 있다. 예컨대 이미지 최적화 모듈(134)은 이격된 셀들이 자연스럽게 연결되도록 하기 위해, 셀들 각각의 위치, 크기, 및/또는 이동과 관련된 파라미터를 추정 또는 산출할 수 있다.The image optimization module 134 may estimate or calculate a parameter for aligning cells spaced apart according to the homography transformation. For example, the image optimization module 134 may estimate or calculate parameters related to the position, size, and/or movement of each of the cells so that the spaced cells are naturally connected.

이미지 변환 모듈(130)은 추정 또는 산출된 파라미터에 기초하여, 입력된 이미지(10)의 픽셀값들을 변경하고, 렌더링 등의 과정을 통해 편위 수정된 이미지(15)를 제공할 수 있다.The image conversion module 130 may change pixel values of the input image 10 based on the estimated or calculated parameter, and provide the deviation-corrected image 15 through a process such as rendering.

다시 도 1을 참조하면, 데이터베이스(140)는 입력된 이미지(10) 내의 적어도 일부의 픽셀 각각에 대해 추정된 왜곡 특성을 나타내는 데이터(사각형의 꼭짓점 좌표들), 및 상기 적어도 일부의 픽셀 각각에 대한 편위 수정을 위한 기준 정보(기준 직사각형의 꼭짓점 좌표들)를 저장하도록 구현될 수 있다. Referring back to FIG. 1 , the database 140 includes data representing distortion characteristics estimated for each of at least some pixels in the input image 10 (vertex coordinates of a rectangle), and for each of the at least some pixels It may be implemented to store reference information (vertex coordinates of a reference rectangle) for deviation correction.

학습 모듈(150)은, 왜곡 특성 추정 모듈(110)에 포함된 네트워크의 학습 동작을 수행할 수 있다. 학습 모듈(150)은 상기 네트워크의 학습을 위한 목적 함수를 포함할 수 있다. 예컨대, 학습 모듈(150)은 학습용 이미지(입력된 이미지 등)에 대한 왜곡 특성의 추정 결과와, 상기 왜곡 특성에 대한 정답 데이터 사이의 차이에 기초하여 상기 네트워크에 포함된 노드들 간의 가중치(weight) 등을 변경함으로써, 상기 네트워크의 학습을 수행할 수 있다. 한편, 본 명세서에서 사용되는 '학습'은 러닝(learning), 훈련(또는 트레이닝(training))과 동일한 의미일 수 있으며, 학습을 수행한다는 의미는 네트워크가 학습을 수행하거나, 네트워크를 학습시키는 의미 모두를 포함할 수 있다.The learning module 150 may perform a learning operation of the network included in the distortion characteristic estimation module 110 . The learning module 150 may include an objective function for learning the network. For example, the learning module 150 is configured to calculate a weight between nodes included in the network based on a difference between an estimation result of a distortion characteristic for a training image (input image, etc.) and correct answer data for the distortion characteristic. By changing the above, learning of the network can be performed. On the other hand, 'learning' used in this specification may have the same meaning as learning and training (or training), and the meaning of performing learning means that the network performs learning or learns the network. may include.

이하 도 3 내지 도 13을 참조하여, 본 개시의 실시 예들에 따른 이미지 편위 수정 방법을 구체적으로 설명하기로 한다.Hereinafter, an image deviation correction method according to embodiments of the present disclosure will be described in detail with reference to FIGS. 3 to 13 .

도 3은 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 방법을 개략적으로 설명하기 위한 플로우차트이다. 도 4는 도 3에 도시된 왜곡 특성 추정 단계와 편위 수정 정보 획득 단계의 구체화된 일 실시 예를 나타내는 플로우차트이다. 도 5 내지 도 8은 도 4에 도시된 실시 예와 관련된 예시도들이다. 3 is a flowchart schematically illustrating an image deviation correction method according to an exemplary embodiment of the present disclosure. FIG. 4 is a flowchart illustrating a detailed embodiment of the distortion characteristic estimation step and the deviation correction information acquisition step shown in FIG. 3 . 5 to 8 are exemplary views related to the embodiment shown in FIG. 4 .

도 3을 참조하면, 본 개시의 실시 예에 따른 이미지 편위 수정 방법은 입력된 이미지의 왜곡 특성을 추정하는 단계(S300), 추정된 왜곡 특성에 기초한 편위 수정 정보를 획득하는 단계(S310), 및 획득된 편위 수정 정보에 기초하여 상기 입력된 이미지의 편위 수정 및 최적화를 수행하는 단계(S320)를 포함할 수 있다. S320 단계에 대해서는 추후 도 9 내지 도 13을 통해 설명하고, 이하에서는 S300 단계 내지 S310 단계에 대해 설명하기로 한다.Referring to FIG. 3 , the image deviation correction method according to an embodiment of the present disclosure includes the steps of estimating distortion characteristics of an input image (S300), obtaining deviation correction information based on the estimated distortion characteristics (S310), and It may include performing deviation correction and optimization of the input image based on the obtained deviation correction information ( S320 ). Step S320 will be described later with reference to FIGS. 9 to 13 , and steps S300 to S310 will be described below.

도 4 내지 도 6의 실시 예를 참조하면, 입력된 이미지의 왜곡 특성을 추정하는 단계(S300)는 입력된 이미지를 복수의 셀들로 구분하는 단계(S302), 및 구분된 셀들 각각의 왜곡 특성을 나타내는 사각형(왜곡된 직사각형)을 추정하는 단계(S304)를 포함할 수 있다.4 to 6, the step of estimating the distortion characteristics of the input image (S300) is the step of dividing the input image into a plurality of cells (S302), and the distortion characteristics of each of the divided cells and estimating the indicated rectangle (distorted rectangle) ( S304 ).

도 5를 참조하면, 입력된 이미지(500)에는 반시계 방향으로 제1 각도 회전된 형태의 제1 영역(502)과, 시계 방향으로 제2 각도 회전된 형태의 제2 영역(504)이 존재할 수 있다. 이 경우, 입력된 이미지(500)의 편위 수정은, 제1 영역(502)을 시계 방향으로 제1 각도만큼 회전시키는 프로세스와, 제2 영역(504)을 반시계 방향으로 제2 각도만큼 회전시키는 프로세스를 포함할 수 있다. 즉, 제1 영역(502)에 포함된 픽셀들과 제2 영역(504)에 포함된 픽셀들의 왜곡 특성이 상이하므로, 각각의 왜곡 특성을 정확히 추정할 필요성이 있다.Referring to FIG. 5 , in an input image 500 , a first region 502 rotated by a first angle in a counterclockwise direction and a second region 504 in a form rotated by a second angle in a clockwise direction exist. can In this case, the correction of the deviation of the input image 500 includes a process of rotating the first region 502 clockwise by a first angle, and a process of rotating the second region 504 counterclockwise by a second angle. process can be included. That is, since distortion characteristics of pixels included in the first region 502 and pixels included in the second region 504 are different from each other, it is necessary to accurately estimate each distortion characteristic.

이를 위해, 왜곡 특성 추정 모듈(110)은 입력된 이미지(500)를 복수의 셀들로 구분하여 각각의 셀에 대한 왜곡 특성을 추정하도록 구현될 수 있다. 상기 복수의 셀들 각각의 사이즈는 다양하게 설정될 수 있는 바, 셀이 하나의 픽셀만을 포함하는 경우도 포함될 수 있을 것이다. 구체적으로, 왜곡 특성 추정 모듈(110)은 입력된 이미지(500)를 복수의 셀들로 구분하고, 각각의 셀에 포함된 픽셀들 중 어느 하나의 픽셀(510)(520)(예컨대 중심 위치 또는 셀 내의 기 정의된 위치에 존재하는 픽셀 등)을 중심으로 하고, 각각의 셀의 왜곡 특성을 나타내는 사각형을 추정하도록 학습된 네트워크(딥러닝 기반의 인공 신경망)를 포함할 수 있다.To this end, the distortion characteristic estimation module 110 may be implemented to divide the input image 500 into a plurality of cells and estimate the distortion characteristic for each cell. Since the size of each of the plurality of cells may be variously set, a case in which the cell includes only one pixel may be included. Specifically, the distortion characteristic estimation module 110 divides the input image 500 into a plurality of cells, and any one of the pixels 510 and 520 (eg, a central position or a cell) among pixels included in each cell. It may include a network (a deep learning-based artificial neural network) that is trained to estimate a rectangle representing the distortion characteristics of each cell centered on a pixel existing at a predefined position in the .

구체적으로, 왜곡 특성 추정 모듈(110)(또는 네트워크)은 상기 픽셀(510)(520)을 중심으로 대칭되는 두 개의 꼭짓점들(512a, 512b)(522a, 522b)을 고정하고, 나머지 두 개의 꼭짓점들(514a, 514b)(524a, 524b)을 추정함으로써, 왜곡 특성을 나타내는 사각형을 추정할 수 있다. 도 5에 도시된 바와 같이, 제1 영역(502)에 존재하는 픽셀(510)에 대해 추정되는 사각형은 제1 영역(502)의 왜곡 특성에 대응할 수 있고, 제2 영역(504)에 존재하는 픽셀(520)에 대해 추정되는 사각형은 제2 영역(504)의 왜곡 특성에 대응할 수 있다. 실시 예에 따라, 각각의 셀의 왜곡 특성을 나타내는 사각형은, 셀에 포함된 복수의 픽셀들 각각으로부터 추정되는 사각형들에 기초하여(대응하는 꼭짓점들의 평균, 중간값, 최빈값 등) 획득될 수도 있다.Specifically, the distortion characteristic estimation module 110 (or network) fixes two vertices 512a, 512b, 522a, 522b symmetrical about the pixel 510 and 520, and the remaining two vertices. By estimating the fields 514a and 514b and 524a and 524b, a quadrangle representing the distortion characteristic can be estimated. As shown in FIG. 5 , a rectangle estimated for a pixel 510 present in the first region 502 may correspond to a distortion characteristic of the first region 502 , and may correspond to a distortion characteristic of the first region 502 , and The rectangle estimated for the pixel 520 may correspond to the distortion characteristic of the second region 504 . According to an embodiment, a rectangle indicating the distortion characteristic of each cell may be obtained based on rectangles estimated from each of a plurality of pixels included in the cell (average, median value, mode, etc. of corresponding vertices). .

상기 고정되는 두 개의 꼭짓점들(512a, 512b)(522a, 522b) 사이에 연결되는 직선은, 상기 추정되는 사각형의 대각선에 대응할 수 있다. 왜곡 특성 추정 모듈(110)은 상기 대각선이 수평선에 대해 기 설정된 제1 각도(예컨대 45°등)를 이루도록 상기 두 개의 꼭짓점들(512a, 512b)(522a, 522b)을 고정하고, 상기 왜곡 특성의 추정 결과에 따라 나머지 두 개의 꼭짓점들(514a, 514b)(524a, 524b)을 획득할 수 있다.A straight line connected between the two fixed vertices 512a, 512b and 522a, 522b may correspond to a diagonal of the estimated quadrangle. The distortion characteristic estimation module 110 fixes the two vertices 512a, 512b, 522a, 522b so that the diagonal line forms a predetermined first angle (eg, 45°) with respect to the horizontal line, and The remaining two vertices 514a, 514b and 524a, 524b may be obtained according to the estimation result.

한편, 도 6의 실시 예를 참조하면, 입력된 이미지(600)의 제1 영역(602)은 상기 기 설정된 제1 각도와 동일한 각도로 회전된 형태의 왜곡 특성을 갖고, 제2 영역(604)은 상기 기 설정된 제1 각도와 유사한 각도로 회전된 형태의 왜곡 특성을 갖는 것으로 가정한다. 이 경우, 제1 픽셀(610)에 대해 고정되는 두 개의 꼭짓점들(612a, 612b)과, 왜곡 특성의 추정 결과에 의해 획득되는 나머지 두 개의 꼭짓점들(614a, 614b)은 동일한 지점에 위치할 수 있다. 그리고, 제2 픽셀(620)에 대해 고정되는 두 개의 꼭짓점들(622a, 622b)과, 왜곡 특성의 추정 결과에 의해 획득되는 나머지 두 개의 꼭짓점들(624a, 624b)은 소정 거리 이내로 근접할 수 있다. 이 경우 네 개의 꼭짓점들에 의한 사각형이 왜곡 특성을 정확히 표현하지 못하는 문제가 발생할 수 있다. Meanwhile, referring to the embodiment of FIG. 6 , the first region 602 of the input image 600 has distortion characteristics in the form of being rotated at the same angle as the preset first angle, and the second region 604 is rotated at the same angle as the preset first angle. It is assumed that has a distortion characteristic of a shape rotated at an angle similar to the preset first angle. In this case, the two vertices 612a and 612b fixed with respect to the first pixel 610 and the remaining two vertices 614a and 614b obtained by the estimation result of the distortion characteristic may be located at the same point. have. In addition, the two vertices 622a and 622b fixed with respect to the second pixel 620 and the remaining two vertices 624a and 624b obtained by the estimation result of the distortion characteristic may be close to each other within a predetermined distance. . In this case, a problem may occur in that the quadrangle formed by the four vertices does not accurately represent the distortion characteristics.

상술한 문제를 해결하기 위해, 왜곡 특성 추정 모듈(110)은, 상기 고정되는 두 개의 꼭짓점들과 상기 나머지 두 개의 꼭짓점들이 소정 거리 이내로 근접하는 경우, 상기 고정되는 두 개의 꼭짓점들의 위치를 변경한 후 나머지 두 개의 꼭짓점들을 다시 추정할 수 있다. 왜곡 특성 추정 모듈(110)은 두 개의 꼭짓점들을 연결한 직선이 수평선에 대해 기 설정된 제2 각도(예컨대 0°등)를 이루도록 상기 두 개의 꼭짓점들(612c, 612d)(622c, 622d)을 고정하고, 왜곡 특성에 기초하여 나머지 두 개의 꼭짓점들(614c, 614d)(624c, 624d)을 추정할 수 있다.In order to solve the above problem, the distortion characteristic estimation module 110, when the two fixed vertices and the remaining two vertices are close to each other within a predetermined distance, change the positions of the two fixed vertices. The remaining two vertices can be estimated again. The distortion characteristic estimation module 110 fixes the two vertices 612c, 612d, 622c, 622d so that the straight line connecting the two vertices forms a preset second angle (eg 0°, etc.) with respect to the horizontal line, and , the remaining two vertices 614c and 614d and 624c and 624d may be estimated based on the distortion characteristics.

데이터베이스(140)에는 입력된 이미지의 픽셀들 중 적어도 일부의 픽셀 각각에 대해 추정된 사각형의 꼭짓점 좌표들이 저장될 수 있다. 상기 적어도 일부의 픽셀은 복수의 셀들 각각의 픽셀들 중 어느 하나(510, 520)를 의미할 수 있으나, 실시 예에 따라서는 입력된 이미지의 모든 픽셀들을 포함할 수도 있다.The database 140 may store vertex coordinates of a rectangle estimated for each pixel of at least some of the pixels of the input image. The at least some pixels may mean any one of pixels 510 and 520 of each of the plurality of cells, but may include all pixels of an input image according to an embodiment.

다시 도 4를 참조하면, 추정된 왜곡 특성에 기초한 편위 수정 정보를 획득하는 단계(S310)는, 입력된 이미지의 초점 거리(또는 초점 위치)에 대한 정보가 존재하는 경우(S312의 YES), 상기 정보에 기초하여 종횡비를 조절한 편위 수정된 직사각형(기준 직사각형)을 획득하는 단계(S314)를 포함할 수 있다.Referring back to FIG. 4 , the step of obtaining the deviation correction information based on the estimated distortion characteristic ( S310 ) is, when information on the focal length (or focal position) of the input image exists (YES in S312), the The method may include obtaining an offset-corrected rectangle (reference rectangle) with an aspect ratio adjusted based on the information ( S314 ).

반면, 이미지의 초점 거리(또는 위치)에 대한 정보가 존재하지 않는 경우에는(S312의 NO), 기 정의된 형태의 편위 수정된 직사각형(기준 직사각형)이 획득될 수 있다(S316).On the other hand, when information on the focal length (or position) of the image does not exist (NO in S312), a predefined deviation-corrected rectangle (reference rectangle) may be obtained (S316).

도 7을 함께 참조하면, 입력된 이미지(700)의 초점 위치에 대한 정보가 존재하는 경우, 종횡비 적용 모듈(122)은 왜곡 특성 추정 모듈(110)에 의해 추정된 왜곡 특성을 나타내는 사각형의 꼭짓점들의 좌표와 초점 위치를 이용하여, 기준 직사각형에 적용할 종횡비를 계산할 수 있다. 종횡비 적용 모듈(122)은 계산된 종횡비를 적용한 기준 직사각형의 꼭짓점들의 좌표를 획득할 수 있다.Referring to FIG. 7 together, when information on the focal position of the input image 700 exists, the aspect ratio application module 122 determines the vertices of the rectangle indicating the distortion characteristic estimated by the distortion characteristic estimation module 110 . Using the coordinates and the focal point, we can calculate the aspect ratio to apply to the reference rectangle. The aspect ratio application module 122 may obtain coordinates of vertices of the reference rectangle to which the calculated aspect ratio is applied.

종횡비가 적용된 기준 직사각형이 획득되는 경우, 편위 수정된 이미지(720)가 입력된 이미지와 유사한 종횡비를 갖도록 제공될 수 있다. 반면, 종횡비가 적용되지 않은 기 정의된 형태의 기준 직사각형이 획득되는 경우에는, 편위 수정된 이미지(740)가 입력된 이미지(700)와 상이한 종횡비를 갖도록 제공될 가능성이 존재한다. 도 7에 도시된 바와 같이, 종횡비가 적용된 기준 직사각형을 이용하여 편위 수정된 이미지(720)의 제1 영역(722)은, 입력된 이미지(700)의 제1 영역(702)와 유사한 종횡비를 가짐을 확인할 수 있다. 반면, 기 정의된 형태의 기준 직사각형을 이용하여 편위 수정된 이미지(740)의 제1 영역(742)은, 입력된 이미지(700)의 제1 영역(702)과 상이한 종횡비를 가짐을 확인할 수 있다.When the reference rectangle to which the aspect ratio is applied is obtained, an offset-corrected image 720 may be provided to have an aspect ratio similar to that of the input image. On the other hand, when a reference rectangle of a predefined shape to which the aspect ratio is not applied is obtained, there is a possibility that the deviation-corrected image 740 is provided to have an aspect ratio different from that of the input image 700 . As shown in FIG. 7 , a first region 722 of an image 720 that has been offset by using a reference rectangle to which an aspect ratio is applied has an aspect ratio similar to that of the first region 702 of the input image 700 . can confirm. On the other hand, it can be seen that the first region 742 of the image 740 that is offset-corrected by using a reference rectangle of a predefined shape has an aspect ratio different from that of the first region 702 of the input image 700 . .

도 4를 계속 참조하면, 이미지 편위 수정 방법은 왜곡 특성을 나타내는 사각형(왜곡된 직사각형)과 편위 수정된 직사각형(기준 직사각형)에 기초하여, 복수의 셀들 각각의 호모그래피 행렬을 계산할 수 있다(S318).4 , the image deviation correction method may calculate a homography matrix of each of the plurality of cells based on the rectangle (distorted rectangle) and the deviation-corrected rectangle (reference rectangle) indicating the distortion characteristics ( S318 ) .

도 1 내지 도 2에서 상술한 바와 같이, 호모그래피 행렬 생성 모듈(124)은 복수의 셀들 각각에 대해, 추정된 왜곡 특성을 나타내는 사각형과 상기 기준 직사각형 사이의 차이에 기초한 호모그래피 행렬을 계산할 수 있다. 1 to 2 , the homography matrix generation module 124 may calculate, for each of the plurality of cells, a homography matrix based on a difference between a rectangle representing the estimated distortion characteristic and the reference rectangle. .

실시 예에 따라, 신뢰도 추정 모듈(126)은 상기 계산된 호모그래피 행렬에 대한 신뢰도를 추정함으로써, 복수의 셀들 중 편위 수정을 수행할 셀들과 편위 수정을 수행하지 않을 셀들을 구분할 수 있다.According to an embodiment, the reliability estimation module 126 estimates the reliability of the calculated homography matrix to distinguish cells to be subjected to deviation correction and cells to not be subjected to deviation correction among a plurality of cells.

이와 관련하여 도 8의 (a)를 참조하면, 신뢰도 추정 모듈(126)은 입력된 이미지(800)에 대해 추정된 왜곡 특성과, 입력된 이미지(800)를 소정 각도(예컨대 45°) 회전시킨 이미지(810)로부터 추정되는 왜곡 특성을 비교할 수 있다.Referring to (a) of FIG. 8 in this regard, the reliability estimation module 126 performs the distortion characteristics estimated for the input image 800 and rotates the input image 800 by a predetermined angle (eg, 45°). Distortion characteristics estimated from the image 810 may be compared.

신뢰도 추정 모듈(126)은 입력된 이미지(800)의 소정 위치(셀 또는 픽셀)에 대해 추정된 왜곡 특성을 나타내는 제1 사각형(802)과, 소정 각도 회전된 이미지(810)의 대응되는 위치(셀 또는 픽셀)에 대해 추정되는 왜곡 특성을 나타내는 제2 사각형(812)을 비교할 수 있다. 제2 사각형(812)에 대한 정보는 왜곡 특성 추정 모듈(110)에 의해 획득되거나, 신뢰도 추정 모듈(126)에 의해 획득될 수 있다.The reliability estimation module 126 includes a first rectangle 802 representing the distortion characteristic estimated for a predetermined position (cell or pixel) of the input image 800 and a corresponding position ( A second rectangle 812 representing an estimated distortion characteristic for a cell or pixel) may be compared. Information on the second rectangle 812 may be obtained by the distortion characteristic estimation module 110 or may be obtained by the reliability estimation module 126 .

신뢰도 추정 모듈(126)은 제1 사각형(802)의 한 변과, 제2 사각형(812)의 대응되는 변 사이의 기울기 차이가 상기 소정 각도(예컨대 45°)에 가까울수록 신뢰도가 높은 것으로 추정할 수 있고, 상기 소정 각도와 멀수록 신뢰도가 낮은 것으로 추정할 수 있다.The reliability estimation module 126 estimates that the closer the slope difference between one side of the first rectangle 802 and the corresponding side of the second rectangle 812 is to the predetermined angle (eg, 45°), the higher the reliability. It can be estimated that the farther from the predetermined angle, the lower the reliability.

상술한 방식에 따라, 도 8의 (b)에 도시된 바와 같이 신뢰도 추정 모듈(126)은 이미지(820)의 픽셀들 또는 셀들 각각에 대해 신뢰도를 추정할 수 있다. 신뢰도 추정 결과(820a)를 참조하면, 텍스트가 존재하는 영역들(822, 824)에 위치한 픽셀들(또는 셀들)의 경우 신뢰도가 높을 수 있고, 텍스트가 존재하지 않는 영역에 위치한 픽셀들(또는 셀들)의 경우 상대적으로 신뢰도가 낮을 수 있다. 신뢰도 추정 결과에 기초하여, 이미지 편위 수정 시스템(100)은 신뢰도가 기준치 이상인 픽셀들(또는 셀들)에 대해서만 편위 수정 동작을 수행함으로써, 이미지 편위 수정 시의 효율성을 향상시킬 수 있다.According to the above-described method, as shown in (b) of FIG. 8 , the reliability estimation module 126 may estimate the reliability for each of the pixels or cells of the image 820 . Referring to the reliability estimation result 820a, pixels (or cells) located in regions 822 and 824 in which text exists may have high reliability, and pixels (or cells) located in regions in which text does not exist. ), the reliability may be relatively low. Based on the reliability estimation result, the image deviation correction system 100 may improve efficiency in correcting image deviation by performing an deviation correction operation only on pixels (or cells) having reliability equal to or greater than a reference value.

도 9는 도 3에 도시된 편위 수정 및 최적화 단계의 구체화된 일 실시 예를 나타내는 플로우차트이다. 도 10 내지 도 13은 도 9에 도시된 실시 예와 관련된 예시도들이다.9 is a flowchart illustrating an exemplary embodiment of the deviation correction and optimization steps shown in FIG. 3 . 10 to 13 are exemplary views related to the embodiment shown in FIG. 9 .

도 9를 참조하면, 이미지 편위 수정 방법은 획득된 편위 수정 정보(호모그래피 행렬)에 기초하여 입력된 이미지의 편위 수정 및 최적화를 수행할 수 있다(S320).Referring to FIG. 9 , the image deviation correction method may perform deviation correction and optimization of the input image based on the obtained deviation correction information (homography matrix) ( S320 ).

구체적으로, S320 단계는 복수의 셀들 각각에 대해, 호모그래피 행렬에 기초한 호모그래피 변환을 수행하는 단계(S322), 변환된 셀들의 정렬을 위한 파라미터를 추정하는 단계(S324), 추정된 파라미터에 기초하여 편위 수정 전 이미지(입력된 이미지)를 변환 및 렌더링하는 단계(S326), 및 변환 및 렌더링에 의해 생성된 편위 수정 이미지의 최적화를 수행하는 단계(S328)를 포함할 수 있다.Specifically, in step S320, for each of the plurality of cells, performing a homography transformation based on a homography matrix (S322), estimating a parameter for alignment of the transformed cells (S324), based on the estimated parameter and converting and rendering the image (input image) before the deviation correction ( S326 ), and performing optimization of the deviation correction image generated by the transformation and rendering ( S328 ).

도 10의 (a)를 참조하면, 호모그래피 변환 모듈(132)은 복수의 셀들(1000) 각각에 대해 생성된 호모그래피 행렬에 기초하여, 셀들(1000) 각각에 대한 호모그래피 변환을 수행할 수 있다. 호모그래피 변환의 수행 결과, 셀들(1000) 각각에 대응하는 부분 이미지의 왜곡이 제거될 수 있으나, 셀들의 변형에 의한 이격 및/또는 중첩이 발생할 수 있다. 제1 셀(1001)과 제2 셀(1002)은 호모그래피 변환 이전에는 서로 연결되어 이격 또는 중첩이 존재하지 않으나, 호모그래피 변환이 수행된 제1 셀(1011)과 제2 셀(1012) 사이에는 변형에 의한 이격 및/또는 중첩이 발생할 수 있다.Referring to FIG. 10A , the homography transformation module 132 may perform homography transformation on each of the cells 1000 based on the homography matrix generated for each of the plurality of cells 1000 . have. As a result of performing the homography transformation, distortion of a partial image corresponding to each of the cells 1000 may be removed, but separation and/or overlap may occur due to deformation of the cells. The first cell 1001 and the second cell 1002 are connected to each other before the homography transformation, so that there is no separation or overlap, but between the first cell 1011 and the second cell 1012 on which the homography transformation is performed. separation and/or overlap due to deformation may occur.

도 10의 (b)를 참조하여 실제 이미지의 예를 살펴보면, 입력된 이미지(1100)의 제1 영역(1102)에 포함된 셀들은, 반시계 방향으로 소정 각도 회전된 형태의 왜곡 특성을 가질 수 있다. 제1 영역(1102)에 포함된 셀들에 대한 호모그래피 변환이 수행됨에 따라 셀들 각각의 왜곡은 제거될 수 있으나, 인접 셀과 이격 및/또는 중첩이 발생하게 되므로, 전체의 이미지(1110)는 부자연스러운 상태를 보일 수 있다.Referring to an example of an actual image with reference to (b) of FIG. 10 , cells included in the first region 1102 of the input image 1100 may have distortion characteristics in the form of being rotated by a predetermined angle in the counterclockwise direction. have. As the homography transformation is performed on the cells included in the first region 1102, distortion of each of the cells may be removed. You can see the natural state.

도 11의 (a)를 참조하면, 이미지 최적화 모듈(134)은 호모그래피 변환에 따라 이격 및/또는 중첩된 셀들의 정렬을 위한 파라미터를 추정 또는 산출할 수 있다. 예컨대, 이미지 최적화 모듈(134)은 셀들(1010)이 소정 거리 이내로 가까워지면서, 상호간의 중첩이 제거되도록 이동(정렬)시키는 non-rigid 변환을 수행할 수 있다. Non-rigid 변환을 통해 정렬되는 제1 셀(1021)과 제2 셀(1022) 사이의 거리는, 이동 전의 제1 셀(1011)과 제2 셀(1012) 사이의 거리보다 가까울 수 있다. Referring to FIG. 11A , the image optimization module 134 may estimate or calculate a parameter for aligning spaced and/or overlapping cells according to homography transformation. For example, the image optimization module 134 may perform a non-rigid transformation that moves (aligns) the cells 1010 so that overlapping each other is removed while the cells 1010 come closer within a predetermined distance. The distance between the first cell 1021 and the second cell 1022 aligned through non-rigid transformation may be closer than the distance between the first cell 1011 and the second cell 1012 before movement.

한편, 제1 셀(1021)과 제2 셀(1022) 각각의 인접 변이 서로 접하지 않을 수 있다. 예컨대 제1 셀(1021)의 우측 변과 제2 셀(1022)의 좌측 변은, 제1 셀(1021)과 제2 셀(1022)의 연결 시 서로 접해야 하나, 상기 변들의 길이 및/또는 기울기가 다를 수 있다. 따라서, 이미지 최적화 모듈(134)은 인접한 셀들의 꼭짓점이 서로 접하도록 하여 셀들을 자연스럽게 연결하기 위한, 셀들의 꼭짓점 좌표를 산출할 수 있다. 산출된 꼭짓점 좌표에 따라 셀들(1030)이 이동 및 변형됨으로써, 셀들 사이의 이격(제1 셀(1031)과 제2 셀(1032) 사이의 이격 등)이 제거되어 자연스러운 연결이 가능해질 수 있다. Meanwhile, adjacent sides of the first cell 1021 and the second cell 1022 may not contact each other. For example, the right side of the first cell 1021 and the left side of the second cell 1022 should contact each other when the first cell 1021 and the second cell 1022 are connected, but lengths and/or slopes of the sides may be different. Accordingly, the image optimization module 134 may calculate vertex coordinates of cells to naturally connect cells by making the vertices of adjacent cells contact each other. As the cells 1030 are moved and deformed according to the calculated vertex coordinates, the separation between cells (eg, the space between the first cell 1031 and the second cell 1032 ) is removed, thereby enabling natural connection.

도 11의 (b)를 참조하면, 상술한 바와 같이 호모그래피 변환된 이미지(1110)에 대한 non-rigid 변환이 수행된 경우, non-rigid 변환이 수행된 이미지(1120)의 제1 영역(1122)에 존재하는 셀들이 소정 거리 이내로 중첩 없이 정렬될 수 있다. 이미지 최적화 모듈(134)이 각 셀들의 꼭짓점이 서로 접하도록 하는 꼭짓점 좌표들을 산출하면, 산출된 꼭짓점 좌표에 기초한 셀들의 변형에 의해 보다 자연스럽게 연결된 이미지(1130)가 제공될 수 있다. 이에 따라, 이미지(1130)의 제1 영역(1132)은 편위 수정에 의해 왜곡이 제거됨을 확인할 수 있다.Referring to FIG. 11B , when the non-rigid transformation is performed on the homography-converted image 1110 as described above, the first region 1122 of the non-rigid transformed image 1120 is performed. ) can be arranged without overlapping within a predetermined distance. When the image optimization module 134 calculates vertex coordinates such that the vertices of cells are in contact with each other, an image 1130 connected more naturally may be provided by transformation of cells based on the calculated vertex coordinates. Accordingly, it can be confirmed that distortion is removed from the first region 1132 of the image 1130 by the deviation correction.

도 12의 (a)를 참조하면, 도 10 내지 도 11의 과정에 따라, 편위 수정 전의 셀들(1200)의 꼭짓점 좌표들과, 편위 수정 및 정렬 완료된 셀들(1210)의 꼭짓점 좌표들이 획득될 수 있다. 이에 기초하여, 이미지 최적화 모듈(134)은 셀들 각각에 대한 파라미터를 산출할 수 있다. 상기 파라미터는 편위 수정 전 이미지의 셀들의 픽셀들 각각에 대한, 편위 수정을 위해 이동되는 위치(가로 좌표 및 세로 좌표) 및/또는 셀들의 사이즈에 대한 값 등을 포함할 수 있다.Referring to (a) of FIG. 12 , according to the process of FIGS. 10 to 11 , the vertex coordinates of the cells 1200 before the deviation correction and the vertex coordinates of the cells 1210 after the deviation correction and alignment are completed may be obtained. . Based on this, the image optimization module 134 may calculate a parameter for each of the cells. The parameter may include, for each pixel of the cells of the image before the deviation correction, a value for a position (abscissa and ordinate) moved for the deviation correction and/or a value for the size of the cells.

이미지 변환 모듈(130)은 획득된 파라미터에 기초하여, 입력된 이미지로부터 편위 수정된 이미지를 획득하는 변환 및 렌더링 동작을 수행할 수 있다. 한편, 도 12의 (b)에 도시된 바와 같이, 상기 파라미터에 기초하여 셀들 각각에 대한 호모그래피 변환이 수행되는 경우, 편위 수정된 이미지(1220)의 셀들 간의 경계 부분에서 텍스쳐 간의 연결이 끊기는 등의 부자연스러움이 발생할 수 있다. 이를 해결하기 위해, 이미지 변환 모듈(130)은 획득된 파라미터에 기초하여, 입력된 이미지를 보다 자연스럽게 편위 수정하기 위한 방식에 따른 변환을 수행할 수 있다. 예컨대 이미지 변환 모듈(130)은, 편위 수정된 셀들 각각의 꼭짓점 좌표로부터 획득되는 무게중심을 이용하는 barycentric 변환에 따라 입력된 이미지를 변환한 후 렌더링함으로써, 보다 자연스럽게 연결된 이미지(1230)를 획득할 수 있다. The image conversion module 130 may perform a conversion and rendering operation of obtaining a deviation-corrected image from the input image based on the obtained parameter. On the other hand, as shown in (b) of FIG. 12 , when homography transformation is performed on each of the cells based on the parameter, the connection between textures is cut off at the boundary between cells of the deviation-corrected image 1220 , etc. of unnaturalness may occur. To solve this, the image conversion module 130 may perform conversion according to a method for more naturally deviation-correcting the input image, based on the obtained parameter. For example, the image conversion module 130 converts the input image according to the barycentric transformation using the center of gravity obtained from the vertex coordinates of each of the deviation-corrected cells and renders it, thereby obtaining a more naturally connected image 1230. .

도 13을 참조하면, 변환 및 렌더링된 이미지(1300)는 왜곡 특성의 추정에 기초하여 편위 수정된 것인 바, 일부 영역(1310)에서 불완전한 편위 수정이 이루어질 수 있다. 상기 불완전한 편위 수정을 제거하기 위해, 이미지 변환 모듈(130)은 변환 및 렌더링된 이미지(1300)를 low rank texture로 변환하는 과정을 추가 수행할 수 있다. Low rank texture 변환은 이차원 이미지에서 텍스츄얼 정보 및 기하학적 정보를 획득하여 이미지(1300)를 변환하는 것을 의미하며, 획득되는 정보는 엣지(edge)와 같은 로컬 구조뿐만 아니라 이미지 내의 규칙적이고 대칭적인 패턴 등을 포함할 수 있다.Referring to FIG. 13 , since the transformed and rendered image 1300 is deviation-corrected based on the estimation of the distortion characteristic, incomplete deviation correction may be performed in a partial region 1310 . In order to remove the incomplete deviation correction, the image conversion module 130 may additionally perform a process of converting the converted and rendered image 1300 into a low rank texture. Low rank texture transformation means transforming the image 1300 by acquiring textural information and geometric information from a two-dimensional image, and the obtained information includes not only local structures such as edges, but also regular and symmetrical patterns within the image. may include

도 14는 본 개시의 예시적 실시 예에 따른 이미지 편위 수정 방법을 수행하는 디바이스의 개략적인 블록도이다.14 is a schematic block diagram of a device performing an image deviation correction method according to an exemplary embodiment of the present disclosure.

도 14를 참조하면, 본 개시의 실시 예에 따른 디바이스(1400)는 도 1에서 상술한 이미지 편위 수정 시스템(100)을 구성하는 적어도 하나의 컴퓨팅 장치 중 어느 하나에 대응할 수 있다. 이 경우, 디바이스(1400)는 본 명세서에서 상술한 이미지의 3차원 특성 추정 동작, 추정된 3차원 특성에 기초한 이미지 분류 동작 및/또는 학습 동작을 수행하는 디바이스에 해당할 수 있다. Referring to FIG. 14 , a device 1400 according to an embodiment of the present disclosure may correspond to any one of at least one computing device constituting the image deviation correction system 100 described above in FIG. 1 . In this case, the device 1400 may correspond to a device that performs the 3D characteristic estimation operation of the image described above, the image classification operation and/or the learning operation based on the estimated 3D characteristic.

이러한 디바이스(1400)는 프로세서(1410) 및 메모리(1420)를 포함할 수 있다. 다만, 디바이스(1400)의 구성 요소가 전술한 예에 한정되는 것은 아니다. 예를 들어, 디바이스(1400)는 전술한 구성 요소들보다 더 많은 구성 요소를 포함하거나 더 적은 구성 요소를 포함할 수 있다. 또한, 프로세서(1410)는 적어도 하나일 수 있으며, 메모리(1420) 또한 적어도 하나일 수 있다. 또한, 프로세서(1410) 및 메모리(1420) 중 둘 이상이 하나의 칩으로 결합된 형태일 수도 있다.The device 1400 may include a processor 1410 and a memory 1420 . However, the components of the device 1400 are not limited to the above-described example. For example, the device 1400 may include more or fewer components than the aforementioned components. In addition, the processor 1410 may be at least one, and the memory 1420 may also be at least one. Also, two or more of the processor 1410 and the memory 1420 may be combined into one chip.

일 실시 예에 따라, 프로세서(1410)는 상술한 왜곡 특성 추정 모듈(110), 편위 수정 정보 생성 모듈(120), 이미지 변환 모듈(130), 및 학습 모듈(150) 중 적어도 하나에 대응하거나, 상기 모듈들 중 적어도 하나를 실행 또는 제어할 수 있다.According to an embodiment, the processor 1410 corresponds to at least one of the above-described distortion characteristic estimation module 110 , the deviation correction information generation module 120 , the image conversion module 130 , and the learning module 150 , or At least one of the above modules may be executed or controlled.

이러한 프로세서(1410)는 CPU, AP(application processor), 집적 회로, 마이크로컴퓨터, ASIC(application specific integrated circuit), FPGA(field programmable gate array), 및/또는 NPU(neural processing unit) 등의 하드웨어를 포함할 수 있다.The processor 1410 includes hardware such as a CPU, an application processor (AP), an integrated circuit, a microcomputer, an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), and/or a neural processing unit (NPU). can do.

본 개시의 일 실시 예에 따르면, 메모리(1420)는 디바이스(1400)의 동작에 필요한 프로그램 및 데이터를 저장할 수 있다.According to an embodiment of the present disclosure, the memory 1420 may store programs and data necessary for the operation of the device 1400 .

또한, 메모리(1420)는 프로세서(1410)를 통해 생성되거나 획득된 데이터 중 적어도 하나를 저장할 수 있다. 실시 예에 따라, 메모리(1420)는 왜곡 특성 추정 모듈(110), 편위 수정 정보 생성 모듈(120), 이미지 변환 모듈(130), 및/또는 학습 모듈(150)과 관련된 데이터, 명령어, 알고리즘 등을 저장할 수 있다. 또한, 메모리(1420)는 도 1의 데이터베이스(140)를 포함하는 개념으로 이해될 수도 있다.Also, the memory 1420 may store at least one of data generated or acquired through the processor 1410 . According to an embodiment, the memory 1420 includes data, instructions, algorithms, etc. related to the distortion characteristic estimation module 110 , the deviation correction information generation module 120 , the image conversion module 130 , and/or the learning module 150 . can be saved. Also, the memory 1420 may be understood as a concept including the database 140 of FIG. 1 .

메모리(1420)는 롬(ROM), 램(RAM), 플래시 메모리, SSD, HDD 등의 저장 매체 또는 저장 매체들의 조합으로 구성될 수 있다.The memory 1420 may be configured of a storage medium such as ROM, RAM, flash memory, SSD, HDD, or a combination of storage media.

상기한 실시 예들의 설명은 본 개시의 더욱 철저한 이해를 위하여 도면을 참조로 예를 든 것들에 불과하므로, 본 개시의 기술적 사상을 한정하는 의미로 해석되어서는 안될 것이다. Since the descriptions of the above embodiments are merely those exemplified with reference to the drawings for a more thorough understanding of the present disclosure, they should not be construed as limiting the technical spirit of the present disclosure.

또한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 개시의 기본적 원리를 벗어나지 않는 범위 내에서 다양한 변화와 변경이 가능함은 명백하다 할 것이다.In addition, it will be apparent to those of ordinary skill in the art to which the present disclosure pertains that various changes and modifications can be made without departing from the basic principles of the present disclosure.

Claims

a distortion characteristic estimation module that divides the input image into a plurality of cells and estimates distortion characteristics of each of the divided plurality of cells;
an eccentricity correction information generating module configured to generate eccentricity correction information of each of the plurality of cells based on the estimated distortion characteristic and reference information for rectification; and
Image conversion for obtaining parameters for deviation correction and alignment of deviation-corrected cells for each of the plurality of cells based on the generated deviation correction information, and performing deviation correction on the input image based on the obtained parameters contains a module;
The reference information includes vertex coordinates of a reference polygon corresponding to a state in which distortion does not exist,
Image Deviation Correction System.

According to claim 1,
The distortion characteristic estimation module,
For each of the divided plurality of cells, including a deep learning-based network trained to estimate a polygon representing the distortion characteristic of the cell around any one pixel included in the cell,
Image Deviation Correction System.

3. The method of claim 2,
The deviation correction information generation module,
generating the deviation correction information based on a difference between the vertex coordinates of the polygon estimated for each of the plurality of cells and the vertex coordinates of the reference polygon,
Image Deviation Correction System.

4. The method of claim 3,
The deviation correction information generation module,
When information on the focal position of the input image exists, the vertex coordinates of a reference polygon to which an aspect ratio calculated based on the focal position is applied is obtained,
generating the deviation correction information based on a difference between the vertex coordinates of the polygon estimated for each of the plurality of cells and the vertex coordinates of the reference polygon to which the aspect ratio is applied,
Image Deviation Correction System.

4. The method of claim 3,
The deviation correction information generation module,
A first side of a first polygon estimated with respect to a first cell among the plurality of cells, and a second estimated second cell corresponding to the first cell among images obtained by rotating the input image by a preset angle Estimating the reliability based on the difference in inclination between the second side corresponding to the first side among the sides of the polygon,
When the estimated reliability is greater than or equal to a reference value, the first cell is determined as a cell to be subjected to a deviation correction operation;
The reliability is higher as the inclination difference is closer to the preset angle,
Image Deviation Correction System.

4. The method of claim 3,
Further comprising a database storing the vertex coordinates of the polygon estimated for each of the plurality of cells, and the vertex coordinates of the reference polygon,
Image Deviation Correction System.

4. The method of claim 3,
The deviation correction information includes a homography matrix,
The image conversion module,
performing homography transformation on each of the plurality of cells based on the homography matrix of each of the plurality of cells,
Image Deviation Correction System.

8. The method of claim 7,
The image conversion module,
For each of the plurality of homography-transformed cells, calculating the parameter for aligning the plurality of cells by transforming the plurality of cells so that adjacent sides are in contact,
The parameter includes a value indicating a position to be moved for deviation correction of each pixel of the cells of the input image,
Image Deviation Correction System.

9. The method of claim 8,
The image conversion module,
performing deviation correction on the input image through barycentric transformation using the parameter,
Image Deviation Correction System.

10. The method of claim 9,
The image conversion module,
performing low rank texture transformation on the excursion-corrected image,
Image Deviation Correction System.

dividing the input image into a plurality of cells and estimating distortion characteristics of each of the plurality of divided cells;
generating eccentricity correction information of each of the plurality of cells based on the estimated distortion characteristic and reference information for rectification;
obtaining parameters for deviation correction of each of the plurality of cells and alignment of the deviation-corrected cells based on the generated deviation correction information; and
Based on the acquired parameters, comprising the step of performing deviation correction on the input image,
The reference information includes vertex coordinates of a reference polygon corresponding to a state in which distortion does not exist,
How to correct image deviation.

12. The method of claim 11,
The step of estimating the distortion characteristic,
estimating, for each of the plurality of cells, a polygon representing a distortion characteristic of the cell based on any one pixel included in the cell,
How to correct image deviation.

13. The method of claim 12,
The step of generating the deviation correction information includes:
generating the deviation correction information based on a difference between the vertex coordinates of the polygon estimated for each of the plurality of cells and the vertex coordinates of the reference polygon;
How to correct image deviation.

14. The method of claim 13,
The step of generating the deviation correction information includes:
obtaining vertex coordinates of a reference polygon to which an aspect ratio calculated based on the focal position is applied when information on the focal position of the input image exists; and
Generating the deviation correction information based on a difference between the vertex coordinates of the polygon estimated for each of the plurality of cells and the vertex coordinates of the reference polygon to which the aspect ratio is applied,
How to correct image deviation.

14. The method of claim 13,
The deviation correction information includes a homography matrix,
The step of obtaining the parameter is
performing a homography transformation on each of the plurality of cells based on a homography matrix of each of the plurality of cells; and
obtaining the parameter for aligning the plurality of cells by transforming the plurality of cells so that adjacent sides are in contact with each of the plurality of homography-transformed cells,
The parameter includes a value indicating a position to be moved for deviation correction of each pixel of the cells of the input image,
How to correct image deviation.

12. The method of claim 11,
The step of performing the deviation correction is,
performing deviation correction on the input image through barycentric transformation using the parameter; and
Including the step of performing a low rank texture transformation on the excursion-corrected image,
How to correct image deviation.