KR101878256B1 - Method and apparatus for rectifying image including text - Google Patents

Method and apparatus for rectifying image including text Download PDF

Info

Publication number
KR101878256B1
KR101878256B1 KR1020160171869A KR20160171869A KR101878256B1 KR 101878256 B1 KR101878256 B1 KR 101878256B1 KR 1020160171869 A KR1020160171869 A KR 1020160171869A KR 20160171869 A KR20160171869 A KR 20160171869A KR 101878256 B1 KR101878256 B1 KR 101878256B1
Authority
KR
South Korea
Prior art keywords
image
cost function
smoothing
character
value
Prior art date
Application number
KR1020160171869A
Other languages
Korean (ko)
Other versions
KR20180069566A (en
Inventor
조남익
길태호
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020160171869A priority Critical patent/KR101878256B1/en
Publication of KR20180069566A publication Critical patent/KR20180069566A/en
Application granted granted Critical
Publication of KR101878256B1 publication Critical patent/KR101878256B1/en

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—Geometric correction
    • G06K9/00456—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0012—Context preserving transformation, e.g. by using an importance map
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

본 발명은 영상 평활화 장치 및 방법에 관한 것이다. 본 발명의 제1 측면에 따르면, 영상 평활화 방법은, 대상 영상으로부터 문자 영역을 추출하는 단계 및 상기 대상 영상의 대칭성 및 상기 추출된 문자 영역에 포함된 문자들의 정렬 상태에 기초하여 상기 대상 영상에 대한 평활화를 수행하는 단계를 포함할 수 있다.The present invention relates to an image smoothing apparatus and method. According to a first aspect of the present invention, an image smoothing method includes the steps of extracting a character region from a target image, and determining a symmetry of the target image and an alignment state of characters included in the extracted character region, And performing smoothing.

Description

문자를 포함하는 영상의 평활화 방법 및 장치 {METHOD AND APPARATUS FOR RECTIFYING IMAGE INCLUDING TEXT}TECHNICAL FIELD [0001] The present invention relates to an image smoothing method and apparatus,

본 발명은 문자를 포함하는 영상을 평활화하는 방법 및 장치에 관한 것으로, 보다 구체적으로는 문자의 정렬 성질을 반영하여 설계된 비용 함수를 이용함으로써 왜곡 제거 성능을 향상시킬 수 있는 영상의 평활화 방법 및 장치에 대한 것이다.The present invention relates to a method and an apparatus for smoothing an image including a character, and more particularly, to a method and apparatus for smoothing an image that can improve distortion removal performance by using a cost function designed reflecting character alignment characteristics It is about.

카메라 등으로 촬영된 영상에는 간판 또는 표지판의 문자와 같이 다양한 문자들이 포함될 수 있고, 이와 같이 영상에 포함되는 문자들은 영상과 관련된 정보들을 포함할 수 있다. 특히, 최근에는 영상들을 수집하고 그로부터 추출한 정보들을 빅데이터로서 활용하는 기술도 이용되고 있다. 따라서, 영상에 포함된 문자를 정확하게 인식하는 기술에 대한 필요성이 높아지고 있다.An image photographed by a camera or the like may include various characters such as a sign or a sign of a sign, and the characters included in the image may include information related to the image. In particular, recently, techniques for collecting images and utilizing information extracted therefrom as big data have also been used. Therefore, there is a growing need for a technique for accurately recognizing characters included in an image.

그런데, 문자를 정면에서 촬영하지 않고 비스듬한 측면에서 촬영하게 되면 영상에 왜곡이 발생하게 되고, 이렇게 왜곡이 발생한 영상으로부터 문자를 인식하면 인식 성능이 낮아진다. 따라서, 문자의 인식 성능을 높이기 위해서는 문자 인식을 수행하기 전에 전처리 과정으로서 영상의 왜곡을 제거하는 프로세스가 필요하다. 관련하여, 수학적 변환을 통해 정면을 벗어난 위치에서 촬영된 영상을 정면 시점 영상으로 변환하는 것이 가능한데, 이러한 프로세스를 영상 평활화(image rectification)라고 한다.However, if the character is photographed on an oblique side without photographing the character in front, distortion occurs in the image, and recognition performance is lowered when the character is recognized from the image in which the distortion occurs. Therefore, in order to improve the recognition performance of characters, a process of removing image distortion as a preprocessing process before performing character recognition is required. In relation to this, it is possible to convert an image photographed at a position out of front through a mathematical transformation into a front view image, and this process is called image rectification.

문자를 포함한 영상을 평활화하는 방법을 제시하는 문헌으로서, 미국공개특허 제2012-0133779호가 있다. 본 문헌에는 정면 시점 영상이 로우-랭크(low-rank) 특성을 갖는다는 점에 착안하여 비용 함수를 설계하고 시점 변환에 이용되는 파라미터를 산출한다는 내용이 개시되었다.As a document suggesting a method of smoothing an image including characters, there is United States Patent Publication No. 2012-0133779. In this document, attention has been paid to the fact that the front view image has a low-rank characteristic, and the cost function is designed and the parameters used for the view transformation are calculated.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.On the other hand, the background art described above is technical information acquired by the inventor for the derivation of the present invention or obtained in the derivation process of the present invention, and can not necessarily be a known technology disclosed to the general public before the application of the present invention .

본 발명의 일 실시예는 문자를 포함하는 영상의 평활화 방법 및 장치를 제공하는 데에 그 목적이 있다. An embodiment of the present invention is directed to a method and apparatus for smoothing an image including a character.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따르면, 영상 평활화 방법은, 대상 영상으로부터 문자 영역을 추출하는 단계 및 상기 대상 영상의 대칭성 및 상기 추출된 문자 영역에 포함된 문자들의 정렬 상태에 기초하여 상기 대상 영상에 대한 평활화를 수행하는 단계를 포함할 수 있다.According to a first aspect of the present invention, there is provided an image smoothing method including extracting a character region from a target image, and extracting a symmetry of the target image and a character region included in the extracted character region And performing smoothing on the target image based on an alignment state of the characters.

본 발명의 제2 측면에 따르면, 영상 평활화 방법을 수행하기 위한 컴퓨터 프로그램으로서, 영상 평활화 방법은 대상 영상으로부터 문자 영역을 추출하는 단계 및 상기 대상 영상의 대칭성 및 상기 추출된 문자 영역에 포함된 문자들의 정렬 상태에 기초하여 상기 대상 영상에 대한 평활화를 수행하는 단계를 포함할 수 있다.According to a second aspect of the present invention, there is provided a computer program for performing an image smoothing method, the image smoothing method comprising the steps of: extracting a character region from a target image; extracting a symmetry of the target image and characters And performing smoothing on the target image based on the alignment state.

본 발명의 제 3 측면에 따르면, 영상 평활화 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한 기록매체로서, 영상 평활화 방법은 대상 영상으로부터 문자 영역을 추출하는 단계 및 상기 대상 영상의 대칭성 및 상기 추출된 문자 영역에 포함된 문자들의 정렬 상태에 기초하여 상기 대상 영상에 대한 평활화를 수행하는 단계를 포함할 수 있다.According to a third aspect of the present invention, there is provided a computer-readable recording medium having recorded thereon a program for performing an image smoothing method, the method comprising: extracting a character region from a target image; And performing smoothing on the target image based on an alignment state of characters included in the region.

본 발명의 제4측면에 따르면, 영상 평활화 장치는, 대상 영상으로부터 문자 영역을 추출하는 문자 영역 추출부 및 상기 대상 영상의 대칭성 및 상기 추출된 문자 영역에 포함된 문자들의 정렬 상태에 기초하여 상기 대상 영상에 대한 평활화를 수행하는 평활화 수행부를 포함할 수 있다.According to a fourth aspect of the present invention, an image smoothing apparatus includes a character region extracting unit that extracts a character region from a target image, and a character region extracting unit that extracts, based on the symmetry of the target image and the alignment state of characters included in the extracted character region, And a smoothing unit for performing smoothing on the image.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는 문자를 포함하는 영상의 평활화 방법 및 장치를 제시할 수 있다.According to one of the above-mentioned objects of the present invention, an embodiment of the present invention can provide a method and apparatus for smoothing an image including a character.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 영상의 시점 변환을 수행함에 있어서 문자의 정렬 성질을 반영함으로써 왜곡 제거의 성능이 향상되는 효과를 기대할 수 있다.Further, according to any one of the means for solving the problems of the present invention, it is possible to expect the effect that the performance of distortion cancellation is improved by reflecting the character alignment property when performing viewpoint conversion of an image.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtained by the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those skilled in the art from the following description will be.

도 1은 촬영하는 카메라의 위치에 따라서 영상에 왜곡이 발생하는 예를 설명하기 위한 도면이다.
도 2는 정면 시점 영상을 둘 이상의 성분으로 분리하는 예를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 평활화 장치의 구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따라 문자 정렬 성질을 반영하여 비용 함수를 설계하는 방법을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 영상 평활화 방법을 설명하기 위한 순서도들이다.
도 7은 본 발명의 일 실시예에 따라 비용 함수를 생성하는 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 영상 평활화 방법에서, 다변수를 포함하는 비용 함수로부터 시점 변환 파라미터를 산출하기 위해 이용하는 반복적 알고리즘을 설명하기 위한 순서도이다.
도 9는 본 발명의 일 실시예에 따른 영상 평활화 방법을 적용하여 변환된 영상을, 변환 전의 영상 및 로우-랭크 기반의 비용 함수만을 이용하여 변환된 영상과 비교하여 도시한 도면이다.1 is a diagram for explaining an example in which distortion occurs in an image according to the position of a camera to be photographed.
2 is a view for explaining an example of separating the front view image into two or more components.
3 is a block diagram illustrating a configuration of an image smoothing apparatus according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a method of designing a cost function in accordance with an embodiment of the present invention by reflecting character alignment characteristics.
5 and 6 are flowcharts for explaining an image smoothing method according to an embodiment of the present invention.
7 is a flowchart illustrating a method of generating a cost function according to an embodiment of the present invention.
8 is a flowchart for explaining an iterative algorithm used to calculate viewpoint conversion parameters from a cost function including multivariables in the image smoothing method according to an embodiment of the present invention.
FIG. 9 is a diagram illustrating an image transformed by applying the image smoothing method according to an exemplary embodiment of the present invention, in comparison with an image transformed using only a cost-based function and a low-rank-based cost function.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 촬영하는 카메라의 위치에 따라서 영상에 왜곡이 발생하는 예를 설명하기 위한 도면이다.1 is a diagram for explaining an example in which distortion occurs in an image according to the position of a camera to be photographed.

평면 물체(10)를 촬영할 때, 평면 물체(10)의 정면에서 촬영하게 되면 촬영 영상에는 평면 물체(10)의 정면 모습이 왜곡 없이 나타나게 된다. 하지만, 정면이 아닌 위치, 이를테면 비스듬한 측면에서 평면 물체(10)를 촬영한다면 촬영 영상에 나타난 평면 물체(10)의 모습은 정면의 모습과 다르게 된다. 즉, 촬영 영상에 왜곡이 발생하게 된다. 도 1을 참조하면, 기준 위치(1)는 평면 물체(10)의 정면 위치이고, 촬영 위치(2)는 평면 물체(10)의 정면을 벗어난 위치이다. 촬영 위치(2)에서 촬영된 촬영 영상(11)을 보면 영상 속 평면 물체(10)의 모습에 왜곡이 발생했음을 알 수 있다. 그런데, 이와 같이 왜곡을 포함하는 촬영 영상(11)을 수학적 변환을 통해 기준 위치에 대응되는 정면 영상(12)으로 변환하는 것이 가능하다. 영상의 변환은 왜곡을 포함하는 영상의 매트릭스(matrix)에 시점 변환용 파라미터(τ)를 적용함으로써 수행될 수 있다. 이와 같이 촬영 위치로 인한 영상의 왜곡을 제거하여 정면 시점의 영상으로 변환하는 것을 영상 평활화(image rectification)라고 한다.When the planar object 10 is photographed, when the planar object 10 is photographed in front of the planar object 10, the frontal view of the planar object 10 appears without distortion in the photographed image. However, if the planar object 10 is photographed at a non-frontal position, such as an oblique side, the planar object 10 shown in the photographed image is different from the frontal view. That is, distortion occurs in the photographed image. 1, the reference position 1 is the front position of the planar object 10, and the photographing position 2 is the position outside the front face of the planar object 10. It can be seen that distortion occurs in the shape of the planar object 10 in the image when the taken image 11 taken at the photographing position 2 is viewed. By the way, it is possible to convert the photographed image 11 including the distortion into the front image 12 corresponding to the reference position through mathematical transformation. The transformation of the image can be performed by applying the viewpoint transformation parameter? To a matrix of the image including the distortion. In this way, image distortion due to the photographing position is removed to convert the image to the front view image, which is referred to as image rectification.

도 2는 정면 시점 영상을 둘 이상의 성분으로 분리하는 예를 설명하기 위한 도면이다.2 is a view for explaining an example of separating the front view image into two or more components.

정면 시점 영상의 경우 영상 내의 물체가 대칭적인 구조를 가지거나 반복적인 패턴을 갖는 경우가 많으므로 (예를 들어, 빌딩의 표면이나 동물의 얼굴 등), 일반적으로 정면 시점 영상에 대응되는 매트릭스는 랭크(rank) 값이 낮은 특징이 있다.In the case of a frontal viewpoint image, an object in the image often has a symmetrical structure or has a repetitive pattern (for example, a surface of a building or an animal's face), so that a matrix corresponding to a front view- and a low rank value.

따라서, 정면 시점 영상은 매우 낮은 랭크 값을 갖는 로우-랭크(low-rank) 매트릭스 성분과, 노이즈의 의미를 갖는 스파스 에러(sparse error) 매트릭스 성분으로 분리될 수 있다. 도 2를 참조하면, 정면 시점 영상(21)은 로우-랭크 매트릭스 영상(22)과 스파스 에러 매트릭스 영상(23)의 합으로 나타낼 수 있다.Accordingly, the front view image can be separated into a low-rank matrix component having a very low rank value and a sparse error matrix component having a meaning of noise. Referring to FIG. 2, the front view image 21 may be represented by the sum of the low-rank matrix image 22 and the sparse error matrix image 23.

정면 시점 영상은 로우-랭크 성질을 갖는다는 특성에 착안하여, 로우-랭크 기반의 비용 함수(cost function)를 이용하여 왜곡을 포함하는 촬영 영상을 정면 시점 영상으로 변환할 수 있다. 구체적으로, 로우-랭크 성질을 만족할수록 값이 작아지는 비용 함수를 설계하고, 비용 함수를 최소화(minimization)시키는 시점 변환용 파라미터를 산출하여, 산출된 시점 변환용 파라미터를 이용하여 영상을 변환함으로써 촬영 영상에 존재하는 왜곡을 제거할 수 있다.Focusing on the characteristic that the front view image has low-rank property, the front view image can be converted into the front view image using the low-rank based cost function. Specifically, a cost function is designed so that the value becomes smaller as the low-rank property is satisfied, a parameter for time conversion that minimizes the cost function is calculated, and the image is converted using the calculated time conversion parameter, It is possible to eliminate distortion existing in the image.

이와 같이 로우-랭크 기반의 비용 함수를 이용하여 영상 평활화를 수행하는 방법을 수식을 참조하여 설명하면 다음과 같다.A method of performing image smoothing using the low-rank based cost function will now be described with reference to the equations.

Figure 112016123340565-pat00001
Figure 112016123340565-pat00001

Figure 112016123340565-pat00002
Figure 112016123340565-pat00002

수학식 1은 로우-랭크 기반의 비용 함수이다. 이때, I0는 로우-랭크 매트릭스이고, E는 스파스 에러 매트릭스이다. 또한, λ1은 두 변수간의 가중치로서, 설계 환경에 따라서 적절한 값으로 설정될 수 있다. 수학식 1에 따르면, 로우-랭크에 기반한 비용 함수는 로우-랭크 매트릭스의 뉴클리어 놈(nuclear norm)과 스파스 에러 매트릭스의 L1 놈(L1 norm)의 합으로 이루어지므로, 영상이 로우-랭크 성질을 잘 만족시킬수록 비용 함수의 값은 작아진다.Equation 1 is a low-rank based cost function. Where I 0 is the low-rank matrix and E is the sparse error matrix. Also, λ 1 is a weight between two variables, and can be set to an appropriate value according to the design environment. According to Equation (1), the low-rank based cost function is made up of the sum of the Nuclear norm of the low-rank matrix and the L1 norm of the sparse error matrix, so that the image has a low- The better the value of the cost function is.

한편, 수학식 2에서 I는 왜곡을 포함하는 촬영 영상이며, τ는 시점 변환용 파라미터이다. 즉, I·τ는 시점 변환이 완료된 영상을 의미한다. 수학식 2에 따라서 로우-랭크에 기반한 비용 함수가 최소가 되도록 하는 시점 변환용 파라미터를 산출하고, 산출된 파라미터를 이용하여 영상을 변환함으로써 촬영 위치로 인한 왜곡을 제거할 수 있다.On the other hand, in Equation (2), I is an image including distortion and? Is a viewpoint conversion parameter. That is, I · τ denotes an image in which the viewpoint conversion is completed. According to Equation (2), it is possible to calculate a point-of-view conversion parameter that minimizes the cost function based on the low-rank and to convert the image using the calculated parameter to eliminate the distortion due to the photographing position.

그런데, 이와 같이 로우-랭크에 기반한 비용 함수를 이용하여 영상 평활화를 수행할 경우, 상황에 따라서 왜곡 제거 성능이 떨어지는 문제점이 있다. 즉, 어떤 영상의 경우 정면 시점 영상보다 오히려 왜곡이 포함된 영상이 로우-랭크에 기반한 비용 함수의 값이 더 낮게 나올 수 있고, 따라서 로우-랭크에 기반한 비용 함수를 이용하여 영상 평활화를 수행하더라도 여전히 영상에는 많은 왜곡이 남게 된다.However, when the image smoothing is performed using the low-rank-based cost function, there is a problem that distortion cancellation performance deteriorates depending on the situation. That is, in the case of an image, an image including distortion rather than a front view image may have a lower cost function based on a low-rank, and therefore even if image smoothing is performed using a low-rank based cost function, Many distortions remain in the image.

이러한 문제점을 해결하기 위해 본 발명의 일 실시예에서는 영상의 로우-랭크 성질뿐만 아니라, 영상에 포함된 문자의 정렬 상태도 함께 고려하여 영상 평활화를 수행하는 방법 및 장치를 제시한다. 이를 위해 본 발명의 일 실시예에서는 문자 정렬 성질을 반영하여 비용 함수를 설계하고, 이를 로우-랭크 기반의 비용 함수와 결합하여 사용한다. 자세한 내용은 도면을 참조하여 후술하기로 한다.In order to solve such a problem, an embodiment of the present invention proposes a method and apparatus for performing image smoothing in consideration of not only the low-rank property of an image but also the alignment state of characters included in the image. For this purpose, in one embodiment of the present invention, the cost function is designed by reflecting the character alignment property and is used in combination with the low-rank based cost function. Details will be described later with reference to the drawings.

도 3은 본 발명의 일 실시예에 따른 영상 평활화 장치의 구성을 도시한 블록도이다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 평활화 장치(100)는 문자 영역 추출부(110) 및 평활화 수행부(120)를 포함할 수 있으며, 평활화 수행부(120)는 함수 생성부(121), 파라미터 산출부(122) 및 영상 변환부를 포함할 수 있다.3 is a block diagram illustrating a configuration of an image smoothing apparatus according to an embodiment of the present invention. 3, an image smoothing apparatus 100 according to an exemplary embodiment of the present invention may include a character region extraction unit 110 and a smoothing unit 120. The smoothing unit 120 performs smoothing Unit 121, a parameter calculation unit 122, and an image conversion unit.

한편, 본 발명의 일 실시예에 따른 영상 평활화 장치(100)는 영상 처리 장치의 일부로 포함될 수도 있다. 예를 들어, 영상 평활화 장치(100)는 영상에 포함된 문자의 인식을 수행하는 영상 처리 장치 내에 포함되어, 문자 인식 프로세스의 전처리 과정으로서 영상 평활화를 수행할 수도 있다.Meanwhile, the image smoothing apparatus 100 according to an embodiment of the present invention may be included as part of the image processing apparatus. For example, the image smoothing apparatus 100 may be included in an image processing apparatus that recognizes characters included in an image, and may perform image smoothing as a preprocessing process of a character recognition process.

또한, 본 발명의 일 실시예에 따른 영상 평활화 장치(100)는 촬영 기능과 영상 처리 기능을 함께 구비하는 전자 장치에 포함되는 구성일 수도 있으며, 또는 클라이언트 디바이스로부터 수신한 영상에 대한 처리를 수행하는 서버에 포함되는 구성일 수도 있다.In addition, the image smoothing apparatus 100 according to an exemplary embodiment of the present invention may be included in an electronic apparatus having both a photographing function and an image processing function, or may be configured to perform processing on an image received from a client device It may be a configuration included in the server.

이와 같이, 본 발명의 일 실시예에 따른 영상 평활화 장치(100)는 영상 평활화 프로세스를 필요로 하는 다양한 장치의 내부 구성으로서 포함될 수 있다.As described above, the image smoothing apparatus 100 according to an embodiment of the present invention can be included as an internal configuration of various apparatuses requiring an image smoothing process.

문자 영역 추출부(110)는 대상 영상에 포함된 문자 영역을 추출할 수 있다. 이때, 대상 영상이란 평활화를 수행할 영상을 의미한다. 대상 영상은 도시되지는 않았지만 영상 평활화 장치(100)에 구비된 촬영부에서 촬영한 영상일 수도 있고, 외부의 다른 장치 또는 서버로부터 수신한 영상일 수도 있다.The character region extracting unit 110 can extract the character region included in the target image. At this time, the target image means an image to be smoothed. The target image may be an image photographed by a photographing unit provided in the image smoothing apparatus 100, or may be an image received from another external device or a server, though not shown.

문자 영역 추출부(110)가 대상 영상으로부터 문자 영역을 추출하는 이유는, 대상 영상의 평활화를 수행함에 있어서, 대상 영상에 포함된 문자들의 정렬 상태를 고려하기 위해서다. 즉, 시점 변환용 파라미터를 산출함에 있어서 문자 정렬 성질을 반영한 비용 함수를 이용하기 위해서다.The reason why the character region extraction unit 110 extracts the character region from the target image is to consider the alignment state of the characters included in the target image in smoothing the target image. That is, in order to use the cost function reflecting the character sorting property in calculating the viewpoint conversion parameter.

평활화 수행부(120)는 대상 영상의 대칭성 및 대상 영상으로부터 추출된 문자 영역에 포함된 문자들의 정렬 상태에 기초하여 대상 영상에 대한 평활화를 수행한다. 다시 말해, 평활화 수행부(120)는 대상 영상의 로우-랭크 성질 및 대상 영상으로부터 추출된 문자 영역에 포함된 문자들의 정렬 상태에 기초하여 대상 영상에 대한 평활화를 수행한다. 이를 위해, 평활화 수행부(120)는 함수 생성부(121), 파라미터 산출부(122) 및 영상 변환부(123)를 포함할 수 있다.The smoothing unit 120 performs smoothing on the target image based on the symmetry of the target image and the alignment state of the characters included in the character region extracted from the target image. In other words, the smoothing unit 120 performs smoothing on the target image based on the low-rank property of the target image and the alignment state of the characters included in the character region extracted from the target image. The smoothing unit 120 may include a function generation unit 121, a parameter calculation unit 122, and an image conversion unit 123.

함수 생성부(121)는 시점 변환용 파라미터 산출에 이용할 비용 함수를 생성할 수 있다. 함수 생성부(121)는 문자 정렬 성질을 반영하여 제1 비용 함수를 설계하고, 로우-랭크 기반의 제2 비용 함수를 설계하고, 제1 비용 함수 및 제2 비용 함수를 결합함으로써 제3 비용 함수를 생성할 수 있다.The function generation unit 121 can generate a cost function to be used for calculating the viewpoint conversion parameter. The function generating unit 121 designes a first cost function reflecting the character sorting property, designs a second cost function based on a low-rank, combines a first cost function and a second cost function, Lt; / RTI >

함수 생성부(121)는 영상에 포함된 문자의 위치가 미리 설정된 위치와 일치하는 정도가 높아질수록 제1 비용 함수의 값이 작아지도록, 제1 비용 함수를 설계할 수 있다. 또한, 함수 생성부(121)는 영상에 포함된 문자에 포함된 적어도 하나의 점(point)이 미리 설정된 직선상에 위치할 때 제1 비용 함수의 값이 최소가 되도록, 제1 비용 함수를 설계할 수도 있다. 또한, 함수 생성부(121)는 영상에 포함된 문자의 최고점 및 최하점이 미리 설정된 직선들상에 위치할 때 제1 비용 함수의 값이 최소가 되도록, 제1 비용 함수를 설계할 수도 있다. 함수 생성부(121)가 문자 정렬 성질을 반영하여 제1 비용 함수를 설계하는 방법에 대해서 도 4를 참조하여 자세하게 설명하면 다음과 같다.The function generating unit 121 may design the first cost function so that the value of the first cost function becomes smaller as the degree of the position of the character included in the image coincides with the preset position. Also, the function generating unit 121 may design the first cost function so that the value of the first cost function is minimized when at least one point included in the characters included in the image is located on a predetermined straight line. You may. The function generating unit 121 may design the first cost function so that the value of the first cost function is minimized when the highest and lowest points of the characters included in the image are located on the predetermined straight lines. A method of designing the first cost function by the function generating unit 121 in accordance with the character sorting property will be described in detail with reference to FIG.

도 4는 본 발명의 일 실시예에 따라 문자 정렬 성질을 반영하여 비용 함수를 설계하는 방법을 설명하기 위한 도면이다.FIG. 4 is a diagram illustrating a method of designing a cost function in accordance with an embodiment of the present invention by reflecting character alignment characteristics.

정면 영상에 포함되는 문자들은 일정한 범위 내에 정렬하게 된다. 도 4를 참조하면, 각 알파벳 문자의 최고점(highest point)들(41T, 42T, 43T, 44T, 45T)은 모두 2개의 직선들(l1, l2) 중 어느 하나에 위치하고, 최하점(lowest point)들(41B, 42B, 43B, 44B, 45B)은 모두 2개의 직선들(l3, l4) 중 어느 하나에 위치한다. 따라서, 이런 성질을 이용하여 문자가 정상 위치에 정렬할수록 값이 작아지는 비용 함수를 설계할 수 있다.The characters included in the front image are arranged within a certain range. 4, the highest points 41T, 42T, 43T, 44T, and 45T of each alphabet letter are all located on one of the two straight lines l 1 and l 2 , and the lowest point ) s (41B, 42B, 43B, 44B , 45B) are all located in any one of the two straight lines (l 3, l 4). Therefore, it is possible to design a cost function that reduces the value as the character aligns to the normal position using this property.

Figure 112016123340565-pat00003
Figure 112016123340565-pat00003

Figure 112016123340565-pat00004
Figure 112016123340565-pat00004

수학식 3은 문자 정렬 성질을 반영한 비용 함수이다. 시점 변환용 파라미터 τ를 이용하여 평활화를 수행한 결과 영상이 문자 정렬 성질을 잘 만족할수록 수학식 3의 비용 함수는 작은 값을 가지게 된다. 다시 말해, 결과 영상에 포함된 문자의 최고점 및 최하점이 도 4의 4개의 직선들(l1, l2, l3, l4)에 가까이 위치할수록 수학식 3의 비용 함수의 값은 작아진다. 이때, l1 내지 l4는 도 4에 도시된 각 직선의 y축 좌표값이다. ti(τ) 및 bi(τ)는 각각 i번째 문자의 최고점 및 최하점의 y축 좌표값이다.Equation (3) is a cost function that reflects character alignment. As a result of performing smoothing using the viewpoint conversion parameter τ, the cost function of Equation (3) has a smaller value as the image satisfies the character alignment property well. In other words, as the highest and lowest points of the characters included in the resultant image are located near the four straight lines (l 1 , l 2 , l 3 , l 4 ) in Fig. 4, the value of the cost function in Equation (3) becomes smaller. In this case, l 1 to l 4 are y-axis coordinate values of each straight line shown in Fig. t i (τ) and b i (τ) are the y-coordinate values of the highest and lowest points of the i-th character, respectively.

ti(τ) 및 bi(τ)는 수학식 4에서 확인할 수 있는 바와 같이, i번째 문자에 해당되는 모든 픽셀들을 τ로 시점 변환을 완료했을 때 y축 좌표값이 가장 큰 값 및 가장 작은 값을 각각 계산하여 구할 수 있다. 이때, pi j는 i번째 문자의 j번째 픽셀을 의미한다.t i (τ) and b i (τ) is, as can be seen from equation 4, i-th, when all pixels corresponding to the character you have finished your viewpoint change in τ y-axis coordinate value is the largest value and the smallest Can be obtained by calculating the respective values. In this case, p i j means the j-th pixel of the i-th character.

다시 수학식 3을 보면, ω 및 μ는 0 또는 1의 값을 갖는 바이너리(binary) 변수로서, 각각의 문자에 대해서 최고점이 l1 또는 l2 중 어디에 정렬되는지, 또한 최하점이 l3 또는 l4 중 어디에 정렬되는지를 표현하는 변수이다. 예를 들어, 도 4에서 문자 “D”의 경우 최고점(41T)은 l1에 정렬되고, 최하점(41B)은 l3에 정렬되므로 ω 및 μ은 모두 1의 값을 갖는다.Referring again to Equation (3), ω and μ are binary variables having values of 0 or 1, in which the highest point is aligned to l 1 or l 2 and the lowest point is l 3 or l 4 Which is a variable that expresses the position of the data. For example, in the case of the letter " D " in Fig. 4, the peak 41T is aligned to l 1 and the lowest point 41B is aligned to l 3 , so that ω and μ have a value of 1.

한편, 도 4에서는 4개의 직선상에 최고점 및 최하점이 정렬되는 알파벳 문자를 예로 들어 비용 함수 설계를 설명하였는데, 정렬 조건이 다른 문자들에 대해서도 유사한 방식으로 비용 함수를 설계할 수 있다.Meanwhile, in FIG. 4, the cost function design is described by taking an alphabet letter in which the highest point and the lowermost point are aligned on four straight lines. However, the cost function can be designed in a similar manner for characters having different alignment conditions.

예를 들어, 한자의 경우 극히 일부의 문자를 제외하면 대부분의 문자들은 최고점이 1개의 직선상에 정렬되고, 최하점 역시 1개의 직선상에 정렬된다. 문자의 최고점이 정렬되는 직선의 y축 좌표값을 l1이라고 하고, 문자의 최하점이 정렬되는 직선의 y축 좌표값을 l2라고 한다면, 다음의 수학식 5와 같이 비용 함수를 설계할 수 있다.For example, in the case of Chinese characters, except for very few characters, most characters are aligned on one straight line and the lowest point is also aligned on one straight line. Assuming that the y-axis coordinate value of the straight line in which the highest point of the character is aligned is l 1 and the y-axis coordinate value of the straight line in which the lowermost point of the character is aligned is l 2 , a cost function can be designed as shown in Equation .

Figure 112016123340565-pat00005
Figure 112016123340565-pat00005

수학식 5를 보면, 문자의 최고점 및 최하점은 각각 1개의 직선상에 정렬하게 되므로, 수학식 3에서 정렬하는 직선을 선택하기 위한 변수인 ω 및 μ가 수학식 5에서는 제외되었음을 알 수 있다. 이때, i번째 문자의 최고점 및 최하점의 좌표값인 ti(τ) 및 bi(τ)는 수학식 4를 통해 구할 수 있다.In Equation (5), since the highest and lowest points of the character are aligned on one straight line, it can be seen that the variables ω and μ for selecting the straight line to be aligned in Equation (3) are excluded from the Equation (5). At this time, the coordinate values t i (τ) and b i (τ) of the highest and lowest points of the i-th character can be obtained by the following equation (4).

한편, 이외에도 다양한 문자들에 대해서 각 문자가 가지는 정렬 특성을 반영하여 비용 함수를 설계할 수 있음은 물론이다.In addition, it is needless to say that the cost function can be designed by reflecting the alignment characteristic of each character in various characters.

함수 생성부(121)는 로우-랭크 기반의 제2 비용 함수도 설계하는데, 영상 행렬의 랭크(rank)가 낮을수록 제2 비용 함수의 값이 작아지도록, 제2 비용 함수를 설계할 수 있다. 예를 들어, 함수 생성부(121)는 앞서 설명한 수학식 1과 같이 로우-랭크 기반의 비용 함수를 설계할 수도 있다.The function generating unit 121 may also design a second cost function based on a low-rank, and design a second cost function such that the lower the rank of the image matrix, the smaller the value of the second cost function. For example, the function generating unit 121 may design a low-rank based cost function as shown in Equation (1).

함수 생성부(121)는 제1 비용 함수와 제2 비용 함수를 결합하여 제3 비용 함수를 생성한다. 수학식 3의 제1 비용 함수와, 수학식 1의 제2 비용 함수를 결합하여 생성한 제3 비용 함수는 다음의 수학식 6과 같다.The function generating unit 121 generates a third cost function by combining the first cost function and the second cost function. The third cost function generated by combining the first cost function of Equation (3) and the second cost function of Equation (1) is expressed by Equation (6).

Figure 112016123340565-pat00006
Figure 112016123340565-pat00006

수학식 6에서 λ2는 두 함수간의 가중치로서, λ2의 값이 클수록 수학식 6의 제3 비용 함수의 값은 영상의 로우-랭크 성질보다 문자 정렬 상태에 더 크게 영향을 받게된다.In Equation (6),? 2 is a weight between two functions, and as the value of? 2 is larger, the value of the third cost function of Equation (6) is more affected by the character alignment state than the low-rank property of the image.

한편, 수학식 5의 제1 비용 함수와, 수학식 1의 제2 비용 함수를 결합함으로써 제3 비용 함수를 생성할 수도 있다.Meanwhile, a third cost function may be generated by combining the first cost function of Equation (5) and the second cost function of Equation (1).

파라미터 산출부(122)는 다음의 수학식 7에 따라 제3 비용 함수를 최소화하는 시점 변환용 파라미터 τ를 구할 수 있다.The parameter calculating unit 122 can obtain the point-of-conversion parameter τ that minimizes the third cost function according to the following Equation (7).

Figure 112016123340565-pat00007
Figure 112016123340565-pat00007

그런데 이때, 수학식 7에 포함된 변수의 수(5개)가 너무 많아 최소화를 계산 과정이 매우 복잡해진다. 따라서, 변수들 중 일부의 값을 고정하고 나머지 변수들에 대해서 비용 함수를 최소화시키는 값을 산출하는 동작을 반복하는 알고리즘을 이용함으로써 최소화 과정을 보다 단순화 할 수 있다.In this case, the number of variables (5) included in Equation (7) is so large that the calculation process of minimization becomes very complicated. Therefore, the minimization process can be further simplified by using an algorithm that repeats the operation of fixing a value of some of the variables and calculating a value minimizing the cost function for the remaining variables.

예를 들어, 먼저 변수들을 제1 그룹(I0, E, τ) 및 제2 그룹(ω, μ)으로 나누고, 제1 그룹의 변수들을 값을 고정한 상태에서 제3 비용 함수를 최소로 만드는 제2 그룹 변수들의 값을 구한다. 이어서, 제2 그룹 변수들을 앞서 구한 값으로 고정한 상태에서 제3 비용 함수를 최소로 만드는 제1 그룹 변수들의 값을 구한다. 제3 비용 함수가 충분히 작아질 때까지 이러한 과정들을 반복함으로써 효과적으로 최소화 작업을 할 수 있다.For example, first, the variables are divided into a first group (I 0 , E, τ) and a second group (ω, μ) 2 Find the value of group variables. Then, the values of the first group variables that minimize the third cost function are obtained while the second group variables are fixed to the previously obtained values. By repeating these processes until the third cost function is sufficiently small, the minimization can be effectively performed.

영상 변환부(123)는 파라미터 산출부(122)가 산출한 시점 변환용 파라미터를 이용하여 영상을 변환한다.The image conversion unit 123 converts the image using the viewpoint conversion parameter calculated by the parameter calculation unit 122. [

이하에서는 상술한 영상 평활화 장치(100)를 이용한 영상 평활화 방법에 대해서 설명한다. 도 5 내지 도 8은 본 발명의 실시예들에 따른 영상 평활화 방법을 설명하기 위한 순서도들이다.Hereinafter, an image smoothing method using the image smoothing apparatus 100 will be described. 5 to 8 are flowcharts for explaining an image smoothing method according to embodiments of the present invention.

도 5 내지 도 8에 도시된 실시예들에 따른 영상 평활화 방법은, 도 3에 도시된 영상 평활화 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 3에 도시된 영상 평활화 장치(100)에 관하여 이상에서 기술한 내용은 도 5 내지 도 8에 도시된 실시예들에 따른 영상 평활화 방법에도 적용될 수 있다.The image smoothing method according to the embodiments shown in FIGS. 5 to 8 includes steps that are processed in a time-series manner in the image smoothing apparatus 100 shown in FIG. Therefore, even though omitted from the following description, the description of the image smoothing apparatus 100 shown in FIG. 3 may be applied to the image smoothing method according to the embodiments shown in FIGS. 5 to 8. FIG.

도 5 및 도 6은 본 발명의 일 실시예에 따른 영상 평활화 방법을 설명하기 위한 순서도들이다.5 and 6 are flowcharts for explaining an image smoothing method according to an embodiment of the present invention.

도 5를 참조하면, 501 단계에서 영상 평활화 장치(100)의 문자 영역 추출부(110)는 대상 영상으로부터 문자 영역을 추출한다. 이어서, 502 단계에서 영상 평활화 장치(100)의 평활화 수행부(120)는 대상 영상의 대칭성 및 문자 영역에 포함된 문자들의 정렬 상태에 기초하여 대상 영상에 대한 평활화를 수행한다.Referring to FIG. 5, in step 501, the character region extraction unit 110 of the image smoothing apparatus 100 extracts a character region from a target image. In step 502, the smoothing unit 120 of the image smoothing apparatus 100 performs smoothing on the target image based on the symmetry of the target image and the alignment state of the characters included in the character region.

도 6은 도 5의 502 단계에 포함되는 세부 단계들을 도시한 순서도이다. 도 6을 참조하면, 601 단계에서 영상 평활화 장치(100)의 평활화 수행부(120)는 문자 정렬 성질을 반영하여 설계된 제1 비용 함수 및 로우-랭크 기반의 제2 비용 함수를 결합함으로써 제3 비용 함수를 생성하고, 생성된 제3 비용 함수를 이용하여 시점 변환용 파라미터를 산출한다. 602 단계에서 영상 평활화 장치(100)의 평활화 수행부(120)는 시점 변환 파라미터를 이용하여 대상 영상을 변환한다.FIG. 6 is a flowchart illustrating sub-steps included in step 502 of FIG. Referring to FIG. 6, in step 601, the smoothing unit 120 of the image smoothing apparatus 100 combines a first cost function and a low-rank-based second cost function, which are designed reflecting character alignment characteristics, Function, and calculates a viewpoint conversion parameter using the generated third cost function. In step 602, the smoothing unit 120 of the image smoothing apparatus 100 converts the target image using the viewpoint conversion parameter.

도 7은 본 발명의 일 실시예에 따라 비용 함수를 생성하는 방법을 설명하기 위한 순서도이다. 도 7의 순서도에 포함된 단계들은 영상 평활화 장치(100)의 함수 생성부(121)에 의해 수행된다. 도 7을 참조하면, 701 단계에서 함수 생성부(121)는 문자의 위치가 미리 설정된 위치와 일치하는 정도가 높을수록 값이 작아지는 제1 비용 함수를 설계한다. 702 단계에서 함수 생성부(121)는 영상 행렬의 랭크가 낮을수록 값이 작아지는 제2 비용 함수를 설계한다. 703 단계에서 함수 생성부(121)는 제1 비용 함수 및 제2 비용 함수를 결합하여, 제3 비용 함수를 생성한다.7 is a flowchart illustrating a method of generating a cost function according to an embodiment of the present invention. The steps included in the flowchart of FIG. 7 are performed by the function generation unit 121 of the image smoothing apparatus 100. FIG. Referring to FIG. 7, in step 701, the function generating unit 121 designates a first cost function in which the value decreases as the degree of matching of the position of a character with a preset position increases. In step 702, the function generating unit 121 designates a second cost function in which the value becomes smaller as the rank of the image matrix becomes lower. In step 703, the function generating unit 121 combines the first cost function and the second cost function to generate a third cost function.

도 8은 본 발명의 일 실시예에 따른 영상 평활화 방법에서, 다변수를 포함하는 비용 함수로부터 시점 변환 파라미터를 산출하기 위해 이용하는 반복적 알고리즘을 설명하기 위한 순서도이다. 도 8의 순서도에 포함된 단계들은 영상 평활화 장치(100)의 파라미터 산출부(122)에 의해서 수행된다. 도 8을 참조하면, 801 단계에서 파라미터 산출부(122)는 비용 함수에 포함된 복수의 변수들을 2개의 그룹으로 분리한다. 802 단계에서 파라미터 산출부(122)는 제1 그룹에 포함된 변수들의 값을 고정하고, 제2 그룹에 포함된 변수들에 대해서 비용 함수를 최소로 만드는 값을 산출한다. 803 단계에서 파라미터 산출부(122)는 제2 그룹에 포함된 변수들의 값을 고정하고, 제1 그룹에 포함된 변수들에 대해서 비용 함수를 최소로 만드는 값을 산출한다. 파라미터 산출부(122)는 801 단계 내지 803 단계를 반복적으로 수행함으로써 비용 함수의 최소화를 수행한다.8 is a flowchart for explaining an iterative algorithm used to calculate viewpoint conversion parameters from a cost function including multivariables in the image smoothing method according to an embodiment of the present invention. The steps included in the flowchart of Fig. 8 are performed by the parameter calculation unit 122 of the image smoothing apparatus 100. Fig. Referring to FIG. 8, in step 801, the parameter calculation unit 122 divides a plurality of variables included in the cost function into two groups. In step 802, the parameter calculation unit 122 calculates a value for fixing the values of the variables included in the first group and minimizing the cost function for the variables included in the second group. In step 803, the parameter calculation unit 122 calculates a value for fixing the values of the variables included in the second group and minimizing the cost function for the variables included in the first group. The parameter calculation unit 122 performs the steps 801 to 803 repeatedly to minimize the cost function.

도 9는 본 발명의 일 실시예에 따른 영상 평활화 방법을 적용하여 변환된 영상을, 변환 전의 영상 및 로우-랭크 기반의 비용 함수만을 이용하여 변환된 영상과 비교하여 도시한 도면이다.FIG. 9 is a diagram illustrating an image transformed by applying the image smoothing method according to an exemplary embodiment of the present invention, in comparison with an image transformed using only a cost-based function and a low-rank-based cost function.

도 9의 (a)는 영상 평활화가 수행되지 않은 영상이다. 즉, (a)의 영상들은 촬영 위치로 인한 왜곡을 그대로 포함하고 있다.9A is an image in which image smoothing is not performed. That is, the images of (a) include distortion due to the photographing position.

도 9의 (b)는 로우-랭크 기반의 비용 함수만을 이용하여 영상 평활화가 수행된 결과 영상이다. (b)의 영상을 보면 왜곡이 제거되기는 했지만, 완전히 제거되지 않고 상당 부분 남아있는 것을 확인할 수 있다.9 (b) is a result image in which image smoothing is performed using only a low-rank based cost function. (b) shows that although the distortion is removed, it is not completely removed and a substantial part remains.

도 9의 (c)는 본 발명의 일 실시예에 따른 문자 정렬 성질을 반영한 비용 함수와 로우-랭크 기반의 비용 함수를 결합한 비용함수를 이용하여 영상 평활화가 수행된 결과 영상이다. (c)의 영상을 보면 (b)의 영상에 비해서 왜곡이 더 잘 제거되었음을 확인할 수 있다.FIG. 9C is a result image obtained by performing image smoothing using a cost function that combines a cost function reflecting a character alignment property and a low-rank based cost function according to an exemplary embodiment of the present invention. We can see that the image of (c) shows better distortion than the image of (b).

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.The term " part " used in the present embodiment means a hardware component such as software or a field programmable gate array (FPGA) or an ASIC, and 'part' performs certain roles. However, 'part' is not meant to be limited to software or hardware. &Quot; to " may be configured to reside on an addressable storage medium and may be configured to play one or more processors. Thus, by way of example, 'parts' may refer to components such as software components, object-oriented software components, class components and task components, and processes, functions, , Subroutines, segments of program patent code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.The functions provided within the components and components may be combined with a smaller number of components and components or separated from additional components and components.

뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.In addition, the components and components may be implemented to play back one or more CPUs in a device or a secure multimedia card.

또한 본 발명의 일실시예에 따르는 광고 제공 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 상품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다. Also, the advertisement providing method according to an embodiment of the present invention may be implemented as a computer program (or a computer program product) including instructions executable by a computer. A computer program includes programmable machine instructions that are processed by a processor and can be implemented in a high-level programming language, an object-oriented programming language, an assembly language, or a machine language . The computer program may also be recorded on a computer readable recording medium of a type (e.g., memory, hard disk, magnetic / optical medium or solid-state drive).

따라서 본 발명의 일실시예에 따르는 광고 제공 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다. Therefore, an advertisement providing method according to an embodiment of the present invention can be realized by a computer program as described above being executed by a computing device. The computing device may include a processor, a memory, a storage device, a high-speed interface connected to the memory and a high-speed expansion port, and a low-speed interface connected to the low-speed bus and the storage device. Each of these components is connected to each other using a variety of buses and can be mounted on a common motherboard or mounted in any other suitable manner.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다. Where the processor may process instructions within the computing device, such as to display graphical information to provide a graphical user interface (GUI) on an external input, output device, such as a display connected to a high speed interface And commands stored in memory or storage devices. As another example, multiple processors and / or multiple busses may be used with multiple memory and memory types as appropriate. The processor may also be implemented as a chipset comprised of chips comprising multiple independent analog and / or digital processors.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다. The memory also stores information within the computing device. In one example, the memory may comprise volatile memory units or a collection thereof. In another example, the memory may be comprised of non-volatile memory units or a collection thereof. The memory may also be another type of computer readable medium such as, for example, a magnetic or optical disk.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다. And the storage device can provide a large amount of storage space to the computing device. The storage device may be a computer readable medium or a configuration including such a medium and may include, for example, devices in a SAN (Storage Area Network) or other configurations, and may be a floppy disk device, a hard disk device, Or a tape device, flash memory, or other similar semiconductor memory device or device array.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

1: 기준 위치 2: 촬영 위치
10: 평면 물체 100: 영상 평활화 장치
110: 문자 영역 추출부 120: 평활화 수행부
121: 함수 생성부 122: 파라미터 산출부
123: 영상 변환부1: Reference position 2: Shooting position
10: plane object 100: image smoothing device
110: Character area extracting unit 120: Smoothing unit
121: function generation unit 122: parameter calculation unit
123:

Claims (16)

영상 평활화 방법에 있어서,
대상 영상으로부터 문자 영역을 추출하는 단계; 및
상기 대상 영상의 대칭성 및 상기 추출된 문자 영역에 포함된 문자들의 정렬 상태에 기초하여 상기 대상 영상에 대한 평활화를 수행하는 단계를 포함하며,
상기 대상 영상에 대한 평활화를 수행하는 단계는,
문자 정렬 성질을 반영하여 설계된 제1 비용 함수 및 로우-랭크(low-rank) 기반의 제2 비용 함수를 결합함으로써 생성된, 제3 비용 함수를 이용하여 시점 변환용 파라미터를 산출하는 단계; 및
상기 파라미터를 이용하여 상기 대상 영상을 변환하는 단계를 포함하며,
상기 제1 비용 함수는 영상에 포함된 문자의 위치가 미리 설정된 위치와 일치하는 정도가 높아질수록 값이 작아지는 것을 특징으로 하는 방법.In the image smoothing method,
Extracting a character region from a target image; And
Performing smoothing on the target image based on symmetry of the target image and an alignment state of characters included in the extracted character region,
Wherein the step of performing smoothing on the target image comprises:
Calculating a viewpoint conversion parameter using a third cost function, which is generated by combining a first cost function designed based on the character alignment property and a second cost function based on a low-rank; And
And converting the target image using the parameter,
Wherein the first cost function decreases as the degree of matching of the position of a character included in the image with a preset position increases. 삭제delete 삭제delete 제1항에 있어서,
상기 제1 비용 함수는,
영상에 포함된 문자에 포함된 적어도 하나의 점(point)이 미리 설정된 직선상에 위치할 때 값이 최소가 되는 것을 특징으로 하는 방법.The method according to claim 1,
Wherein the first cost function comprises:
Wherein a value is minimized when at least one point included in a character included in the image is located on a predetermined straight line. 제4항에 있어서,
상기 제1 비용 함수는,
영상에 포함된 문자의 최고점 및 최하점이 미리 설정된 직선들상에 위치할 때 값이 최소가 되는 것을 특징으로 하는 방법.5. The method of claim 4,
Wherein the first cost function comprises:
Characterized in that the value is minimized when the highest and lowest points of the characters included in the image are located on predetermined straight lines. 제1항에 있어서,
상기 제2 비용 함수는,
영상 행렬의 랭크(rank)가 낮을수록 값이 작아지는 것을 특징으로 하는 방법.The method according to claim 1,
Wherein the second cost function comprises:
Wherein the lower the rank of the image matrix is, the smaller the value is. 제1항에 있어서,
상기 시점 변환용 파라미터를 산출하는 단계는,
상기 제3 비용 함수에 포함된 변수들 중 일부를 고정한 상태에서 나머지 변수들의 값을 산출하는 동작을 반복적으로 수행하는 알고리즘을 통해 상기 시점 변환용 파라미터를 산출하는 것을 특징으로 하는 방법.The method according to claim 1,
Wherein the step of calculating the view-
Wherein the viewpoint conversion parameter is calculated through an algorithm that iteratively performs an operation of calculating a value of remaining variables while a part of variables included in the third cost function is fixed. 영상 평활화 장치에 의해 수행되며, 제1항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.A computer program stored in a medium for performing the method of claim 1, which is performed by an image smoothing device. 제1항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한 기록매체.A computer-readable recording medium on which a program for carrying out the method according to claim 1 is recorded. 영상 평활화 장치에 있어서,
대상 영상으로부터 문자 영역을 추출하는 문자 영역 추출부; 및
상기 대상 영상의 대칭성 및 상기 추출된 문자 영역에 포함된 문자들의 정렬 상태에 기초하여 상기 대상 영상에 대한 평활화를 수행하는 평활화 수행부를 포함하며,
상기 평활화 수행부는,
문자 정렬 성질을 반영한 제1 비용 함수 및 로우-랭크(low-rank) 기반의 제2 비용 함수를 설계하고, 상기 제1 비용 함수 및 상기 제2 비용 함수를 결합함으로써 제3 비용 함수를 생성하는 함수 생성부; 및
상기 제3 비용 함수를 이용하여 시점 변환용 파라미터를 산출하는 파라미터 산출부; 및
상기 시점 변환용 파라미터를 이용하여 상기 대상 영상을 변환하는 영상 변환부를 포함하며,
상기 함수 생성부는 영상에 포함된 문자의 위치가 미리 설정된 위치와 일치하는 정도가 높아질수록 값이 작아지도록 상기 제1 비용 함수를 설계하는 것을 특징으로 하는 장치.In the image smoothing device,
A character region extracting unit for extracting a character region from a target image; And
And a smoothing unit performing smoothing on the target image based on the symmetry of the target image and the alignment state of the characters included in the extracted character region,
The smoothing unit may include:
A function to design a first cost function reflecting a character alignment property and a second cost function based on a low-rank, and generating a third cost function by combining the first cost function and the second cost function Generating unit; And
A parameter calculation unit for calculating a viewpoint conversion parameter using the third cost function; And
And an image converting unit for converting the target image using the viewpoint converting parameter,
Wherein the function generator is configured to design the first cost function so that the value decreases as the position of a character included in the image coincides with a preset position. 삭제delete 삭제delete 제10항에 있어서,
상기 함수 생성부는,
영상에 포함된 문자에 포함된 적어도 하나의 점(point)이 미리 설정된 직선상에 위치할 때 값이 최소가 되도록 상기 제1 비용 함수를 설계하는 것을 특징으로 하는 장치.11. The method of claim 10,
Wherein the function generating unit comprises:
Wherein the first cost function is designed so that a value is minimized when at least one point included in a character included in an image is located on a predetermined straight line. 제13항에 있어서,
상기 함수 생성부는,
영상에 포함된 문자의 최고점 및 최하점이 미리 설정된 직선들상에 위치할 때 값이 최소가 되도록 상기 제1 비용 함수를 설계하는 것을 특징으로 하는 장치.14. The method of claim 13,
Wherein the function generating unit comprises:
And design the first cost function so that the value is minimized when the highest and lowest points of the characters included in the image are located on predetermined straight lines. 제10항에 있어서,
상기 함수 생성부는,
영상 행렬의 랭크(rank)가 낮을수록 값이 작아지도록 상기 제2 비용 함수를 설계하는 것을 특징으로 하는 장치.11. The method of claim 10,
Wherein the function generating unit comprises:
And the second cost function is designed so that the value becomes smaller as the rank of the image matrix becomes lower. 제10항에 있어서,
상기 파라미터 산출부는,
상기 제3 비용 함수에 포함된 변수들 중 일부를 고정한 상태에서 나머지 변수들의 값을 산출하는 동작을 반복적으로 수행하는 알고리즘을 통해 상기 시점 변환용 파라미터를 산출하는 것을 특징으로 하는 장치.11. The method of claim 10,
Wherein the parameter calculator comprises:
And calculates the viewpoint conversion parameter through an algorithm that iteratively performs an operation of calculating a value of remaining variables while a part of the variables included in the third cost function is fixed.
KR1020160171869A 2016-12-15 2016-12-15 Method and apparatus for rectifying image including text KR101878256B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160171869A KR101878256B1 (en) 2016-12-15 2016-12-15 Method and apparatus for rectifying image including text

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160171869A KR101878256B1 (en) 2016-12-15 2016-12-15 Method and apparatus for rectifying image including text

Publications (2)

Publication Number Publication Date
KR20180069566A KR20180069566A (en) 2018-06-25
KR101878256B1 true KR101878256B1 (en) 2018-07-13

Family

ID=62806394

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160171869A KR101878256B1 (en) 2016-12-15 2016-12-15 Method and apparatus for rectifying image including text

Country Status (1)

Country Link
KR (1) KR101878256B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07192085A (en) * 1993-12-27 1995-07-28 Nec Corp Document picture inclination detector
JP2000293627A (en) * 1999-04-02 2000-10-20 Sanyo Electric Co Ltd Device and method for inputting image and storage medium
JP2003288588A (en) * 2002-03-27 2003-10-10 Toshiba Corp Apparatus and method for image processing
US20120133779A1 (en) * 2010-11-29 2012-05-31 Microsoft Corporation Robust recovery of transform invariant low-rank textures
US20120134588A1 (en) * 2010-11-29 2012-05-31 Microsoft Corporation Rectification of characters and text as transform invariant low-rank textures
KR20160008407A (en) * 2014-07-14 2016-01-22 주식회사 디오텍 Apparatus and method for recognizing characters

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07192085A (en) * 1993-12-27 1995-07-28 Nec Corp Document picture inclination detector
JP2000293627A (en) * 1999-04-02 2000-10-20 Sanyo Electric Co Ltd Device and method for inputting image and storage medium
JP2003288588A (en) * 2002-03-27 2003-10-10 Toshiba Corp Apparatus and method for image processing
US20120133779A1 (en) * 2010-11-29 2012-05-31 Microsoft Corporation Robust recovery of transform invariant low-rank textures
US20120134588A1 (en) * 2010-11-29 2012-05-31 Microsoft Corporation Rectification of characters and text as transform invariant low-rank textures
KR20160008407A (en) * 2014-07-14 2016-01-22 주식회사 디오텍 Apparatus and method for recognizing characters

Also Published As

Publication number Publication date
KR20180069566A (en) 2018-06-25

Similar Documents

Publication Publication Date Title
US10803554B2 (en) Image processing method and device
US9213899B2 (en) Context-aware tracking of a video object using a sparse representation framework
JP6471448B2 (en) Noise identification method and noise identification apparatus for parallax depth image
JP5183392B2 (en) Image processing apparatus, image processing method, and program
WO2016054779A1 (en) Spatial pyramid pooling networks for image processing
CN110555795A (en) High resolution style migration
US20140247470A1 (en) Camera-based document imaging
JP5261501B2 (en) Permanent visual scene and object recognition
US9576218B2 (en) Selecting features from image data
US10467767B2 (en) 3D segmentation reconstruction from 2D slices
JP6393230B2 (en) Object detection method and image search system
JP5561100B2 (en) Hidden character restoration method and image processing apparatus
US20170323149A1 (en) Rotation invariant object detection
JP5656768B2 (en) Image feature extraction device and program thereof
JP7163504B2 (en) Image processing method and its apparatus, computer program and electronic equipment
CN111415298A (en) Image splicing method and device, electronic equipment and computer readable storage medium
JP7176616B2 (en) Image processing system, image processing apparatus, image processing method, and image processing program
KR101878256B1 (en) Method and apparatus for rectifying image including text
KR101592087B1 (en) Method for generating saliency map based background location and medium for recording the same
Pratikakis et al. Predictive digitisation of cultural heritage objects
US11288534B2 (en) Apparatus and method for image processing for machine learning
JP5865687B2 (en) Image feature extraction device and program thereof
CN111914110A (en) Example retrieval method based on deep activation salient region
JP4955609B2 (en) Vanishing point tracking method and vanishing point tracking device
CN110895679A (en) Machine vision image data processing method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant