KR20100116270A - Determination of aspect ratio from perspective projection images - Google Patents

Determination of aspect ratio from perspective projection images Download PDF

Info

Publication number
KR20100116270A
KR20100116270A KR1020090034891A KR20090034891A KR20100116270A KR 20100116270 A KR20100116270 A KR 20100116270A KR 1020090034891 A KR1020090034891 A KR 1020090034891A KR 20090034891 A KR20090034891 A KR 20090034891A KR 20100116270 A KR20100116270 A KR 20100116270A
Authority
KR
South Korea
Prior art keywords
aspect ratio
camera
projected
document
rectangular document
Prior art date
Application number
KR1020090034891A
Other languages
Korean (ko)
Other versions
KR101028171B1 (en
Inventor
이병욱
박준희
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020090034891A priority Critical patent/KR101028171B1/en
Publication of KR20100116270A publication Critical patent/KR20100116270A/en
Application granted granted Critical
Publication of KR101028171B1 publication Critical patent/KR101028171B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Character Input (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: A method for determining an aspect ratio for a square document projected on a camera is provided to determine an aspect ratio of a square document by applying a square feature of a planar document to a 3D perspective projection method to correct a document using the aspect ratio, thereby increasing the readability of a document. CONSTITUTION: The direction of one of two straight line pairs is found using an image projected on a camera(S100). The two straight line pairs forms a square document. A direction of the other straight line pair is found using the same method as above(S200). The direction of a 3D planar surface, where the square document is located, is determined using the directions(S300). An aspect ratio for the square document is determined using the directions(S400).

Description

3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법{DETERMINATION OF ASPECT RATIO FROM PERSPECTIVE PROJECTION IMAGES}How to determine the aspect ratio for a rectangular document projected on a camera based on three-dimensional perspective {DETERMINATION OF ASPECT RATIO FROM PERSPECTIVE PROJECTION IMAGES}

본 발명은 카메라를 이용한 왜곡 보정 방법에 관한 것으로서, 보다 구체적으로는 카메라를 이용한 왜곡 보정 방법에 있어서, 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법에 관한 것이다.The present invention relates to a distortion correction method using a camera, and more particularly, to a distortion correction method using a camera, and to a method of determining an aspect ratio for a rectangular document projected on a camera based on a three-dimensional perspective projection method. will be.

문자 인식(character recognition)은 인쇄되거나 손으로 쓴 문자를 컴퓨터가 자동으로 찾아 인식하게 하는 기술을 말한다. 종래의 문자 인식 방법은, 크게 패턴 정합법(pattern matching)과 구조 분석법(structure analysis)으로 분류할 수 있는데, 패턴 정합법은 주로 인쇄 문자의 인식에, 구조 분석법은 주로 필기 문자의 인식에 사용된다. 패턴 정합법과 구조 분석법의 중간적인 문자 인식 방식으로 특징 정합법(feature matching) 및 획 분석법(stroke analysis) 등이 있으며, 각각의 용도나 목적에 맞추어 구분하여 사용하고 있다.Character recognition refers to a technology that allows a computer to automatically find and recognize printed or handwritten characters. Conventional character recognition methods can be broadly classified into pattern matching and structure analysis. Pattern matching is mainly used for recognition of printed characters, and structure analysis is mainly used for recognition of handwritten characters. . As character recognition methods between pattern matching and structural analysis, there are feature matching and stroke analysis, and they are used according to their respective uses and purposes.

최근에, 휴대전화기 카메라 등을 사용하여 자동적인 문자 인식을 하려는 연구가 활발히 진행되고 있다. 카메라로 촬영한 영상은, 촬영한 영상의 문자열의 수평선이 영상의 수평선과 일치하지 않고, 또한 카메라의 촬영 위치가 문서와 수직을 이루지 않기 때문에 기하학적 왜곡이 발생한다. 이와 관련하여, J. Liang 등은 카메라로 문서를 캡처할 경우 나타나는 곡선이나 원근법에 의한 기하학적 왜곡을 보정하는 방법을 제안하였는데, 카메라 캘리브레이션이 아닌 texture flow 정보를 통해 3D 문서 모양을 추정함으로써 기하학적 왜곡을 보정하는 방법이다(J. Liang, D. DeMenthon, and D. Doermann, "Geometric rectification of camera-captured Document Images," IEEE TPAMI, Vol. 30, No. 4, April 2008, pp. 591-605). 상기 방법은, 카메라로 촬영한 영상의 수직과 수평을 정렬하고 이를 이용하여 왜곡을 보정하는 방법인데, 평면이나 곡선 모양의 문서에 동시에 적용할 수 있다는 장점이 있으나, 2차원 영상의 왜곡만을 보정하였기 때문에 보정 영상의 가로대 세로 비(aspect ratio)가 맞지 않다는 문제점이 있다.Recently, researches for automatic character recognition using mobile phone cameras and the like have been actively conducted. In the image photographed by the camera, geometric distortion occurs because the horizontal line of the character string of the captured image does not coincide with the horizontal line of the image, and the photographing position of the camera is not perpendicular to the document. In this regard, J. Liang et al. Proposed a method of correcting geometric distortions caused by curves or perspectives when capturing documents with a camera, and estimated geometric shapes by estimating the shape of 3D documents using texture flow information rather than camera calibration. (J. Liang, D. DeMenthon, and D. Doermann, "Geometric rectification of camera-captured Document Images," IEEE TPAMI, Vol. 30, No. 4, April 2008, pp. 591-605). The method is a method of aligning the vertical and horizontal images of the image taken by the camera and correcting the distortion by using the same, but has the advantage that it can be applied simultaneously to a document of a flat or curved shape, but only correcting the distortion of the two-dimensional image Therefore, there is a problem that the aspect ratio of the corrected image is not correct.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 평면 문서의 사각형 특성을 3차원 원근투영법에 적용하여 사각형 문서의 가로대 세로 비를 결정함으로써, 가로대 세로 비가 정확하게 문서를 보정하여 문자의 자동 인식률을 높일 수 있도록 하는 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법을 제공하는 것을 그 목적으로 한다.The present invention is proposed to solve the above problems of the conventionally proposed methods, by determining the aspect ratio of the rectangular document by applying the rectangular characteristics of the flat document to the three-dimensional perspective projection method, the horizontal aspect ratio accurately It is an object of the present invention to provide a method of determining the aspect ratio for a rectangular document projected on a camera, which is corrected to increase the automatic recognition rate of characters.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 카메라에 투영된 사각형 문서에 대한 가로대 세로 비 결정 방법은, 카메라를 이용한 문자 인식에 있어서, 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법으로서,According to a feature of the present invention for achieving the above object, the aspect ratio determination method for the rectangular document projected on the camera, in the character recognition using the camera, the rectangular document projected on the camera based on the three-dimensional perspective projection method As a method of determining the aspect ratio for,

(1) 카메라에 투영된 영상을 이용하여, 상기 사각형 문서를 구성하는 2쌍의 평행한 직선 쌍 중 한 쌍의 직선 쌍에 대한 방향을 구하는 단계;(1) obtaining a direction of a pair of straight pairs of two pairs of parallel straight lines constituting the rectangular document by using an image projected on a camera;

(2) 상기 단계 (1)에서 구해진 방향을 이용하여, 상기 사각형 문서를 구성하는 2쌍의 평행한 직선 쌍 중 나머지 한 쌍의 직선 쌍에 대한 방향을 구하는 단계;(2) using the direction obtained in the step (1), obtaining a direction with respect to the other pair of straight pairs of the pair of parallel straight pairs constituting the rectangular document;

(3) 상기 단계 (1) 및 단계 (2)에서 구해진 방향들을 이용하여, 상기 사각형 문서가 위치하는 3차원 평면의 방향을 결정하는 단계; 및(3) determining the direction of the three-dimensional plane in which the rectangular document is located, using the directions obtained in steps (1) and (2); And

(4) 상기 단계 (3)에서 결정된 상기 방향을 이용하여, 상기 사각형 문서에 대한 가로대 세로 비를 결정하는 단계를 포함하는 것을 그 구성상의 특징으로 한 다.(4) determining the aspect ratio for the rectangular document using the orientation determined in the step (3).

바람직하게는, 상기 단계 (1)에서, 한 쌍의 직선 쌍에 대한 상기 방향 (a, b, c)는 다음 수학식에 의해 결정될 수 있다.Preferably, in step (1), the directions (a, b, c) for a pair of straight pairs can be determined by the following equation.

<수학식>&Lt; Equation &

Figure 112009024220586-PAT00001
Figure 112009024220586-PAT00001

Figure 112009024220586-PAT00002
Figure 112009024220586-PAT00002

여기서, Pi(i=1, 2, 3, 4)는 카메라에 투영된 사각형 문서의 네 꼭지점을 나타내고, Pij = Pj - Pi로 정의되며,

Figure 112009024220586-PAT00003
은 내적 연산을, ⊥는 2차원 평면에서 90도 회전시키는 것을 각각 나타낸다.Where P i (i = 1, 2, 3, 4) represents the four vertices of a rectangular document projected on the camera and is defined as P ij = P j -P i ,
Figure 112009024220586-PAT00003
Denotes a dot product, and k denotes a 90 degree rotation in the two-dimensional plane, respectively.

더욱 바람직하게는, (5) 상기 단계 (4)에서 결정된 가로대 세로 비를 이용하여, 카메라에 투영된 영상의 왜곡을 보정하는 단계를 더 포함할 수 있다.More preferably, (5) using the aspect ratio determined in step (4), it may further comprise the step of correcting the distortion of the image projected on the camera.

본 발명의 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법에 따르면, 평면 문서의 사각형 특성을 3차원 원근투영법에 적용하여 사각형 문서의 가로대 세로 비를 결정함으로써, 가로대 세 로 비가 정확하게 문서를 보정하여 문서의 가독성을 높일 수 있다.According to the method of determining the aspect ratio for a rectangular document projected on a camera based on the three-dimensional perspective projection method of the present invention, by applying the rectangular characteristics of the flat document to the three-dimensional perspective projection method to determine the aspect ratio of the rectangular document For example, the horizontal and vertical ratios can be corrected to improve the readability of the document.

이하에서는 첨부된 도면들을 참조하여, 본 발명에 따른 실시예에 대하여 상세하게 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른, 카메라를 이용한 문자 인식에 있어서, 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법에 대한 흐름도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른, 카메라를 이용한 문자 인식에 있어서, 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법은, 카메라에 투영된 영상을 이용하여, 사각형 문서를 구성하는 2쌍의 평행한 직선 쌍 중 한 쌍의 직선 쌍에 대한 방향을 구하는 단계(S100), 단계 S100에서 구해진 방향을 이용하여, 사각형 문서를 구성하는 2쌍의 평행한 직선 쌍 중 나머지 한 쌍의 직선 쌍에 대한 방향을 구하는 단계(S200), 단계 S100 및 단계 S200에서 구해진 방향들을 이용하여, 사각형 문서가 위치하는 3차원 평면의 방향을 결정하는 단계(S300), 및 단계 S300에서 결정된 방향을 이용하여, 사각형 문서에 대한 가로대 세로 비를 결정하는 단계(S400)를 포함한다. 또한, 본 발명의 일실시예에 따른, 카메라를 이용한 문자 인식에 있어서, 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법은, 도면에 도시되지는 않았지만, 단계 S400에서 결정된 가로대 세로 비를 이용하여, 카메라에 투영된 영상의 왜곡을 보정하는 단계를 더 포함할 수 있다.1 is a flowchart illustrating a method of determining a horizontal and horizontal ratio for a rectangular document projected on a camera based on a three-dimensional perspective in character recognition using a camera, according to an embodiment of the present invention. As shown in FIG. 1, in the character recognition using a camera according to an embodiment of the present invention, a method of determining the aspect ratio of a rectangular document projected on a camera based on a three-dimensional perspective method may include: a camera; Calculating a direction of a pair of straight pairs of two pairs of parallel straight lines constituting a rectangular document by using the image projected on the step S100, and constructing a rectangular document using the directions obtained in step S100 Determining the direction of the three-dimensional plane in which the rectangular document is located using the directions obtained in steps S200, S100, and S200 of obtaining a direction for the other pair of straight pairs of two parallel straight pairs. (S300), and using the direction determined in step S300, determining the aspect ratio for the rectangular document (S400). In addition, in the character recognition using a camera according to an embodiment of the present invention, a method of determining the aspect ratio for a rectangular document projected on a camera based on a three-dimensional perspective projection method is not illustrated in the drawings. The method may further include correcting a distortion of the image projected on the camera by using the aspect ratio determined in operation S400.

단계 S100에서는, 카메라에 투영된 영상을 이용하여, 사각형 문서를 구성하는 2쌍의 평행한 직선 쌍 중 한 쌍의 직선 쌍에 대한 방향을 구한다. 카메라에 투영된 영상을 이용하여 사각형 문서를 구성하는 2쌍의 평행한 직선 쌍 중 한 쌍의 직선 쌍에 대한 방향을 구하는 방법에 대하여, 이하에서 도 2 내지 도 4를 이용하여 상세하게 설명하기로 한다.In step S100, the direction with respect to a pair of straight pairs of the pair of parallel straight pairs which comprise a rectangular document is calculated | required using the image projected by the camera. A method of obtaining a direction of a pair of straight pairs of two pairs of parallel straight lines constituting a rectangular document by using an image projected on a camera will be described in detail with reference to FIGS. 2 to 4 below. do.

도 2는 3차원 공간상의 직선과 해당 직선이 f=1인 영상 면으로 투영된 직선을 나타내는 도면이다. 도 2에 도시된 바와 같이, 3차원 공간상의 직선을 l이라 하고, l 위의 한 점을 (X0, Y0, Z0)라 하자. 직선 l이 f=1인 영상 면에 투영된 직선을 l'라 하고, l' 위의 한 점을 P0라 하자.FIG. 2 is a diagram showing a straight line in a three-dimensional space and a straight line projected onto an image plane having f = 1. As shown in FIG. 2, a straight line in three-dimensional space is referred to as l, and a point on l is referred to as (X 0 , Y 0 , Z 0 ). Let l 'be the straight line projected on the image plane where l is f = 1, and one point above l' be P 0 .

직선 l이 점 (X0, Y0, Z0)T를 통과하고 기울기가 (a, b, c)T인 경우 그 방정식을 다음 수학식 1과 같이 나타낼 수 있다.If the line l passes through the point (X 0 , Y 0 , Z 0 ) T and the slope is (a, b, c) T , the equation can be expressed as Equation 1 below.

Figure 112009024220586-PAT00004
Figure 112009024220586-PAT00004

Perspective projection이고, f=1로 가정하면 P0은 다음 수학식 2와 같이 나타낼 수 있다.If it is a perspective projection and assuming f = 1, P 0 may be expressed as Equation 2 below.

Figure 112009024220586-PAT00005
Figure 112009024220586-PAT00005

3차원 공간상의 직선 l이 2차원 영상 평면에 투영된 l'은 (X0, Y0, Z0)T가 2차원 영상 평면에 투영된 P0을 지나고, 기울기를

Figure 112009024220586-PAT00006
로 나타낼 수 있으므로, 다음 수학식 3과 같이 나타낼 수 있다.L ', where the straight line l in three-dimensional space is projected on the two-dimensional image plane, passes (P 0 ) where (X 0 , Y 0 , Z 0 ) T is projected on the two-dimensional image plane,
Figure 112009024220586-PAT00006
Since it can be represented by, Equation 3 can be represented.

Figure 112009024220586-PAT00007
Figure 112009024220586-PAT00007

여기서, λ'는 l'상의 점을 나타내는 임의의 상수이며, 카메라의 내부 파라미터(internal parameter)인 초점 거리(focal length)와 픽셀 크기(pixel size)는 안다고 가정한다.Here, lambda 'is an arbitrary constant representing a point on l', and it is assumed that the focal length and the pixel size, which are internal parameters of the camera, are known.

이제 3차원 공간상의 평행사변형에 대해 생각해 보자. 도 3은 3차원 공간상 의 평행사변형과 이것에 대한 투영 결과를 나타내는 도면이다. 도 3에 도시된 바와 같이, 3차원 공간상의 직사각형의 각 꼭지점을 Q1, Q2, Q3, Q4라 하고, 이의 perspective projection된 2차원 영상상의 각 꼭지점을 P1, P2, P3, P4라 하자.Now think about parallelograms in three-dimensional space. Fig. 3 is a diagram showing parallelograms in three-dimensional space and the projection results thereof. As shown in FIG. 3, each vertex of a rectangle in three-dimensional space is referred to as Q 1 , Q 2 , Q 3 , and Q 4 , and each vertex of the perspective projected two-dimensional image is represented by P 1 , P 2 , and P 3. Let's say P 4 .

Q1과 Q2를 지나는 직선의 방향을 (a, b, c)라고 하고, Pij = Pj - Pi라고 정의할 경우, P12와 P43는 각각 다음 수학식 4와 같이 나타낼 수 있다.When the directions of the straight lines passing through Q 1 and Q 2 are defined as (a, b, c) and P ij = P j -P i , P 12 and P 43 may be represented by Equation 4 below. .

Figure 112009024220586-PAT00008
Figure 112009024220586-PAT00008

②/k 하면, 다음 수학식 5를 얻을 수 있다.When / k is used, the following equation (5) can be obtained.

Figure 112009024220586-PAT00009
Figure 112009024220586-PAT00009

①-③ 하면, 다음 수학식 6을 얻을 수 있다.The following equation (6) can be obtained by performing ①-③.

Figure 112009024220586-PAT00010
Figure 112009024220586-PAT00010

2차원 평면에서 90도 회전시키는 회전 행렬을

Figure 112009024220586-PAT00011
이라고 하면,
Figure 112009024220586-PAT00012
이라고 표현할 수 있다. 도 4는 수직인 벡터 사이의 관계를 나타내는 도면이다.A rotation matrix that rotates 90 degrees in the 2D plane
Figure 112009024220586-PAT00011
Speaking of
Figure 112009024220586-PAT00012
Can be expressed. 4 is a diagram illustrating a relationship between vertical vectors.

④P14 ⊥ 하면, 다음 수학식 7과 같이 k를 구할 수 있다.④ If P 14 ⊥ , k can be obtained as shown in Equation 7 below.

Figure 112009024220586-PAT00013
Figure 112009024220586-PAT00013

이렇게 구한 k를 식 ④에 대입하면, c를 구할 수 있으며, 구해진 c를 식 ①에 대입하면, a, b를 구할 수 있게 된다. 이렇게 구해진 (a, b, c) 값이 직선의 방향이다. (a, b, c)의 계산 결과를 확인할 수 있도록, (a, b, c) 계산 결과를 수학식 8로 다시 표시한다.By substituting k in this way, c can be obtained. By substituting c in equation 1, a and b can be obtained. The (a, b, c) values thus obtained are in the direction of the straight line. In order to confirm the calculation result of (a, b, c), the calculation result of (a, b, c) is displayed again by Equation (8).

Figure 112009024220586-PAT00014
Figure 112009024220586-PAT00014

Figure 112009024220586-PAT00015
Figure 112009024220586-PAT00015

단계 S200에서는, 단계 S100에서 구해진 방향을 이용하여, 사각형 문서를 구성하는 2쌍의 평행한 직선 쌍 중 나머지 한 쌍의 직선 쌍에 대한 방향을 구한다. 즉, 단계 S100에서 구해진 (a, b, c) 계산 결과, 및 계산 방식을 이용하여, 사각형 문서를 구성하는 2쌍의 평행한 직선 쌍 중 나머지 한 쌍의 직선 쌍에 대한 방향도 구할 수 있다.In step S200, the direction with respect to the other pair of straight pairs of the pair of parallel straight pairs which comprise a rectangular document is calculated | required using the direction calculated in step S100. That is, using the (a, b, c) calculation result and the calculation method obtained in step S100, the direction of the other pair of straight pairs of the pair of parallel straight pairs constituting the rectangular document can also be obtained.

단계 S300에서는, 단계 S100 및 단계 S200에서 구해진 방향들을 이용하여, 사각형 문서가 위치하는 3차원 평면의 방향을 결정한다. 단계 S100에서 구해진 방향과 단계 S200에서 구해진 방향은 하나의 평면의 방향을 나타내게 되는데, 이렇게 구한 방향의 평면이 임의의 위치에 존재한다고 하자.In step S300, the directions of the three-dimensional plane in which the rectangular document is located are determined using the directions obtained in steps S100 and S200. The direction obtained in step S100 and the direction obtained in step S200 represent a direction of one plane, and it is assumed that the plane of the direction thus obtained exists at an arbitrary position.

단계 S400에서는, 단계 S300에서 결정된 방향과 임의의 위치 값을 이용하여, 사각형 문서에 대한 가로대 세로 비를 결정한다. 이렇게 결정된 사각형 문서에 대 한 가로대 세로 비는, 이후 카메라에 투영된 영상의 왜곡을 보정하는 데 사용될 수 있다.In step S400, the aspect ratio of the rectangular document is determined using the direction and the arbitrary position value determined in step S300. The aspect ratio for the rectangular document thus determined can then be used to correct distortion of the image projected on the camera.

도 5는 본 발명의 일실시예에 따른, 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법을 실제 적용한 모습을 나타내는 도면이다. 도 5에 도시된 바와 같이, 카메라에 투영된 평행사변형을 촬영한 영상(도 5a 참조)에 대하여, 본 발명에서 제안하고 있는 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법을 적용할 경우, 3차원 공간에서 평행사변형이 이루고 있는 평면의 법선 방향을 추정하여 왜곡이 보정된 영상(도 5b 참조)을 얻을 수 있다. 즉, 본 발명의 핵심은 한 장의 평행사변형의 투영된 영상으로부터 그 평행사변형의 3차원 방향을 추정하고, 추정된 3차원 평면의 방향을 이용하여 투영된 영상의 왜곡을 보정할 수 있다는 것인데, 도 5로부터 이와 같은 본원발명의 효과를 분명하게 확인할 수 있다.FIG. 5 is a diagram illustrating a method in which a method of determining an aspect ratio of a rectangular document projected on a camera is actually applied based on a 3D perspective projection method according to an exemplary embodiment of the present invention. As shown in FIG. 5, for an image photographing a parallelogram projected on a camera (see FIG. 5A), an aspect ratio of a rectangular document projected on a camera based on a three-dimensional perspective projection proposed in the present invention. In the case of applying the method to determine the shape, the distortion-corrected image may be obtained by estimating the normal direction of the plane of the parallelogram in three-dimensional space. That is, the key point of the present invention is to estimate the three-dimensional direction of the parallelogram from the projected image of one parallelogram, and to correct the distortion of the projected image by using the estimated direction of the three-dimensional plane. From 5, the effect of this invention can be clearly seen.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above may be variously modified or applied by those skilled in the art, and the scope of the technical idea according to the present invention should be defined by the following claims.

도 1은 본 발명의 일실시예에 따른, 카메라를 이용한 문자 인식에 있어서, 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법에 대한 흐름도.1 is a flowchart of a method of determining a ratio of aspect ratios for a rectangular document projected on a camera based on a three-dimensional perspective in character recognition using a camera, according to an embodiment of the present invention.

도 2는 3차원 공간상의 직선과 해당 직선이 f=1인 영상 면으로 투영된 직선을 나타내는 도면.FIG. 2 is a diagram showing a straight line in three-dimensional space and a straight line projected onto an image plane with the straight line f = 1. FIG.

도 3은 3차원 공간상의 직사각형과 이것에 대한 투영 결과를 나타내는 도면.3 is a view showing a rectangle on a three-dimensional space and a projection result thereof.

도 4는 수직인 벡터 사이의 관계를 나타내는 도면.4 shows a relationship between vertical vectors.

도 5는 본 발명의 일실시예에 따른, 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법을 실제 적용한 모습을 나타내는 도면.FIG. 5 is a view showing how the aspect ratio of a rectangular document projected on a camera is actually applied based on a 3D perspective projection method according to an embodiment of the present invention. FIG.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

S100: 카메라에 투영된 영상을 이용하여, 사각형 문서를 구성하는 2쌍의 평행한 직선 쌍 중 한 쌍의 직선 쌍에 대한 방향을 구하는 단계S100: Using the image projected on the camera, obtaining a direction for one pair of straight pairs of two pairs of parallel straight lines constituting a rectangular document

S200: 단계 S100에서 구해진 방향을 이용하여, 사각형 문서를 구성하는 2쌍의 평행한 직선 쌍 중 나머지 한 쌍의 직선 쌍에 대한 방향을 구하는 단계S200: Using the direction obtained in step S100, obtaining a direction for the other pair of straight pairs of the pair of parallel straight pairs constituting the rectangular document

S300: 단계 S100 및 단계 S200에서 구해진 방향들을 이용하여, 사각형 문서가 위치하는 3차원 평면의 위치 값을 결정하는 단계S300: Determining the position value of the three-dimensional plane in which the rectangular document is located, using the directions obtained in steps S100 and S200

S400: 단계 S300에서 결정된 위치 값을 이용하여, 사각형 문서에 대한 가로 대 세로 비를 결정하는 단계S400: Step of determining the aspect ratio for the rectangular document using the position value determined in step S300

Claims (3)

카메라를 이용한 문자 인식에 있어서, 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법으로서,In character recognition using a camera, a method of determining the aspect ratio of a rectangular document projected on a camera based on a three-dimensional perspective projection method, (1) 카메라에 투영된 영상을 이용하여, 상기 사각형 문서를 구성하는 2쌍의 평행한 직선 쌍 중 한 쌍의 직선 쌍에 대한 방향을 구하는 단계;(1) obtaining a direction of a pair of straight pairs of two pairs of parallel straight lines constituting the rectangular document by using an image projected on a camera; (2) 상기 단계 (1)에서 구해진 방향을 이용하여, 상기 사각형 문서를 구성하는 2쌍의 평행한 직선 쌍 중 나머지 한 쌍의 직선 쌍에 대한 방향을 구하는 단계;(2) using the direction obtained in the step (1), obtaining a direction with respect to the other pair of straight pairs of the pair of parallel straight pairs constituting the rectangular document; (3) 상기 단계 (1) 및 단계 (2)에서 구해진 방향들을 이용하여, 상기 사각형 문서가 위치하는 3차원 평면의 방향을 결정하는 단계; 및(3) determining the direction of the three-dimensional plane in which the rectangular document is located, using the directions obtained in steps (1) and (2); And (4) 상기 단계 (3)에서 결정된 상기 방향을 이용하여, 상기 사각형 문서에 대한 가로대 세로 비를 결정하는 단계(4) determining the aspect ratio for the rectangular document using the orientation determined in step (3) 를 포함하는 것을 특징으로 하는, 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법.And determining an aspect ratio for a rectangular document projected on the camera based on the 3D perspective projection method. 제1항에 있어서, 상기 단계 (1)에서,The method of claim 1, wherein in step (1), 한 쌍의 직선 쌍에 대한 상기 방향 (a, b, c)는 다음 수학식에 의해 결정되 는 것을 특징으로 하는, 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법.The direction (a, b, c) for a pair of straight pairs is determined by the following equation, determining the aspect ratio for a rectangular document projected on a camera based on three-dimensional perspective projection. How to. <수학식>&Lt; Equation &
Figure 112009024220586-PAT00016
Figure 112009024220586-PAT00016
Figure 112009024220586-PAT00017
Figure 112009024220586-PAT00017
 여기서, Pi(i=1, 2, 3, 4)는 카메라에 투영된 사각형 문서의 네 꼭지점을 나타내고, Pij = Pj - Pi로 정의되며,
Figure 112009024220586-PAT00018
은 내적 연산을, ⊥는 2차원 평면에서 90도 회전시키는 것을 각각 나타낸다.Where P i (i = 1, 2, 3, 4) represents the four vertices of a rectangular document projected on the camera and is defined as P ij = P j -P i ,
Figure 112009024220586-PAT00018
Denotes a dot product, and k denotes a 90 degree rotation in the two-dimensional plane, respectively. 제1항 또는 제2항에 있어서,The method according to claim 1 or 2, (5) 상기 단계 (4)에서 결정된 가로대 세로 비를 이용하여, 카메라에 투영된 영상의 왜곡을 보정하는 단계를 더 포함하는 것을 특징으로 하는, 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법.(5) a rectangular document projected on the camera based on the three-dimensional perspective projection method, further comprising correcting the distortion of the image projected on the camera by using the aspect ratio determined in the step (4). How to determine the aspect ratio for.
KR1020090034891A 2009-04-22 2009-04-22 Determination of aspect ratio from perspective projection images KR101028171B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090034891A KR101028171B1 (en) 2009-04-22 2009-04-22 Determination of aspect ratio from perspective projection images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090034891A KR101028171B1 (en) 2009-04-22 2009-04-22 Determination of aspect ratio from perspective projection images

Publications (2)

Publication Number Publication Date
KR20100116270A true KR20100116270A (en) 2010-11-01
KR101028171B1 KR101028171B1 (en) 2011-04-08

Family

ID=43403300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090034891A KR101028171B1 (en) 2009-04-22 2009-04-22 Determination of aspect ratio from perspective projection images

Country Status (1)

Country Link
KR (1) KR101028171B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102003757B1 (en) 2018-03-09 2019-07-25 배종외 Nitrogen gas cryotherapy apparatus with a gate
KR102003741B1 (en) 2018-03-09 2019-07-25 배종외 Nitrogen gas cryotherapy apparatus with a nitrogen gas generation device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084365A (en) 1999-09-10 2001-03-30 Sanyo Electric Co Ltd Method and device for correcting tilt of picture and computer readable recording medium recording tilt correction program
JP2005018195A (en) 2003-06-24 2005-01-20 Minolta Co Ltd Image processing apparatus and image processing program
KR100685858B1 (en) 2005-01-20 2007-02-22 (주)제이투엠소프트 Method And System For Revising Distance Distortion

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102003757B1 (en) 2018-03-09 2019-07-25 배종외 Nitrogen gas cryotherapy apparatus with a gate
KR102003741B1 (en) 2018-03-09 2019-07-25 배종외 Nitrogen gas cryotherapy apparatus with a nitrogen gas generation device

Also Published As

Publication number Publication date
KR101028171B1 (en) 2011-04-08

Similar Documents

Publication Publication Date Title
US9686527B2 (en) Non-feature extraction-based dense SFM three-dimensional reconstruction method
US7301564B2 (en) Systems and methods for processing a digital captured image
KR101175097B1 (en) Panorama image generating method
US8554012B2 (en) Image processing apparatus and image processing method for correcting distortion in photographed image
CN105374019A (en) A multi-depth image fusion method and device
WO2018235163A1 (en) Calibration device, calibration chart, chart pattern generation device, and calibration method
CN107274483A (en) A kind of object dimensional model building method
KR20120138633A (en) Image processing method, image processing device and scanner
US20130272600A1 (en) Range image pixel matching method
WO2012172817A1 (en) Image stabilization apparatus, image stabilization method, and document
CN112862683B (en) Adjacent image splicing method based on elastic registration and grid optimization
WO2023273108A1 (en) Monocular distance measurement method and apparatus, and intelligent apparatus
CN103824303A (en) Image perspective distortion adjusting method and device based on position and direction of photographed object
CN109754381B (en) Image processing method and system
CN106846249A (en) A kind of panoramic video joining method
JPH05303629A (en) Method for synthesizing shape
JP4859061B2 (en) Image correction method, correction program, and image distortion correction apparatus
CN104504691A (en) Camera position and posture measuring method on basis of low-rank textures
CN107680035B (en) Parameter calibration method and device, server and readable storage medium
KR101028171B1 (en) Determination of aspect ratio from perspective projection images
JP5254545B2 (en) Image processing apparatus and image processing method
JP2008224323A (en) Stereoscopic photograph measuring instrument, stereoscopic photograph measuring method, and stereoscopic photograph measuring program
JP6080424B2 (en) Corresponding point search device, program thereof, and camera parameter estimation device
Inzerillo Super-resolution images on mobile smartphone aimed at 3D modeling
JP4996585B2 (en) Image calibration evaluation apparatus and image calibration evaluation program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee