KR100309679B1

KR100309679B1 - String Extraction Method

Info

Publication number: KR100309679B1
Application number: KR1019980052348A
Authority: KR
Inventors: 박창준; 김현진; 이인호; 오원근
Original assignee: 오길록; 한국전자통신연구원
Priority date: 1998-12-01
Filing date: 1998-12-01
Publication date: 2001-12-28
Also published as: KR20000037699A

Abstract

본 발명은 문자열 추출방법에 관한 것으로서, 일반적으로 문자 영역에서는 축 방향 에지 화소와 사선 방향 에지 화소가서로 가까운 거리에 혼재해 있으며, 선이나 음영, 그림 영역과 같은 곳에서는 축 방향 에지 화소와 사선 방향 에지 화소가 서로 먼 거리에 존재하거나 한 종류의 에지 화소만이 존재한다는 특성을 이용하여 입력된 영상에 대해 방향성 에지를검출하여 축 방향 에지 화소와 사선 방향 에지 화소로 분리한 후, 각각의 에지 화소 영상에 대해 수학적 형태학(mathematical morphology)을 적용하여 방향이 서로 다르며 인접한 화소들을 검출하여 문자열의 좌표를 검출함으로써, 배경에 상관없이 문자열 추출이 가능하며, 문서 영상뿐만 아니라 실외 및 실내 영상과 같은 실제 영상에서의 안내 표지판,간판 등과 같은 곳에서도 문자열 위치 추출이 가능하다는 효과가 있다BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for extracting character strings. In general, in the character area, axial edge pixels and diagonal edge pixels are mixed at close distances. The edge pixels are located at a distance from each other or only one type of edge pixels exist to detect the directional edges of the input image, and then separate them into axial edge pixels and diagonal edge pixels. By applying mathematical morphology to the images, the direction is different and the adjacent pixels are detected to detect the coordinates of the string, so that the string can be extracted regardless of the background, and not only document images but also actual images such as outdoor and indoor images. String location can be extracted from signs, signs, etc. Have an effect

Description

String Extraction Method

본 발명은 문자열 추출방법에 관한 것으로서, 특히, 광학적 입력 수단에 의해 입력한 임의의 영상에서 에지 화소의 방향분포를 이용하여 문자열의 좌표를 구함으로써, 문자열을 추출하는 방법에 관한 것이다.The present invention relates to a method for extracting a character string, and more particularly, to a method for extracting a character string by obtaining coordinates of a character string using a direction distribution of edge pixels in an arbitrary image input by an optical input means.

멀티미디어의 발달에 따라 각종 영상 및 문자를 혼합하여 작성된 문서의 사용이 증가되고 있으며, 이러한 문서들을 효율적으로 데이터 베이스(data base)화 하기 위해 인덱싱(indexing), 검색자료 작성(key word 추출), 문자영상의 문자코드화과정 등을 거치게 되고, 이러한 과정들은 문자 인식을 통해 이루어지고 있다. 그리고, 이러한 문자 인식을 위해서는 문자열 추출이 필수적이다.With the development of multimedia, the use of documents created by mixing various images and texts is increasing, and indexing, searching data writing (key word extraction), and texts are required to efficiently convert these documents into a database. Character encoding process of the image goes through, and these processes are performed through character recognition. And string extraction is essential for such character recognition.

이와 같이 문자열을 추출하기 위해 종래에는 입력된 문서 영상을 블록 분할 및 유형 분류의 과정을 거친 후, 문자 영역으로 판별된 영역에 한하여 레이블링(labeling)을 수행한 결과에서 각 영역을 감싸는 최소 외접 사각형 정보를 이용하여 문자열을 추출하는 방법을 사용하거나, 문자 영역을 라인 스캔하여 흑점수를 계수하한 후, 그 흑점수의 상태에 따라 문자열을 추출하는 방법을 사용하였다.As described above, in order to extract a character string, a minimum circumferential rectangle information surrounding each area is obtained after labeling the input document image after the process of block division and type classification. Using the method of extracting a character string using the method, or after counting the black spot number by line scan the character area, the method of extracting the character string according to the state of the black point number.

그러나, 이와 같은 종래의 방법들은 실외 및 실내 영상과 같은 실제 영상에 대해서는 적용하지 못하며, 일정한 서식을 가진 문서 영상에 한해서만 적용 가능하다는 문제점이 있었다.However, these conventional methods do not apply to real images such as outdoor and indoor images, and have a problem in that they can be applied only to document images having a certain format.

따라서, 본 발명에서는 이러한 문제점을 해결하기 위해, 임의의 영상 또는 서식이 없는 문서 영상에서 임의의 위치나 임의의 영역에 속한 문자열의 위치를 추출할 수 있도록 하는 문자열 추출방법을 제공하고자 한다.Accordingly, in order to solve this problem, the present invention is to provide a method for extracting a character string to extract the position of an arbitrary position or a character string belonging to an arbitrary region in an arbitrary image or a document image without a format.

일반적으로 문자 영역에서는 축 방향 에지 화소와 사선 방향 에지 화소가 서로 가까운 거리에 혼재해 있으며, 선이나 음영, 그림 영역과 같은 곳에서는 축 방향 에지 화소와 사선 방향 에지 화소가 서로 먼 거리에 존재하거나 한 종류의 에지화소만이 존재하는 특성이 있으며, 본 발명은 이러한 특성을 이용하여 문자열의 좌표를 구하는 방법에 관한 것으로서, 입력된 영상에 대해 방향성 에지를 검출하여 축 방향 에지 화소와 사선 방향 에지 화소로 분리한 후, 각각의 에지 화소 영상에 대해 수학적 형태학(mathematical morphology)을 적용하여 방향이 서로 다르며 인접한 화소들을 검출하여 문자열의좌표를 검출하는 특성이 있다.In general, in the character area, axial edge pixels and diagonal edge pixels are mixed at close distances, and in lines, shadows, and drawing areas, axial edge pixels and diagonal edge pixels exist at a distance from each other. The present invention relates to a method of obtaining the coordinates of a character string using only such edge pixels. The present invention relates to a method for obtaining coordinates of a character string using such characteristics. After separation, a mathematical morphology is applied to each edge pixel image to have different directions and detect adjacent pixels to detect coordinates of a string.

도 1은 본 발명의 일 실시예에 따른 문자열 추출방법에 대한 처리 흐름도,1 is a flowchart illustrating a string extracting method according to an embodiment of the present invention;

도 2는 본 발명에 관한 영역의 밝기에 따른 에지에 대한 예시도,2 is an exemplary view of an edge according to the brightness of an area according to the present invention;

도 3은 본 발명에 관한 에지 화소의 방향을 축 방향과 사선 방향으로 근사화 하는 방법에 대한 예시도,3 is an exemplary diagram of a method of approximating the direction of an edge pixel according to the present invention in an axial direction and an oblique direction;

도 4는 본 발명에 관한 형태학적 불림 연산에 대한 예시도,4 is an exemplary diagram for a morphological call operation according to the present invention;

도 5는 본 발명에 관한 문자 영역과 선분 영역의 에지 화소의 방향 특성에 대한 예시도이다.Fig. 5 is an illustration of directional characteristics of edge pixels in the character area and the line segment area according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 문자열 추출방법을 좀 더 상세히 설명하고자 한다.Hereinafter, with reference to the accompanying drawings will be described in more detail the string extraction method of the present invention.

도 1은 본 발명의 일 실시예에 따른 문자열 추출방법에 대한 처리 흐름도이고, 도 2는 본 발명에 관한 영역의 밝기에 따른 에지에 대한 예시도이고, 도 3은 본 발명에 관한 에지 화소의 방향을 축 방향과 사선 방향으로 근사화 하는 방법에 대한 예시도이고, 도 4는 본 발명에 관한 형태학적 불림 연산에 대한 예시도이고, 도 5는 본 발명에 관한 문자 영역과 선분영역의 에지 화소의 방향 특성에 대한 예시도이다.1 is a flowchart illustrating a method of extracting a text string according to an embodiment of the present invention, FIG. 2 is an exemplary view of an edge according to brightness of an area according to the present invention, and FIG. 3 is a direction of an edge pixel according to the present invention. Is an illustration of a method of approximating the axial and diagonal directions, FIG. 4 is an illustration of a morphological summation operation according to the present invention, and FIG. 5 is a direction of an edge pixel of a character area and a line segment area according to the present invention. It is an illustration about a characteristic.

먼저, 도 1을 참조하면, 본 발명의 문자열 추출방법은 문자열을 포함한 영상이 입력되면, 그 영상으로부터 방향성 에지를검출(111)하고, 그 방향성 에지에 따라 축방향(A)과 사선방향(B)으로 에지 화소를 분류(112)하며, 그 사선 및 축 방향(B및 A)에서 화소에 대해 각각 확장(dilation) 연산(D(A), D(B))을 수행(113)하여, 상기 연산(113) 결과들에 대해 논리곱([D(A)]＆[D(B)])연산을 수행하여 공통 화소 영상을 구한다(114). 그리고, 그 공통 화소 영상 축소 및 잡음 제거 단계(115)를 거쳐 블록화 및 영상 좌표 복원 단계(116)를 수행하여 문자열 좌표를 구한다.First, referring to FIG. 1, when the image including the character string is input, the character string extracting method of the present invention detects the directional edge 111 from the image, and according to the directional edge, the axial direction A and the diagonal direction B Classify the edge pixels 112, and perform dilation operations D (A) and D (B) on the pixels in the diagonal and axial directions B and A, respectively. A common pixel image is obtained by performing a logical product ([D (A)] & [D (B)]) on the results of the operation 113 (114). Then, through the common pixel image reduction and noise removal step 115, the block and image coordinate recovery step 116 is performed to obtain string coordinates.

다음에 이러한 문자열 추출방법을 도 2 내지 도 5를 참조하여 더욱 상세히 설명한다.Next, such a string extraction method will be described in more detail with reference to FIGS. 2 to 5.

상기 방향성 에지 검출 단계(111)는 프리윗(Prewitt) 에지 연산자 또는 경사 연산자와 같이 에지 화소의 방향을 검출할수 있는 연산자를 이용하여 각 에지 화소의 방향을 구하는 단계로서, 이 때, 상기 에지 화소의 방향은 도 2에 나타낸 바와 같이 영역의 경계에 따라 그 방향이 결정되는데, 에지(22)는 어두운 영역(23)과 밝은 영역(24)의 경계에서 생성되며에지 화소의 집합으로 표현된다. 상기 에지 화소의 방향(21)은 밝은 영역에서 어두운 영역으로 향하게 되며, 영역 경계면의 형태에 따라 0°∼360°의 방향을 가지게 된다.The directional edge detection step 111 is a step of obtaining the direction of each edge pixel by using an operator capable of detecting the direction of the edge pixel, such as a prewitt edge operator or a gradient operator. The direction is determined according to the boundary of the region as shown in FIG. 2, and the edge 22 is generated at the boundary between the dark region 23 and the bright region 24 and is represented by a set of edge pixels. The direction 21 of the edge pixel is directed from a bright area to a dark area, and has a direction of 0 ° to 360 ° depending on the shape of the area boundary surface.

축 방향 및 사선 방향으로 에지 화소를 분류(112)하는 단계에서는, 상기 방향성 에지 검출 단계(111)의 결과로 검출된 0°∼360°의 방향을 가지는 에지 화소들의 방향을 축 방향과 사선 방향으로 근사화하여 각각 다른 저장 장소에 보관하는데, 이러한 근사화 방법을 도 3을 통해 설명한다.In the step of classifying the edge pixels 112 in the axial direction and the diagonal direction, the directions of the edge pixels having a direction of 0 ° to 360 ° detected as a result of the directional edge detection step 111 are axially and diagonally. Approximation is stored in different storage locations, and this approximation method will be described with reference to FIG. 3.

도 3을 참조하면, 각각의 에지 화소들에 대해 축 방향(33)과 사선방향(34)의 2가지 대표 방향 중에서 가까운 것을 택하여화소들의 방향으로 결정하는데, 0°∼22.5°, 67.5°∼112.5°, 157.5°∼202.5°, 247.5°∼292.5°, 337.5°∼360°영역, 즉, 제 1 영역(31)에 속하는 에지 화소들의 방향은 축방향(33)으로 근사화하고, 22.5°∼67.5°, 112.5°∼157.5°,202.5°∼247.5°, 292.5°∼337.5°영역, 즉, 제 2 영역(32)에 속하는 에지 화소들의 방향은 사선 방향(34)으로 근사화한다.Referring to FIG. 3, for each of the edge pixels, one of the two representative directions of the axial direction 33 and the oblique direction 34 is selected to determine the direction of the pixels, from 0 ° to 22.5 ° to 67.5 ° to 112.5 °, 157.5 ° to 202.5 °, 247.5 ° to 292.5 °, 337.5 ° to 360 °, that is, the direction of edge pixels belonging to the first area 31 is approximated in the axial direction 33, and 22.5 ° to 67.5 The directions of the edge pixels belonging to the degrees, 112.5 ° to 157.5 °, 202.5 ° to 247.5 °, and 292.5 ° to 337.5 °, that is, the second area 32, are approximated in the diagonal direction 34.

그리고, 상기와 같이 사선 및 축 방향으로 근사화된 에지 화소들에 대해 각각 확장(dilation)연산을 수행하는 단계(113)에서는 전 단계에서 다른 저장 장소에 보관된 각 방향 에지 화소에 대해 형태학적 확장(morphological dilation) 연산을수행하여 에지 화소에 인접한 화소들을 흑화소로 만든다.In addition, in operation 113 of performing the dilation operation on the edge pixels approximated in the diagonal and axial directions as described above, the morphological expansion may be performed on each direction edge pixel stored in another storage location in the previous step. A morphological dilation operation is performed to make the pixels adjacent to the edge pixels black.

도 4는 형태학적 확장 연산에 대한 예시도로서, 도 4를 참조하면 한 개의 흑화소(41)에 대해 형태학적 확장 연산을 수행하면, 인접된 8개의 화소들이 모두 흑화소로 변하게 되어 팽창된 흑화소(42)를 얻게 된다.4 illustrates an example of a morphological expansion operation. Referring to FIG. 4, when a morphological expansion operation is performed on one black pixel 41, all eight adjacent pixels are changed to black pixels, thereby expanding the expanded black pixel. You get 42.

한편, 상기 사선 및 축 방향 에지 화소에 공통 화소 영상을 구하는 과정(114)에서는 각 방향 에지 화소에 대해 확장 연산의 결과로 생성된 팽창된 흑화소들의 두 영상에서 같은 좌표에 모두 흑화소가 존재하는 좌표들에 대해 흑화소를 채워넣은새로운 영상을 만든다. 이와 같이 하여 얻은 영상은 축방향 에지 화소와 사선 방향 에지 화소가 서로 인접해 있는 화소들을 모아 놓은 결과이다.Meanwhile, in operation 114 of obtaining a common pixel image in the diagonal and axial edge pixels, black pixels exist at the same coordinates in both images of the expanded black pixels generated as a result of the expansion operation for each of the directional edge pixels. Create a new image filled with black pixels for the coordinates. The image obtained in this manner is a result of collecting pixels in which axial edge pixels and diagonal edge pixels are adjacent to each other.

또한, 상기 영상 축소 및 잡음 제거(115) 단계에서는 상기 단계에서 얻어진 공통 화소 영상들을 축소하여 흑화소들을 밀집시킨 후 작은 넓이 즉, 2화소(pixel)이하의 넓이를 가지는 흑화소들을 제거하고 큰 영역만 남도록하여 잡음을 제거하며, 상기 블록화 및 영상 좌표 복원(116) 단계에서는 상기 단계(115)에서 제거 되지 않고 남은 영역들의 최소 외접 사각형을 구하여 축소된 공간에서의 좌표를 구한 후 그들을 다시 복원하여 원래 영상의 좌표로 변환한다.In addition, in the image reduction and noise removal step 115, the common pixel images obtained in the step are reduced to densify the black pixels, and then black pixels having a small area, that is, less than two pixels, are removed and a large area is removed. Only the remaining noise is removed, and the block and image coordinate restoration step 116 obtains the minimum circumference squares of the remaining areas that are not removed in step 115, obtains the coordinates in the reduced space, and then restores them again. Convert to video coordinates.

이와 같은 과정을 거치게 되면, 배경의 선이나, 그림, 음영 영역에 관계없이 순수 문자열의 위치를 추출할 수 있다.Through this process, the position of the pure string can be extracted regardless of the background line, picture, or shadow area.

도 5는 문자 및 선분 영역에서의 에지 방향 분포에 대한 예시도이다.5 is an exemplary diagram of the edge direction distribution in the character and line segment area.

도 5를 참조하면, 문자 영역(51)에서는 축 방향 에지 화소와 사선 방향 에지 화소가 서로 가까운 거리에 혼재해 있다. 그리고, 선이나 음영 영역(52), 그림 영역과 같은 곳에서는 축 방향 에지 화소와 사선 방향 에지 화소가 서로 먼 거리에 존재하거나 한 종류의 에지 화소만이 존재하는 현상이 있다.Referring to Fig. 5, in the character area 51, axial edge pixels and diagonal edge pixels are mixed at close distances to each other. In some places such as the line, the shaded area 52, and the picture area, there exist a phenomenon in which the axial edge pixel and the diagonal edge pixel exist at a distance from each other or only one type of edge pixel exists.

이러한 현상을 이용하여 도 1에 예시한 구성으로 문자열을 추출하면, 축방향(33)(도 3 참조) 에지 화소와 사선방향(34)(도 3 참조) 에지 화소가 서로 가까운 거리에 혼재해 있는 문자 영역이 추출되게 된다. 또한, 문서 영상뿐만 아니라 실제의 배경을 지닌 야외 혹은 실내 영상에서 안내 표지판과 같은 곳에서의 문자열도 추출 가능하다.By extracting the character string with the configuration illustrated in FIG. 1 using this phenomenon, the edge pixels in the axial direction 33 (see FIG. 3) and the diagonal pixels 34 (see FIG. 3) are mixed at close distances to each other. The text area will be extracted. In addition, not only the document image but also an outdoor or indoor image having an actual background may be extracted from a character string such as a guide sign.

상기와 같은 본 발명의 방법은 문자 영역에서만 나타나는 에지 방향의 분포 특성을 이용하여 문자열을 추출하기 때문에,배경에 상관없이 문자열 추출이 가능하므로, 문서 영상뿐만 아니라 실외 및 실내 영상과 같은 실제 영상에서의 안내 표지판, 간판 등과 같은 곳에서도 문자열 위치 추출이 가능하다는 효과가 있다.As the method of the present invention as described above extracts a character string using the distribution characteristic of the edge direction appearing only in the character area, the character string can be extracted regardless of the background, so that the image can be extracted from actual images such as not only document images but also outdoor and indoor images. The location of the character string can be extracted even in places such as guide signs and signs.

Claims

A first process of detecting a directional edge from the image when the image including the character string is input,

A second process of classifying the edge pixels in the axial direction and the diagonal direction according to the detected directional edges and performing morphological expansion operations on the edge pixels, respectively, to make the pixels adjacent to the edge pixels black;

As a result of the morphological expansion of the second process, a third process of obtaining a common pixel image by filling a black pixel with respect to coordinates in which the black pixel exists in common in the axial direction and the diagonal direction;

A fourth process of reducing noise by removing the black pixels having a width less than or equal to two pixels by narrowing the common pixel image and dense black pixels;

And a fifth process of obtaining image coordinates in a reduced space by obtaining minimum circumference squares of the noise-removed regions in the fourth process, and restoring the image coordinates to original image coordinates to obtain string coordinates. How to extract a string.