KR101048399B1 - Character detection method and apparatus - Google Patents

Character detection method and apparatus Download PDF

Info

Publication number
KR101048399B1
KR101048399B1 KR1020090099443A KR20090099443A KR101048399B1 KR 101048399 B1 KR101048399 B1 KR 101048399B1 KR 1020090099443 A KR1020090099443 A KR 1020090099443A KR 20090099443 A KR20090099443 A KR 20090099443A KR 101048399 B1 KR101048399 B1 KR 101048399B1
Authority
KR
South Korea
Prior art keywords
character
candidate
area
image
region
Prior art date
Application number
KR1020090099443A
Other languages
Korean (ko)
Other versions
KR20110042665A (en
Inventor
이귀상
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020090099443A priority Critical patent/KR101048399B1/en
Publication of KR20110042665A publication Critical patent/KR20110042665A/en
Application granted granted Critical
Publication of KR101048399B1 publication Critical patent/KR101048399B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Abstract

상기한 목적을 달성하기 위하여 본 발명에 따른 문자 검출 방법은 영상 내에서 문자가 포함된 영역을 검출하는 방법에 있어서, 입력된 영상을 그레이 영상으로 변환하는 단계와, 상기 그레이 영상에서 제1 문자후보영역을 확인하는 과정과, 상기 그레이 영상에 텐서보팅을 적용하여 제2 문자후보영역을 확인하는 과정과, 확인된 상기 제1 및 제2 문자후보영역이 일치하는 영역을 확인하고, 문자가 포함된 영역을 검출하여 문자를 추출하는 과정을 포함한다.In order to achieve the above object, the character detection method according to the present invention is a method of detecting a region including a character in an image, the method comprising: converting an input image into a gray image, and a first character candidate in the gray image Checking a region, applying a tensor voting to the gray image to identify a second character candidate region, and identifying a region where the identified first and second character candidate regions coincide with each other. Detecting a region to extract a character.

영상, 문자, 영역, 인식, 텐서, 보팅, 경계, 검출, 객체 Image, character, area, recognition, tensor, voting, boundary, detection, object

Description

문자 검출 방법 및 장치{METHOD FOR TEXT DETECTION AND APPARATUS FOR THE SAME}Character detection method and apparatus {METHOD FOR TEXT DETECTION AND APPARATUS FOR THE SAME}

본 발명은 이미지 처리 방법 및 장치에 관한 것으로서, 특히 이미지 내에 포함된 문자를 검출하는 방법 및 장치에 관한 것이다.The present invention relates to an image processing method and apparatus, and more particularly, to a method and apparatus for detecting a character contained in an image.

최근 디지털 카메라나 휴대폰 카메라를 통해 막대한 양의 영상 자료들이 생성되고 있다. 자연 영상에서 문자를 이해하는 것은 시각 장애인용 보조장치 또는 외국인을 위한 통역 시스템간은 매우 중요한 용도로서 활용될 수 있다. 영상에 포함된 문자영역의 검출은 문자 인식을 위한 첫번째 단계이다. 자연 영상은 다양한 조건에서 촬영될 수 있기 때문에, 원하는 문자 영역만을 검출하는 연구가 다양하게 이루어지고 있다. 자연 영상에서 배경은 매우 복잡하게 형성될 수 있으며, 그 내부에 존재하는 문자 영역 역시 다양한 형태의 포맷(예컨대, 폰트), 크기, 방향을 갖고 있다. 영상에는 일정하지 않은 조명, 반사, 그림자, 및 하이라이트 표시 들의 다양한 요소가 포함되어 있다. Recently, a huge amount of video data is generated through a digital camera or a mobile phone camera. Understanding characters in natural images can be used as a very important purpose between assistive devices for the visually impaired and interpreter systems for foreigners. Detection of the text area included in the image is the first step for text recognition. Since natural images can be photographed under various conditions, various studies have been conducted to detect only desired character regions. Backgrounds in a natural image can be very complicated, and the character region existing therein also has various types of formats (eg, fonts), sizes, and orientations. The image contains various elements of uneven lighting, reflections, shadows, and highlight marks.

한편, 문자 검출 방법은 크게 텍스쳐 기반 방법과 영역기반 방법의 두 가지로 나눌 수 있다. 텍스쳐 기반 방법은 미분 들의 연산이나 주파수 기반 접근에 의 해 높은 계산량을 요구할 수 있으며, 작은 문자들을 검출하는데 비교적 좋은 성능을 보이고 있다. 그러나 문자의 폰트 형태에 따라 주파수 특성이 다르게 나타날 수 있으며, 이러한 변화에 적응하기 어려운 문제가 있다. 영역기반 방법은 에지 정보나 문자 획의 연결요소 특징 등의 공간적 응집성을 이용한다. 에지 기반 방법에서는 문자 외곽선으로부터 에지를 검출하고, 이를 병합한 후, 몇 가지 휴리스틱 요소를 사용하여 비문자 영역을 필터링한다. 이러한, 영역기반 방법은 영상에 포함된 문자가 비슷한 특징으로 갖는 부분이 많을 경우 문자를 잘못 인식하는 비율이 높은 문제가 있다.On the other hand, the character detection method can be largely divided into a texture-based method and a region-based method. Texture-based methods may require high computational complexity by derivatives or frequency-based approaches, and are relatively good at detecting small characters. However, the frequency characteristics may appear differently depending on the font type of the character, and there is a problem that is difficult to adapt to such a change. Region-based methods use spatial cohesion such as edge information or characterization of connected elements in character strokes. The edge-based method detects edges from character outlines, merges them, and then filters some non-literal regions using some heuristic elements. Such a region-based method has a problem in that the rate of misrecognition of characters is high when there are many parts having similar characteristics of characters in an image.

본 발명은 전술한 점을 고려하여 안출된 것으로서, 문자 검출의 정밀도를 높이고, 문자의 크기와 방향이 일정하지 않은 조건에서 문자의 검출률을 높일 수 있는 문자 검출방법 및 장치를 제안하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-described point, and an object thereof is to propose a character detection method and apparatus capable of increasing the precision of character detection and increasing the detection rate of characters under conditions in which the size and direction of the characters are not constant. .

상기한 목적을 달성하기 위하여 본 발명의 일 측면에 따른 문자 검출 방법은 영상 내에서 문자가 포함된 영역을 검출하는 방법에 있어서, 입력된 영상을 그레이 영상으로 변환하는 단계와, 상기 그레이 영상에서 제1 문자후보영역을 확인하는 과정과, 상기 그레이 영상에 텐서보팅을 적용하여 제2 문자후보영역을 확인하는 과정과, 확인된 상기 제1 및 제2 문자후보영역이 일치하는 영역을 확인하고, 문자가 포함된 영역을 검출하여 문자를 추출하는 과정을 포함한다.According to an aspect of the present invention, there is provided a method of detecting a character including a character in an image, the method comprising: converting an input image into a gray image, and converting the input image into a gray image. A process of identifying a text candidate area, a process of identifying a second text candidate area by applying tensor voting to the gray image, and identifying a region where the identified first and second text candidate areas coincide with each other, And extracting a character by detecting an area in which it is included.

본 발명의 다른 측면에 따른 문자 검출 장치는 영상 내에서 문자가 포함된 영역을 검출하는 장치에 있어서, 입력된 영상을 그레이 영상으로 변환하는 이미지 변환부와, 상기 이미지 변환부로부터의 출력되는 그레이 영상에 경계(에지; Edge) 영역 검출 알고리즘을 적용하여 제1 문자후보영역을 확인하는 제1 문자후보영역 확인부와, 상기 이미지 변환부로부터의 출력되는 그레이 영상에 텐서보팅을 적용하여 제2 문자후보영역을 확인하는 제2 문자후보영역 확인부와, 상기 제1 및 제2 문자후보영역을 확인하여, 문자가 포함된 영역을 검출하고, 상기 문자가 포함된 영역에 포함된 문자를 검출하는 문자 검출부를 포함한다.According to another aspect of the present invention, there is provided a character detecting apparatus. An apparatus for detecting an area including a character in an image includes: an image converting unit converting an input image into a gray image, and a gray image output from the image converting unit; A first character candidate region checking unit for checking a first character candidate region by applying an edge area detection algorithm to the second character candidate, and a second character candidate by applying tensor voting to the gray image output from the image converting unit A second character candidate area checking unit for checking an area, a character detection unit detecting the first and second character candidate areas, detecting an area containing a character, and detecting a character included in the area including the character; It includes.

본 발명의 문자 검출 방법 및 장치에 따르면, 문자 검출의 오인식률을 줄이고, 문자의 크기와 방향이 일정하지 않은 조건에서 강건한 문자의 검출을 보장할 수 있다.According to the character detection method and apparatus of the present invention, it is possible to reduce the false recognition rate of character detection and to ensure the detection of robust characters under conditions in which the size and direction of the characters are not constant.

또한, 문자 검출에 텐서보팅을 적용하여 문자의 위치 탐색, 노이즈 제거, 검출률을 높이는데 필요한 정보를 생성하고, 이를 이용함으로써 문자 검출의 정밀도를 높일 수 있고 문자의 검출률을 증대시킬 수 있다.In addition, by applying tensor voting to character detection, information necessary for position search, noise reduction, and detection rate of the character may be generated, and by using the same, the accuracy of character detection may be increased and the detection rate of the character may be increased.

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, specific matters such as specific elements are shown, which are provided to help a more general understanding of the present invention. It is self-evident to those of ordinary knowledge in Esau.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intentions or customs of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 문자영역 검출 장치의 대략적인 구성을 도시하는 블록도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 문자영역 검출 장치는 입력된 영상을 RGB 평균값을 이용하여 RGB로 표현된 칼라영상을 그레이 레벨로 변환하는 이미지 변환부(110), 상기 그레이 영상 내의 객체들로부터 제1 문 자후보영역을 확인하는 제1 문자후보영역 확인부(120), 상기 그레이 영상 내의 객체들로부터 제2 문자후보영역을 확인하는 제2 문자후보영역 확인부(130)를 구비한다. 또한, 문자영역 검출 장치는 제1 및 제2 문자후보영역 확인부(120,130)로부터 각각 출력된 제1 및 제2 문자후보영역을 확인하여 최종적으로 문자영역을 검출하는 문자 검출부(140)를 구비한다.1 is a block diagram showing a schematic configuration of an apparatus for detecting a text area according to an embodiment of the present invention. Referring to FIG. 1, an apparatus for detecting a text area according to an embodiment of the present invention includes an image converter 110 for converting a color image expressed in RGB into a gray level using an RGB average value, and the gray image. A first character candidate area checking unit 120 for identifying a first character candidate area from objects within the second character candidate area checking unit 130 for identifying a second character candidate area from objects in the gray image; Equipped. In addition, the character area detecting apparatus includes a character detecting unit 140 which checks the first and second character candidate areas output from the first and second character candidate area checking units 120 and 130, respectively, and finally detects the text area. .

상기 제1 문자후보영역 확인부(120)는 이미지 변환부(110)로부터 그레이 영상을 입력받고, 상기 그레이 영상을 경계영역(에지; Edge) 검출 알고리즘에 적용한다. 일반적으로 영상에 포함된 문자는 형상의 특성상 미리 정해진 크기의 범위의 내에 존재한다. 이에 따라, 제1 문자후보영역 확인부(120)는 일반적인 문자의 특성을 고려하여, 경계영역 검출 알고리즘을 통해 검출된 경계영역들 중 문자영역으로 예상되는 영역을 제1 문자후보영역으로 설정한다. 예컨대, 제1 문자후보영역 확인부(120)는 상기 그레이 영상에 대하여 경계영역 검출 알고리즘을 처리하는 경계영역 검출부(121)와, 상기 경계영역들에 대한 제1 문자후보영역의 설정을 처리하는 제1 문자후보영역 검출부(123)를 구비할 수 있다.The first text candidate area checker 120 receives a gray image from the image converter 110 and applies the gray image to an edge detection algorithm. In general, the characters included in the image exist within a range of a predetermined size due to the characteristics of the shape. Accordingly, the first text candidate area checking unit 120 sets an area expected to be a text area among the boundary areas detected through the boundary area detection algorithm, as the first text candidate area in consideration of general character characteristics. For example, the first character candidate region checking unit 120 may include a boundary region detection unit 121 that processes a boundary region detection algorithm for the gray image, and a first character candidate region for the boundary regions. One character candidate area detection unit 123 may be provided.

나아가, 경계영역 검출부(121)는 상기 그레이 영상에 캐니 에지 알고리즘(Canny Edge Algorithm)을 적용하여 경계영역을 추출할 수 있다.In addition, the boundary region detector 121 may extract a boundary region by applying a Canny Edge Algorithm to the gray image.

한편, 이미지 변환부(110)로부터 출력되는 그레이 영상(15)은 제2문자후보영역 확인부(130)에도 제공된다. 이에 따라, 제2문자후보영역 확인부(130)는 상기 그레이 영상(15)에 텐서보팅을 적용하여 제2 문자후보영역을 확인하게 된다. 예컨대, 상기 제2문자후보영역 확인부(13)는 그레이 영상으로부터 텐서보팅의 입력 토큰으 로서 사용될 후보객체를 검출하는 후보객체 검출부(131)와, 후보객체 검출부(131)의 출력값에 대하여 텐서보팅 프레임웍을 처리하는 텐서보팅 처리부(133)와, 영상에 포함된 문자의 특성과 텐서보팅 처리된 결과값을 고려하여, 제2문자후보영역을 검출하는 제2문자후보영역 검출부(135)를 포함할 수 있다. Meanwhile, the gray image 15 output from the image converter 110 is also provided to the second character candidate area checker 130. Accordingly, the second character candidate region checking unit 130 confirms the second character candidate region by applying tensor voting to the gray image 15. For example, the second character candidate region checking unit 13 may include a candidate object detector 131 for detecting a candidate object to be used as an input token of tensor voting from a gray image, and a tensor voting on the output values of the candidate object detector 131. A tensor bot processing unit 133 for processing the framework and a second character candidate area detection unit 135 for detecting the second character candidate area in consideration of the characteristics of the characters included in the image and the result of the tensor voting. Can be.

문자영역의 중심점으로 추정되는 점이 텐서보팅의 입력 토큰으로서 사용되는 것이 바람직하다. 또한, 영상에 포함되는 문자들은 일반적으로 수평 성분을 갖는 직선 상에 배열되어 있거나, 수평 방향의 완만한 곡선 형태로 배열될 수 있다. 따라서, 상기 후보객체 검출부(131)는 이와 같은 문자들의 배열 특성을 고려하여, 상기 그레이 영상에 포함된 문자들이 수직 성분으로 구분될 수 있도록, 수직 성분 검출 소벨(Sobel) 연산을 수행하여 경계영역을 검출하고, 상기 경계영역의 객체를 후보객체로 설정하는 것이 바람직하다. 즉, f(x,y)를 (x,y)로 표현되는 위치의 픽셀의 명도로 정의할 때, 수평 또는 수직 성분은 하기의 수학식 1로 정의할 수 있다. 이에 대응하여 상기 후보객체 검출부(131)는 하기의 수학식 2와 같은 소벨(Sobel) 에지 필터 및 수학식 3의 연산을 사용하여 수직 성분을 검출하고, 후보객체를 검출할 수 있다.The point assumed to be the center point of the character area is preferably used as an input token of the tensor voting. In addition, the characters included in the image may be generally arranged on a straight line having a horizontal component, or may be arranged in the form of a smooth curve in the horizontal direction. Accordingly, the candidate object detector 131 performs a vertical component detection Sobel operation so that the characters included in the gray image can be divided into vertical components in consideration of the arrangement characteristics of the characters. It is preferable to detect and set the object of the boundary area as a candidate object. That is, when f (x, y) is defined as the brightness of the pixel at the position represented by (x, y), the horizontal or vertical component may be defined by Equation 1 below. Correspondingly, the candidate object detector 131 may detect a vertical component by using a Sobel edge filter and an operation of Equation 3 as shown in Equation 2 below, and detect the candidate object.

Figure 112009063971896-pat00001
Figure 112009063971896-pat00001

Figure 112009063971896-pat00002
Figure 112009063971896-pat00002

Figure 112009063971896-pat00003
Figure 112009063971896-pat00003

상기 후보객체 검출부(131)는 일반적으로 영상에 포함된 문자의 형상 및/또는 크기의 특성을 고려하여, 검출된 후보객체 중, 미리 정해진 크기 범위를 벗어나는 후보객체는 제거할 수 있다.The candidate object detector 131 may remove candidate objects outside a predetermined size range among the detected candidate objects in consideration of characteristics of shapes and / or sizes of characters included in an image.

또한, 상기 후보객체 검출부(131)는 후보객체의 텐서보팅 적용을 용이하게 하기 위하여, 상기와 같이 검출된 상기 후보객체의 중심점을 검출하고, 각 중심점에 대한 리스트를 생성하는 것이 바람직하다.In addition, the candidate object detector 131 may detect a center point of the candidate object detected as described above and generate a list for each center point in order to facilitate tensor voting of the candidate object.

비록, 본 발명의 일 실시예에서, 영상에 포함되는 문자들은 일반적으로 수평 성분을 갖는 직선 상에 배열되어 있거나, 수평 방향의 완만한 곡선 형태로 배열될 수 있음 예시하였으나, 본 발명이 이를 한정하는 것은 아니다. 예컨대, 영상에 포함되는 문자들은 수직 성분을 갖는 직선 상에 배열되어 있거나, 수직 방향의 완만한 곡선 형태로 배열될 수도 있으며, 이 경우, 상기 후보객체 검출부(131)는 상기 그레이 영상(15)에 포함된 문자들이 수평 성분으로 구분될 수 있도록, 수평 성분 검출 소벨(Sobel) 연산을 수행하는 것도 가능하다. Although, in one embodiment of the present invention, the characters included in the image is generally arranged on a straight line having a horizontal component, or may be arranged in a gentle curved form in the horizontal direction, the present invention is limited to this It is not. For example, the characters included in the image may be arranged on a straight line having a vertical component, or may be arranged in the form of a gentle curve in the vertical direction. In this case, the candidate object detector 131 may be arranged on the gray image 15. It is also possible to perform a horizontal component detection Sobel operation so that the included characters can be divided into horizontal components.

텐서보팅 처리부(133)는 상기 후보객체의 중심점들을 텐서보팅의 입력 토큰으로서 적용하고, 상기 입력 토큰에 대한 텐서보팅 프레임웍을 처리한다. 텐서보팅 프레임웍은 USC(University of Southern California)의 컴퓨터 비젼 그룹에 의해 개발된 통합 프레임웍으로써, 그 구체적인 설명은 생략한다. The tensor bot processing unit 133 applies center points of the candidate object as an input token of tensor voting, and processes a tensor voting framework for the input token. Tensorboating framework is an integrated framework developed by the Computer Vision group of the University of Southern California (USC), and its detailed description is omitted.

텐서보팅 처리부(133)는 상기 입력 토큰에 대한 텐서보팅 프레임웍을 처리하여, 입력된 후보객체의 중심점들에 대한 돌출도(saliency)를 출력한다.The tensor voting processor 133 processes the tensor voting framework for the input token, and outputs a saliency of the center points of the input candidate object.

나아가, 텐서보팅이 적용된 후보객체들의 중심점들 중, 문자 영역에 해당하는 후보객체들의 중심점들에 대응하는 텐서들의 커브 돌출도는 다른 토큰들에 비하여 상대적으로 높은 값을 지닌다. 따라서, 이러한 문자 영역에 해당하는 후보객체들의 커브 돌출도를 고려하여, 제2 문자후보영역 검출부(135)는 상기 후보객체들로부터 제2 문자후보영역을 검출한다. 즉, 제2 문자후보영역 검출부(135)는 후보객체들에 대응하는 텐서들의 커브 돌출도가 미리 정해진 임계값보다 상대적으로 큰 값을 지닐 경우, 상기 후보객체를 제2 문자후보영역으로 설정하고, 후보객체들에 대응하는 텐서들의 커브 돌출도가 미리 정해진 임계값과 같거나 상대적으로 작은 값을 지닐 경우, 상기 후보객체를 제거함으로써, 제2 문자후보영역을 검출한다.Furthermore, among the center points of candidate objects to which tensor voting is applied, the curve protrusion degree of the tensors corresponding to the center points of candidate objects corresponding to the character area has a relatively high value compared to other tokens. Therefore, in consideration of the degree of curve protrusion of the candidate objects corresponding to the character area, the second character candidate area detection unit 135 detects the second character candidate area from the candidate objects. That is, the second character candidate area detector 135 sets the candidate object as the second character candidate area when the curve protrusion degree of the tensors corresponding to the candidate objects has a value that is relatively larger than a predetermined threshold value. When the curve protrusion of the tensors corresponding to the candidate objects has a value equal to or less than a predetermined threshold value, the second character candidate area is detected by removing the candidate object.

나아가, 상기 문자 검출부(140)는 상기 제1 문자후보영역과 제2 문자후보영역이 일치하는 영역을 문자영역으로 결정하고, 상기 문자영역을 문자 인식 알고리즘에 적용하여 최종적으로 문자를 검출한다. Further, the character detection unit 140 determines a region where the first character candidate region and the second character candidate region coincide as a character region, and finally detects the character by applying the character region to a character recognition algorithm.

바람직하게, 상기 문자 검출부(140)는 제2 문자후보영역에 포함된 비 문자영역을 제거하기 위하여, 상기 후보객체의 중심점들을 이용하여 수평방향으로 배열된 후보객체의 중심점들에 대한 팽창연산을 수행함으로써, 이웃한 후보객체들을 연결할 수 있다. 이에 따라, 상기 문자 검출부(140)는 후보객체들이 서로 연결되는 후보객체만을 제2 문자후보영역으로 인정하고, 이외의 제2 문자후보영역은 제거할 수 있다. Preferably, the character detecting unit 140 performs an expansion operation on the center points of the candidate objects arranged in the horizontal direction using the center points of the candidate object to remove the non-character area included in the second character candidate area. By doing so, neighboring candidate objects can be connected. Accordingly, the character detector 140 may recognize only candidate objects to which candidate objects are connected to each other as the second character candidate area, and remove other second character candidate areas.

한편, 도 2a 내지 도 2d, 도 3a 내지 도 3d, 도 4a 내지 도 4b, 및 도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 문자영역 검출 장치에 의해 생성되는 영상을 예시하는 도면이다. 이하, 문자영역 검출 장치에 의해 생성되는 영상의 예시도를 참조하여 문자영역 검출 장치의 동작을 설명한다.2A to 2D, 3A to 3D, 4A to 4B, and 5A to 5C are views illustrating an image generated by the character area detection apparatus according to an exemplary embodiment of the present invention. Hereinafter, the operation of the text area detection apparatus will be described with reference to an exemplary view of an image generated by the text area detection apparatus.

우선, 도 2a는 원본 영상(11)을 예시하고, 도 2b는 그레이 영상(15)을 예시하고, 도 2c는 경계영역을 포함하는 경계영역 영상(21)을 예시하고, 도 2d는 제1 문자후보영역을 포함하는 제1 문자후보 영상(25)을 예시한다.First, FIG. 2A illustrates the original image 11, FIG. 2B illustrates the gray image 15, FIG. 2C illustrates the boundary region image 21 including the boundary region, and FIG. 2D illustrates the first character. A first text candidate image 25 including a candidate region is illustrated.

이미지 변환부(110)는 원본 영상(11)을 입력받고 상기 원본 영상(11)에 대한 그레이 변환을 수행하여 그레이 영상(15)을 출력한다. 상기 그레이 영상(15)은 경계영역 검출부(121)에 제공되며, 경계영역 검출부(121)는 상기 그레이 영상(15)에 캐니 에지 검출 알고리즘(Canny Edge Detection Algorithm) 등의 경계영역 검출 알고리즘을 적용하여 경계영역을 추출하고, 경계영역 영상(21)을 출력한다.The image converter 110 receives the original image 11, performs gray conversion on the original image 11, and outputs a gray image 15. The gray image 15 is provided to the boundary region detector 121, and the boundary region detector 121 applies a boundary region detection algorithm such as Canny Edge Detection Algorithm to the gray image 15. The boundary area is extracted and the boundary area image 21 is output.

한편, 도 3a는 이미지 변환부(110)로부터 출력되는 그레이 영상(15)을 예시하고, 도 3b는 후보객체 검출부(131)를 통해 검출된 후보객체의 경계영역 영상(31)을 예시하고, 도 3c는 영상에 포함된 문자의 특성을 고려하여 상기 후보객체 경계영역 영상(31)으로부터 문자영역이 아닌 것으로 예상되는 객체를 필터링한 후보객 체 영상(33)을 예시하고, 도 3d는 후보객체의 중심점을 추출한 영상(즉, 후보객체 중심점 영상)(35)을 예시한다. 또한, 도 4a는 후보객체 중심점 영상(35)을 텐서보팅 처리한 텐서보팅 영상(41)을 예시하고, 도 4b는 텐서보팅 영상(41)으로부터 제2 문자후보영역을 검출한 제2 문자후보영역 영상(45)을 예시한다.3A illustrates a gray image 15 output from the image converter 110, and FIG. 3B illustrates an image of the boundary region 31 of the candidate object detected by the candidate object detector 131. 3c illustrates a candidate object image 33 that filters an object that is not expected to be a text area from the candidate object boundary region image 31 in consideration of characteristics of characters included in the image, and FIG. 3d illustrates a candidate object image. An image (ie, candidate object center point image) 35 from which the center point is extracted is illustrated. 4A illustrates a tensor voting image 41 in which the candidate object center point image 35 is tensored, and FIG. 4B shows a second character candidate region in which a second character candidate region is detected from the tensor voting image 41. An image 45 is illustrated.

후보객체 검출부(131)는 도 3a에 도시된 그레이 영상(15)을 입력받고, 수직 성분 검출 소벨(Sobel) 연산을 수행하여 경계영역 영상(31)을 생성한 후, 경계영역의 크기가 미리 정해진 범위를 벗어나는 영역을 제거하여, 문자영역이 아닌 것으로 예상되는 객체를 필터링한 후보객체 영상(33)을 형성한다. 그리고, 후보객체 검출부(131)는 후보객체 영상(33)에 포함된 각 후보객체에 대한 중심점을 확인하여 후보객체 중심점 영상(35)을 생성하고, 각 후보객체의 중심점들에 대한 라벨링(Labeling)을 수행하여, 각 후보객체들의 중심점 리스트를 생성한다. 다음으로, 상기 중심점 리스트는 텐서보팅 처리부(133)에 제공되며, 텐서보팅 처리부(133)는 상기 중심점 리스트에 포함된 중심점들을 입력 토큰으로 적용하여 텐서보팅 처리를 수행한다. 텐서보팅 처리부(133)는 텐서보팅 처리에 대한 결과물로서 상기 중심점들에 대응하는 텐서들의 곡선 돌출도(saliency)와, 각 중심점들이 갖는 곡면 법선 벡터들에 의한 문자 영역의 법선벡터를 생성한다. 이와 같은 상기 곡선 돌출도(saliency)와 문자 영역의 법선벡터는 후보객체 영상(33)에 반영되어, 도 4a에 도시된 텐서보팅 영상(41)을 출력한다. 텐서보팅 영상(41)에서, 각 후보객체의 중심점은 적색점으로 표시되며, 곡선 돌출도(saliency)는 녹색선의 길이로 표현되고, 문자 영역의 법선벡터는 녹색선의 화살표를 통해 표시된다. 텐서보팅 영상(41)에 표시된 바와 같이, 문자가 위치한 영역 내에서는 곡선 돌출도(saliency)가 큰 값으로 표현되고, 그들의 법선 벡터가 문자 영역의 법선벡터와 유사하게 나타난다. 따라서, 이와 같은 문자가 위치한 영역의 곡선 돌출도(saliency)와 법선벡터의 특성을 고려하여, 제2 문자후보영역 검출부(135)는 미리 정해진 임계값보다 상대적으로 적은 값의 곡선 돌출도를 갖는 후보객체를 제거하고, 법선벡터가 수평방향으로 형성된 후보객체를 제거함으로써, 제2 문자후보영역 영상(45)을 생성한다.The candidate object detector 131 receives the gray image 15 illustrated in FIG. 3A, performs a vertical component detection Sobel operation to generate the boundary region image 31, and then determines the size of the boundary region in advance. By removing the area out of the range, the candidate object image 33 filtering the object that is not expected to be the text area is formed. The candidate object detector 131 checks the center point of each candidate object included in the candidate object image 33 to generate the candidate object center point image 35, and labels the center points of each candidate object. Next, a center point list of each candidate object is generated. Next, the center point list is provided to the tensorboating processor 133, and the tensorboating processor 133 performs the tensorboating process by applying the center points included in the center point list as an input token. As a result of the tensor voting process, the tensor bot processing unit 133 generates a curve saliency of the tensors corresponding to the center points and a normal vector of the text area by the curved normal vectors of the center points. The curve saliency and the normal vector of the character region are reflected in the candidate object image 33 to output the tensor boating image 41 illustrated in FIG. 4A. In the tensor boating image 41, the center point of each candidate object is represented by a red point, the curve saliency is represented by the length of the green line, and the normal vector of the character area is represented by the arrow of the green line. As indicated in the tensor voting image 41, the curve saliency is represented by a large value in the region where the character is located, and their normal vector appears similar to the normal vector of the character region. Accordingly, in consideration of the curve saliency of the region where the character is located and the characteristics of the normal vector, the second character candidate region detector 135 is a candidate having a curve protrusion of a relatively smaller value than the predetermined threshold value. The second character candidate area image 45 is generated by removing the object and removing the candidate object having the normal vector formed in the horizontal direction.

도 5a는 팽창연산을 통해 연결된 제2 문자후보영역의 후보객체들을 포함하는 팽창 영상(51)을 예시하며, 도 5b는 제1 및 제2 문자후보영역이 중복되는 영역만을 추출한 문자영역 추출 영상(53)을 예시하며, 도 5c는 상기 문자영역 추출 영상(53)으로부터 검출한 문자를 포함하는 문자 영상(55)을 예시한다.FIG. 5A illustrates an expanded image 51 including candidate objects of a second text candidate area connected through an expansion operation, and FIG. 5B illustrates a text area extraction image in which only the first and second text candidate areas are extracted. 53), FIG. 5C illustrates a character image 55 including a character detected from the character region extracted image 53.

문자 검출부(140)는 제2 문자후보영역 영상(45)에서 비 문자영역을 제거하기 위하여, 상기 후보객체의 중심점들을 이용하여 수평방향으로 배열된 후보객체의 중심점들에 대한 팽창연산을 수행하여 후보객체들을 연결한다. 이에 따라, 문자 검출부(140)는 제2 문자후보영역의 후보객체들을 포함하는 팽창 영상(51)을 생성한다. 그리고 상기 문자 검출부(140)는 후보객체들이 서로 연결되는 후보객체만을 제2 문자후보영역으로 인정하고, 이외의 제2 문자후보영역은 제거한다. 또한, 상기 문자 검출부(140)는 상기 제1 문자후보영역과 제2 문자후보영역이 일치하는 영역을 확인하여, 제1 및 제2 문자후보영역이 중복되는 영역만을 추출한 문자영역 추출 영상(53)을 생성한 후, 상기 문자영역 추출 영상(53)에 포함된 문자 영역문자 인식 알고리즘에 적용하여 최종적으로 문자를 검출하고, 문자 영상(55)을 생성한다.In order to remove the non-character area from the second character candidate area image 45, the character detection unit 140 performs expansion operation on the center points of the candidate objects arranged in the horizontal direction using the center points of the candidate object. Connect the objects. Accordingly, the character detector 140 generates an expanded image 51 including candidate objects of the second character candidate region. The character detecting unit 140 recognizes only candidate objects to which candidate objects are connected to each other as the second character candidate area, and removes other second character candidate areas. In addition, the character detection unit 140 identifies a region where the first character candidate region and the second character candidate region coincide with each other, and extracts only the region where the first and second character candidate regions overlap with each other. After generating the, the character area is finally detected by applying to the character area character recognition algorithm included in the extracted text area image 53, and generates a character image (55).

도 6은 본 발명의 일 실시예에 따른 문자영역 검출 방법의 순서를 도시하는 흐름도이다.6 is a flowchart illustrating a sequence of a method for detecting a text area according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시예에 따른 문자영역 검출 방법은 원본 영상(예컨대, 도 2a의 11)을 입력받고(210단계), 입력된 원본 영상(11)을 그레이 영상(예컨대, 도 2b의 15)으로 변환한다(220단계).Referring to FIG. 6, in the method for detecting a text area according to an embodiment of the present invention, an original image (eg, 11 of FIG. 2A) is input (210), and the input original image 11 is a gray image (eg, 2B, step 15).

다음으로, 230단계에서는 상기 그레이 영상(도 2b의 15)에 경계영역 알고리즘을 적용하여 제1 문자후보영역을 확인하고, 제1 문자후보 영상(도 2d의 25)을 생성한다. In operation 230, a boundary character algorithm is applied to the gray image (15 of FIG. 2B) to identify a first character candidate region, and a first character candidate image (25 of FIG. 2D) is generated.

그리고, 240단계에서는 상기 그레이 영상(도 2b의 15)에 텐서보팅을 적용하여 제2 문자후보영역을 확인하고, 제2 문자후보 영상(도 4b의 45)을 생성한다. 나아가, 상기 그레이 영상(도 2b의 15)에 텐서보팅을 적용하기 위해서는 텐서보팅에 입력할 입력 토큰의 검출이 요구된다. 이에 따라, 240단계에서는 입력 토큰으로서 사용할 후보객체를 검출하고, 상기 후보객체들의 각 중심점을 검출한 후, 상기 중심점들을 입력 토큰으로 사용한다. In operation 240, tensor voting is applied to the gray image (15 of FIG. 2B) to identify a second character candidate region, and a second character candidate image (45 of FIG. 4B) is generated. Furthermore, in order to apply tensor voting to the gray image (15 of FIG. 2B), detection of an input token to be input to tensor voting is required. Accordingly, in step 240, a candidate object to be used as an input token is detected, each center point of the candidate objects is detected, and the center points are used as the input token.

마지막으로, 250단계에서는 상기 제1 문자후보영역과 제2 문자후보영역이 일치하는 영역을 문자영역으로 결정하고, 상기 문자영역을 문자 인식 알고리즘에 적용하여 최종적으로 문자를 검출한다. 나아가, 250단계에서는 제2 문자후보영역에 포함된 비 문자영역을 제거하기 위하여, 상기 후보객체의 중심점들을 이용하여 수평방향으로 배열된 후보객체의 중심점들에 대한 팽창연산을 수행함으로써, 이웃한 후보객체들을 연결할 수 있다. 이에 따라, 후보객체들이 서로 연결되는 후보객체만 을 제2 문자후보영역으로 인정하고, 이외의 제2 문자후보영역은 제거할 수 있다. Finally, in step 250, a region where the first character candidate region and the second character candidate region coincide is determined as a character region, and the character region is finally applied to a character recognition algorithm to detect a character. Furthermore, in operation 250, the neighboring candidates are expanded by performing expansion operations on the center points of the candidate objects arranged in the horizontal direction by using the center points of the candidate objects to remove the non-character areas included in the second text candidate area. You can connect objects. Accordingly, only candidate objects to which candidate objects are connected to each other may be recognized as the second character candidate area, and other second character candidate areas may be removed.

구체적으로, 250단계에서는 제2 문자후보영역 영상(45)에 포함된 상기 후보객체의 중심점들을 이용하여 수평방향으로 배열된 후보객체의 중심점들에 대한 팽창연산을 수행한다. 이에 따라, 제2 문자후보영역 영상(45)에 포함된 후보객체들을 연결하고, 연결된 후보객체들을 포함하는 팽창 영상(도 5a의 51)을 생성한다. 그리고, 상기 제1 문자후보영역과 제2 문자후보영역이 일치하는 영역을 확인하여, 제1 및 제2 문자후보영역이 중복되는 영역만을 추출한 문자영역 추출 영상(도 5b의 53)을 생성한 후, 상기 문자영역 추출 영상(53)에 포함된 문자 영역문자 인식 알고리즘에 적용하여 최종적으로 문자를 검출하고, 문자 영상(도 5c의 55)을 생성한다.In detail, in operation 250, expansion operations are performed on the center points of the candidate objects arranged in the horizontal direction by using the center points of the candidate objects included in the second text candidate area image 45. Accordingly, candidate objects included in the second text candidate area image 45 are connected, and an expanded image (51 of FIG. 5A) including the connected candidate objects is generated. After checking the region where the first character candidate region and the second character candidate region coincide with each other, a character region extracted image (53 of FIG. 5B) extracted only the region where the first and second character candidate regions overlap is generated. Then, the character is finally detected by applying the character region character recognition algorithm included in the character region extracted image 53 to generate a character image (55 of FIG. 5C).

도 7은 도 6의 230단계의 동작 순서를 구체적으로 도시하는 흐름도이다.7 is a flowchart illustrating an operation sequence of step 230 of FIG. 6 in detail.

우선, 231단계에서는, 상기 그레이 영상(도 2b의 15)을 입력받고, 상기 그레이 영상(15)을 경계영역(에지; Edge) 검출 알고리즘에 적용한다. 이에 따라, 231단계에서는 상기 그레이 영상(15)에 포함된 사물들에 대한 경계영역을 확인하고, 상기 경계영역이 포함된 경계영역 영상(도 2c의 21)을 생성한다. 예컨대, 상기 경계영역(에지; Edge) 검출 알고리즘은 캐니 에지 알고리즘(Canny Edge Algorithm)일 수 있다.First, in step 231, the gray image (15 of FIG. 2B) is input, and the gray image 15 is applied to an edge detection algorithm. Accordingly, in step 231, the boundary area of the objects included in the gray image 15 is checked, and a boundary area image (21 of FIG. 2C) including the boundary area is generated. For example, the edge detection algorithm may be a Canny Edge Algorithm.

233단계에서는, 경계영역 검출 알고리즘을 통해 검출된 경계영역들이 형성하는 각 영역을 제1 문자후보영역으로 설정한다.In operation 233, each region formed by the boundary regions detected by the boundary region detection algorithm is set as the first character candidate region.

한편, 일반적으로 영상에 포함된 문자는 형상의 특성상 미리 정해진 크기의 범위의 내에 존재한다. 이에 따라, 235단계에서는, 일반적인 문자의 특성을 고려하 여, 상기 제1 문자후보영역들로부터 문자가 아닌 것으로 예상되는 영역(즉, 비 문자 영역)을 제거하고, 최종적인 제1 문자후보영역으로 설정하고, 제1 문자후보 영상(도 2d의 25)을 생성한다. On the other hand, generally, the characters included in the image exist within a range of a predetermined size due to the characteristics of the shape. Accordingly, in step 235, the non-character area (ie, non-character area) that is not expected to be non-letter is removed from the first character candidate areas in consideration of general characteristics of the character, and the final character candidate area is removed. And generate a first character candidate image (25 in FIG. 2D).

도 8는 도 6의 240단계의 동작 순서를 구체적으로 도시하는 흐름도이다.FIG. 8 is a flowchart illustrating an operation sequence of step 240 of FIG. 6 in detail.

우선, 241단계에서는, 그레이 영상(15)으로부터 제2문자후보영역을 검출하기 위한 후보객체를 검출한다. 영상에 포함되는 문자들은 일반적으로 수평 성분을 갖는 직선 상에 배열되어 있거나, 수평 방향의 완만한 곡선 형태로 배열될 수 있다. 따라서, 이와 같은 문자들의 배열 특성을 고려하여, 상기 그레이 영상(15)에 포함된 문자들이 수직 성분으로 구분될 수 있도록, 수직 성분 검출 소벨(Sobel) 연산을 수행하여 경계영역을 검출하고, 상기 경계영역의 객체를 후보객체로 설정하는 것이 바람직하다. 즉, f(x,y)를 (x,y)로 표현되는 위치의 픽셀의 명도로 정의할 때, 수평 또는 수직 성분은 상기 수학식 1로 정의할 수 있다. 이에 대응하여 상기 수학식 2와 같은 소벨(Sobel) 에지 필터 및 수학식 3의 연산을 사용하여 수직 성분을 검출하고, 후보객체를 검출한다. 즉, 도 3a에 도시된 그레이 영상(15)에 대한 수직 성분 검출 소벨(Sobel) 연산을 수행하여 경계영역 영상(도 3b의 31)을 생성한 후, 경계영역의 크기가 미리 정해진 범위를 벗어나는 영역을 제거하여, 문자영역이 아닌 것으로 예상되는 객체를 필터링하여 후보객체를 검출하고, 검출된 상기 후보객체를 포함하는 후보객체 영상(도 3c의 33)을 형성한다. First, in step 241, a candidate object for detecting the second character candidate region is detected from the gray image 15. Characters included in the image are generally arranged on a straight line having a horizontal component, or may be arranged in the form of a smooth curve in the horizontal direction. Accordingly, in consideration of the arrangement characteristics of the characters, a vertical component detection Sobel operation is performed to detect a boundary region so that the characters included in the gray image 15 can be divided into vertical components. It is preferable to set the object of the region as a candidate object. That is, when f (x, y) is defined as the brightness of the pixel at the position represented by (x, y), the horizontal or vertical component may be defined by Equation 1 above. Correspondingly, a vertical component is detected and a candidate object is detected by using a Sobel edge filter such as Equation 2 and an operation of Equation 3. That is, after performing a vertical component detection Sobel operation on the gray image 15 illustrated in FIG. 3A to generate a boundary region image (31 in FIG. 3B), an area in which the size of the boundary region is out of a predetermined range is obtained. The candidate object is detected by filtering an object that is not expected to be a text area, and a candidate object image (33 of FIG. 3C) including the detected candidate object is formed.

나아가, 242단계에서는, 텐서보팅 적용을 용이하게 하기 위하여, 후보객체 영상(33)에 포함된 각 후보객체에 대한 중심점을 확인하고, 후보객체 중심점 영 상(35)을 생성한다. 그리고, 243단계에서는, 상기 후보객체의 중심점들에 대한 라벨링(Labeling)을 수행하여, 각 후보객체들의 중심점 리스트를 생성한다. Further, in step 242, in order to facilitate the application of tensor voting, the center point of each candidate object included in the candidate object image 33 is checked, and the candidate object center point image 35 is generated. In operation 243, the center points of the candidate objects are generated by labeling the center points of the candidate objects.

상기 후보객체에 대한 텐서보팅을 수행하기 위하여, 244단계에서는, 상기 라벨링된 후보객체를 미리 정해진 규칙에 따라 순차적으로 선택한다. 예컨대, 상기 미리 정해진 규칙은 상기 후보객체의 중심점에 할당된 번호의 순으로 상기 후보객체의 중심점을 선택하는 것일 수 있다.In order to perform tensor voting on the candidate object, in step 244, the labeled candidate objects are sequentially selected according to a predetermined rule. For example, the predetermined rule may be to select the center point of the candidate object in the order of the number assigned to the center point of the candidate object.

245단계에서는 상기 244단계에서 선택된 후보객체의 중심점을 입력토큰으로 적용하여, 상기 선택된 후보객체의 중심점에 대한 텐서보팅을 처리하고, 그 결과값으로서 상기 중심점들에 대응하는 텐서들의 곡선 돌출도(saliency)와, 각 중심점들이 갖는 곡면 법선 벡터들에 의한 문자 영역의 법선벡터를 결정한다. 그리고, 245단계에서, 이와 같은 상기 곡선 돌출도(saliency)와 문자 영역의 법선벡터는 후보객체 영상(도 3a의 33)에 반영되어, 도 4a에 도시된 텐서보팅 영상(41)을 출력한다. In step 245, a tensor voting process is applied to the center point of the selected candidate object by applying the center point of the candidate object selected in step 244, and as a result, curve saliency of the tensors corresponding to the center points. ), And the normal vector of the text area by the curved normal vectors of the center points. In operation 245, the curve saliency and the normal vector of the character region are reflected in the candidate object image (33 of FIG. 3A) to output the tensorboating image 41 illustrated in FIG. 4A.

텐서보팅 영상(41)에서, 각 후보객체의 중심점은 적색점으로 표시되며, 곡선 돌출도(saliency)는 녹색선의 길이로 표현되고, 문자 영역의 법선벡터는 녹색선의 화살표를 통해 표시된다. 텐서보팅 영상(41)에 표시된 바와 같이, 문자가 위치한 영역 내에서는 곡선 돌출도(saliency)가 큰 값으로 표현되고, 그들의 법선 벡터가 문자 영역의 법선벡터와 유사하게 나타난다. 따라서, 이와 같은 문자가 위치한 영역의 곡선 돌출도(saliency)와 법선벡터의 특성을 고려하여, 246단계에서는, 상기 후보객체에 대한 돌출도가 미리 정해진 임계값보다 상대적으로 큰 값을 갖는지를 확인한다. 만약, 상기 후보객체에 대한 돌출도가 미리 정해진 임계값보다 상대적으로 큰 값을 갖을 경우, 상기 후보객체가 문자 영역일 가능성이 높으므로 247단계를 진행하여 상기 후보객체를 제2 문자후보영역으로 설정한다. 반면, 상기 후보객체에 대한 돌출도가 미리 정해진 임계값과 같거나 상대적으로 작은 값을 갖을 경우, 상기 후보객체가 문자 영역일 가능성이 낮으므로 248단계를 진행하여 상기 후보객체를 제2 문자후보영역으로부터 제거한다. 이로써, 텐서보팅 영상(41)으로부터 제2 문자후보영역 영상(도 5c 45)을 생성한다.In the tensor boating image 41, the center point of each candidate object is represented by a red point, the curve saliency is represented by the length of the green line, and the normal vector of the character area is represented by the arrow of the green line. As indicated in the tensor voting image 41, the curve saliency is represented by a large value in the region where the character is located, and their normal vector appears similar to the normal vector of the character region. Therefore, in consideration of the curve saliency of the region where the character is located and the characteristics of the normal vector, in step 246, it is checked whether the protrusion of the candidate object has a value that is relatively greater than a predetermined threshold. . If the protrusion of the candidate object has a value that is relatively larger than a predetermined threshold value, the candidate object is likely to be a text area, and therefore, in step 247, the candidate object is set as the second text candidate area. do. On the other hand, if the protrusion of the candidate object has a value equal to or smaller than a predetermined threshold value, since the candidate object is unlikely to be a character area, the process proceeds to step 248 to form the candidate object as the second character candidate area. Remove from As a result, a second character candidate area image (FIG. 5C 45) is generated from the tensor voting image 41.

나아가, 249단계에서, 라벨링된 상기 후보객체에 대한 텐서보팅이 모두 처리되었는지를 확인하고, 라벨링된 상기 후보객체의 리스트 내에 텐서보팅이 처리되지 않은 후보객체가 존재하면, 상기 244 내지 248단계를 진행하여 상기 후보객체의 텐서보팅을 반복적으로 수행한다. 반면, 상기 후보객체에 대한 텐서보팅이 모두 처리되었으면, 후보객체의 텐서보팅 처리를 종료하게 된다. Further, in step 249, it is checked whether all the tensor voting for the labeled candidate objects have been processed, and if there is a candidate object that has not been tensored in the list of the candidate objects labeled, steps 244 to 248 are performed. Tensor voting of the candidate object is repeatedly performed. On the other hand, if all tensor voting for the candidate object has been processed, the tensor voting process of the candidate object is terminated.

나아가 전술한 문자 검출 방법의 성능을 평가하기 위하여, 영상에 포함된 문자를 검출하는 성능을 실험하였다. 본 발명의 일 실시예에 따른 실험예에서는 도 9에 도시된 640×480 해상도의 12개의 라벨 영상을 사용하였다.Further, in order to evaluate the performance of the above-described character detection method, the performance of detecting the characters included in the image was tested. In the experimental example according to the exemplary embodiment of the present invention, twelve label images having a resolution of 640 × 480 shown in FIG. 9 were used.

그리고, 에지 기반 방법에 따른 비교예1과, 연결요소 기반방법에 따른 비교예2를 본 발명에 따른 실시예와 비교하였다. 본 발명의 실험예에서는 영상 내에 포함된 문자의 수(S), 문자 검출에 성공한 문자 영역의 수(T), 및 오검출된 영역의 수(F)을 측정하였고, 이를 이용한 정밀도(precision) 및 검출률(Recall Rate)을 산출하여 문자 검출 성능을 비교하였다. 비교 결과는 하기의 표에 도시된다.And, Comparative Example 1 according to the edge-based method and Comparative Example 2 according to the connection element-based method were compared with the embodiment according to the present invention. In the experimental example of the present invention, the number (S) of characters included in an image, the number (T) of character regions successfully detected, and the number (F) of misdetected regions were measured. Recall Rate was calculated to compare the character detection performance. The comparison results are shown in the table below.

비교예1Comparative Example 1 비교예2Comparative Example 2 실시예Example SS 11611161 11611161 11611161 TT 10161016 908908 880880 FF 7777 391391 450450 정밀도Precision 92.96%92.96% 69.9%69.9% 66.17%66.17% 검출률Detection rate 87.51%87.51% 66.17%66.17% 75.80%75.80%

표 1에 개시된 바와 같이, 본 발명의 실시예에 따른 방법은 비교예1 및 2에 따른 방법에 비하여 상대적으로 우수한 정밀도(precision) 및 검출률(Recall Rate)을 나타낸다. As disclosed in Table 1, the method according to the embodiment of the present invention shows relatively good precision and recall rate compared to the method according to Comparative Examples 1 and 2.

본 발명에 따른 문자 검출 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.The character detection method according to the present invention can be embodied as computer readable codes on a computer readable recording medium. Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, and the like, and may also include those implemented in the form of carrier waves (eg, transmission over the Internet). do. The computer-readable recording medium may also be distributed over a networked computer system and stored and executed in computer readable code in a distributed manner.

이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 수정 및 변형이 가능함은 물론이다.Although the present invention has been described above by means of limited embodiments and drawings, the present invention is not limited thereto, and various modifications and changes may be made by those skilled in the art to which the present invention pertains.

도 1은 본 발명의 일 실시예에 따른 문자영역 검출 장치의 대략적인 구성을 도시하는 블록도,1 is a block diagram showing a schematic configuration of a character area detection apparatus according to an embodiment of the present invention;

도 2a는 본 발명의 일 실시예에 따른 문자영역 검출 장치 및 방법에 예시되는 원본 영상의 예시도,2A is an exemplary diagram of an original image illustrated in an apparatus and method for detecting a text area according to an embodiment of the present invention;

도 2b는 본 발명의 일 실시예에 따른 문자영역 검출 장치 및 방법에 예시되는 그레이 영상의 예시도, 2B is an exemplary view of a gray image illustrated in an apparatus and method for detecting a character area according to an embodiment of the present invention;

도 2c는 본 발명의 일 실시예에 따른 문자영역 검출 장치 및 방법에 예시되는 경계영역 영상의 예시도, 2C is an exemplary diagram of a boundary region image illustrated in an apparatus and method for detecting a character region according to an embodiment of the present invention;

도 2d는 본 발명의 일 실시예에 따른 문자영역 검출 장치 및 방법에 예시되는 제1 문자후보 영상의 예시도, 2D is an exemplary diagram of a first character candidate image illustrated in an apparatus and method for detecting a character region according to an embodiment of the present invention;

도 3a는 본 발명의 일 실시예에 따른 문자영역 검출 장치 및 방법에 예시되는 그레이 영상의 예시도, 3A is an exemplary diagram of a gray image illustrated in an apparatus and method for detecting a text area according to an embodiment of the present invention;

도 3b는 본 발명의 일 실시예에 따른 문자영역 검출 장치 및 방법에 예시되는 후보객체의 경계영역 영상의 예시도, 3B is an exemplary diagram of a boundary region image of a candidate object illustrated in an apparatus and method for detecting a character region according to an embodiment of the present invention;

도 3c는 본 발명의 일 실시예에 따른 문자영역 검출 장치 및 방법에 예시되는 후보객체 영상의 예시도, 3C is an exemplary view of a candidate object image illustrated in an apparatus and method for detecting a character region according to an embodiment of the present invention;

도 3d는 본 발명의 일 실시예에 따른 문자영역 검출 장치 및 방법에 예시되는 후보객체 중심점 영상의 예시도, 3D is an exemplary diagram of a candidate object center point image illustrated in an apparatus and method for detecting a character region according to an embodiment of the present invention;

도 4a는 본 발명의 일 실시예에 따른 문자영역 검출 장치 및 방법에 예시되 는 텐서보팅 영상의 예시도, 4A is an exemplary diagram of a tensor boating image illustrated in an apparatus and method for detecting a text area according to an embodiment of the present invention;

도 4b는 본 발명의 일 실시예에 따른 문자영역 검출 장치 및 방법에 예시되는 제2 문자후보영역 영상의 예시도,4B is an exemplary view of a second character candidate region image illustrated in an apparatus and method for detecting a character region according to an embodiment of the present invention;

도 5a는 본 발명의 일 실시예에 따른 문자영역 검출 장치 및 방법에 예시되는 팽창 영상의 예시도, 5A is an exemplary diagram of an expanded image illustrated in an apparatus and method for detecting a text area according to an embodiment of the present invention;

도 5b는 본 발명의 일 실시예에 따른 문자영역 검출 장치 및 방법에 예시되는 문자영역 추출 영상의 예시도, 5B is an exemplary view of a text region extracted image illustrated in an apparatus and a method for detecting a text region according to an embodiment of the present invention;

도 5c는 본 발명의 일 실시예에 따른 문자영역 검출 장치 및 방법에 예시되는 문자 영상의 예시도, 5C is an exemplary diagram of a character image illustrated in an apparatus and method for detecting a character region according to an embodiment of the present invention;

도 6은 본 발명의 일 실시예에 따른 문자영역 검출 방법의 순서를 도시하는 흐름도이다.6 is a flowchart illustrating a sequence of a method for detecting a text area according to an embodiment of the present invention.

도 7은 도 6의 230단계의 동작 순서를 구체적으로 도시하는 흐름도,7 is a flowchart illustrating an operation sequence of step 230 of FIG. 6 in detail;

도 8은 도 6의 240단계의 동작 순서를 구체적으로 도시하는 흐름도,8 is a flowchart illustrating an operation sequence of step 240 of FIG. 6 in detail;

도 9는 본 발명의 일 실시예에 따른 실험예에 사용된 12개의 라벨 영상을 예시하는 도면.9 illustrates twelve label images used in an experimental example according to an embodiment of the present invention.

Claims (17)

영상 내에서 문자가 포함된 영역을 검출하는 방법에 있어서,In the method for detecting a region containing a character in the image, 입력된 영상을 그레이 영상으로 변환하는 과정과,Converting the input image into a gray image; 상기 그레이 영상에서 제1 문자후보영역을 확인하는 과정과,Identifying a first text candidate area in the gray image; 상기 그레이 영상에 텐서보팅을 적용하여 제2 문자후보영역을 확인하는 과정과,Identifying a second character candidate region by applying tensor voting to the gray image; 확인된 상기 제1 및 제2 문자후보영역이 일치하는 영역을 확인하고, 문자가 포함된 영역을 검출하여 문자를 추출하는 과정을 포함하며,Identifying a region in which the identified first and second character candidate regions coincide, detecting a region containing a character, and extracting a character; 상기 제2 문자후보영역을 확인하는 과정은,The checking of the second text candidate area may include: 상기 그레이 영상에서 문자로 예상되는 후보객체를 검출하는 과정과, Detecting a candidate object expected to be a character in the gray image; 검출된 상기 후보객체를 텐서보팅에 적용하는 과정과,Applying the detected candidate object to tensor voting, 상기 텐서보팅 적용 결과를 고려하여 상기 제2 문자후보영역을 추출하는 과정을 포함함을 특징으로 하는 문자 검출 방법.And extracting the second text candidate area in consideration of the result of applying the tensor voting. 제1항에 있어서, 상기 제1 문자후보영역을 확인하는 과정은The process of claim 1, wherein the checking of the first text candidate area is performed. 상기 그레이 영상에서 영상에 포함된 적어도 하나의 사물의 경계(Edge) 영역을 추출하는 과정과,Extracting an edge region of at least one object included in the image from the gray image; 상기 추출된 경계영역들로부터 적어도 하나의 제1 문자후보영역을 추출하는 과정을 포함함을 특징으로 하는 문자 검출 방법.And extracting at least one first text candidate area from the extracted boundary areas. 제2항에 있어서, 상기 경계 영역의 추출은 캐니 에지 알고리즘(Canny Edge Algorithm)을 이용하는 것을 특징으로 하는 문자 검출 방법.The character detection method of claim 2, wherein the extraction of the boundary region uses a Canny Edge Algorithm. 제2항에 있어서, 상기 제1 문자후보영역을 확인하는 과정은,The method of claim 2, wherein the checking of the first text candidate area comprises: 문자의 특성을 고려하여, 상기 제1 문자후보영역에 포함된 비 문자 영역을 검출하고, 검출된 비 문자 영역을 제거하는 과정을 더 포함함을 특징으로 하는 문자 검출 방법.And detecting the non-character area included in the first text candidate area and removing the detected non-character area in consideration of the characteristics of the character. 삭제delete 제1항에 있어서, 상기 제2 문자후보영역을 확인하는 과정은,The method of claim 1, wherein the checking of the second text candidate area comprises: 상기 후보객체의 중심점을 검출하는 과정과,Detecting a center point of the candidate object; 검출된 상기 후보객체의 중심점을 텐서보팅에 적용하는 과정과,Applying a center point of the detected candidate object to tensor voting, 상기 텐서보팅 적용 결과를 고려하여 상기 제2 문자후보영역을 추출하는 과정을 포함함을 특징으로 하는 문자 검출 방법.And extracting the second text candidate area in consideration of the result of applying the tensor voting. 제6항에 있어서, 상기 제2 문자후보영역을 추출하는 과정은,The method of claim 6, wherein the extracting of the second text candidate area comprises: 상기 텐서보팅을 적용한 결과값이 미리 정해진 값보다 상대적으로 큰 돌출 도(saliency)를 나타내는 해당 후보객체를 상기 제2 문자후보영역으로 추출하는 것을 특징으로 하는 문자 검출 방법.And extracting, as the second character candidate area, a corresponding candidate object having a salient greater than a predetermined value as a result of applying the tensor voting. 제1항에 있어서, 상기 그레이 영상에 수직 및/또는 수평 성분의 소벨(Sobel) 연산을 수행함으로써, 상기 문자로 예상되는 후보객체를 확인하는 것을 특징으로 하는 문자 검출 방법.The character detection method of claim 1, wherein the candidate object expected as the character is identified by performing a Sobel operation of vertical and / or horizontal components on the gray image. 제1항에 있어서, 문자의 구조적 특성을 고려하여, 상기 문자로 예상되는 후보객체를 검출하는 것을 특징으로 하는 문자 검출 방법.The character detection method of claim 1, wherein the candidate object expected to be the character is detected in consideration of structural characteristics of the character. 제1항에 있어서, 상기 문자가 포함된 영역을 검출하는 과정은,The method of claim 1, wherein the detecting of the area containing the letter comprises: 상기 제1 및 제2 문자후보영역이 중복되는 영역을 검출하는 과정과,Detecting a region in which the first and second character candidate regions overlap; 상기 제2 문자후보영역에 수평 및/또는 수직 방향의 팽창 연산(dilation operation)을 수행하는 과정과, Performing a dilation operation in a horizontal and / or vertical direction on the second character candidate area; 상기 팽창연산을 통해 연결된 제2 문자후보영역들을 상기 문자가 포함된 영역으로 추출하는 과정을 포함함을 특징으로 하는 문자 검출 방법.And extracting second character candidate regions connected through the expansion operation into an area including the character. 영상 내에서 문자가 포함된 영역을 검출하는 장치에 있어서,In the device for detecting the area containing the characters in the image, 입력된 영상을 그레이 영상으로 변환하는 이미지 변환부와,An image converter for converting the input image into a gray image; 상기 이미지 변환부로부터의 출력되는 그레이 영상에 경계(Edge) 영역 검출 알고리즘을 적용하여 제1 문자후보영역을 확인하는 제1 문자후보영역 확인부와,A first text candidate area checking unit checking a first text candidate area by applying an edge area detection algorithm to the gray image output from the image converting unit; 상기 이미지 변환부로부터의 출력되는 그레이 영상에 텐서보팅을 적용하여 제2 문자후보영역을 확인하는 제2 문자후보영역 확인부와,A second text candidate area checking unit which checks a second text candidate area by applying tensor voting to the gray image output from the image converting unit; 상기 제1 및 제2 문자후보영역을 확인하여, 문자가 포함된 영역을 검출하고, 상기 문자가 포함된 영역에 포함된 문자를 검출하는 문자 검출부를 포함하며,A character detector configured to check the first and second character candidate regions, detect a region containing a character, and detect a character included in the region including the character; 상기 제2 문자후보영역 확인부는,The second character candidate area checking unit, 상기 그레이 영상에서 문자로 예상되는 후보객체를 검출하는 후보객체 검출부와, A candidate object detector for detecting candidate objects expected from the gray image; 검출된 상기 후보객체를 텐서보팅에 적용하는 텐서보팅 처리부와,A tensor boating processor for applying the detected candidate object to tensor boating; 상기 텐서보팅 적용 결과를 고려하여 상기 제2 문자후보영역을 추출하는 제2 문자후보영역 검출부를 포함함을 특징으로 하는 문자 검출 장치.And a second text candidate area detection unit extracting the second text candidate area in consideration of the result of applying the tensor voting. 제11항에 있어서, 상기 제1 문자후보영역 확인부는,The method of claim 11, wherein the first character candidate area confirmation unit, 상기 그레이 영상에 캐니 에지 검출 알고리즘(Canny Edge Detection Algorithm)을 적용하여 경계영역을 검출하는 경계영역 검출부와,A boundary region detector for detecting a boundary region by applying a Canny Edge Detection Algorithm to the gray image; 상기 경계영역 검출부를 통해 적어도 하나의 검출된 경계영역으로부터 제1 문자후보영역을 검출하는 제1 문자후보영역 검출부를 포함함을 특징으로 하는 문자 검출 장치.And a first character candidate area detection unit detecting a first character candidate area from at least one detected boundary area through the boundary area detection unit. 삭제delete 제11항에 있어서, 상기 후보객체 검출부는 상기 후보객체의 중심점을 검출하고,The method of claim 11, wherein the candidate object detector detects a center point of the candidate object, 상기 텐서보팅 처리부는 검출된 상기 후보객체의 중심점을 텐서보팅에 적용하는 것을 특징으로 하는 문자 검출 장치.And the tensor voting processor applies the center point of the detected candidate object to tensor voting. 제11항에 있어서, 상기 제2 문자후보영역 검출부는,The method of claim 11, wherein the second character candidate area detection unit, 상기 텐서보팅을 적용한 결과값이 미리 정해진 값보다 상대적으로 큰 돌출도(saliency)를 나타내는 해당 후보객체를 상기 제2 문자후보영역으로 추출하는 것을 특징으로 하는 문자 검출 장치.And extracting, as the second character candidate region, a candidate object having a saliency having a result value of applying the tensor voting relatively larger than a predetermined value. 제14항에 있어서, 상기 후보객체 검출부는, 상기 그레이 영상에 수직 및/또는 수평 성분의 소벨(Sobel) 연산하여 상기 문자로 예상되는 후보객체를 확인하는 것을 특징으로 하는 문자 검출 장치.The character detection apparatus of claim 14, wherein the candidate object detector identifies a candidate object expected as the character by performing Sobel operations on vertical and / or horizontal components on the gray image. 제11항에 있어서, 상기 문자 검출부는,The method of claim 11, wherein the character detection unit, 상기 제1 및 제2 문자후보영역이 중복되는 영역을 검출하고, 상기 제2 문자후보영역에 수평 및/또는 수직 방향의 팽창 연산(dilation operation)을 수행하고, 상기 팽창연산을 통해 연결된 제2 문자후보영역들을 상기 문자가 포함된 영역으로 추출하는 것을 특징으로 하는 문자 검출 장치.Detecting a region where the first and second character candidate areas overlap, performing horizontal and / or vertical dilation operations on the second character candidate area, and connecting the second character through the expansion operation. And extracting candidate regions into the region including the character.
KR1020090099443A 2009-10-19 2009-10-19 Character detection method and apparatus KR101048399B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090099443A KR101048399B1 (en) 2009-10-19 2009-10-19 Character detection method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090099443A KR101048399B1 (en) 2009-10-19 2009-10-19 Character detection method and apparatus

Publications (2)

Publication Number Publication Date
KR20110042665A KR20110042665A (en) 2011-04-27
KR101048399B1 true KR101048399B1 (en) 2011-07-12

Family

ID=44048039

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090099443A KR101048399B1 (en) 2009-10-19 2009-10-19 Character detection method and apparatus

Country Status (1)

Country Link
KR (1) KR101048399B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305239B2 (en) 2014-05-13 2016-04-05 Samsung Electronics Co., Ltd. Detecting and processing small text in digital media
CN104599280B (en) * 2015-02-02 2018-01-12 武汉大学 A kind of crack on road crosspoint extracting method and system
CN112541417B (en) * 2020-12-03 2022-09-16 山东众阳健康科技集团有限公司 Efficient decoding method used in character detection

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"모폴로지를 이용한 비디오 영상에서의 자동 문자 추출", 한국정보과학회 2001년도 가을 학술발표논문집, 제28권 제2호(Ⅱ), pp. 418~420, 2001.10.
"문자 영역을 강조하기 위한 적응적 오차 확산법", 대한전자공학회 전자공학회논문지-SP, 제43권 제1호, pp. 9-17, 2006.1.
Jaeguyn Lim, Jonghyun Park, and Gerard G. Medioni, "Text segmentation in color images using tensor voting", Image and Vision Computing, Volume 25, Issue 5, Pages 671-685, 1 May 2007.*

Also Published As

Publication number Publication date
KR20110042665A (en) 2011-04-27

Similar Documents

Publication Publication Date Title
CN111401372B (en) Method for extracting and identifying image-text information of scanned document
Ryan et al. An examination of character recognition on ID card using template matching approach
US8175380B2 (en) Apparatus and method for improving text recognition capability
US9965695B1 (en) Document image binarization method based on content type separation
JP4626886B2 (en) Method and apparatus for locating and extracting captions in digital images
US20190019055A1 (en) Word segmentation system, method and device
EP2605186B1 (en) Method and apparatus for recognizing a character based on a photographed image
CN112070649B (en) Method and system for removing specific character string watermark
US9171224B2 (en) Method of improving contrast for text extraction and recognition applications
US11636608B2 (en) Artificial intelligence using convolutional neural network with Hough transform
Rege et al. Text-image separation in document images using boundary/perimeter detection
KR101048399B1 (en) Character detection method and apparatus
CN108877030B (en) Image processing method, device, terminal and computer readable storage medium
Shirke et al. Portable camera based Text Reading of Objects for blind Persons
CN111445402B (en) Image denoising method and device
CN111209865A (en) File content extraction method and device, electronic equipment and storage medium
US6983071B2 (en) Character segmentation device, character segmentation method used thereby, and program therefor
US20090245658A1 (en) Computer-readable recording medium having character recognition program recorded thereon, character recognition device, and character recognition method
CN107330470B (en) Method and device for identifying picture
Kumar et al. A comparative Analysis of Feature Extraction Algorithms and Deep Learning Techniques for Detection from Natural Images
Chen et al. Video-based content recognition of bank cards with mobile devices
US20220021787A1 (en) Apparatus, method, and storage medium for removing shading dots
Choksi et al. Text Extraction from Natural Scene Images using Prewitt Edge Detection Method
Khan et al. Pre-Processing Images of Public Signage for OCR Conversion
JP2003281470A (en) Apparatus and method for character recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150702

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 8